podcast.de
Anmeldung
Anmeldung Registrierung
Auto Hell Dunkel
Erweiterte Suche
  1. Startseite
  2. Podcasts
  3. Prompt und Antwort Podcast
  4. 137 - Time to first Token
In Folge 137 des KI Gilde Podcasts dreht sich alles um die "Time
to First Token" – die entscheidende Wartezeit, bevor ein lokales
KI-Sprachmodell die erste Silbe generiert. Wir beleuchten, was in
der rechenintensiven Prefill-Phase passiert und warum der Aufbau
des sogenannten Key-Value-Caches als Gedächtnis des Modells bei
großen Kontexten schnell über 80 GB Arbeitsspeicher verschlingt.

Zudem vergleichen wir Hardware-Architekturen: Erfahre, warum
Nvidias isolierter Grafikspeicher bei riesigen Datenmengen durch
den PCI-Express-Bus zum Flaschenhals wird, während Apples Unified
Memory Architecture durch das Zero-Copy-Prinzip punktet und
Latenzen minimiert. Abschließend diskutieren wir, ob der
Key-Value-Cache bei zukünftigen Kontextfenstern von 10 Millionen
Wörtern eine technologische Sackgasse darstellt.

Weitere Episoden

215 - Memory mit grep

215 - Memory mit grep

13 Minuten
vor 1 Tag
214 - Weight-Space Programming

214 - Weight-Space Programming

15 Minuten
vor 3 Tagen
213 - Halluzinationen gezielt prüfen

213 - Halluzinationen gezielt prüfen

14 Minuten
vor 5 Tagen
212 - Memory mit Honcho

212 - Memory mit Honcho

17 Minuten
vor 1 Woche
211 - Modelle selbst quantisieren

211 - Modelle selbst quantisieren

10 Minuten
vor 1 Woche
Alle Episoden anzeigen
In Podcasts werben
Schalte jetzt Werbung in Podcasts.
Episode melden

„137 - Time to first Token“

Worum geht es? Danach fragen wir noch nach dem Grund.

Abonnenten

Teilen

Mein Archiv

Deine Privatkopie der Folgen, die du nicht verlieren willst.

Podcast-Folgen verschwinden. Feeds werden auf die letzten Episoden gekürzt, Hoster räumen alte Dateien ab, Formate wechseln den Anbieter und lassen ihr Archiv zurück. Mit „Mein Archiv“ sichert podcast.de die Folgen deiner Podcasts für dich — angefangen bei den ältesten, denn die sind zuerst weg.

  • Deine gesicherten Folgen bleiben hörbar, auch wenn das Original offline geht.
  • Auch Folgen, die im heutigen Feed gar nicht mehr stehen — podcast.de kennt sie noch.
  • Herunterladen bleibt möglich, solange die Folge beim Podcaster liegt. Der zählt seine Abrufe wie bisher.
Startet bald

Sei beim Start von Mein Archiv dabei

Mein Archiv ist fast fertig. Trag dich ein, dann bekommst du eine E-Mail, sobald es losgeht – und bist von Anfang an dabei. Wir schreiben dir nur zum Start, keine Werbung, keine Weitergabe deiner Daten.

Du bekommst zuerst eine Bestätigungsmail. Abmelden geht jederzeit. Datenschutz