183 - FreeToken

Prompt und Antwort vor 2 Monaten

0:00

10:30

Ein Mixture-of-Experts-Modell mit 284 Milliarden Parametern
rechnet je Token nur mit 13 Milliarden davon. Klingt sparsam —
nur muss das ganze Modell trotzdem irgendwo liegen, und auf die
Grafikkarte passt es nicht. Also wandern die Experten für jedes
neue Wort über die PCI-Express-Leitung, und die Recheneinheiten
warten die meiste Zeit auf Daten.

FreeToken dreht das um: Statt das Modell einmal fest auf
Grafikkarte und Hauptprozessor zu verteilen, benutzt es die
Grafikkarte als Cache für die gerade heißen Experten. In dieser
Folge schauen wir uns an, wie das unter der Haube funktioniert —
und was die Messwerte dazu sagen.

Die Bibliothek, aus der du immer nur drei Seiten brauchst —
und warum eine feste Aufteilung des Modells zu über 50 Prozent am
Bedarf vorbeigeht

Double Buffering beim Prefill: die Großküche, in der der
Assistent die Zutaten für den nächsten Bon schon bereitlegt,
während der Koch noch brät

Die Q-Star-Strategie beim Cache-Miss: Grafikkarte und
Hauptprozessor teilen sich die fehlende Rechnung so, dass beide
zur selben Millisekunde fertig sind

Ein eigenes Gewichtsformat, das das Umpacken beim Laden
spart, und ein Cache, der im laufenden Betrieb wächst und
schrumpft

Die Zahlen: von 58 auf 132 Token pro Sekunde, knapp 40 Token
pro Sekunde auf einem Laptop mit 8 GB Grafikspeicher — und für
wen sich das Ganze überhaupt lohnt

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte
stammen von uns.