189 - Qwen 3.8 Flash

Prompt und Antwort vor 2 Monaten

0:00

8:44

Hundertachtzig Milliarden Parameter auf einem Kasten, der unter
den Schreibtisch passt, und trotzdem gut vierzig Token pro
Sekunde. Möglich macht das ein Bauteil aus der Frühzeit der
Sprachmodelle: Qwen3.8-Flash-Next, laut Qwen die Vorschau auf die
Architektur von Qwen 4, trägt neben seinen Experten eine
N-Gramm-Tabelle mit 51 Milliarden Parametern. Das Modell schlägt
dort nach, statt zu rechnen. Wir erklären, wie das funktioniert,
warum die Tabelle deshalb aus dem schnellen Speicher heraus kann
und was das für einen DGX Spark bedeutet.

Die Eckdaten: 125 Milliarden Parameter im Hauptteil, 6
Milliarden aktiv pro Token, dazu 51 Milliarden in der Tabelle,
fast ein Drittel des Modells

N-Gramme früher und heute: Statt Häufigkeiten stehen in der
Tabelle gelernte Einträge, die letzten zwei, drei Wortstücke sind
nur noch die Adresse. Die Idee stammt aus DeepSeeks Engram-Papier
vom Januar

Die Küche mit dem Vorratskeller: Warum eine Tabelle auf der
SSD funktioniert, wenn man vorher weiß, was man holen muss, und
warum es dabei auf kurze Wege ankommt, nicht auf Gigabyte pro
Sekunde

Der DGX Spark: 128 GB, die sich Grafikchip und Prozessor
teilen, und warum die Tabelle deshalb gleich auf die SSD wandert

Was hinter den gut vierzig Token pro Sekunde steckt, und was
die Zahl nicht sagt

Zum Nachlesen: Modellkarte:
https://huggingface.co/Qwen/Qwen3.8-Flash-Next Flash Next auf
einem DGX Spark, Tabelle auf der SSD (Community-Projekt):
https://github.com/tonyd2wild/Qwen3.8-Flash-Next-NVFP4-DGX-Spark
DeepSeek, Engram-Papier: https://arxiv.org/abs/2601.07372

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte
stammen von uns.