Startseite
Podcasts
Prompt und Antwort Podcast
211 - Modelle selbst quantisieren

211 - Modelle selbst quantisieren

Prompt und Antwort vor 1 Woche

0:00

10:11

Kolibri, das Modell von Aleph Alpha, braucht in voller
Genauigkeit 156 Gigabyte. Quantisieren rechnet es kleiner, indem
die Gewichte auf ein gröberes Raster gerundet werden. Wir haben
das noch nicht selbst gemacht, wollen es aber auf unserem DGX
Spark und unserer Workstation mit RTX 4090 ausprobieren. In
dieser Folge geht es darum, was dabei technisch passiert, was man
vorher entscheiden muss und woran man hinterher misst, ob das
Modell noch dasselbe kann.

Was beim Runden passiert: Blöcke, Skalierungsfaktor,
Rundungsfehler und warum Ausreißer das Kernproblem sind

Die drei Entscheidungen: wie viele Bits, wie große Blöcke,
mit oder ohne Kalibrierdaten (imatrix, GPTQ)

Was man vom Basismodell braucht: das Original in voller
Genauigkeit, ein Werkzeug, das die Architektur kennt, und welche
Teile nicht gerundet werden dürfen

GGUF oder NVFP4: das Format folgt aus der Maschine, auf der
das Modell später läuft

Messen in drei Ebenen: KL-Divergenz, Benchmarks und die
eigene Aufgabe, mit Flips und getrennt geprüften Werkzeugaufrufen

Die Zahlen zu fertigen Kolibri-Fassungen stammen aus der
Community, vor allem aus der Modellkarte von mittwald. Die Dauer
auf dem Spark ist unsere Schätzung.

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte
stammen von uns.