Startseite
Podcasts
KI - kurz und informativ, Klartext "to Go" in unter 5 Minuten Podcast
So läuft KI auf deinem PC - Quantisierung von LLMs erklärt

So läuft KI auf deinem PC - Quantisierung von LLMs erklärt

KI - kurz und informativ, Klartext "to Go" in unter 5 Minuten vor 2 Monaten

0:00

5:42

Large Language Models (LLMs) wie GPT auf dem eigenen PC oder
Smartphone laufen lassen? Ja, das geht!

Quantisierung ist eine Schlüsseltechnik, mit der das
funktioniert. Damit können riesige KI-Modelle drastisch
verkleinern lassen, ohne dabei komplett auf Qualität zu
verzichten.

Du erfährst in der Folge:

Warum LLMs so viel Speicherplatz brauchen (und was FP32, FP16
und INT8 damit zu tun haben).

Wie Quantisierung den Speicherbedarf eines Modells

reduziert.

Was die Vor- und Nachteile sind und wie du dank
Quantisierung, ein LLM theoretisch lokal auf deinem PC, Mac oder
Home-Server betreiben könntest.