Speicher für KI-Modelle - RAM, VRAM, Unified Memory einfach erklärt

Speicher ist nicht gleich Speicher. Wie viel Arbeitsspeicher
braucht ein LLM wirklich? Warum reicht es nicht aus, einfach mehr
"Speicher zu kaufen"?


In dieser Folge von "KI kurz und informativ" schauen wir uns die
drei physischen Speicherebenen im PC oder Server an: VRAM
(Grafikkarte), RAM (Arbeitsspeicher) und Massenspeicher
(SSD/HDD). Ausserdem erklären wir, was Apple mit seinen M-Chips
und dem sog. "Unified Memory" anders macht als klassiche
Windows-PCs mit dedizierter Grafikkarte, warum die aktuellen
RAM-Preissteigerungen direkt mit dem KI-Boom zusammenhängen, und
wieso Kontextlänge (KV-Cache) und Nutzerzahl (Concurrency) den
Speicherbedarf in der Praxis zusätzlich in die Höhe treiben.





Diese Folge baut auf unserer letzten Episode zu Quantisierung auf
und bereitet den Boden für die nächste Folge: Cloud vs.
On-Premise-Hosting von KI-Modellen aus Business-Sicht.





Quellen:


Apple M7 im Tapeout:
https://www.heise.de/news/M-Chips-M7-mit-bis-zu-1-5-TByte-und-warum-Apple-den-M6-ueberspringt-11362052.html