Startseite
Podcasts
Prompt und Antwort Podcast
152 - KI-Modellbezeichnungen

152 - KI-Modellbezeichnungen

Prompt und Antwort vor 6 Monaten

0:00

5:40

In dieser Folge des KI-Gilde Podcasts entschlüsseln wir die
kryptischen Dateinamen lokaler KI-Modelle, die auf den ersten
Blick wie zufällige Zeichenketten wirken.Am Beispiel eines
komplexen Namens wie "Qwen3.6-35B-A3B-UD-IQ4_NL_XL.gguf" erklären
wir die genaue Bauanleitung hinter den Modellen:

Parameter und Mixture of Experts: Was der
Unterschied zwischen den gesamten 35 Milliarden und den
aktiv genutzten 3 Milliarden Parametern ist.

Intelligente Komprimierung: Wie
nichtlineare Quantisierung funktioniert, um den
gigantischen Speicherbedarf (VRAM) massiv zu senken, ohne
dass das Modell seine logischen Fähigkeiten verliert.

Das GGUF-Format: Warum dieses universelle
Dateiformat Hardwaregrenzen austrickst und Abstürze
verhindert, indem es bei VRAM-Mangel nahtlos den
Hauptprozessor (CPU) und normalen Arbeitsspeicher zur Hilfe
nimmt.