Startseite
Podcasts
Lokale KI – kurz erklärt Podcast
#05 - Kleine Modelle, große Wirkung

#05 - Kleine Modelle, große Wirkung

Lokale KI – kurz erklärt vor 5 Tagen

0:00

6:43

Ein Modell mit vier Milliarden Parametern läuft auf jedem Laptop
– und ist so gut wie ein Modell, das vor zwei Jahren noch
achtzehnmal so groß war. In Folge 5 geht es darum, warum kleine
Sprachmodelle so stark geworden sind, für welche Aufgaben sie
reichen und wo sie an Grenzen stoßen. Dazu der Größen-Test für
Ihre eigenen Aufgaben.

Der Größen-Test

Gleiche drei Aufgaben (eine E-Mail, eine Zusammenfassung, eine
Fachfrage) mit qwen3:4b, gemma4:12b und qwen3.8:27b – das
kleinste Modell, das besteht, gewinnt.

Die Tempo-Werte in der Folge sind eigene Abschätzungen, keine
Messungen.

Grafik zur Folge: Tempo auf gleicher Hardware

Kapitel

00:00 Cold Open · 00:28 Begrüßung · 00:57 Was ein kleines Modell
ist · 02:04 Warum kleine Modelle so gut geworden sind · 03:32
Wofür kleine Modelle reichen · 04:37 Wo sie an Grenzen stoßen ·
05:23 Praxis-Tipp: Der Größen-Test · 06:03 Ausblick auf #06

Links und Quellen

Qwen3: Qwen3-4B auf dem Niveau von Qwen2.5-72B-Instruct

Small Language Models in 2026: 10 to Know (Turing Post)

NVIDIA DGX Spark: 273 GB/s Speicherbandbreite

Ollama-Bibliothek: neueste Modelle