Lokale KI – kurz erklärt Archiv

Ein Modell mit vier Milliarden Parametern läuft auf jedem Laptop – und ist so gut wie ein Modell, das vor zwei Jahren noch achtzehnmal so groß war. In Folge 5 geht es darum, warum kleine Sprachmodelle so stark geworden sind, für welche Aufgaben sie reichen und wo sie an Grenzen stoßen. Dazu der Größen-Test für Ihre eigenen Aufgaben.

Der Größen-Test

Gleiche drei Aufgaben (eine E-Mail, eine Zusammenfassung, eine Fachfrage) mit qwen3:4b, gemma4:12b und qwen3.8:27b – das kleinste Modell, das besteht, gewinnt.

Die Tempo-Werte in der Folge sind eigene Abschätzungen, keine Messungen.

Grafik zur Folge: Tempo auf gleicher Hardware

Kapitel

00:00 Cold Open · 00:28 Begrüßung · 00:57 Was ein kleines Modell ist · 02:04 Warum kleine Modelle so gut geworden sind · 03:32 Wofür kleine Modelle reichen · 04:37 Wo sie an Grenzen stoßen · 05:23 Praxis-Tipp: Der Größen-Test · 06:03 Ausblick auf #06

Links und Quellen

Qwen3: Qwen3-4B auf dem Niveau von Qwen2.5-72B-Instruct

Small Language Models in 2026: 10 to Know (Turing Post)

NVIDIA DGX Spark: 273 GB/s Speicherbandbreite

Ollama-Bibliothek: neueste Modelle

Zehn Minuten, ein kostenloses Programm – und ein Sprachmodell läuft auf Ihrem eigenen Rechner. Auch dann, wenn Sie das WLAN ausschalten. In Folge 4 installieren wir gemeinsam Ollama, wählen das passende Modell für Ihren Arbeitsspeicher und testen es mit Aufgaben aus dem Alltag.

Anleitung

Ollama herunterladen: ollama.com/download (Mac ab macOS 14, Windows 10/11, Linux) Installieren – Linux: curl -fsSL https://ollama.com/install.sh | sh Modell starten – in der App auswählen oder im Terminal: ollama run gemma4:12b WLAN aus, weiterfragen: Antwortet das Modell, läuft es lokal. Aufräumen: ollama list · ollama rm · ollama ps

Modelle nach Arbeitsspeicher

8 GB: qwen3:4b

16 GB: gemma4:12b

16–24 GB: gpt-oss:20b

ab 32 GB: qwen3.8:27b

Achtung: Modelle mit „cloud“ im Namen laufen nicht lokal.

Grafiken zur Folge: Die fünf Schritte als Bild · Modelle nach Arbeitsspeicher

Kapitel

00:00 Cold Open · 00:40 Begrüßung · 01:20 Was Sie brauchen · 02:40 Schritt für Schritt: Ollama installieren · 05:00 Welches Modell zum Start? · 06:40 Worauf Sie achten sollten · 07:50 Praxis-Tipp: Drei Testaufgaben · 08:50 Ausblick auf #05

Links und Quellen

Ollama unter Windows: Voraussetzungen

Die Ollama-App mit Chat-Fenster und Drag & Drop

Mini-PC, KI-Box oder Server – und warum eine Gaming-Grafikkarte gerade mehr kostet als ein kompletter KI-Rechner. In Folge 3 geht es um die zwei Kennzahlen, auf die es ankommt: Speicher und Bandbreite. Dazu drei Hardware-Klassen mit aktuellen Preisen, eine Zuordnung nach Unternehmensgröße und der wichtigste Tipp vor dem Kauf.

Faustregel: Speicherbedarf ≈ Parameter in Milliarden × 0,6 GB (4-Bit) plus rund 20 % für den Kontext.

Preise brutto im Handel, Stand Ende September 2026.

Grafik zur Folge: Die drei Hardware-Klassen

Kapitel

00:00 Cold Open · 00:40 Begrüßung · 01:20 Worauf es ankommt: Speicher und Tempo · 03:00 Die drei Hardware-Klassen · 04:50 Welche Klasse für wen? · 06:40 Was Sie nicht brauchen · 07:50 Praxis-Tipp: Erst testen, dann kaufen · 08:50 Ausblick auf #04

Links und Quellen

GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB) ab 3.799 €

NVIDIA DGX Spark: 128 GB, 273 GB/s, 240-W-Netzteil, Modelle bis 200 Mrd. Parameter

DGX Spark im Handel ab 5.899 €

Mac Studio M5 Ultra 256 GB für 10.999 €, 1,2 TB/s

RTX 5090 ab 5.741 € wegen Speicherknappheit

RTX PRO 6000 Blackwell 96 GB ab 17.999 €

Cloud-KI kostet pro Kopf, lokale KI kostet einmal – aber ab wann rechnet sich was? In Folge 2 rechnen wir ein Unternehmen mit 20 Nutzern über drei Jahre durch: Lizenzen, Token, Hardware, Strom und Betrieb. Dazu die versteckten Kosten auf beiden Seiten und eine Rechnung, die Sie mit vier Zahlen selbst aufstellen können.

Ergebnis: Bei 20 Nutzern ist lokale KI ab Monat 28 günstiger und spart über drei Jahre rund 2.070 €. Bei 10 Nutzern kippt die Rechnung erst nach gut neun Jahren, bei 50 Nutzern mit zwei Geräten ab Monat 16.

Alle Preise netto, Stand 30.09.2026.

Grafik zur Folge: Break-even: Cloud gegen lokal

Kapitel

00:00 Cold Open · 00:30 Begrüßung · 01:28 Was Cloud-KI kostet · 03:35 Was lokale KI kostet · 04:54 Das Rechenbeispiel: 20 Nutzer, 3 Jahre · 06:30 Versteckte Kosten · 07:21 Praxis-Tipp: Ihre Rechnung in vier Zahlen · 07:59 Ausblick auf #03

Links und Quellen

ChatGPT Business: 20 $/Nutzer/Monat bei Jahreszahlung, 25 $ monatlich

Microsoft 365 Copilot: Business 18,20 €, Enterprise 26,00 € netto

Aktionspreis Copilot Business 15,60 €

OpenAI API: GPT-6.1 Sol 2 $ Eingabe / 10 $ Ausgabe pro Mio. Token

DGX Spark im Handel ab 5.899 € brutto

DGX Spark Preiserhöhung von 3.999 $ auf 4.699 $, bei NVIDIA 4.800 €

BDEW-Strompreisanalyse August 2026: kleine bis mittlere Industrie 17,2 ct/kWh