- Startseite
- Podcasts
- Lokale KI – kurz erklärt Podcast
Episoden
7 Minuten
Ein Modell mit vier Milliarden Parametern läuft auf jedem Laptop – und ist so gut wie ein Modell, das vor zwei Jahren noch achtzehnmal so groß war. In Folge 5 geht es darum, warum kleine Sprachmodelle so stark geworden sind, für welche Aufgaben sie reichen und wo sie an Grenzen stoßen. Dazu der Größen-Test für Ihre eigenen Aufgaben.
Der Größen-Test
Gleiche drei Aufgaben (eine E-Mail, eine Zusammenfassung, eine Fachfrage) mit qwen3:4b, gemma4:12b und qwen3.8:27b – das kleinste Modell, das besteht, gewinnt.
Die Tempo-Werte in der Folge sind eigene Abschätzungen, keine Messungen.
Grafik zur Folge: Tempo auf gleicher Hardware
Kapitel
00:00 Cold Open · 00:28 Begrüßung · 00:57 Was ein kleines Modell ist · 02:04 Warum kleine Modelle so gut geworden sind · 03:32 Wofür kleine Modelle reichen · 04:37 Wo sie an Grenzen stoßen · 05:23 Praxis-Tipp: Der Größen-Test · 06:03 Ausblick auf #06
Links und Quellen
Qwen3: Qwen3-4B auf dem Niveau von Qwen2.5-72B-Instruct
Small Language Models in 2026: 10 to Know (Turing Post)
NVIDIA DGX Spark: 273 GB/s Speicherbandbreite
Ollama-Bibliothek: neueste Modelle
Der Größen-Test
Gleiche drei Aufgaben (eine E-Mail, eine Zusammenfassung, eine Fachfrage) mit qwen3:4b, gemma4:12b und qwen3.8:27b – das kleinste Modell, das besteht, gewinnt.
Die Tempo-Werte in der Folge sind eigene Abschätzungen, keine Messungen.
Grafik zur Folge: Tempo auf gleicher Hardware
Kapitel
00:00 Cold Open · 00:28 Begrüßung · 00:57 Was ein kleines Modell ist · 02:04 Warum kleine Modelle so gut geworden sind · 03:32 Wofür kleine Modelle reichen · 04:37 Wo sie an Grenzen stoßen · 05:23 Praxis-Tipp: Der Größen-Test · 06:03 Ausblick auf #06
Links und Quellen
Qwen3: Qwen3-4B auf dem Niveau von Qwen2.5-72B-Instruct
Small Language Models in 2026: 10 to Know (Turing Post)
NVIDIA DGX Spark: 273 GB/s Speicherbandbreite
Ollama-Bibliothek: neueste Modelle
7 Minuten
Zehn Minuten, ein kostenloses Programm – und ein Sprachmodell läuft auf Ihrem eigenen Rechner. Auch dann, wenn Sie das WLAN ausschalten. In Folge 4 installieren wir gemeinsam Ollama, wählen das passende Modell für Ihren Arbeitsspeicher und testen es mit Aufgaben aus dem Alltag.
Anleitung
Ollama herunterladen: ollama.com/download (Mac ab macOS 14, Windows 10/11, Linux) Installieren – Linux: curl -fsSL https://ollama.com/install.sh | sh Modell starten – in der App auswählen oder im Terminal: ollama run gemma4:12b WLAN aus, weiterfragen: Antwortet das Modell, läuft es lokal. Aufräumen: ollama list · ollama rm · ollama ps
Modelle nach Arbeitsspeicher
8 GB: qwen3:4b
16 GB: gemma4:12b
16–24 GB: gpt-oss:20b
ab 32 GB: qwen3.8:27b
Achtung: Modelle mit „cloud“ im Namen laufen nicht lokal.
Grafiken zur Folge: Die fünf Schritte als Bild · Modelle nach Arbeitsspeicher
Kapitel
00:00 Cold Open · 00:40 Begrüßung · 01:20 Was Sie brauchen · 02:40 Schritt für Schritt: Ollama installieren · 05:00 Welches Modell zum Start? · 06:40 Worauf Sie achten sollten · 07:50 Praxis-Tipp: Drei Testaufgaben · 08:50 Ausblick auf #05
Links und Quellen
Ollama unter Windows: Voraussetzungen
Die Ollama-App mit Chat-Fenster und Drag & Drop
Anleitung
Ollama herunterladen: ollama.com/download (Mac ab macOS 14, Windows 10/11, Linux) Installieren – Linux: curl -fsSL https://ollama.com/install.sh | sh Modell starten – in der App auswählen oder im Terminal: ollama run gemma4:12b WLAN aus, weiterfragen: Antwortet das Modell, läuft es lokal. Aufräumen: ollama list · ollama rm · ollama ps
Modelle nach Arbeitsspeicher
8 GB: qwen3:4b
16 GB: gemma4:12b
16–24 GB: gpt-oss:20b
ab 32 GB: qwen3.8:27b
Achtung: Modelle mit „cloud“ im Namen laufen nicht lokal.
Grafiken zur Folge: Die fünf Schritte als Bild · Modelle nach Arbeitsspeicher
Kapitel
00:00 Cold Open · 00:40 Begrüßung · 01:20 Was Sie brauchen · 02:40 Schritt für Schritt: Ollama installieren · 05:00 Welches Modell zum Start? · 06:40 Worauf Sie achten sollten · 07:50 Praxis-Tipp: Drei Testaufgaben · 08:50 Ausblick auf #05
Links und Quellen
Ollama unter Windows: Voraussetzungen
Die Ollama-App mit Chat-Fenster und Drag & Drop
7 Minuten
Mini-PC, KI-Box oder Server – und warum eine Gaming-Grafikkarte gerade mehr kostet als ein kompletter KI-Rechner. In Folge 3 geht es um die zwei Kennzahlen, auf die es ankommt: Speicher und Bandbreite. Dazu drei Hardware-Klassen mit aktuellen Preisen, eine Zuordnung nach Unternehmensgröße und der wichtigste Tipp vor dem Kauf.
Faustregel: Speicherbedarf ≈ Parameter in Milliarden × 0,6 GB (4-Bit) plus rund 20 % für den Kontext.
Preise brutto im Handel, Stand Ende September 2026.
Grafik zur Folge: Die drei Hardware-Klassen
Kapitel
00:00 Cold Open · 00:40 Begrüßung · 01:20 Worauf es ankommt: Speicher und Tempo · 03:00 Die drei Hardware-Klassen · 04:50 Welche Klasse für wen? · 06:40 Was Sie nicht brauchen · 07:50 Praxis-Tipp: Erst testen, dann kaufen · 08:50 Ausblick auf #04
Links und Quellen
GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB) ab 3.799 €
NVIDIA DGX Spark: 128 GB, 273 GB/s, 240-W-Netzteil, Modelle bis 200 Mrd. Parameter
DGX Spark im Handel ab 5.899 €
Mac Studio M5 Ultra 256 GB für 10.999 €, 1,2 TB/s
RTX 5090 ab 5.741 € wegen Speicherknappheit
RTX PRO 6000 Blackwell 96 GB ab 17.999 €
Faustregel: Speicherbedarf ≈ Parameter in Milliarden × 0,6 GB (4-Bit) plus rund 20 % für den Kontext.
Preise brutto im Handel, Stand Ende September 2026.
Grafik zur Folge: Die drei Hardware-Klassen
Kapitel
00:00 Cold Open · 00:40 Begrüßung · 01:20 Worauf es ankommt: Speicher und Tempo · 03:00 Die drei Hardware-Klassen · 04:50 Welche Klasse für wen? · 06:40 Was Sie nicht brauchen · 07:50 Praxis-Tipp: Erst testen, dann kaufen · 08:50 Ausblick auf #04
Links und Quellen
GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB) ab 3.799 €
NVIDIA DGX Spark: 128 GB, 273 GB/s, 240-W-Netzteil, Modelle bis 200 Mrd. Parameter
DGX Spark im Handel ab 5.899 €
Mac Studio M5 Ultra 256 GB für 10.999 €, 1,2 TB/s
RTX 5090 ab 5.741 € wegen Speicherknappheit
RTX PRO 6000 Blackwell 96 GB ab 17.999 €
9 Minuten
Cloud-KI kostet pro Kopf, lokale KI kostet einmal – aber ab wann rechnet sich was? In Folge 2 rechnen wir ein Unternehmen mit 20 Nutzern über drei Jahre durch: Lizenzen, Token, Hardware, Strom und Betrieb. Dazu die versteckten Kosten auf beiden Seiten und eine Rechnung, die Sie mit vier Zahlen selbst aufstellen können.
Ergebnis: Bei 20 Nutzern ist lokale KI ab Monat 28 günstiger und spart über drei Jahre rund 2.070 €. Bei 10 Nutzern kippt die Rechnung erst nach gut neun Jahren, bei 50 Nutzern mit zwei Geräten ab Monat 16.
Alle Preise netto, Stand 30.09.2026.
Grafik zur Folge: Break-even: Cloud gegen lokal
Kapitel
00:00 Cold Open · 00:30 Begrüßung · 01:28 Was Cloud-KI kostet · 03:35 Was lokale KI kostet · 04:54 Das Rechenbeispiel: 20 Nutzer, 3 Jahre · 06:30 Versteckte Kosten · 07:21 Praxis-Tipp: Ihre Rechnung in vier Zahlen · 07:59 Ausblick auf #03
Links und Quellen
ChatGPT Business: 20 $/Nutzer/Monat bei Jahreszahlung, 25 $ monatlich
Microsoft 365 Copilot: Business 18,20 €, Enterprise 26,00 € netto
Aktionspreis Copilot Business 15,60 €
OpenAI API: GPT-6.1 Sol 2 $ Eingabe / 10 $ Ausgabe pro Mio. Token
DGX Spark im Handel ab 5.899 € brutto
DGX Spark Preiserhöhung von 3.999 $ auf 4.699 $, bei NVIDIA 4.800 €
BDEW-Strompreisanalyse August 2026: kleine bis mittlere Industrie 17,2 ct/kWh
Ergebnis: Bei 20 Nutzern ist lokale KI ab Monat 28 günstiger und spart über drei Jahre rund 2.070 €. Bei 10 Nutzern kippt die Rechnung erst nach gut neun Jahren, bei 50 Nutzern mit zwei Geräten ab Monat 16.
Alle Preise netto, Stand 30.09.2026.
Grafik zur Folge: Break-even: Cloud gegen lokal
Kapitel
00:00 Cold Open · 00:30 Begrüßung · 01:28 Was Cloud-KI kostet · 03:35 Was lokale KI kostet · 04:54 Das Rechenbeispiel: 20 Nutzer, 3 Jahre · 06:30 Versteckte Kosten · 07:21 Praxis-Tipp: Ihre Rechnung in vier Zahlen · 07:59 Ausblick auf #03
Links und Quellen
ChatGPT Business: 20 $/Nutzer/Monat bei Jahreszahlung, 25 $ monatlich
Microsoft 365 Copilot: Business 18,20 €, Enterprise 26,00 € netto
Aktionspreis Copilot Business 15,60 €
OpenAI API: GPT-6.1 Sol 2 $ Eingabe / 10 $ Ausgabe pro Mio. Token
DGX Spark im Handel ab 5.899 € brutto
DGX Spark Preiserhöhung von 3.999 $ auf 4.699 $, bei NVIDIA 4.800 €
BDEW-Strompreisanalyse August 2026: kleine bis mittlere Industrie 17,2 ct/kWh
8 Minuten
Was heißt „lokale KI“ eigentlich – und was ist nur Cloud im neuen Gewand? In Folge 1 geht es um die drei Merkmale lokaler KI, drei Gründe dafür, die vier Bausteine, die man braucht, und drei Irrtümer, die sich hartnäckig halten. Praxis-Tipp zum Schluss: die KI-Inventur in drei Fragen.
Kapitel 00:00 Cold Open · 00:32 Begrüßung · 01:11 Was „lokal“ bedeutet · 02:45 Warum lokal? · 04:17 Was man dafür braucht · 05:43 Drei Irrtümer · 06:35 Praxis-Tipp: Die KI-Inventur · 07:14 Ausblick auf #02
Fragen und Themenwünsche: podcast@julith.gmbh Im Fediverse folgen: @LocalAIHero@podcasts.julith.gmbh
Ein Podcast der JULITH GmbH.
Kapitel 00:00 Cold Open · 00:32 Begrüßung · 01:11 Was „lokal“ bedeutet · 02:45 Warum lokal? · 04:17 Was man dafür braucht · 05:43 Drei Irrtümer · 06:35 Praxis-Tipp: Die KI-Inventur · 07:14 Ausblick auf #02
Fragen und Themenwünsche: podcast@julith.gmbh Im Fediverse folgen: @LocalAIHero@podcasts.julith.gmbh
Ein Podcast der JULITH GmbH.
In Podcasts werben
Schalte jetzt Werbung in Podcasts.
Über diesen Podcast
Lokale KI – kurz erklärt ist der Podcast für
alle, die künstliche Intelligenz im eigenen Unternehmen betreiben
wollen – auf eigener Hardware, unter eigener Kontrolle,
DSGVO-konform.
Jeden Dienstag erklärt Thomas RIEHN, Geschäftsführer der JULITH
GmbH, in wenigen Minuten ein Thema rund um lokale KI:
Sprachmodelle auf eigener Hardware, RAG und Vektordatenbanken,
Kosten, Datenschutz, typische Fallstricke. Kurz, verständlich,
ohne Marketing-Nebel – für Geschäftsführung, IT-Leitung und alle,
die mitreden wollen.
Ein Podcast der JULITH GmbH · julith.gmbh Fragen und
Themenwünsche: podcast@julith.gmbh
Kommentare (0)
Melde dich an, um einen Kommentar zu schreiben.