Lokale KI statt Cloud? Wie private AI-Modelle auf dem eigenen Rechner laufen

Es geht wir über ein Thema, das immer relevanter wird:
lokal laufende KI.


Während viele KI-Anwendungen heute komplett über Cloud-Dienste
funktionieren, wächst gleichzeitig das Interesse daran, Modelle
direkt auf dem eigenen Rechner oder sogar auf dem Smartphone
auszuführen. Warum? Vor allem wegen Datenschutz,
Kontrolle, Unabhängigkeit — aber auch wegen möglicher
Kostenersparnis, wenn KI-Agenten künftig
dauerhaft für uns arbeiten.


In dieser Folge sprechen Hannes, Uli und Martin darüber,




was „lokale KI“ eigentlich bedeutet,




welche Vor- und Nachteile lokale Modelle gegenüber Cloud-KI
haben,




welche Hardware man dafür braucht,




wie Tools wie Ollama und Open
WebUI funktionieren,




warum persönliche Notizen und private Dokumente ein
spannender Anwendungsfall sind,




wo lokale Modelle heute noch deutlich schwächer sind als GPT,
Claude oder Gemini,




und warum lokale Bild- und Videomodelle gesellschaftlich auch
heikle Fragen aufwerfen.




Uli berichtet von seinen ersten Experimenten mit einem lokalen
AI-Stack und davon, wie er beginnt, seine privaten Notizen aus
vielen Jahren mit einer lokal laufenden KI auszuwerten. Martin
bringt die Perspektive aus dem Alltag mit ein: Wann reichen
lokale Setups aus — und wann braucht es doch die stärksten
Modelle aus der Cloud? Außerdem geht es um Vertrauen,
Plattformabhängigkeit, Open-Source-Modelle aus den USA und China
sowie um die Frage, ob die Zukunft vielleicht in einer
Kombination aus lokaler und cloudbasierter KI liegt.


Zum Schluss gibt es noch einen Blick auf lokale KI auf
dem Smartphone — und auf die Vision eines persönlichen
Assistenten, der einen wirklich kennt, ohne dass alle Daten
ständig das eigene Gerät verlassen.


Themen dieser Folge




Lokale KI vs. Cloud-KI




Datenschutz und Datensouveränität




Open-Source-Modelle und Fine-Tuning




Ollama, Open WebUI und persönliche Wissensdatenbanken




Kosten von KI-Modellen und Agenten




Lokale Bild- und Videogenerierung




Die Zukunft persönlicher KI-Assistenten




Genannte Tools und Begriffe




Ollama




Open WebUI




GPT OSS




Claude




Gemini / Gemma




DeepSeek




Kimi K2




Stable Diffusion




ComfyUI




MCP Server




Apple Intelligence




Locally AI


Chapters

(00:00:00) - Intro & Comeback nach der Pause

(00:02:20) - Was bedeutet „lokale KI“ eigentlich?

(00:07:00) - Hardware, Modellgrößen und erste praktische
Erfahrungen

(00:17:00) - Lokale KI für persönliches Wissensmanagement

(00:23:00) - Nutzerfreundlichkeit vs. Nerd-Setup

(00:28:30) - Open-Source-Modelle, Fine-Tuning und Modellwahl

(00:32:00) - Kosten von KI-Nutzung und lokale Alternativen

(00:34:30) - Lokale Bild- und Videomodelle: Chancen &
Risiken

(00:37:00) - Praxisbeispiele: Programmieren, Agenten, reale
Grenzen

(00:38:30) - Lokale KI auf dem Smartphone &
Zukunftsausblick

(00:39:50) - Fazit & Ausblick auf kommende Folgen