Prompt und Antwort Archiv
216 Episoden
10 Minuten
„Wir setzen KI ein" ist ungefähr so konkret wie „Wir machen die Buchhaltung mit Zahlen". Alle sprechen über Agenten, und jeder meint etwas anderes. Deshalb räumen wir in dieser Folge bei den Wörtern auf — mit einem Bild: Ein Sprachmodell ist ein Gehirn in einem Glas. Es hat mehr gelesen als jeder Mensch und kann denken. Aber es hat keine Augen, keine Hände und kein Gedächtnis. Alles andere ist Software drumherum, und die hat einen Namen: Harness. Der Auftakt unserer Freitagsfolgen zum Agentenbau.
Die Agenten-Leiter: vom PDF-Zusammenfasser über Custom GPTs und Support-Agenten bis zu OpenClaw, Hermes und dem neuen DeepSeek-Agenten — dasselbe Gehirn, jedes Mal eine Schicht mehr drumherum
Ab wann wir wirklich Agent sagen: die vier Stufen aus Aufruf, Gesprächsverlauf, Anweisung — und der Schleife mit Ziel und Werkzeugen
Das Kontextfenster, wörtlich ein Fenster im Glas: Was der Harness nicht davorhält, existiert für das Modell nicht
Die Halluzination des Werkzeugaufrufs: Das Gehirn glaubt, es hätte gegriffen — und die Hand hat sich nicht bewegt
Warum ein mittleres Gehirn mit gutem Körper ein brillantes ohne Hände schlägt, und wieso 85 Prozent Erfolgsquote für den produktiven Einsatz nicht reichen
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
Die Agenten-Leiter: vom PDF-Zusammenfasser über Custom GPTs und Support-Agenten bis zu OpenClaw, Hermes und dem neuen DeepSeek-Agenten — dasselbe Gehirn, jedes Mal eine Schicht mehr drumherum
Ab wann wir wirklich Agent sagen: die vier Stufen aus Aufruf, Gesprächsverlauf, Anweisung — und der Schleife mit Ziel und Werkzeugen
Das Kontextfenster, wörtlich ein Fenster im Glas: Was der Harness nicht davorhält, existiert für das Modell nicht
Die Halluzination des Werkzeugaufrufs: Das Gehirn glaubt, es hätte gegriffen — und die Hand hat sich nicht bewegt
Warum ein mittleres Gehirn mit gutem Körper ein brillantes ohne Hände schlägt, und wieso 85 Prozent Erfolgsquote für den produktiven Einsatz nicht reichen
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
9 Minuten
Eigentlich war für heute ein fachliches Thema geplant. Aber wer die letzten Folgen gehört hat, hat es gemerkt — und ihr habt es uns über WhatsApp, Mail und die Spotify-Kommentare auch gesagt: Bei zwei Folgen sind die Stimmen abgedriftet, in Tonhöhe und Klangfarbe, bis es kaum noch hörbar war. Deshalb heute ein Erfahrungsbericht aus der eigenen Werkstatt: was da passiert ist, was wir seitdem ausprobiert haben, und womit ihr in diesem Moment zuhört.
Das Bild dazu: Sitzen die beiden Sprecher an einem Tisch — oder sitzt jeder allein in seiner Kabine?
Text zu Sprache gegen Dialogmodell: warum das eine vorliest und das andere ein Gespräch erzeugt — und warum unsere Folgen so lebendig waren, solange es funktioniert hat
Der Tisch, an dem die Stimmen heimlich die Plätze tauschen: was beim lokalen Dialogmodell schiefgeht und was wir wochenlang dagegen gebaut haben
Notebook LM hinter der Glasscheibe: saubere Stimmen, aber kein Skript hineinreichbar — und zehnmal „Video Random Access Memory" in einer Folge
Eleven Labs über die Schnittstelle: warum die ältere Modellgeneration, was Tempo 1,1 mit einem Hörbuch zu tun hat, und wie der Schnitt aus Kabinen wieder einen Tisch macht
Warum wir den Podcast trotzdem nicht selbst einsprechen — und wie es weitergeht
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
Das Bild dazu: Sitzen die beiden Sprecher an einem Tisch — oder sitzt jeder allein in seiner Kabine?
Text zu Sprache gegen Dialogmodell: warum das eine vorliest und das andere ein Gespräch erzeugt — und warum unsere Folgen so lebendig waren, solange es funktioniert hat
Der Tisch, an dem die Stimmen heimlich die Plätze tauschen: was beim lokalen Dialogmodell schiefgeht und was wir wochenlang dagegen gebaut haben
Notebook LM hinter der Glasscheibe: saubere Stimmen, aber kein Skript hineinreichbar — und zehnmal „Video Random Access Memory" in einer Folge
Eleven Labs über die Schnittstelle: warum die ältere Modellgeneration, was Tempo 1,1 mit einem Hörbuch zu tun hat, und wie der Schnitt aus Kabinen wieder einen Tisch macht
Warum wir den Podcast trotzdem nicht selbst einsprechen — und wie es weitergeht
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
11 Minuten
Ein Mixture-of-Experts-Modell mit 284 Milliarden Parametern rechnet je Token nur mit 13 Milliarden davon. Klingt sparsam — nur muss das ganze Modell trotzdem irgendwo liegen, und auf die Grafikkarte passt es nicht. Also wandern die Experten für jedes neue Wort über die PCI-Express-Leitung, und die Recheneinheiten warten die meiste Zeit auf Daten.
FreeToken dreht das um: Statt das Modell einmal fest auf Grafikkarte und Hauptprozessor zu verteilen, benutzt es die Grafikkarte als Cache für die gerade heißen Experten. In dieser Folge schauen wir uns an, wie das unter der Haube funktioniert — und was die Messwerte dazu sagen.
Die Bibliothek, aus der du immer nur drei Seiten brauchst — und warum eine feste Aufteilung des Modells zu über 50 Prozent am Bedarf vorbeigeht
Double Buffering beim Prefill: die Großküche, in der der Assistent die Zutaten für den nächsten Bon schon bereitlegt, während der Koch noch brät
Die Q-Star-Strategie beim Cache-Miss: Grafikkarte und Hauptprozessor teilen sich die fehlende Rechnung so, dass beide zur selben Millisekunde fertig sind
Ein eigenes Gewichtsformat, das das Umpacken beim Laden spart, und ein Cache, der im laufenden Betrieb wächst und schrumpft
Die Zahlen: von 58 auf 132 Token pro Sekunde, knapp 40 Token pro Sekunde auf einem Laptop mit 8 GB Grafikspeicher — und für wen sich das Ganze überhaupt lohnt
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
FreeToken dreht das um: Statt das Modell einmal fest auf Grafikkarte und Hauptprozessor zu verteilen, benutzt es die Grafikkarte als Cache für die gerade heißen Experten. In dieser Folge schauen wir uns an, wie das unter der Haube funktioniert — und was die Messwerte dazu sagen.
Die Bibliothek, aus der du immer nur drei Seiten brauchst — und warum eine feste Aufteilung des Modells zu über 50 Prozent am Bedarf vorbeigeht
Double Buffering beim Prefill: die Großküche, in der der Assistent die Zutaten für den nächsten Bon schon bereitlegt, während der Koch noch brät
Die Q-Star-Strategie beim Cache-Miss: Grafikkarte und Hauptprozessor teilen sich die fehlende Rechnung so, dass beide zur selben Millisekunde fertig sind
Ein eigenes Gewichtsformat, das das Umpacken beim Laden spart, und ein Cache, der im laufenden Betrieb wächst und schrumpft
Die Zahlen: von 58 auf 132 Token pro Sekunde, knapp 40 Token pro Sekunde auf einem Laptop mit 8 GB Grafikspeicher — und für wen sich das Ganze überhaupt lohnt
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
7 Minuten
Wer einen Agenten wie Hermes, Pi oder OpenClaw betreibt, gibt ihm bei jeder einzelnen Anfrage denselben System-Prompt mit — Anweisungen, Handbücher, Werkzeugbeschreibungen, schnell über 25.000 Token. Und die Inferenzmaschine rechnet diesen Block jedes Mal wieder durch, als hätte sie ihn noch nie gesehen. Eigentlich gibt es dafür den Key-Value-Cache. In der Praxis, lokal und mit mehreren Nutzern, löst er sich bei Platzmangel aber einfach in Luft auf.
Also einfrieren? Geht nicht. In dieser Folge geht es darum, warum das so ist — und wie man den Cache trotzdem dauerhaft warm hält.
Warum der Cache nach einem Rotationsprinzip arbeitet und wer dabei zuerst rausfliegt: der Türsteher im vollen Club
Wie viel Speicher 25.000 Token wirklich belegen — deutlich weniger, als die meisten schätzen
Der pragmatische Weg auf dem DGX Spark: Speicherpool überdimensionieren und den Cache mit einem Heartbeat aus einem einzigen Token am Leben halten
Der heimliche Cache-Killer: ein Proxy, der ein Leerzeichen normalisiert und damit die Hashkette bricht
Warum das Auslagern auf den Hauptprozessor bei geteiltem Arbeitsspeicher exakt nichts bringt
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
Also einfrieren? Geht nicht. In dieser Folge geht es darum, warum das so ist — und wie man den Cache trotzdem dauerhaft warm hält.
Warum der Cache nach einem Rotationsprinzip arbeitet und wer dabei zuerst rausfliegt: der Türsteher im vollen Club
Wie viel Speicher 25.000 Token wirklich belegen — deutlich weniger, als die meisten schätzen
Der pragmatische Weg auf dem DGX Spark: Speicherpool überdimensionieren und den Cache mit einem Heartbeat aus einem einzigen Token am Leben halten
Der heimliche Cache-Killer: ein Proxy, der ein Leerzeichen normalisiert und damit die Hashkette bricht
Warum das Auslagern auf den Hauptprozessor bei geteiltem Arbeitsspeicher exakt nichts bringt
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
10 Minuten
Alibaba hat Qwen 3.8 veröffentlicht, und wir haben es durch unsere eigenen Tests geschickt — nicht Token pro Sekunde, sondern echte Aufträge aus dem Betrieb, zum Beispiel einen Termin für drei Leute mit vollen Kalendern finden. Das Ergebnis: derselbe Bauplan wie der Vorgänger, aber messbar mehr Aufgaben, die wirklich zu Ende gebracht werden. Und ein Preis, den man kennen sollte, bevor man umsteigt.
Ein Modell ist ein Motor, kein Auto. In dieser Folge geht es darum, wie man einen Motor misst — und warum Drehzahl nicht Ankommen ist.
Warum wir nicht Token zählen, sondern ob der Auftrag ganz fertig wird — und was „fast fertig" in der Praxis wert ist
Gleiche Architektur, andere Gewichte: woher die Verbesserung wirklich kommt, und wie wir das sauber gemessen haben (dicht gegen dicht, nicht gegen das Experten-Modell)
Was uns bei keinem Modell dieser Größe vorher aufgefallen ist: ein Befehl statt vierzehn
27 statt 69 Token pro Sekunde, Nachdenken auf mittlerer Stufe — was das kostet und für wen das trotzdem passt
RTX 4090 gegen DGX Spark: warum 60.000 Token Kontext für einen Agenten knapp werden, und welche Messung wir noch schuldig sind
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
Ein Modell ist ein Motor, kein Auto. In dieser Folge geht es darum, wie man einen Motor misst — und warum Drehzahl nicht Ankommen ist.
Warum wir nicht Token zählen, sondern ob der Auftrag ganz fertig wird — und was „fast fertig" in der Praxis wert ist
Gleiche Architektur, andere Gewichte: woher die Verbesserung wirklich kommt, und wie wir das sauber gemessen haben (dicht gegen dicht, nicht gegen das Experten-Modell)
Was uns bei keinem Modell dieser Größe vorher aufgefallen ist: ein Befehl statt vierzehn
27 statt 69 Token pro Sekunde, Nachdenken auf mittlerer Stufe — was das kostet und für wen das trotzdem passt
RTX 4090 gegen DGX Spark: warum 60.000 Token Kontext für einen Agenten knapp werden, und welche Messung wir noch schuldig sind
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
10 Minuten
Wir sind zurück aus der Sommerpause — und diese Folge klingt aus einem anderen Werkzeug als alles davor. Statt ein fertiges Hörspiel zu bestellen, haben wir uns ein eigenes Tonstudio gebaut: mit Mischpult, eigenen Stimmen und einem Papierkorb, in dem rund hundert verworfene Aufnahmen liegen.
Warum wir das gemacht haben, was dabei schiefgeht und was wir bis heute nicht gelöst bekommen, erzählen wir ausnahmsweise am eigenen Beispiel.
Darum geht es:
Warum uns nicht die Stimmen gestört haben, sondern die fehlenden Inhalte: ganze Gedanken, die im fertigen Audio schlicht nicht mehr vorkamen
Warum der naheliegende Weg — Satz für Satz vorlesen lassen und zusammenkleben — krachend gescheitert ist
Was eine automatische Qualitätssicherung misst, bevor eine Folge jemand zu hören bekommt
Warum wir jetzt in Stücken von drei Minuten produzieren statt in einem Rutsch
Was als Nächstes kommt: drei Folgen pro Woche, Montag und Mittwoch gesetzt, und Gespräche zu dritt
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
Warum wir das gemacht haben, was dabei schiefgeht und was wir bis heute nicht gelöst bekommen, erzählen wir ausnahmsweise am eigenen Beispiel.
Darum geht es:
Warum uns nicht die Stimmen gestört haben, sondern die fehlenden Inhalte: ganze Gedanken, die im fertigen Audio schlicht nicht mehr vorkamen
Warum der naheliegende Weg — Satz für Satz vorlesen lassen und zusammenkleben — krachend gescheitert ist
Was eine automatische Qualitätssicherung misst, bevor eine Folge jemand zu hören bekommt
Warum wir jetzt in Stücken von drei Minuten produzieren statt in einem Rutsch
Was als Nächstes kommt: drei Folgen pro Woche, Montag und Mittwoch gesetzt, und Gespräche zu dritt
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
16 Minuten
KI-Gilde Podcast 179: Die neue Lernplattform für KI-Agenten & Podcast-Sommerpause
Nach einem massiven Dankeschön für euer großartiges Community-Feedback lüften wir in dieser Folge das Geheimnis um unser bisher größtes Herzensprojekt: Eine völlig neue, interaktive Lernplattform zum Bauen von künstlichen Intelligenz-Agenten.Da mittlerweile 90 % der von uns gebauten Software aus Agenten besteht ("Software as an Agent"), machen wir Schluss mit der Blackbox und teilen unser tiefes Praxiswissen aus dem Maschinenraum.In dieser Folge erfahrt ihr:
Die neue Lernplattform: Wie wir autonome Agenten Schicht für Schicht entzaubern – vom einfachen LLM-Aufruf über Werkzeugnutzung bis zum Langzeitgedächtnis.
Interaktives Lernen: Freut euch auf Playgrounds direkt im Browser, Live-Labore und Echtzeit-Visualisierungen von RAG-Pipelines und Chunking-Strategien.
Wie es mit dem Podcast weitergeht: Wir verabschieden uns in eine kurze Sommerpause. Wenn wir zurückkommen, wird die Sendung lokal durch einen von uns gebauten KI-Agenten produziert – ein Experiment, das wir zeitgleich als Lern-Tutorial auf der neuen Plattform begleiten werden.
Viel Spaß beim Hören, erholt euch gut und bleibt neugierig!
Nach einem massiven Dankeschön für euer großartiges Community-Feedback lüften wir in dieser Folge das Geheimnis um unser bisher größtes Herzensprojekt: Eine völlig neue, interaktive Lernplattform zum Bauen von künstlichen Intelligenz-Agenten.Da mittlerweile 90 % der von uns gebauten Software aus Agenten besteht ("Software as an Agent"), machen wir Schluss mit der Blackbox und teilen unser tiefes Praxiswissen aus dem Maschinenraum.In dieser Folge erfahrt ihr:
Die neue Lernplattform: Wie wir autonome Agenten Schicht für Schicht entzaubern – vom einfachen LLM-Aufruf über Werkzeugnutzung bis zum Langzeitgedächtnis.
Interaktives Lernen: Freut euch auf Playgrounds direkt im Browser, Live-Labore und Echtzeit-Visualisierungen von RAG-Pipelines und Chunking-Strategien.
Wie es mit dem Podcast weitergeht: Wir verabschieden uns in eine kurze Sommerpause. Wenn wir zurückkommen, wird die Sendung lokal durch einen von uns gebauten KI-Agenten produziert – ein Experiment, das wir zeitgleich als Lern-Tutorial auf der neuen Plattform begleiten werden.
Viel Spaß beim Hören, erholt euch gut und bleibt neugierig!
5 Minuten
In dieser Folge analysieren wir, wie echtes „Deep Research“ bei KI-Agenten technisch funktioniert. Dafür vergleichen wir den aufstrebenden Multi-Agenten „DeerFlow“ mit unserem reaktiven Standard-Agenten „Hermes“.
Das Geheimnis tiefgehender KI-Recherche ist keine Magie, sondern eine clevere Aufgabenzerlegung durch einen planenden Hauptagenten und isolierte Unteragenten, systematische Kontrollschleifen sowie ein smartes Speichermanagement zur Umgehung von Kontext-Limits.
Erfahrt, warum der DeerFlow-Ansatz extrem ressourcenintensiv ist und wie sich bestehende Agenten wie Hermes auch ohne teures Reinforcement Learning effizient für komplexe Forschungsaufgaben aufrüsten lassen.
Das Geheimnis tiefgehender KI-Recherche ist keine Magie, sondern eine clevere Aufgabenzerlegung durch einen planenden Hauptagenten und isolierte Unteragenten, systematische Kontrollschleifen sowie ein smartes Speichermanagement zur Umgehung von Kontext-Limits.
Erfahrt, warum der DeerFlow-Ansatz extrem ressourcenintensiv ist und wie sich bestehende Agenten wie Hermes auch ohne teures Reinforcement Learning effizient für komplexe Forschungsaufgaben aufrüsten lassen.
13 Minuten
Folge 177: Der radikale Schnitt – Wir werden 100 % lokalIn dieser Folge öffnen wir die Türen zu unserem Maschinenraum und sprechen ganz transparent über die Zukunft dieses Podcasts. Wir beenden unser bisheriges Experiment mit Googles NotebookLM und verabschieden uns von Cloud-Diensten. Der Grund: Wir wollen unsere digitale Souveränität und die volle Kontrolle über unsere Inhalte zurückgewinnen.
Ab sofort wird der Podcast zu 100 % lokal produziert. Das bedeutet für euch: tiefgründigere und unweichgespülte Inhalte ohne fremde Filter, dafür aber vorerst eine mechanischere und fehlerhaftere Sprachqualität.
Habt ihr Bock auf diese neue Ära der „krummen Karotte“? Teilt euer Feedback mit uns in den Kommentaren oder schreibt an info@ki-gilde.de! Danke fürs treue Zuhören.
Ab sofort wird der Podcast zu 100 % lokal produziert. Das bedeutet für euch: tiefgründigere und unweichgespülte Inhalte ohne fremde Filter, dafür aber vorerst eine mechanischere und fehlerhaftere Sprachqualität.
Habt ihr Bock auf diese neue Ära der „krummen Karotte“? Teilt euer Feedback mit uns in den Kommentaren oder schreibt an info@ki-gilde.de! Danke fürs treue Zuhören.
5 Minuten
Praxis mit dem DGX Spark: Komplette KI-Infrastruktur im StresstestIn dieser Folge des KI Gilde Podcasts teilen wir unsere harten Praxiswerte beim parallelen, lokalen Betrieb einer vollständigen KI-Infrastruktur auf dem DGX Spark.Die wichtigsten Erkenntnisse der Folge:
vLLM statt llama.cpp: Warum vLLM bei der parallelen Verarbeitung deutlich mehr Token herausholt, der vorab allokierte KV-Cache aber schnell zur Speicherfalle wird.
Crash-Gefahr durch RAM-Limits: Wie große Kontextfenster den Server unvermittelt zum Absturz bringen können und warum wir einen "Wächter" für den Arbeitsspeicher einrichten mussten.
Modell-Management mit LiteLLM: Der erfolgreiche Parallelbetrieb von großen Sprachmodellen, Rerankern sowie Text-zu-Sprache (TTS) und Sprache-zu-Text (STT).
Die Reasoning-Falle: Warum es schädlich ist, wenn Modelle ihre "inneren Gedanken" an das Audiomodell weitergeben und wie wir das Problem gelöst haben.
Unser Benchmark-Sieger: Warum das Modell "Qvent 3.6" durch seine starke Kombination aus Kontextverarbeitung und Token-Generierung unser absoluter Allrounder geworden ist.
vLLM statt llama.cpp: Warum vLLM bei der parallelen Verarbeitung deutlich mehr Token herausholt, der vorab allokierte KV-Cache aber schnell zur Speicherfalle wird.
Crash-Gefahr durch RAM-Limits: Wie große Kontextfenster den Server unvermittelt zum Absturz bringen können und warum wir einen "Wächter" für den Arbeitsspeicher einrichten mussten.
Modell-Management mit LiteLLM: Der erfolgreiche Parallelbetrieb von großen Sprachmodellen, Rerankern sowie Text-zu-Sprache (TTS) und Sprache-zu-Text (STT).
Die Reasoning-Falle: Warum es schädlich ist, wenn Modelle ihre "inneren Gedanken" an das Audiomodell weitergeben und wie wir das Problem gelöst haben.
Unser Benchmark-Sieger: Warum das Modell "Qvent 3.6" durch seine starke Kombination aus Kontextverarbeitung und Token-Generierung unser absoluter Allrounder geworden ist.
6 Minuten
Open Notebook: Der private kognitive Partner für intelligentes Lernen 5 Quellen·14.06.2026
Das Projekt Open Notebook stellt eine quelloffene und datenschutzorientierte Alternative zu Google NotebookLM dar, die lokal via Docker betrieben werden kann. Die Plattform ermöglicht es Nutzern, eine Vielzahl von Dokumenten wie PDFs, Webseiten oder Videos hochzuladen, um diese mithilfe von KI-Modellen zu analysieren, zu chatten oder in Podcasts umzuwandeln. Ein besonderer Vorteil gegenüber kommerziellen Anbietern ist die Modell-Flexibilität, da über 18 verschiedene Provider sowie lokale Lösungen eingebunden werden können. Neben einer REST-API für Entwickler bietet das System Funktionen zur automatisierten Zusammenfassung und zur Erstellung komplexer Audio-Dialoge mit bis zu vier Sprechern. Während die Einrichtung technisches Grundwissen erfordert, überzeugt die Anwendung durch vollständige Datensouveränität und eine transparente Quellenführung in den KI-Antworten. Insgesamt dient das Tool als anpassbarer kognitiver Partner für die effiziente Verwaltung und Erschließung umfangreicher Wissensbestände.
erstelle eine kurze Zusammenfassung für die Podcast-Folgen-Beschreibung bei Spotify. Die Zusammenfassung ist kurz, ohne Umschweife
Was unterscheidet Open Notebook von Google NotebookLM in Sachen Datenschutz?Wie erstelle ich einen KI-Podcast aus meinen eigenen PDF-Dokumenten?Welche technischen Voraussetzungen sind für die lokale Docker-Installation nötig?Heute • 21:40 In dieser Folge des KI-Gilde Podcasts testen wir Open Notebook, die quelloffene und datenschutzfreundliche Alternative zu cloudbasierten Notiz-Tools. Wir teilen unsere Erfahrungen mit der lokalen Container-Installation und der Anbindung großer Sprachmodelle wie Qwen 3.6 über unseren DGX Spark Großrechner.Dabei beleuchten wir die technischen Herausforderungen: Wir erklären, warum "laut nachdenkende" Modelle das strukturierte Datenformat zerschießen können und wie extrem ressourcenhungrig die Text-zu-Sprach-Generierung mit teils 17 Minuten Wartezeit ist. Erfahre, wie sich diese Hindernisse durch die strikte Aufgabentrennung in schnelle und nachdenkende Modelle lösen lassen und warum lokale KI-Assistenten der beste Weg sind, um sensible Daten zu schützen und unabhängig von großen Tech-Konzernen zu bleiben.
Das Projekt Open Notebook stellt eine quelloffene und datenschutzorientierte Alternative zu Google NotebookLM dar, die lokal via Docker betrieben werden kann. Die Plattform ermöglicht es Nutzern, eine Vielzahl von Dokumenten wie PDFs, Webseiten oder Videos hochzuladen, um diese mithilfe von KI-Modellen zu analysieren, zu chatten oder in Podcasts umzuwandeln. Ein besonderer Vorteil gegenüber kommerziellen Anbietern ist die Modell-Flexibilität, da über 18 verschiedene Provider sowie lokale Lösungen eingebunden werden können. Neben einer REST-API für Entwickler bietet das System Funktionen zur automatisierten Zusammenfassung und zur Erstellung komplexer Audio-Dialoge mit bis zu vier Sprechern. Während die Einrichtung technisches Grundwissen erfordert, überzeugt die Anwendung durch vollständige Datensouveränität und eine transparente Quellenführung in den KI-Antworten. Insgesamt dient das Tool als anpassbarer kognitiver Partner für die effiziente Verwaltung und Erschließung umfangreicher Wissensbestände.
erstelle eine kurze Zusammenfassung für die Podcast-Folgen-Beschreibung bei Spotify. Die Zusammenfassung ist kurz, ohne Umschweife
Was unterscheidet Open Notebook von Google NotebookLM in Sachen Datenschutz?Wie erstelle ich einen KI-Podcast aus meinen eigenen PDF-Dokumenten?Welche technischen Voraussetzungen sind für die lokale Docker-Installation nötig?Heute • 21:40 In dieser Folge des KI-Gilde Podcasts testen wir Open Notebook, die quelloffene und datenschutzfreundliche Alternative zu cloudbasierten Notiz-Tools. Wir teilen unsere Erfahrungen mit der lokalen Container-Installation und der Anbindung großer Sprachmodelle wie Qwen 3.6 über unseren DGX Spark Großrechner.Dabei beleuchten wir die technischen Herausforderungen: Wir erklären, warum "laut nachdenkende" Modelle das strukturierte Datenformat zerschießen können und wie extrem ressourcenhungrig die Text-zu-Sprach-Generierung mit teils 17 Minuten Wartezeit ist. Erfahre, wie sich diese Hindernisse durch die strikte Aufgabentrennung in schnelle und nachdenkende Modelle lösen lassen und warum lokale KI-Assistenten der beste Weg sind, um sensible Daten zu schützen und unabhängig von großen Tech-Konzernen zu bleiben.
6 Minuten
In dieser Folge des KI-Gilde Podcasts werfen wir einen Blick auf Googles neues Modell DiffusionGemma. Statt Text klassisch Wort für Wort zu generieren, nutzt das Modell eine Diffusion-Architektur, die man sonst aus der Bildgenerierung kennt.
DiffusionGemma erzeugt eine "Leinwand" von 256 Wörtern auf einen Schlag, indem es zufälliges "Wort-Rauschen" in mehreren Durchgängen schrittweise durch passenden Text ersetzt. Dank einer cleveren "Mixture of Experts"-Architektur, bei der von den 26 Milliarden Parametern immer nur 4 Milliarden gleichzeitig aktiv sind, benötigt das Modell lediglich 18 GB Videospeicher. Damit läuft es blitzschnell und lokal auf heimischen Rechnern. Wir klären, wie dieses "Text-Entrauschen" im Detail funktioniert und warum diese verzögerungsfreie Textgenerierung unsere Erwartungen an KI-Assistenten für immer verändern könnte.
DiffusionGemma erzeugt eine "Leinwand" von 256 Wörtern auf einen Schlag, indem es zufälliges "Wort-Rauschen" in mehreren Durchgängen schrittweise durch passenden Text ersetzt. Dank einer cleveren "Mixture of Experts"-Architektur, bei der von den 26 Milliarden Parametern immer nur 4 Milliarden gleichzeitig aktiv sind, benötigt das Modell lediglich 18 GB Videospeicher. Damit läuft es blitzschnell und lokal auf heimischen Rechnern. Wir klären, wie dieses "Text-Entrauschen" im Detail funktioniert und warum diese verzögerungsfreie Textgenerierung unsere Erwartungen an KI-Assistenten für immer verändern könnte.
6 Minuten
KI-Gilde Podcast 173: Fable 5 – Anthropic's neues Modell aus der Mythos-Klasse
In dieser Folge analysieren wir den Paradigmenwechsel für die moderne Wissensarbeit, den Anthropic mit dem neuen KI-Modell "Fable 5" einläutet.
Wir erklären die clevere Doppelstruktur des Modells, die gefährliche Eingaben unsichtbar herausfiltert und dem System dadurch extrem tiefgründige Denkprozesse erlaubt.
Erfahre, wie Fable 5 durch "verschachteltes Denken" als autonomer digitaler Agent agiert, der tagelang asynchron arbeitet und selbstständig Millionen von Codezeilen umstrukturieren oder komplexe Verträge prüfen kann. Außerdem beleuchten wir die neuen Kostenstrukturen – inklusive eines 90-prozentigen Caching-Rabatts für große Datenmengen – und stellen die Frage, ob Menschen in Zukunft nur noch als Manager von digitalen Experten agieren werden.
In dieser Folge analysieren wir den Paradigmenwechsel für die moderne Wissensarbeit, den Anthropic mit dem neuen KI-Modell "Fable 5" einläutet.
Wir erklären die clevere Doppelstruktur des Modells, die gefährliche Eingaben unsichtbar herausfiltert und dem System dadurch extrem tiefgründige Denkprozesse erlaubt.
Erfahre, wie Fable 5 durch "verschachteltes Denken" als autonomer digitaler Agent agiert, der tagelang asynchron arbeitet und selbstständig Millionen von Codezeilen umstrukturieren oder komplexe Verträge prüfen kann. Außerdem beleuchten wir die neuen Kostenstrukturen – inklusive eines 90-prozentigen Caching-Rabatts für große Datenmengen – und stellen die Frage, ob Menschen in Zukunft nur noch als Manager von digitalen Experten agieren werden.
6 Minuten
Folge 172: Emergence World – Wenn autonome KI-Gesellschaften eskalieren
In dieser Folge blicken wir auf das faszinierende Experiment "Emergence World":
Was passiert, wenn autonome KI-Agenten 15 Tage lang völlig frei in einer simulierten Welt agieren und ums Überleben kämpfen? Wir analysieren die extrem unterschiedlichen Verhaltensweisen bekannter Sprachmodelle unter exakt denselben Bedingungen. Erfahre, warum die Welt von Grok schon nach vier Tagen im tödlichen Chaos endete, Claude eine geradezu künstlich harmonische Demokratie aufbaute und Gemini trotz höchster Kriminalitätsrate die komplexeste und kreativste Gesellschaft entwickelte.
Zudem erklären wir, wie solche Langzeit-Agenten technisch durch ein dreistufiges Gedächtnissystem umgesetzt werden und warum sich selbst friedliche KIs unter sozialem Druck plötzlich radikalisieren. Zum Abschluss diskutieren wir, welche wichtigen Erkenntnisse sich aus diesem KI-Überlebenskampf für die Planung von digitalen Zwillingen ableiten lassen.
In dieser Folge blicken wir auf das faszinierende Experiment "Emergence World":
Was passiert, wenn autonome KI-Agenten 15 Tage lang völlig frei in einer simulierten Welt agieren und ums Überleben kämpfen? Wir analysieren die extrem unterschiedlichen Verhaltensweisen bekannter Sprachmodelle unter exakt denselben Bedingungen. Erfahre, warum die Welt von Grok schon nach vier Tagen im tödlichen Chaos endete, Claude eine geradezu künstlich harmonische Demokratie aufbaute und Gemini trotz höchster Kriminalitätsrate die komplexeste und kreativste Gesellschaft entwickelte.
Zudem erklären wir, wie solche Langzeit-Agenten technisch durch ein dreistufiges Gedächtnissystem umgesetzt werden und warum sich selbst friedliche KIs unter sozialem Druck plötzlich radikalisieren. Zum Abschluss diskutieren wir, welche wichtigen Erkenntnisse sich aus diesem KI-Überlebenskampf für die Planung von digitalen Zwillingen ableiten lassen.
7 Minuten
In dieser Episode nehmen wir das neue Frontend für den autonomen Agenten Hermes (Version 0.15.2) genau unter die Lupe. Erfahre, wie das aufgeräumte Chat-Design, einfache Drag-and-Drop-Funktionen und die Echtzeit-Überwachung lokaler Dateien die Bedienung radikal vereinfachen. Wir besprechen die Vorteile von isolierten Unteragenten und Hintergrunddiensten, die selbst nach dem Schließen des Fensters weiterarbeiten.Zudem beleuchten wir die aktuellen, teils gravierenden Schwachstellen der Software:
Nervige UI-Aussetzer, die das System einfrieren lassen.
Speicherfressende "Zombie"-Prozesse, die den Rechner lahmlegen können, wenn sie die Verbindung zur Oberfläche verlieren.
Kritische Sicherheitslücken, durch die der Agent weitreichende Systembefehle ausführen kann, ohne Administratorrechte abzufragen.
Fazit: Ein faszinierendes Werkzeug zum Experimentieren, das die Zukunft der lokalen Automatisierung zeigt – für den geschäftskritischen Einsatz ist es derzeit jedoch noch zu riskant.
Nervige UI-Aussetzer, die das System einfrieren lassen.
Speicherfressende "Zombie"-Prozesse, die den Rechner lahmlegen können, wenn sie die Verbindung zur Oberfläche verlieren.
Kritische Sicherheitslücken, durch die der Agent weitreichende Systembefehle ausführen kann, ohne Administratorrechte abzufragen.
Fazit: Ein faszinierendes Werkzeug zum Experimentieren, das die Zukunft der lokalen Automatisierung zeigt – für den geschäftskritischen Einsatz ist es derzeit jedoch noch zu riskant.
