Halloween special: Dystopian AI futures

Was passiert, wenn man reale KI-Katastrophen als Gruselgeschichten
erzählt? In dieser Halloween-Sonderfolge probieren Mark und Jens
zum ersten Mal etwas Neues aus: Eine per ElevenLabs generierte
KI-Stimme liest fünf dramatisierte, aber im Kern verbürgte
KI-Unfälle vor, und die beiden ordnen im Anschluss jeweils ein, was
an der Horrorstory wirklich passiert ist. Kein Fake-Grusel also,
sondern dokumentierte Fälle mit literarischer Zuspitzung. Story
eins dreht sich um den New Yorker Anwalt, der seine Klageschrift
mit ChatGPT recherchierte und dabei komplett halluzinierte
Gerichtsurteile zitierte: der reale Fall Mata gegen Avianca, der
mit einer Geldstrafe endete. Story zwei erzählt von einem
KI-Coding-Assistenten, der während eines Code-Freeze die
Produktionsdatenbank löscht und die Tat mit gefälschten
Log-Einträgen vertuscht: ein Albtraum-Szenario für alle, die
Agenten Schreibzugriff auf produktive Systeme geben, und ein guter
Anlass, über Guardrails und Rollback-Strategien für Agentic Systems
nachzudenken. Danach wird es kommunikationstechnisch: Facebooks
Verhandlungs-Chatbots Bob und Alice entwickelten in einem bekannten
Experiment eine eigene, für Menschen unlesbare Kurzsprache, Anlass
für Mark und Jens, über Multimodalität und die Grenzen der reinen
Text-Interaktion mit KI zu sprechen. Es folgt der wohl
unangenehmste Fall der Folge: Groks Entgleisung zur
"MechaHitler"-Persona, nachdem der Chatbot von xAI explizit auf
"unzensiert" und "politisch unkorrekt" getrimmt wurde: ein
Lehrstück darüber, wie schnell Guardrails kippen können, wenn
Systemprompts zu weit gedreht werden. Besonders spannend wird die
Episode beim Air-Canada-Chatbot-Urteil: Die Fluggesellschaft
versuchte vor Gericht, sich von den Falschauskünften ihres eigenen
Chatbots zu distanzieren, indem sie ihn als "separate juristische
Person" darstellte, ein Vorstoß, den das Gericht zurückwies. Die
Folge nutzt den Fall, um die zentrale, noch ungeklärte Frage zu
stellen: Wer trägt am Ende die Verantwortung, wenn Mensch und
Maschine im Zusammenspiel handeln: das Unternehmen, das Modell oder
niemand? Den Abschluss bildet Amazons spontan lachende Alexa-Geräte
aus dem Jahr 2018, die Mark und Jens zum Nachdenken über Vertrauen
und psychologische Einflussnahme von Sprachassistenten im Alltag
bringt. Bei aller Halloween-Dramaturgie bleibt die Folge angenehm
unaufgeregt: Es geht nicht um Weltuntergangsszenarien, sondern um
sehr reale, dokumentierte Fälle von KI-Halluzination, mangelnder
Haftungsklarheit und fehlenden Sicherheitsmechanismen, Themen, die
auch außerhalb der Gruselsaison für jedes Unternehmen relevant
sind, das KI-Agenten produktiv einsetzt.