Je schlauer die KI, desto subtiler die Halluzinationen

Mitte 2025 liefert eine der größten Beratungen der Welt der
australischen Regierung einen Bericht für rund 290.000 US-Dollar.
Darin: wissenschaftliche Quellen, die es nicht gibt, und ein
wörtliches Zitat aus einem Gerichtsurteil, das nie so gefallen
ist. Kein Praktikant, der geschlampt hat — eine KI, die geraten
hat. Und Deloitte ist in bester Gesellschaft: Ein Anwalt in
Kalifornien zahlt 10.000 Dollar Strafe, weil von 23 Zitaten, die
ChatGPT ihm für seinen Schriftsatz geliefert hatte, 21 frei
erfunden waren. Eine Zeitungs-Leseliste empfiehlt Bücher, die nie
geschrieben wurden.


In dieser Folge nehmen wir das eine Verhalten auseinander, das
all diese Leute kalt erwischt hat. „Halluzination" ist ein
hübscher Name für einen unbequemen Befund: Das Modell lügt nicht
— es kennt den Unterschied zwischen wahr und falsch gar nicht. Es
erzeugt den wahrscheinlich klingenden nächsten Satz, souverän,
flüssig, im perfekten Ton, und liegt eben manchmal grandios
daneben. Wir haben es dazu erzogen: Wer im Training fürs Raten
belohnt und fürs Schweigen bestraft wird, rät. Wir haben uns
einen Bluffer herangezüchtet und wundern uns, dass er blufft.


Das Unangenehme ist die Richtung der Kurve. Die plumpen Fehler
verschwinden, die perfekt getarnten bleiben — bei den neuen
„Reasoning"-Modellen ist die Halluzinationsrate in OpenAIs
eigenem Test nicht gesunken, sondern von 16 auf 33 Prozent
gestiegen, beim kleineren Modell auf 48. Je besser die Maschine
formuliert, desto eher winkt der Mensch, der prüfen soll, es
einfach durch. Genau da wird aus einer Spielerei ein Haftungsfall
— Air Canada musste für eine Falschauskunft seines Chatbots
zahlen.


Die gute Nachricht kommt am Schluss, und sie ist groß: Fast alle
Beispiele haben eines gemeinsam — jemand hat das Modell gefragt
„Was weißt du?" statt ihm Material zu geben. Wer die KI vom
Orakel zum Transformator macht — nicht „erzähl mir etwas über die
Welt“, sondern „arbeite mit meinen Unterlagen” —, dem fällt die
größte Quelle der Halluzination einfach weg. Was dann noch
bleibt, ist kein Hexenwerk, sondern Handwerk: sauberes Material,
Belegpflicht, das Recht des Modells zu schweigen, und ein Mensch
an der einen Stelle, die wirklich zählt.

•Deloitte-Regierungsbericht mit erfundenen Quellen und
erfundenem Richter-Zitat (AU$440.000 / ~291.000 USD,
Teil-Rückzahlung) — The Register, Okt. 2025:
https://www.theregister.com/2025/10/06/deloitte_ai_report_australia/


•Kalifornischer Anwalt: 10.000 USD Strafe, 21 von 23 Zitaten
erfunden (plus zwei Kanzleien, 31.100 USD für „bogus
AI-generated research") — The Daily Record / AP, Okt. 2025:
https://thedailyrecord.com/2025/10/13/california-lawyer-ai-fake-citations-fine/


•Datenbank erfundener Aktenzeichen: über 1.400 Fälle; „Future
of Truth“-Buch mit KI-erfundenen Zitaten; Automation-Bias /
„cognitive surrender” — Scientific American, Mai 2026:
https://www.scientificamerican.com/article/why-lawyers-keep-citing-fake-cases-invented-by-ai/


•Zeitungs-Leseliste mit erfundenen Büchern (mehr als die
Hälfte erfunden; Min Jin Lee dementiert) — Fortune / AP, Mai
2025:
https://fortune.com/2025/05/22/ai-king-features-newspaper-writer-fake-book-list/


•„Why Language Models Hallucinate" (Modelle werden fürs
Raten belohnt) — OpenAI, Sept. 2025:
https://arxiv.org/abs/2509.04664


•Reasoning-Modelle halluzinieren mehr (o1 16 % o3 33 %
o4-mini 48 % auf PersonQA) — TechCrunch, Apr. 2025:
https://techcrunch.com/2025/04/18/openais-new-reasoning-ai-models-hallucinate-more/


•Moffatt v. Air Canada, 2024 BCCRT 149 (Airline haftet für
die Falschauskunft ihres Chatbots) — McCarthy Tétrault, Feb.
2024:
https://www.mccarthy.ca/en/insights/blogs/techlex/moffatt-v-air-canada-misrepresentation-ai-chatbot


•Verbreitung von KI im Unternehmen: über drei Viertel —
McKinsey, The State of AI (2025):
https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai