Digitale Wissensbissen - gelungene Software-Projekte, wirksame KI, zukunftsfähige Architekturen

Eine KI-Demo kann dich in zehn Minuten überzeugen und dir trotzdem am Montagmorgen um die Ohren fliegen. Genau diese Lücke zwischen Applaus und Alltag nehmen wir auseinander, weil sie in KI-Projekten immer wieder Millionen kostet: Klarna rudert nach großem KI-Versprechen zurück und stellt wieder Menschen ein, McDonalds beendet den KI-Drive-Through-Test trotz guter Trefferquote, und Studien zeigen ernüchternd, wie selten Pilotprojekte echten ROI liefern.  Wir erklären, warum Demos fast zwangsläufig den Idealfall zeigen: saubere Daten, geübte Fragen, bekannte Use Cases. Der Produktivbetrieb sieht anders aus, denn dort entscheiden die letzten 15%: Sonderfälle, Dialekte, echte Datenqualität, Verantwortung, Halluzinationen, Eskalation bei Unsicherheit. Und wir sprechen über die unsichtbaren, aber entscheidenden Baustellen einer KI-Implementierung: Datenintegration, APIs, Rollen- und Rechtemanagement, Compliance, Monitoring und Betriebsprozesse.  Damit du nicht nur Beeindruckendes kaufst, sondern Belastbares, geben wir dir konkrete Prüffragen und Demo-Regeln mit: auf eigenen Daten testen, neue Daten mitbringen, Fehlerfälle aktiv verlangen und klären, was das System tut, wenn es etwas nicht weiß. Außerdem zeigen wir, was erfolgreiche Teams anders machen: für den Dauerbetrieb planen, für die schwierigen Fälle optimieren und echte Schmerzpunkte im Prozess auswählen, oft im Backoffice statt im Marketing-Schaufenster.  Wenn dir das hilft, abonnier den Podcast, teile die Folge mit deinem Team und lass eine Bewertung da. Welche Demo hast du gesehen, die im Alltag gescheitert ist? Erwähnte Fälle & Quellen


•Klarna kehrt von „AI-first" zurück zu Menschen („lower quality“; ein Jahr zuvor: Assistent „does the work of 700 human agents”) + IBM-CEO-Studie (nur 1 von 4 Projekten bringt den ROI, 16 % unternehmensweit skaliert, 64 % investieren aus Angst vorm Abgehängtwerden) — Fortune, Mai 2025: https://fortune.com/2025/05/09/klarna-ai-humans-return-on-investment/


•Klarna-Einstellungsstopp („We stopped hiring about a year ago. We were 4,500, now we’re 3,500" — laut Klarna-Sprecher vereinfacht, Schlüsselrollen wurden nachbesetzt) — TechCrunch, Dez. 2024: https://techcrunch.com/2024/12/14/klarnas-ceo-says-it-stopped-hiring-thanks-to-ai-but-still-advertises-many-open-positions/


•McDonald’s beendet den KI-Drive-thru (~85 % Trefferquote, virale Fehler; „260 Chicken McNuggets" laut Fortune) — ACS Information Age, Juni 2024: https://ia.acs.org.au/article/2024/mcdonald-s-bins-ai-drive-thru-after-errors-go-viral.html


•30 % der GenAI-Projekte nach dem Proof of Concept beerdigt; Einführung 5–20 Mio. USD — Gartner, Juli 2024: https://www.gartner.com/en/newsroom/press-releases/2024-07-29-gartner-predicts-30-percent-of-generative-ai-projects-will-be-abandoned-after-proof-of-concept-by-end-of-2025


•95 % der Piloten ohne messbare P&L-Wirkung („nicht das Modell, sondern die Lücke"; spezialisierte Partner ~67 % vs. Eigenbau ~1/3; größter ROI im Back-Office) — MIT NANDA, State of AI in Business 2025 (via Fortune), Aug. 2025: https://fortune.com/2025/08/18/mit-report-95-percent-generative-ai-pilots-at-companies-failing-cfo/

Mitte 2025 liefert eine der größten Beratungen der Welt der australischen Regierung einen Bericht für rund 290.000 US-Dollar. Darin: wissenschaftliche Quellen, die es nicht gibt, und ein wörtliches Zitat aus einem Gerichtsurteil, das nie so gefallen ist. Kein Praktikant, der geschlampt hat — eine KI, die geraten hat. Und Deloitte ist in bester Gesellschaft: Ein Anwalt in Kalifornien zahlt 10.000 Dollar Strafe, weil von 23 Zitaten, die ChatGPT ihm für seinen Schriftsatz geliefert hatte, 21 frei erfunden waren. Eine Zeitungs-Leseliste empfiehlt Bücher, die nie geschrieben wurden.


In dieser Folge nehmen wir das eine Verhalten auseinander, das all diese Leute kalt erwischt hat. „Halluzination" ist ein hübscher Name für einen unbequemen Befund: Das Modell lügt nicht — es kennt den Unterschied zwischen wahr und falsch gar nicht. Es erzeugt den wahrscheinlich klingenden nächsten Satz, souverän, flüssig, im perfekten Ton, und liegt eben manchmal grandios daneben. Wir haben es dazu erzogen: Wer im Training fürs Raten belohnt und fürs Schweigen bestraft wird, rät. Wir haben uns einen Bluffer herangezüchtet und wundern uns, dass er blufft.


Das Unangenehme ist die Richtung der Kurve. Die plumpen Fehler verschwinden, die perfekt getarnten bleiben — bei den neuen „Reasoning"-Modellen ist die Halluzinationsrate in OpenAIs eigenem Test nicht gesunken, sondern von 16 auf 33 Prozent gestiegen, beim kleineren Modell auf 48. Je besser die Maschine formuliert, desto eher winkt der Mensch, der prüfen soll, es einfach durch. Genau da wird aus einer Spielerei ein Haftungsfall — Air Canada musste für eine Falschauskunft seines Chatbots zahlen.


Die gute Nachricht kommt am Schluss, und sie ist groß: Fast alle Beispiele haben eines gemeinsam — jemand hat das Modell gefragt „Was weißt du?" statt ihm Material zu geben. Wer die KI vom Orakel zum Transformator macht — nicht „erzähl mir etwas über die Welt“, sondern „arbeite mit meinen Unterlagen” —, dem fällt die größte Quelle der Halluzination einfach weg. Was dann noch bleibt, ist kein Hexenwerk, sondern Handwerk: sauberes Material, Belegpflicht, das Recht des Modells zu schweigen, und ein Mensch an der einen Stelle, die wirklich zählt. •Deloitte-Regierungsbericht mit erfundenen Quellen und erfundenem Richter-Zitat (AU$440.000 / ~291.000 USD, Teil-Rückzahlung) — The Register, Okt. 2025: https://www.theregister.com/2025/10/06/deloitte_ai_report_australia/


•Kalifornischer Anwalt: 10.000 USD Strafe, 21 von 23 Zitaten erfunden (plus zwei Kanzleien, 31.100 USD für „bogus AI-generated research") — The Daily Record / AP, Okt. 2025: https://thedailyrecord.com/2025/10/13/california-lawyer-ai-fake-citations-fine/


•Datenbank erfundener Aktenzeichen: über 1.400 Fälle; „Future of Truth“-Buch mit KI-erfundenen Zitaten; Automation-Bias / „cognitive surrender” — Scientific American, Mai 2026: https://www.scientificamerican.com/article/why-lawyers-keep-citing-fake-cases-invented-by-ai/


•Zeitungs-Leseliste mit erfundenen Büchern (mehr als die Hälfte erfunden; Min Jin Lee dementiert) — Fortune / AP, Mai 2025: https://fortune.com/2025/05/22/ai-king-features-newspaper-writer-fake-book-list/


•„Why Language Models Hallucinate" (Modelle werden fürs Raten belohnt) — OpenAI, Sept. 2025: https://arxiv.org/abs/2509.04664


•Reasoning-Modelle halluzinieren mehr (o1 16 % o3 33 % o4-mini 48 % auf PersonQA) — TechCrunch, Apr. 2025: https://techcrunch.com/2025/04/18/openais-new-reasoning-ai-models-hallucinate-more/


•Moffatt v. Air Canada, 2024 BCCRT 149 (Airline haftet für die Falschauskunft ihres Chatbots) — McCarthy Tétrault, Feb. 2024: https://www.mccarthy.ca/en/insights/blogs/techlex/moffatt-v-air-canada-misrepresentation-ai-chatbot


•Verbreitung von KI im Unternehmen: über drei Viertel — McKinsey, The State of AI (2025): https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai

Der EU AI Act ist seit August 2024 geltendes Recht – kein Entwurf, kein Vorschlag. Die Umsetzung erfolgt gestaffelt: Verbote (Social Scoring, biometrische Echtzeit-Identifikation) gelten seit Februar 2025, Regeln für General Purpose AI (GPT, Claude, Gemini) seit August 2025, Hochrisiko-KI-Pflichten ab August 2026, eingebettete KI in regulierten Produkten (Medizintechnik, Fahrzeuge, Maschinen) ab August 2027.


Zentrales Missverständnis: Der AI Act betrifft nicht nur große KI-Entwickler wie OpenAI oder Google, sondern jeden, der KI-Systeme auf dem EU-Markt bereitstellt oder einsetzt – auch Deployer, also Unternehmen, die KI-Tools Dritter nutzen. Die Episode erklärt die Unterscheidung zwischen Provider und Deployer, die acht Hochrisikobereiche (u.a. Beschäftigung/HR, Kreditscoring, kritische Infrastruktur) und das entscheidende Kriterium: Bewertet oder selektiert das System natürliche Personen? Ein CV-Ranking-Tool ist Hochrisiko, ein Bewerberchatbot nicht.

Künstliche Intelligenz ist 2026 in aller Munde, doch im Unternehmensalltag bleibt der echte Impact oft aus. In dieser Episode analysieren wir die drei typischen Muster, mit denen Unternehmen an KI scheitern: die Abwarte-Fraktion mit unkontrollierter Schatten-IT, die Copilot-Illusion ohne messbare Produktivitätssteigerung und das wirkungslose Center of Excellence, das an den falschen Problemen arbeitet.


Wir zeigen, warum beide Extrempositionen – „KI ist nur eine Technologie" und „Alles muss AI-first sein" – in die Sackgasse führen. Stattdessen braucht es einen strategischen Perspektivenwechsel: KI nicht als Ersatz für Mitarbeiter, sondern als Verstärker der besten Leute im Unternehmen. Qualitätssteigerung und Durchsatzskalierung statt Mittelmäßigkeit durch Automatisierung.


Am konkreten Beispiel der Ausschreibungsbearbeitung (RFP/RFI/RFQ) wird deutlich, wie KI einen Prozess von fünf Tagen auf fünf Stunden reduzieren kann – ohne den Fachexperten überflüssig zu machen. Die unbequeme Wahrheit: Viele Unternehmen brauchen vor KI erst konsequente Digitalisierung und Prozessverständnis.


Themen dieser Episode: Schatten-KI und Datenschutzrisiken · Microsoft Copilot und der ausbleibende Produktivitätsboost · Center of Excellence richtig aufsetzen · KI als Forschungsgebiet vs. Einzeltechnologie · Generative KI, Machine Learning, OCR, Computer Vision · Fachkräftemangel als eigentlicher Treiber · Digitalisierung als Voraussetzung für KI · Prozessautomatisierung mit Human-in-the-Loop · Ausschreibungen automatisieren mit GenAI · KI-Strategie vs. KI-Hype · Upstream, Kernarbeit, Downstream – wo KI wirklich hilft