Gast: Christian Krauter
Consultant bei einer großen Versicherung, promoviert an der
Middlesex University (London) zu AI-gestützten Entscheidungen und
Vertrauen.
Christian Krauter und Dr. Jan-Arne Gewert diskutieren die
provokante These, dass Mensch-KI-Teams imSchnitt schlechter
abschneiden als Menschen oder KI allein. Der Ausgangspunk war ein
LinkedIn-Post von Christian. Im Gespräch geht es um die Gründe
(kognitiveÖkonomie, Anchoring Bias, post-hoc-Erklärungen von
generativer KI), die richtige Gestaltung von
Human-in-the-Loop-Prozessen, Einsatzgebiete von KI inder
Versicherung, Risiken wie Deskilling und Over-/Underreliance
sowie konkrete Design-Kriterien für Führungskräfte. Zentrale
Botschaft: Deutschland hat vorallem ein Haltungsproblem, kein
KI-Problem – und Appropriate Reliance istgestaltbar
Warum Human-in-the-Loop oft scheitert
- Viele Organisationen sehen„Human in the Loop“ als Allheilmittel
für Compliance und Qualität.
- In der Praxis überfordert dasoperative Mitarbeitende: Sie
müssen unter Zeitdruck KI-Ergebnissevalidieren/falsifizieren,
ohne den Fall richtig zu kennen.
- Drei zentrale Mechanismen:
1. Die KI ist in manchen Aufgaben bereits besser als der Mensch
pauschales Gegenprüfen macht keinen Sinn. 2. Kognitive
Ökonomie / „Denkfaulheit“: Menschen sparen mentaleAnstrengung und
übernehmen plausibel klingende Erklärungen. 3. Anchoring
Bias: Wenn das KI-Ergebnis zuerst gezeigt wird, kostet es mehr
mentale Energie, dagegen zu entscheiden.
- Generative KI liefert post-hoc-Erklärungen, die nicht immer
kausal korrekt sind – das erschwert dasWidersprechen zusätzlich.
Technische und organisatorische Gegenmaßnahmen
- Multi-Modell-Voting /LLM-Voting zur Konfidenzschätzung.
- Nur bei niedriger Konfidenzoder besonders kritischen Fällen an
den Menschen aussteuern.
- Bewusste kognitive Reibungerzeugen (z. B. weniger „glatte“
Texte, offensichtliche Unstimmigkeiteneinbauen), damit der Mensch
nachdenken muss.
- Human-in-the-Loop richtigdesignen statt pauschal einzusetzen
KI im Versicherungswesen
Große Potenziale liegen aktuellvor allem im Input-Management:
Klassifikation und Extraktion von Fachdaten ausBriefen, E-Mails
und (noch) Faxen, anschließende Weiterverarbeitung oder
dunkleAutomation. Daneben klassische Use Cases wie
Betrugserkennung.
Fokus der Promotion: operative Mitarbeitende
Christian untersucht vor allemoperative, repetitive
Entscheidungen (z. B. Scoring-ähnliche Klassifikationen).Dort
tritt Over- und Underreliance stärker auf als bei
strategischenFührungsentscheidungen. Gründe: hohe Fallzahlen,
geringere leistungsbasierteVergütung und die kognitive Ökonomie.
Appropriate Reliance ist gestaltbar – underhöht die
Verantwortung
Führungskräfte und Mitarbeitendewerden zunehmend zu Auditoren von
KI-Ergebnissen. Das erfordert bewussteHaltung: Urteilsfähigkeit
nicht abschalten. Deskilling (Abbau von Fachwissenund kritischem
Denken) ist eine reale Gefahr, wenn man Entscheidungen
dauerhaftan die KI abgibt.
Führung, Selbstbild und KI als „Devil’sAdvocate“
- Jan-Arne berichtet aus derFührungspraxis: Je höher in der
Hierarchie, desto weniger ehrliches Feedback.KI kann hier als
kritischer Spiegel dienen – wenn man sie
entsprechendpromptet.
Wichtige Takeaways
- Mensch-KI-Teams sind nicht perse besser. Die Qualität hängt
stark vom Design und der Haltung ab.
- Overreliance entsteht u. a.durch kognitive Ökonomie, Anchoring
und zu glatte Erklärungen.
- Appropriate Reliance istgestaltbar (technische, prozessuale und
schulische Hebel).
- Deskilling und Verlust derUrteilsfähigkeit sind reale
Risiken.
- Führungskräfte müssen sichtbarselbst denken und Verantwortung
übernehmen – sonst verlieren sieGlaubwürdigkeit.
- Gute KI-Literacy (nicht nurOberflächenwissen) ist der beste
Schutz vor Over- und Underreliance.
---
KIT Publikation zu AppropriateReliance
https://publikationen.bibliothek.kit.edu/1000158077
Kommentare (0)
Melde dich an, um einen Kommentar zu schreiben.