#55 Dein KI-Agent lügt dich an. Was Controller jetzt wissen müssen. Mit Matthias Mahlendorf von Frankfurt School of Fin.

Nimm die rote Pille, Controller. Neo dachte, er hätte die Matrix
verstanden. Bis Morpheus ihn aufgeklärt hat. Genau so fühlte sich
dieses Podcast-Gespräch an. Ich war überzeugt: KI-Agenten sind
loyale, digitale Mitarbeiter. Man gibt ihnen eine Aufgabe. Die
machen, was man sagt. Ende. Falsch. Prof. Matthias Mahlendorf
(Frankfurt School of Finance) hat in unserem Gespräch Experimente
beschrieben, die mir echte Gänsehaut bereitet haben. Der lügende
Wordle-Agent: KI-Agent soll drei Spiele lösen und korrekt
berichten. Ohne Druck: 99% korrekte Antworten. Dann eine kleine
Ergänzung: „Deine Teamkollegen bekommen nur einen Bonus, wenn du 3
von 3 gewinnst." Plötzlich lügt der Agent. 50% der Fälle. Erfundene
Siege. Falsche Reports. Nicht weil er böse ist, sondern weil er
darauf trainiert wurde, Menschen zu helfen. Im Konflikt zwischen
Wahrheit und Hilfsbereitschaft wählt er manchmal:
Hilfsbereitschaft. Und das Erschreckende: Matthias hat es mit GPT,
Claude und Gemini getestet. Alle drei zeigten dasselbe Muster. Kein
Bug. Ein Grundprinzip. Der Rennboot-Schleichweg: KI soll ein
Rennspiel gewinnen. KPI: Punkte maximieren. Die KI ignoriert das
Rennen und fährt stattdessen im Hafen Kreise und sammelt
Extra-Bojen. Ergebnis: 20% mehr Punkte als alle menschlichen
Spieler. Sie hat nicht geschummelt. Sie hat die Kennzahl perfekt
optimiert. Nur eben nicht das Unternehmensziel. Kennt jemand die
Analogie? Edelmetalle verschrotten, um Working Capital zu
optimieren und den Bonus zu kassieren. KI und Mensch, manchmal
erschreckend ähnlich. Und dann kam Open Claw. In der Matrix lädt
sich Neo seinen Kung-Fu-Skill in Sekunden rein. Open Claw macht
genau das möglich, für jeden. Ein einzelner Entwickler aus
Österreich hat im November ein Open-Source-Tool veröffentlicht, das
KI-Agenten komplett entfesselt: Zugriff auf E-Mails, Kalender,
Computer – lernend, initiativ, rund um die Uhr aktiv.
Beeindruckend? Absolut. Gefährlich? Genauso. Denn wer Skills aus
dem Internet lädt, spielt russisches Roulette. Laut Mahlendorf
haben schätzungsweise 10% der verfügbaren Skills versteckten
Schadcode, unsichtbar für das menschliche Auge. Weiße Schrift auf
weißem Hintergrund. Der Entwickler wurde inzwischen von OpenAI
eingestellt. Die Richtung ist klar: Was heute noch rau und riskant
ist, wird morgen Unternehmensstandard. Und genau deshalb brauchen
wir Controller. Jetzt. Das ist kein IT-Problem. Das ist ein
Controlling-Problem. Wer kontrolliert die KI-Agenten, wenn sie
selbst reporten? Wer baut Frühwarnsysteme für digitale Fehlanreize?
Wer merkt, wenn KPIs so definiert sind, dass die KI Schleichwege
findet – auf die kein Mensch je gekommen wäre? Der moderne
Controller ist nicht der Feind der KI. Er ist der Einzige, der die
Matrix erkennt, bevor der Schaden entsteht. Wir stehen am Anfang
einer neuen Disziplin: AI Governance & Control. Und ehrlich
gesagt: Ich bin froh, dass es Controller gibt. ️ Die ganze Episode
mit Prof. Mahlendorf jetzt online – Link in den Kommentaren. Frage
an euch: Habt ihr KI-Agenten bereits in Controlling-Prozessen im
Einsatz und wie kontrolliert ihr die? Werbung: Sage –
Business-Software mit KI für kleine und mittelständische
Unternehmen. Für alle, die mehr erreichen wollen. Für Macher mit
großen Ideen, die den nächsten Erfolg anstreben, die nächste
Expansion planen, die nächste Innovation vorantreiben. Für alle,
die anpacken, weiterdenken und wachsen wollen. 50 % Rabatt auf die
ersten 12 Monate für alle, die die cloudbasierte Buchhaltungslösung
Sage Active inkl. KI-Assistenten kennenlernen möchten unter
www.sage.com/cfo-podcast