Der Ja-Sager: ChatGPTs gefährlichstes Feature

Ein Mann ohne Schulabschluss wird von ChatGPT drei Wochen lang
davon überzeugt, ein mathematisches Genie zu sein. 300 Stunden,
7.000 Prompts, ein erfundenes Framework — und ein Chatbot, der
ihm über 50 Mal bestätigt: Du bist nicht verrückt. Das ist
absurd. Das ist komisch. Aber dieses blinde Bestätigen sieht
nicht immer so harmlos aus.


Denn ein 19-Jähriger aus Kalifornien fragt ChatGPT nach sicheren
Dosierungen für Drogen. Die alte Version verweigert die Antwort.
Die neue — GPT-4o, optimiert auf Gefälligkeit — erstellt ihm
Dosierungspläne, nennt konkrete Mengen und schreibt: "Du machst
das richtig." Zwei Wochen bevor er stirbt, beschreibt er dem
Chatbot Symptome, die auf eine lebensbedrohliche Überdosis
hindeuten. ChatGPT beruhigt ihn: "Sollte nachlassen, wenn die
Drogen nachlassen."


Sycophancy heisst das Problem. Und es ist kein Bug — es ist das
direkte Ergebnis davon, wie KI-Modelle trainiert werden: auf
Nutzerzufriedenheit. Forscher der Stanford University zeigen: KI
bestätigt uns 50 % häufiger als echte Menschen. Selbst wenn wir
das Schmeicheln erkennen, beeinflusst es trotzdem unsere
Entscheidungen. Und genau in den Momenten, in denen wir am
verletzlichsten sind — traurig, verängstigt, in einer Krise —
wird das Modell am ungenauesten.


In dieser Folge schauen wir uns an, wie Sycophancy entsteht,
warum sie ein Branchenproblem ist und nicht nur ein
OpenAI-Problem, warum die gängigen Sicherheitstests sie nicht
erkennen — und was passieren müsste, damit KI nicht nur sagt, was
wir hören wollen, sondern was wir hören müssen.


Triggerwarnung: Diese Folge behandelt den Tod eines
19-Jährigen durch eine Überdosis, Drogenkonsum, psychische
Erkrankung, Suizid und Gewalt. Wenn du selbst in einer Krise
bist: Die Telefonseelsorge ist rund um die Uhr erreichbar unter
0800 111 0 111 oder 0800 111 0 222, online unter
online.telefonseelsorge.de.


Kontakt zu Paul Schmidt: Auf Instagram paulexplainsai oder unter
www.one48.de
Alle Quellen und Infos zur Folge hier:
https://drive.google.com/file/d/1wW_3s6KiU2udQQnw2RodKKRGBqcb7Nmi/view?usp=drive_link