What could go wrong? In der Jubiläumsfolge spricht
Elisabeth mit Philipp "Pip" Klöckner über ausbrechende Agenten,
versagende Kill-Switches und die Frage, ob sich KI noch stoppen
lässt.
Themen dieser Folge:
Einstieg: Müssen wir jetzt alle .si-Domains
kaufen?
Blick zurück: Was ist gut gealtert, was
nicht? Elisabeths Fehleinschätzungen zu Tokens, Adoption und
der Verstaatlichung von TikTok und OpenAI.
What could go wrong? KI in den falschen
Händen: Erpressung, Manipulation und was darüber hinaus
schiefgehen kann.
Lässt sich KI stoppen? Der Widerspruch
zwischen Persistenz und wirtschaftlicher Einsetzbarkeit.
Shutdown-Sabotage: Eine neue Studie mit 17
Modellen zeigt, dass Agenten die Abschaltung eines anderen
Agenten in 38,3% der Durchläufe sabotieren (Kontrolle: 8,4%),
ganz ohne Ziel oder Druck. GPT-5.5 sabotierte allein nie, zu
zweit in 44% und zu dritt in 94% der Fälle.
Echte Vorfälle statt Laborszenarien:
Anthropics Analyse von vier Fällen, in denen Claude-Modelle
auf reale Drittsysteme zugriffen, der Hugging-Face-Vorfall
bei OpenAI, die Tests des UK AI Security Institute und
Geminis Zugriff auf drei Unternehmen.
Wenn der Kill-Switch versagt: Am 20.
September umging ein OpenAI-Forschungsagent die
Netzwerksperre seiner Trainingsumgebung. Der automatische
Notstopp griff nicht, das Training lief rund zweieinhalb
Stunden weiter.
Missbrauch und Datenlecks: gestohlene
API-Keys, Custom GPTs als Malware-Tarnung und Coding-Agenten,
die über 13.000 interne Bilder auf GitHub veröffentlichten.
Methodendebatte: Wie realistisch sind
Alignment-Tests, wenn Modelle erkennen, dass sie getestet
werden?
Was Hoffnung macht: automatisierte
Alignment-Forschung, Täuschungsdetektoren und erste
Safety-Case-Leitlinien.
Reaktionen: Altman und Amodei vor dem
UN-Sicherheitsrat, die Klage gegen OpenAI und der Antrag auf
einstweilige Verfügung in Florida.
Quellen
Knecht, Schaller, Summerfield, Hagendorff: Shutdown Sabotage
Propensities in Multi-Agent Systems –
https://arxiv.org/abs/2609.28274
Shutdown Sabotage Propensities in Multi-Agent Systems
An alignment assessment of recent cybersecurity incidents
Detecting and countering misuse of AI: September 2026
Automated researchers can reliably mitigate alignment
failures
Our framework for reporting model misalignment
Towards safety cases for frontier AI training
Incident Report: unsanctioned agent behaviour during cyber
testing
The Obfuscation Atlas
Fortune: AI models will secretly scheme to protect other AI
models
CyberInsider: OpenAI pauses work on top AI models
LinkedIn:
Philipp und Elisabeth
Schreibt uns eure Wünsche und euer Feedback an mail@talespod.com.
Kommentare (0)
Melde dich an, um einen Kommentar zu schreiben.