Wenn KI eigene Wege geht: AI-Safety, Agenten und neue Risiken für den Mittelstand

In dieser Folge spricht Host Christian Dicke mit Prof. Dr. Sigurd
Schacht über eines der spannendsten und zugleich
herausforderndsten Themen der aktuellen KI-Entwicklung:
AI-Safety.


Prof. Dr. Sigurd Schacht ist Forschungsprofessor für
Sprachtechnologie und kognitive Assistenzsysteme an der
Hochschule Ansbach sowie Gründer und Direktor des QRAE
Forschungsinstituts. Im Gespräch ordnet er ein, warum AI-Safety
weit mehr bedeutet als klassische IT-Sicherheit – und weshalb
Unternehmen KI-Systeme nicht nur technisch, sondern auch
organisatorisch, regulatorisch und gesellschaftlich betrachten
müssen.


Im Mittelpunkt steht die Frage, wie sich KI-Systeme sicher in
Organisationen einbetten lassen. Dabei geht es um Themen wie
Alignment, also die Ausrichtung von KI-Systemen an menschlichen
Werten und Zielen, aber auch um Risiken wie Reward Hacking,
Prompt Injection, Data Poisoning, Alignment Faking und
Sandbagging.


Christian Dicke und Sigurd Schacht diskutieren außerdem, warum
KI-Systeme nicht deterministisch funktionieren, weshalb
klassische Sicherheitslogiken allein nicht mehr ausreichen und
welche Rolle Kontrollumfelder, Berechtigungen und klare
Einsatzgrenzen künftig spielen.


Ein besonderer Fokus liegt auf KI-Agenten: Was unterscheidet sie
von klassischen Chatbots? Wie arbeiten agentische Systeme
zusammen? Und warum braucht es gerade im Mittelstand ein besseres
Verständnis dafür, welche Aufgaben, Rechte und Werkzeuge solchen
Systemen gegeben werden?


Themen dieser Folge:


• Was unter AI-Safety zu verstehen ist – und warum der Begriff
ganzheitlich gedacht werden muss


• Warum Alignment eine zentrale Sicherheitsfrage bei generativen
KI-Systemen ist


• Wie Reward Hacking entsteht, wenn KI-Systeme Ziele auf
unerwartete Weise verfolgen


• Warum nicht-deterministische Systeme neue Anforderungen an
Sicherheit, Kontrolle und Governance stellen


• Welche Risiken durch Prompt Injection, Data Poisoning und
andere Angriffsvektoren entstehen


• Was einen KI-Agenten ausmacht und wie agentische Systeme
funktionieren


• Warum Organisationen beim Einsatz von KI nicht auf den
perfekten Zeitpunkt warten sollten


• Welche neuen Herausforderungen durch Phänomene wie Alignment
Faking und Sandbagging entstehen


• Warum starke KI-Modelle im Bereich Cybersecurity Chancen und
Risiken zugleich mit sich bringen


FAZIT


KI-Systeme werden leistungsfähiger, autonomer und immer stärker
in Unternehmensprozesse integriert. Für den Mittelstand bedeutet
das: Es reicht nicht, KI nur als Effizienzwerkzeug zu betrachten.
Entscheidend ist, frühzeitig ein belastbares Verständnis für
Risiken, Kontrollmechanismen, Verantwortlichkeiten und
organisatorische Veränderungen aufzubauen.


Denn AI-Safety ist keine reine Technologiefrage – sie ist eine
Führungs-, Governance- und Transformationsaufgabe.