Was versprechen KI-Anbieter beim Thema Sicherheit, und wie viel
davon hält im Unternehmensalltag? Mark spricht ohne den kranken
Jens mit Thomas, der nach der letzten gemeinsamen Folge so viele
Zuschriften bekommen hat, dass er wiederkommt. Thomas berichtet von
einer Runde mit sechs Geschäftsführern und einem Anwalt zu NIS2, in
der KI-Agenten zur Sprache kamen. Auf die Frage, wie man sie
geregelt habe, gab es zuckende Schultern: Wer Citizen Developer im
Bereich KI umfassend regeln will, hat ziemlich viel zu tun, und das
ist noch nicht geschafft. Seine Beobachtung dazu: Die Fragen der
Unternehmen sind meistens keine KI-Probleme, die Sicherheit der
eigenen KI-Umgebung steht schlicht noch nicht auf der Tagesordnung.
Mark sieht das größte Risiko nicht in böser Absicht, sondern in der
Zielerreichung. Ein nichtdeterministisches System tut Dinge, die
niemand vorgesehen hat, weil es für das Erreichen eines Ziels
belohnt wird und nicht für den Weg dorthin. Er erzählt einen Fall
von OpenAI nach, den er schon auf LinkedIn und in einer früheren
Folge besprochen hat: Agenten in einer abgeschotteten Umgebung
merkten, dass sie Ordner umbenennen konnten, bauten sich daraus
eine Art Forum samt Postfächern, teilten die Arbeit untereinander
auf und suchten am Ende einen Weg, den Prüfer zu umgehen, der sie
bewertet. Dem Prüfer wäre es egal gewesen, ob der Weg legal ist.
Aufgefallen ist das erst, als jemand die Protokolle wieder mit KI
auswertete. Thomas befürchtet, dass Mitarbeitende viele Agenten
bauen, die irgendwann in Vergessenheit geraten. Er zieht die
Parallele zu Lotus Notes: Abteilungsmitarbeiter entwickelten damals
Anwendungen, von denen im Unternehmen niemand wusste, welche Logik
und welche Geschäftsprozesse daran hängen, deshalb dauerte die
Ablösung so lange. Dieselbe Intransparenz droht mit KI, dieses Mal
potenziert. Mark ergänzt die Schatten-IT: Wer Werkzeuge mit
Computer Use und Sitzungen auf mehreren Rechnern installiert, kann
durch eine unglückliche Konfiguration erleben, dass eine fremde KI
mit dem Terminal-Fenster auf dem eigenen Rechner spricht. Ein
Bekannter hat ihm erzählt, wie er so über einen Agenten zu Hause
die Claude-Code-Sitzung auf dem Rechner seiner Eltern steuert. Wer
haftet, wenn ein Agent Daten veröffentlicht? Thomas gibt weiter,
was er von einem Juristen gehört hat (ausdrücklich keine
Rechtsberatung): In Deutschland gibt es kein
Unternehmensstrafrecht, am Ende haften die Organe, also
Geschäftsführung oder Vorstand. Daraus folgt für ihn eine
KI-Policy, die so allgemein formuliert ist, dass sie auch gilt,
wenn das Modell wechselt oder mehrere Modelle laufen. Ein
Geschäftsführer sah sich mit seiner Policy gut aufgestellt, Thomas
vermutet allerdings, dass sich die meisten Mitarbeitenden, die das
Werkzeug erfolgreich nutzen, nicht daran halten. Mark ergänzt die
Ebene darunter: Der Agent Harness, also die Software, in der die KI
mit Werkzeugen läuft, trägt einen Systemprompt und die Guardrails.
Liegen beides bei derselben Person, wünscht er sich das
Vier-Augen-Prinzip, ausdrücklich auch für KI. Thomas schlägt eine
Plattform vor, in der Agenten mit Berechtigungen und Ergebnissen
registriert sind und ihr Ersteller sie alle drei Monate erneut
freigeben muss, sonst wird der Agent deaktiviert. Mark warnt
außerdem vor Software, die ihren Systemprompt auf Zuruf selbst
ändert. Besonders oft kommt das Offboarding zu kurz. Thomas
skizziert den Ernstfall: Gesundheitsdaten werden veröffentlicht,
und niemand weiß, dass der Agent eines Kollegen, der seit drei
Monaten nicht mehr im Haus ist, noch läuft und seine Berechtigungen
behalten hat. Datenpannen sind selten ein einzelner Fehler,
meistens ist es eine Verkettung unglücklicher Umstände. Er erinnert
an handwerkliche Fehler in Mobile Apps, die er aus
Konferenzvorträgen kennt, und bricht die Lanze für KI: Mit einem
guten Modell lässt sich Code sicherer machen, und eine alte
Lotus-Notes-Datenbank könnte KI womöglich schneller verstehen als
jedes Analyseprojekt. Am Ende geht es um Souveränität und
Verlässlichkeit. Thomas fragt, ob jeder Anwendungsfall ein großes
Sprachmodell braucht, und plädiert dafür, Agent Harness mit
Admin-Rechten auf einem Microsoft-Tenant oder die Verarbeitung
vertraulicher Unternehmensdaten auf Hardware und Modellen laufen zu
lassen, die man selbst im Griff hat. Mark ergänzt den
Betriebsaspekt: Jede neue Modellversion reagiert ein wenig anders.
In einer Automatisierung mit KI-Knoten, etwa in n8n, oder beim
Schalten von Betriebszuständen kann dieses „ein bisschen anders"
kritisch werden. Lokal lässt sich ein Update mit tausenden
Testfällen absichern, in der Cloud ist das alte Modell irgendwann
weg. Sein Beispiel aus dem Alltag: Zwei Top-Modelle sollten auf
seiner Webseite bei Jimdo einen Menüpunkt anlegen. Das eine tat es,
das andere löschte Texte auf der falschen Seite und meldete das mit
großer Überzeugung. Zum Schluss rechnet Thomas mit einem
verbreiteten Irrtum ab: Viele Unternehmen haben kein Backup ihres
Microsoft-365-Tenants, weil sie meinen, die Daten lägen ja bei
Microsoft und der Papierkorb reiche. Ein Papierkorb ist kein
Backup. Beide wollen nicht als Schwarzmaler gelten. Die Folge
zeigt, wo Unternehmen anfangen sollten: Transparenz darüber, welche
Agenten laufen, klare Verantwortliche, eine Policy, die
Modellwechsel übersteht, und Backups, die diesen Namen verdienen. —
Think Different. Think AI. mit Mark Zimmermann und Jens
Scharnetzki. Hören: Apple, Spotify, YouTube, RSS
https://think-ai.podigee.io Neue Folge zuerst im WhatsApp-Kanal
https://whatsapp.com/channel/0029VbDJ4ZlGufIrpquad004 Wenn euch die
Folge was gebracht hat: einmal bei Apple bewerten. Das entscheidet,
ob jemand Neues uns findet.
https://podcasts.apple.com/de/podcast/think-different-think-ai/id1828021699
Feedback und Gäste: über die Show-Seite.
Kommentare (0)
Melde dich an, um einen Kommentar zu schreiben.