Automatisieren bis zum Kontrollverlust? Warum AI menschliche Kontrolle braucht mit Kai Spriestersbach | Ep. 259

Nur weil sich ein Prozess mit KI automatisieren lässt, heißt das
noch lange nicht, dass wir ihn automatisieren sollten.


AI Agents, Claude Code, Codex, MCPs und Skills versprechen enorme
Effizienzgewinne. Doch was passiert, wenn wir diesen Systemen zu
viel Autonomie geben und irgendwann niemand mehr genau hinschaut?


In dieser Live-Episode spricht Björn Darko mit Kai
Spriestersbach, Head of AI bei ReachX, über die Risiken
agentischer Systeme. Sie diskutieren, weshalb überzeugend
klingender AI-Output besonders gefährlich sein kann, wie sich
kleine Fehler entlang komplexer Prozessketten multiplizieren und
warum technische Kontrollmechanismen das Risiko zwar reduzieren,
aber niemals vollständig eliminieren.


Kai erklärt, warum Unternehmen zwischen deterministischer
Automatisierung und echter Autonomie unterscheiden müssen. Er
zeigt, wie Skills, Skripte, Input- und Output-Gates sowie
menschliche Freigaben eingesetzt werden können, um AI-Workflows
stabiler und verlässlicher zu gestalten.


Außerdem geht es um die Verantwortung von Agenturen, neue
Pricing-Modelle, den möglichen Wegfall klassischer
Junior-Aufgaben und die Frage, ob vollständig autonome
Unternehmen überhaupt funktionieren können.


TAKEAWAYS


AI sollte nur Aufgaben übernehmen, die der verantwortliche
Mensch auch ohne AI fachlich beurteilen könnte.

Deterministische Automatisierung ist nachvollziehbar –
agentische Systeme bleiben variabel und schwer kontrollierbar.

Je länger eine Entscheidungskette, desto größer das Risiko,
dass sich kleine Fehler fortpflanzen.

Skills, MCPs und mehrere prüfende Modelle senken das Risiko,
beseitigen es aber nicht.

Je komplexer der Output, desto aufwendiger ist seine
fachliche Verifikation.

Im Agenturgeschäft sollte kein AI-generierter Inhalt
ungeprüft das Unternehmen verlassen.

AI schafft den größten Wert nicht durch mehr Output, sondern
durch Leistungen, die vorher nicht möglich waren.

Für Agenturen sind ergebnisbasierte Modelle oft sinnvoller
als reine Stundenabrechnung.

Der Mensch sollte Ziele, Qualitätsmaßstäbe und kritische
Entscheidungen bestimmen – AI bleibt das Werkzeug.






KAPITELMARKEN


00:00 Intro: Wer kontrolliert die AI Agents?
03:09 Kais Kritik an hochautomatisierten Agenturen
07:15 Werden Effizienzgewinne überschätzt?
10:09 Nur weil es automatisierbar ist, ist es nicht automatisch
gut
13:15 Automatisierung vs. agentische Systeme
15:20 Wie sich AI-Fehler fortpflanzen
17:18 Das Kontrollparadox und Automation Bias
18:39 Warum Fachwissen weiterhin unverzichtbar bleibt
22:40 Was passiert mit Juniors und Nachwuchskräften?
25:30 Automatisierung oder Autonomie?
27:03 Kais zwei Grundregeln für den AI-Einsatz
28:18 Von der Exploration zum stabilen Workflow
29:24 Skills, Skripte sowie Input- und Output-Gates
31:16 Warum sich AI nicht vollständig selbst kontrollieren
kann
32:55 So sieht ein verantwortungsvolles Setup aus
33:45 Wo der Mensch zwingend im Loop bleiben muss
36:24 AI als Werkzeug für Expertinnen und Experten
38:30 Effizienzgewinn oder akzeptiertes Fehlerrisiko?
40:14 Darf AI selbstständig Code veröffentlichen?
42:22 Verantwortung und Transparenz in Agenturen
44:25 Wie verändert AI das Pricing von Agenturen?
48:11 Spezialisierung als Wettbewerbsvorteil
50:04 Sind vollständig autonome Unternehmen realistisch?
52:56 Wann Kai AI in der Praxis einsetzt
54:09 Warum Agents kein eigenes Bewusstsein brauchen, um
gefährlich zu werden
55:39 Verifikation, Monitoring und Modellwechsel
57:32 Praktische Automatisierung im Podcast-Alltag
58:14 Fazit und Verabschiedung