Startseite
Podcasts
Data Science Deep Dive Podcast
#98: Risiken bei der Softwareentwicklung mit AI Agents

#98: Risiken bei der Softwareentwicklung mit AI Agents

Data Science Deep Dive vor 2 Monaten

0:00

49:17

Sebastian und Liel setzen die Folge #91 zur Zukunft der
Softwareentwicklung fort und widmen sich diesmal den Risiken beim
Einsatz von AI Agents. Sie ordnen ein, welche Gefahren beim
lokalen Arbeiten mit Agents tatsächlich bestehen – von autonom
ausgeführten Befehlen mit Datenverlust über Prompt Injection bis
zur Weitergabe sensibler Daten an externe Modelle. Im zweiten
Teil geht es um konkrete Strategien zur Risikominimierung:
durchdachte Berechtigungen, Repository-scoped Tokens, isolierte
Workspaces mit Dev-Containern oder Mini-VMs sowie eine bewusste
Auswahl der eingesetzten Modelle. Zum Abschluss diskutieren die
beiden, wohin sich die Arbeit mit Coding-Agents entwickelt und
welche Rolle Reviews und Wartbarkeit dabei spielen. Ein "sicher"
gibt es dabei nicht, wohl aber ein "sicherer".

**Zusammenfassung**

AI Agents führen im YOLO-Mode Code direkt auf dem eigenen
System aus – Datenverlust durch unbedachte Befehle ist ein reales
Risiko.

Prompt Injection kommt über README-Anweisungen, MCP-Server
und Webfetch ins System; halluzinierte Library-Namen lassen sich
durch Squatting für Schadcode ausnutzen.

Die "lethal trifecta" beschreibt die kritische Kombination
aus Zugriff auf private Daten, Verarbeitung nicht
vertrauenswürdiger Inhalte und Möglichkeit zur Kommunikation nach
außen.

Kompromittierung betrifft Credentials, proprietären Code und
personenbezogene Daten – jede Query an ein extern gehostetes
Modell verlässt das eigene System.

Default-Konfigurationen (OpenCode, VSCode + GitHub Copilot)
sind ein häufiger Stolperstein, da Daten oft standardmäßig zum
Training genutzt werden.

Zur Absicherung helfen fein eingestellte Berechtigungen,
Repository-scoped Tokens, Provisionierung im Unternehmen und
isolierte Workspaces (Dev-Container, VibePod, nono).

Bei der Modellauswahl lohnt der Blick auf Selfhosting sowie
europäische bzw. offene Alternativen wie Mistral und das
Schweizer Apertus.

Traceability, Live- und Kostenmonitoring werden wichtiger, da
Agents Tokenverbrauch und Aktionen kaum noch kontrollierbar
machen.

**Links**

#91: Software ohne Entwickler*innen? Wie AI Agents unsere
Arbeit neu definieren https://www.podbean.com/ew/pb-2if5e-1a90f94

The lethal trifecta for AI agents: private data, untrusted
content, and external communication (Simon Willison):
https://simonwillison.net/2025/Jun/16/the-lethal-trifecta/

The Vulnerable MCP Project (Übersicht zu MCP-Schwachstellen):
https://vulnerablemcp.info/index.html

Cory Doctorows Blog (Quelle zum Halluzinations-Beispiel):
https://pluralistic.net

VibePod CLI - The zero-config CLI for running AI coding
agents locally https://vibepod.dev/

nono - Run AI agents in a zero-latency sandbox in seconds,
with zero setup. https://nono.sh/

Docker Sandboxes https://docs.docker.com/ai/sandboxes/

Agentlytics https://agentlytics.io/

Apertus, das offene Schweizer Sprachmodell (Hugging Face):
https://huggingface.co/collections/swiss-ai/apertus-llm

Mistral (europäischer Modellanbieter): https://mistral.ai

Fragen, Feedback oder Themenwünsche? Schreibt uns gern an:
podcast@inwt-statistics.de