Startseite
Podcasts
Software Testing & Qualität - Testautomatisierung, KI & Agilität Podcast
KI als Tester: So funktioniert LLM-as-Judge - Anupam Krishnamurthy

KI als Tester: So funktioniert LLM-as-Judge - Anupam Krishnamurthy

Software Testing & Qualität - Testautomatisierung, KI & Agilität vor 3 Wochen

Nicht-Determinismus ist kein Bug – bei LLMs ist er das Design

0:00

22:22

Wer automatisiert testet, baut auf Determinismus, auf Konsistenz,
auf klare Erwartungen. Mit Anupam Krishnamurthy spreche ich
darüber, warum genau das bei LLMs nicht funktioniert und was wir
stattdessen brauchen. Wir gehen der Frage nach, wie man einen
Chatbot testet, der nie zweimal die gleiche Antwort gibt, warum ein
LLM ein anderes LLM beurteilen kann und wo das an seine Grenzen
stößt. Anupam erklärt, wie RAG-Systeme sich in Retrieval und
Generation zerlegen lassen, und warum die meisten Fehler im
Retrieval stecken.