Startseite
Podcasts
Software Testing & Qualität - Testautomatisierung, KI & Agilität Podcast
KI als Tester: Mit LLM as a Judge Sprachmodelle prüfen - Anupam Krishnamurthy

KI als Tester: Mit LLM as a Judge Sprachmodelle prüfen - Anupam Krishnamurthy

Software Testing & Qualität - Testautomatisierung, KI & Agilität vor 2 Monaten

Nicht-Determinismus ist kein Bug – bei LLMs ist er das Design

0:00

22:24

Wer automatisiert testet, baut auf Determinismus, auf Konsistenz,
auf klare Erwartungen. Mit Anupam Krishnamurthy spreche ich
darüber, warum genau das bei LLMs nicht funktioniert und was wir
stattdessen brauchen. Wir gehen der Frage nach, wie man einen
Chatbot testet, der nie zweimal die gleiche Antwort gibt, warum ein
LLM ein anderes LLM beurteilen kann und wo das an seine Grenzen
stößt. Anupam erklärt, wie RAG-Systeme sich in Retrieval und
Generation zerlegen lassen, und warum die meisten Fehler im
Retrieval stecken.