podcast.de
Anmeldung
Anmeldung Registrierung
Auto Hell Dunkel
Erweiterte Suche
  1. Startseite
  2. Podcasts
  3. programmier.bar – der Podcast für App- und Webentwicklung Podcast
  4. Deep Dive 205 – AI Evals mit Martin Seeler
Wie hat dir die Folge gefallen?

Gut

Schlecht

(Keine Anmeldung erforderlich)

Ein Modell-Update bei OpenAI oder Anthropic ist schnell gemacht.
Aber wie stellt ihr sicher, dass eure Anwendung danach noch genau
das tut, was sie soll?

In dieser Folge, aufgenommen auf der DecompileD in Dresden,
sprechen wir mit Martin Seeler, Senior Staff AI Engineer bei Blue
Yonder, über die Welt der AI Evals und den Unterschied zwischen
einem reinen „Vibe-Check“ und belastbarer Teststrategie für
GenAI-Produkte.

Im Fokus stehen die drei Säulen der Evaluation: Code-based Evals,
LLM-as-a-Judge und Human-in-the-loop. Außerdem geht es um Error
Analysis, Failure Modes und wie ihr aus Logs durch Clustering
eine eigene Fehler-Taxonomie entwickelt.

Wir besprechen, warum binäre Bewertungen (True/False) oft
hilfreicher sind als Scores, wie ihr Kosten, Latenz und Qualität
gegeneinander abwägt und wie Tools wie Langfuse, Phoenix,
promptfoo oder Braintrust euch beim Monitoring und Testing
unterstützen.

Wenn ihr wissen möchtet, wie ihr eure KI-Anwendung vom Prototypen
in einen stabilen Enterprise-Betrieb überführt und Evals
gezielt für Fine-Tuning oder Reinforcement Learning nutzt, ist
dieser Deep Dive genau richtig für euch.

Vielen Dank an das Team der DecompileD für die Gastfreundschaft
und an Vodafone für die Bereitstellung der Räumlichkeiten mit
Blick auf die Trainingsfelder von Dynamo Dresden!

Schreibt uns!

Schickt uns eure Themenwünsche und euer Feedback:
podcast@programmier.bar

Folgt uns!

Bleibt auf dem Laufenden über zukünftige Folgen und virtuelle
Meetups und beteiligt euch an Community-Diskussionen.

Bluesky

Instagram

LinkedIn

Meetup

YouTube

Musik: Hanimo

Weitere Episoden

News 46/26: GPT-6 Cyber // Fable & Mythos 5.2 // Conductor aus // JetBrains 2026.3 mit Air

News 46/26: GPT-6 Cyber // Fable & Mythos 5.2 // Conductor aus // JetBrains 2026.3 mit Air

46 Minuten
vor 18 Stunden
Deep Dive 220 – Developer Experience at OpenAI: Romain Huet on building for agents

Deep Dive 220 – Developer Experience at OpenAI: Romain Huet on building for agents

48 Minuten
vor 2 Tagen
News 45/26: MacBook Pro mit Touch // Gemini 4 Carbon // HTTP2Shell // OpenAI Pando // Copilot Fusion

News 45/26: MacBook Pro mit Touch // Gemini 4 Carbon // HTTP2Shell // OpenAI Pando // Copilot Fusion

40 Minuten
vor 1 Woche
News 44/26: Entire // OpenAI Security // Dots im Einsatz // Gemini API CLI // Aus für Arc

News 44/26: Entire // OpenAI Security // Dots im Einsatz // Gemini API CLI // Aus für Arc

48 Minuten
vor 2 Wochen
Deep Dive 219 – evcc mit Michael Geers

Deep Dive 219 – evcc mit Michael Geers

1 Stunde 16 Minuten
vor 2 Wochen
Alle Episoden anzeigen
In Podcasts werben
Schalte jetzt Werbung in Podcasts.
Episode melden

„Deep Dive 205 – AI Evals mit Martin Seeler“

Worum geht es? Danach fragen wir noch nach dem Grund.

Abonnenten

Teilen

Mein Archiv

Deine Privatkopie der Folgen, die du nicht verlieren willst.

Podcast-Folgen verschwinden. Feeds werden auf die letzten Episoden gekürzt, Hoster räumen alte Dateien ab, Formate wechseln den Anbieter und lassen ihr Archiv zurück. Mit „Mein Archiv“ sichert podcast.de die Folgen deiner Podcasts für dich — angefangen bei den ältesten, denn die sind zuerst weg.

  • Deine gesicherten Folgen bleiben hörbar, auch wenn das Original offline geht.
  • Auch Folgen, die im heutigen Feed gar nicht mehr stehen — podcast.de kennt sie noch.
  • Herunterladen bleibt möglich, solange die Folge beim Podcaster liegt. Der zählt seine Abrufe wie bisher.
Startet bald

Sei beim Start von Mein Archiv dabei

Mein Archiv ist fast fertig. Trag dich ein, dann bekommst du eine E-Mail, sobald es losgeht – und bist von Anfang an dabei. Wir schreiben dir nur zum Start, keine Werbung, keine Weitergabe deiner Daten.

Du bekommst zuerst eine Bestätigungsmail. Abmelden geht jederzeit. Datenschutz