Startseite
Podcasts
Prompt und Antwort Podcast
210 - Prüfstand für Agenten

210 - Prüfstand für Agenten

Prompt und Antwort vor 1 Woche

0:00

9:42

Wie setzt man ein Experiment mit einem Coding-Agenten auf, und
woran sieht man hinterher, was er wirklich getan hat? Wir haben
uns RecreationWorld auf den Mac gestellt, das Repo vom Team
hinter den Qwen-Modellen mit dem Prüfstand RecreationBench, und
OpenCode mit unserem eigenen Qwen darauf laufen lassen. Die Folge
erklärt das Repo, unseren Aufbau mit seinen Stolpersteinen und
die Auswertung eines Laufs. Die Note gilt für eine einzige
Aufgabe mit unserem eigenen Judge und ist nicht mit der
offiziellen Rangliste vergleichbar.

Was RecreationBench ist: 250 Nachbau-Aufgaben, versteckte
Funktionstests und ein Sprachmodell als Schiedsrichter

Einen fremden Prüfstand nutzen: den Vertrag nachbilden statt
umbauen, Abschottung und vier Stolpersteine

Was zu einem Experiment gehört, vom eingefrorenen Auftrag bis
zum Kontrollfall vor dem ersten Lauf

Den Agenten beobachten: Modell-Log, Werkzeugaufrufe, Kopien
des Arbeitsordners und Notizen des Modells, ähnlich wie in
unserer Agentenwerkstatt

Auswerten mit Fragen statt mit der Note, und was ein
Stop-Hook gegen die gefundenen Fehler tun könnte

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte
stammen von uns.