Startseite
Podcasts
Prompt und Antwort Podcast
214 - Weight-Space Programming

214 - Weight-Space Programming

Prompt und Antwort vor 3 Tagen

0:00

14:42

Ein Sprachmodell liest die Gewichte eines anderen Modells, ändert
gezielt ein paar davon, und dessen Ergebnis in Mathe
versechsfacht sich. Wir schauen uns das MIT-Paper „Sparks of
Weight-Space Programming“ an, in dem GPT-6 Astra die Gewichte von
Qwen 3.5 bearbeitet hat, und fragen, was davon wirklich neu ist.
Von dort geht es zur Grundfrage: Wie findet man in einem
neuronalen Netz überhaupt ein Konzept?

Was Astra bei Qwen geändert hat, warum es bei Gemma nicht
geklappt hat und was die Kritiker sagen

Warum Konzepte nicht in einzelnen Neuronen stecken, sondern
als Richtungen, und was Superposition damit zu tun hat

Sparse Autoencoder, Difference of Means und Steering: wie man
ein Konzept wie die Golden Gate Bridge selbst findet und in
welcher Schicht man sucht

Kennt ein Modell mich? Was der Test mit dem eigenen Namen
zeigt und wo er täuscht

Wie groß ein neuronales Netz für eine Aufgabe sein muss

Quellen: rikiyat.github.io/blog/weight-space-programming

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte
stammen von uns.