204 - EmbeddingGemma 2

Prompt und Antwort vor 3 Wochen

0:00

9:56

Ein Embedding-Modell macht aus einem Foto 768 Zahlen und kann
diese Zahlen nicht wieder in Worte zurückübersetzen. Wir wollten
trotzdem wissen, was in so einem Bild-Vektor steckt. Mit
EmbeddingGemma 2 von Google, einem Foto aus einem öffentlichen
Datensatz und einer Methode, die nur misst und nie zurückrechnet,
haben wir versucht, die Bedeutung des Bildes wieder
herauszulesen. Das klappt erstaunlich gut, aber nicht überall.

Warum ein Embedding-Modell keinen Rückweg kennt und wie man
mit Raten und Prüfen trotzdem Wörter aus einem Vektor gewinnt

Beam-Suche über 30.000 Wörter und ein kleines Sprachmodell,
das das Bild nie sieht, aber für die Grammatik sorgt

Die Modalitätslücke: Warum fast jeder Text einem Bild schon
„nah“ ist und weshalb wir jeden Wert gegen eine Grundlinie lesen

Ein Vektor als Mischung: Zutaten zerlegen und einzelne Dinge
herausrechnen

Wie aus Kacheln und Tokens am Ende ein einziger Vektor wird,
und was beim Mitteln verloren geht

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte
stammen von uns.