039 - Wo wird Wissen in LLMs gespeichert?

Wo steckt das „Gehirn“ einer KI? Tauchen Sie ein in die Welt der
Transformer-Modelle und erfahren Sie, dass Wissen nicht
zentral, sondern verteilt und emergent gespeichert ist.


Diese Folge enthüllt, wie:


• Grundlegende Wortbedeutungen in
Embedding-Matrizen kodiert sind.


• Kontextuelle und relationale Zusammenhänge im
Self-Attention-Mechanismus gelernt werden.


• Faktisches, linguistisches und Common-Sense-Wissen
hauptsächlich in den Feed-Forward-Netzwerken als
eine Art Key-Value-Speicher abgelegt ist.


Entdecken Sie die hierarchische Wissensbildung
von Syntax in den unteren Schichten bis zu abstrakter Semantik in
den oberen Schichten und wie dieses Wissen im Moment der
Anwendung dynamisch zum Leben erwacht. Ein
tiefer Blick hinter die Kulissen der Künstlichen Intelligenz!