028 - BERT und andere KI-Architekturen

In dieser Podcast-Folge tauchen wir tief in die Welt der
generativen KI-Modelle ein. Wir vergleichen die grundlegenden
Sprachmodelle BERT und GPT, die beide auf der
Transformer-Architektur basieren. Erfahre, wie BERT als
Encoder-Modell für das Sprachverständnis (NLU) optimiert ist,
indem es den vollständigen bidirektionalen Kontext analysiert. Im
Gegensatz dazu ist GPT ein Decoder-Modell, das autoregressiv für
die Sprachgenerierung (NLG) entwickelt wurde und Token für Token
neue Texte erzeugt.


Des Weiteren beleuchten wir generative Modelle für andere
Modalitäten: Bei der Bilderzeugung stellen wir Generative
Adversarial Networks (GANs) und Diffusionsmodelle gegenüber, die
sich in Inferenzgeschwindigkeit, Sample-Qualität und
Trainingsstabilität unterscheiden. Für die Audio- und
Videogenerierung diskutieren wir die spezifischen
Herausforderungen der zeitlichen und spatiotemporalen Kohärenz
und wie diese von spezialisierten Architekturen wie
spatiotemporalen Transformern angegangen werden.Schließlich
werfen wir einen Blick auf die Zukunft der generativen KI, die
immer stärker von Multimodalität geprägt sein wird, und erörtern
verbleibende Herausforderungen wie die Datenrepräsentation,
Skalierbarkeit und Evaluation.