Startseite
Podcasts
KI - kurz und informativ, Klartext "to Go" in unter 5 Minuten Podcast
Mixture of Experts (MoE) einfach erklärt: Wie moderne KI-Modelle Rechenkosten sparen

Mixture of Experts (MoE) einfach erklärt: Wie moderne KI-Modelle Rechenkosten sparen

KI - kurz und informativ, Klartext "to Go" in unter 5 Minuten vor 2 Wochen

0:00

6:10

Mixture of Experts (MoE) steckt inzwischen hinter fast jedem
grossen Sprachmodell, weil diese Architektur Rechenkosten spart.
Es erklärt ausserdem, warum bei modernen Modellen plötzlich zwei
Parameterzahlen angegeben werden.

DeepSeek-V3 zum Beispiel hat 671 Milliarden Parameter, nutzt pro
Token aber nur 37 Milliarden davon.

Wie diese Architektur funktioniert, was ein Router in einem
Sprachmodell macht und wie die sogenannten Experten im Training
entstehen, erkläre ich in dieser Folge.

Wir schauen uns auch, wie immer, Probleme dieser Architektur an,
z.B. warum Modelle dadurch schneller, aber nicht kleiner werden.

Themen dieser Folge:

Router und Experten: Wie MoE die Rechenlast aufteilt

Gesamtparameter vs. aktive Parameter

Probleme wie Load Balancing

Schau gerne auch auf der neuen Website zum Podcast vorbei:

⁠⁠https://podcast.pyucation.de⁠

Dort findest du eine Übersicht über alle Folgen sowie die meist
gestellten Fragen schnell beantwortet.