Startseite
Podcasts
Prompt und Antwort Podcast
018 - kleine LLMs ganz groß

018 - kleine LLMs ganz groß

Prompt und Antwort vor 1 Jahr

0:00

8:23

In dieser Episode tauchen wir in die Welt der
Sprachmodell-Skalierung ein und beleuchten, wie sich die Größe
von Modellen auf ihre Fähigkeiten auswirkt.

Wir besprechen, dass die Größe eines Large Language Models (LLM)
in Parametern gemessen wird, von kleinen Modellen mit wenigen
Milliarden bis hin zu gigantischen Systemen mit Billionen von
Parametern. Ein Schwerpunkt liegt auf den beeindruckenden
Fortschritten kleinerer Modelle in der jüngsten Vergangenheit.
Wir analysieren, wie Modelle wie Mistral 7B und Quen 1.5e die
60%-Hürde im MMLU-Benchmark überschritten haben, eine Leistung,
die früher nur viel größeren Modellen vorbehalten war. Das
bedeutet, dass wir monatlich lernen, kompetentes generalistisches
Verhalten in immer kleinere Fußabdrücke zu pressen. Diese
Entwicklung eröffnet neue Möglichkeiten für den Betrieb lokaler
Modelle. Wir erörtern Anwendungsfälle für On-Device-KI, wie
Tastaturvorhersage oder Sprachbefehle, die von niedriger Latenz
und strengem Datenschutz profitieren. Auch für alltägliche
Aufgaben wie die Zusammenfassung von Nachrichten und den Einsatz
in Enterprise-Chatbots sind kleine Modelle oft ausreichend und
sogar vorzuziehen, da sie einen Bruchteil der Kosten verursachen
und schneller laufen. Wir diskutieren auch, wie die Zukunft
aussehen könnte und ob "größer besser" oder "kleiner schlauer"
ist. Während expansive, offene Schlussfolgerungen oft von
schierer Größe profitieren, liefern sorgfältig trainierte kleine
Modelle für fokussierte Fähigkeiten wie Zusammenfassen und
Klassifizieren 90 % der Qualität zu einem Bruchteil der Kosten.
Die Entscheidung, welches Modell man einsetzen sollte, hängt
letztlich vom Anwendungsfall, der Latenz, den
Datenschutzbeschränkungen und dem GPU-Budget ab.