Startseite
Podcasts
Einfach Komplex – Der Software- und IT-Podcast Podcast
LLMs (Large Language Models) & Transformer-Architektur #71

LLMs (Large Language Models) & Transformer-Architektur #71

Einfach Komplex – Der Software- und IT-Podcast vor 1 Jahr

0:00

1:02:55

In dieser Folge werfen wir zunächst einen Blick auf neuronale
Netze und erklären dann den Prozess der Entwicklung und das
Training von LLMs (Large Language Models). LLMs sind
leistungsstarke KI-Modelle, die entwickelt wurden, um
menschenähnliche Texte zu verstehen und zu generieren. Ihre
Grundlage bilden Transformer-Architekturen, die erstmals 2017 im
wegweisenden Paper "Attention is All You Need" von Google
eingeführt wurden. Diese Architektur hat das Feld des Machine
Learnings revolutioniert, da sie es Modellen ermöglicht,
kontextuelle Abhängigkeiten effizienter zu erfassen und dadurch
präzisere Vorhersagen und generative Ergebnisse zu liefern.

Heute gibt es eine Vielzahl von LLMs, darunter OpenAI's
GPT-Modelle, Googles BERT und T5 und Meta's LLaMA. Einige
Modelle, wie OpenAI's GPT-4, sind multimodal, was bedeutet, dass
sie nicht nur mit Texten, sondern auch mit Bildern arbeiten
können. Diese Modelle kommen in unterschiedlichsten
Anwendungsbereichen zum Einsatz, von Übersetzungen und Chatbots
bis hin zur automatisierten Textgenerierung und Datenanalyse.
Trotz ihrer beeindruckenden Leistungsfähigkeit gibt es
Herausforderungen, insbesondere bei ethischen Fragen, der
Reduktion von Bias und dem verantwortungsvollen Einsatz der
Technologie.

----

Einfach Komplex ist ein Podcast von Heisenware.

Alle Infos und Kontakte findest du im Linktree

⁠⁠⁠⁠⁠https://linktr.ee/heisenware⁠⁠⁠

und unter

https://heisenware.com

----

⁠Dr. Burkhard Heisen⁠⁠ und ⁠⁠Gerrit Meyer⁠⁠ sprechen heute über:

(00:00) Neuronale Netze

(13:00) Sprachmodelle trainieren

(21:30) Funktionsweise LLM

(28:30) Tokens

(34:30) Embeddings

(41:30) Attention / Transformer

(47:30) Finetuning und Trainingsdaten

(57:30) KI-Tools und Anpassung auf eigene Daten