podcast.de
Anmeldung
Anmeldung Registrierung
Auto Hell Dunkel
Erweiterte Suche
  1. Startseite
  2. Podcasts
  3. Der Weg nach KAI Podcast
  4. Das Geheimnis des Deep Learning: Wenn Ockhams Rasiermesser die Transformer grokt (Teil2)
Der Weg nach KAI – Episode 57: Das Geheimnis des Deep Learning:
Wenn Ockhams Rasiermesser die Transformer grokt
(Teil2) 

Im zweiten Teil dieser Episode untersuchen wir den
Paradigmenwechsel im Deep Learning, bei dem große KI-Modelle
entgegen früherer Annahmen tatsächlich zu besserer
Generalisierungsfähigkeit führten. Grundlage dieser Entwicklung
ist die Transformer-Architektur (seit 2017), deren
„Attention“-Mechanismus Sprache im größeren Kontext
analysiert.

Große Modelle wie GPT-3 (2020) zeigen bei steigender
Parameterzahl überraschende Leistungssteigerungen, erklärt durch
das empirisch beobachtete „Double Descent“-Phänomen. Ein
verwandter Effekt ist das „Grokking“: KI-Modelle zeigen
plötzliches Verständnis nach langen Phasen ohne sichtbare
Lernfortschritte.

Ergänzt werden die Beschreibungen durch die
Lotterielos-Hypothese: In großen Netzen existieren potenziell
sehr leistungsfähige Subnetzwerke, die durch günstige
Initialisierung effizient lernen können. Techniken wie Pruning
ermöglichen es dann, diese zu extrahieren und die Effizienz zu
steigern.

Zuletzt betrachten wir den „Absolute Zero Reasoner“ (AZR),
vorgestellt im Mai 2025. Dieses Modell lernt ohne externe Daten
durch ein selbstgeneriertes Aufgaben-Lösungs-System in einer
codebasierten Umgebung. Erste Ergebnisse zeigen auch die
Fähigkeit zur domänenübergreifenden Generalisierung – eine
Eigenschaft, die einer künftigen Künstlichen Allgemeinen
Intelligenz abverlangt wird. 

Weitere Episoden

Claude Mythos, Project Glasswing und die Zero-Day-Gefahr: Die dritte Achse der "Scaling-Laws"

Claude Mythos, Project Glasswing und die Zero-Day-Gefahr: Die dritte Achse der "Scaling-Laws"

23 Minuten
vor 5 Monaten
Rekursive Selbstverbesserung und hochintelligente Kartoffeln: Die KI-Modelle der nächsten Generation

Rekursive Selbstverbesserung und hochintelligente Kartoffeln: Die KI-Modelle der nächsten Generation

33 Minuten
vor 6 Monaten
Opus 4.6 und die 'Situational Awareness': Wenn KI ihre Macht demonstriert

Opus 4.6 und die 'Situational Awareness': Wenn KI ihre Macht demonstriert

36 Minuten
vor 7 Monaten
Das Memento-Prinzip moderner KI-Agenten: SKILLS und subliminale Botschaften (Teil 2)

Das Memento-Prinzip moderner KI-Agenten: SKILLS und subliminale Botschaften (Teil 2)

25 Minuten
vor 7 Monaten
Das Memento-Prinzip moderner KI-Agenten: SKILLS und subliminale Botschaften (Teil 1)

Das Memento-Prinzip moderner KI-Agenten: SKILLS und subliminale Botschaften (Teil 1)

29 Minuten
vor 7 Monaten
Alle Episoden anzeigen
In Podcasts werben
Schalte jetzt Werbung in Podcasts.
Episode melden

„Das Geheimnis des Deep Learning: Wenn Ockhams Rasiermesser die Transformer grokt (Teil2)“

Worum geht es? Danach fragen wir noch nach dem Grund.

Abonnenten

Teilen

Mein Archiv

Deine Privatkopie der Folgen, die du nicht verlieren willst.

Podcast-Folgen verschwinden. Feeds werden auf die letzten Episoden gekürzt, Hoster räumen alte Dateien ab, Formate wechseln den Anbieter und lassen ihr Archiv zurück. Mit „Mein Archiv“ sichert podcast.de die Folgen deiner Podcasts für dich — angefangen bei den ältesten, denn die sind zuerst weg.

  • Deine gesicherten Folgen bleiben hörbar, auch wenn das Original offline geht.
  • Auch Folgen, die im heutigen Feed gar nicht mehr stehen — podcast.de kennt sie noch.
  • Herunterladen bleibt möglich, solange die Folge beim Podcaster liegt. Der zählt seine Abrufe wie bisher.
Startet bald

Sei beim Start von Mein Archiv dabei

Mein Archiv ist fast fertig. Trag dich ein, dann bekommst du eine E-Mail, sobald es losgeht – und bist von Anfang an dabei. Wir schreiben dir nur zum Start, keine Werbung, keine Weitergabe deiner Daten.

Du bekommst zuerst eine Bestätigungsmail. Abmelden geht jederzeit. Datenschutz