YOLO-Runs, Scaling Laws und die Zukunft europäischer KI | Dr. Johannes Otterbach, SPRIND

Was bedeutet es eigentlich, ein KI-Modell zu trainieren, das von
Milliarden Menschen genutzt wird? Warum reichen fünf bis zehn
richtig gute Leute aus, um Software mit globalem Impact zu bauen,
weshalb scheitert Europa trotzdem immer wieder an genau diesem
Punkt? Und wie kommen wir von offenen Forschungsprojekten endlich
zu KI-Systemen, die wirklich deployed werden und Wert schaffen?


Diesen Podcast gibt es auch als Video-Podcast auf meinem
YouTube Kanal.


Zu diesen und vielen weiteren Fragen spreche ich in dieser
Episode von „AI to the DNA“, dem Podcast für alle, die Künstliche
Intelligenz wirklich verstehen und anwenden wollen, mit
Johannes Otterbach. Johannes war bei Palantir,
bei OpenAI, hat an den frühen GPT-Modellen mitgearbeitet, war bei
Merantix und ist heute als Innovationsmanager bei der SPRIN-D,
der Bundesagentur für Sprunginnovationen, an einer der zentralen
Stellen unterwegs, wenn es um die Zukunft von KI in Europa geht.


Wir sprechen darüber, warum das eigentliche Nadelöhr moderner KI
nicht Talent, sondern Compute ist und weshalb ein einzelner
Trainingslauf für ein Frontier-Modell schnell 10 bis 50 Millionen
Dollar kostet. Johannes erklärt, wie sogenannte „YOLO-Runs“
funktionieren, warum beim Training tausende GPUs gleichzeitig
laufen müssen und weshalb der Ausfall einer einzigen GPU einen
kompletten Run killen kann. Es geht um Scaling Laws,
experimentelle Forschung und darum, warum KI am Ende keine
klassische Software ist, sondern eine zutiefst empirische
Disziplin.





Wir gehen außerdem tief rein in das, was viele nur oberflächlich
diskutieren: Agenten, Autonomie und Verantwortung. Warum KI weder
deterministisch noch menschlich ist, sondern eine völlig neue
Kategorie darstellt. Warum wir juristisch vielleicht über neue
Formen von Verantwortung nachdenken müssen. Und weshalb
„sykophantisches Verhalten“, also das ständige Bestätigen
menschlicher Annahmen durch Modelle, kein Bug, sondern ein
direktes Ergebnis von Reinforcement Learning ist.


Darüber hinaus sprechen wir über Europas echte Chancen:
Multilinguale Modelle im größten Sprachraum der Welt,
industrielle Anwendungsfälle jenseits von Text, Agenten-Ökonomien
statt monolithischer Modelle und Frontier AI in Bereichen wie
Manufacturing, Energie, Pharma und Robotik. Johannes erklärt,
warum Souveränität nicht Autarkie bedeutet, sondern Wahlfreiheit
und warum wir diese Wahl aktuell nicht haben.


Zum Schluss öffnen wir noch einmal bewusst den Horizont:
Quantencomputing als komplementäre Technologie zu KI, neue
Compute-Architekturen jenseits von CPU und GPU, die Grenzen von
AGI-Debatten und warum „Transformative AI“ vielleicht die bessere
Messlatte ist als jede philosophische Definition von Intelligenz.


Hier bei AI to the DNA will ich, Christoph Magnussen, tiefer in
die Materie KI eintauchen. Mich interessiert nicht nur, wie man
KI nutzt, sondern warum sie so funktioniert, wie sie
funktioniert. Mit AI to the DNA gewinnt ihr Einblicke in die
Natur der Künstlichen Intelligenz und erfahrt, wie sie Teil eurer
DNA wird. So werdet ihr von neugierigen Tool-Tourist:innen zu
echten AI-Anwendungsweltmeister:innen.


Spare jetzt 250€ auf unsere AI Officer Ausbildung mit dem
Gutscheincode: ATTD250
-> Jetzt anmelden auf https://shop.blackboat.com


(00:00) - Intro und warum Johannes nach Europa zurückgekehrt
ist

(02:50) - Die Mission der SPRIND: Frontier AI Labs für Europa

(06:05) - Scaling Laws: Wie kleine Teams gigantische Modelle
bauen

(11:53) - Der "YOLO-Run": Kosten, Hardware-Crashes und der
Trainingsprozess

(16:51) - Fine-Tuning, RLHF und was nach dem Training
passiert

(18:47) - Sycophancy und AI als neue juristische Person

(23:39) - AI-Agenten, Autonomie und das "Last Mile"-Problem

(30:21) - Cultural Imperialism: Warum Europa eigene Modelle
braucht

(41:09) - Unfettered Research: Kreativität bei OpenAI vs.
DeepSeek

(43:55) - Europas ungenutzte Stärken: Mehrsprachigkeit und
Industriedaten

(48:07) - AGI, Messbarkeit von Intelligenz und Credit Scoring
mit Social Data

(56:39) - Die Zukunft von SaaS: Tech-enabled Services

(01:00:43) - Lovable und die Attention Economy

(01:02:58) - Warum Audio-Modelle schwieriger sind als
Bild-Modelle

(01:08:03) - Black Forest Labs und die Wurzeln von Stable
Diffusion

(01:13:04) - Quantencomputer: Hype vs. Realität und
Anwendungsfälle

(01:17:20) - Das Hardware-Game: GPUs, QPUs und die
Abhängigkeit von ASML

(01:24:22) - Fehlende Sinne für AGI: Geruch, Geschmack und
Haptik

(01:30:30) - Transformative AI (TAI): Welche Jobs wirklich
ersetzt werden

(01:38:52) - Warum Data Engineering ein Job mit Zukunft
bleibt