Dr. Artus Krohn-Grimberghe hat einen medizinischen KI-Benchmark
geprüft und festgestellt, dass er vor allem Formelwissen und
Rechengenauigkeit misst. Über eigene Messlatten, KI-Projekte, die
an unternehmensinternen Hürden scheitern, und die Daten, die
Daten, die Daten.
Kennengelernt haben wir uns in Paderborn, wo Artus
Juniorprofessor war und ich eine Gastvorlesung zu Data Vault
hielt. Heute bringt er mit der LYTiQ GmbH KI in Produktion,
zuletzt LLM- und RAG-Anwendungen.
Angefangen hat alles über Weihnachten mit einem Posting, das aus
schlechten medizinischen Benchmark-Ergebnissen ableitete, KI
tauge nicht für die Medizin. Das hat ihn so getriggert, dass er
sich den MedCalc-Bench genauer angesehen hat. Dabei fand er über
20 Fehler in den Rechner-Implementierungen und zeigte, wie stark
sich die Ergebnisse verbessern, wenn die benötigten Formeln
mitgeliefert werden.
Was daraus für Unternehmen folgt, sagt Artus ganz pragmatisch:
einen eigenen Datensatz für die eigenen Probleme bauen und selbst
messen, so wie wir es in der BI schon immer gemacht haben. Danach
reden wir darüber, warum so viele KI-Projekte bei der Demo stehen
bleiben, wie viel Datenmodell eine RAG- oder Agentenanwendung
braucht, und über die Überzeugung, die ihm die Praxis
ausgetrieben hat: „Für mich als Professor waren es am Anfang
immer die Algorithmen … Aber in der Realität sind es halt die
Daten, die Daten, die Daten."
── Kapitel ──
00:00 Intro
01:46 Paderborn: Datenmodellierung damals und heute
04:00 Der MedCalc-Bench: Was misst der Benchmark wirklich?
10:56 Echo auf das Audit — und ein Paper über Marsbeben
15:25 Woran Unternehmen ihre KI messen sollten
19:38 Warum KI-Projekte bei der Demo stehen bleiben
22:23 Wie viel Datenmodell eine KI-Anwendung braucht
28:36 Erst die Algorithmen, dann die Daten
32:13 Signature Question: antifragil durch Druck
34:35 Outro
── Erwähnungen & Links ──
• Artus Krohn-Grimberghe auf LinkedIn:
https://tedamoh.de/xsl8k
• LYTiQ GmbH: https://tedamoh.de/84l23
• Paper „MedCalc-Bench Doesn't Measure What You Think":
https://tedamoh.de/zbm4m
• Video-Version dieser Folge: https://tedamoh.de/ad003
Bewertung bei Apple Podcasts oder Spotify? Hilft mehr, als man
denkt.
Abonnieren & Newsletter: https://podcast.tedamoh.com
TrueFans: https://truefans.fm/antifragile-data
[antifragile data] – der Podcast über Data, AI und die
Geschichten dahinter, mit Dirk Lerner (TEDAMOH). Ehrlich,
praxisnah und manchmal unbequem. Neue Folgen alle drei Wochen,
dienstags.
Dirk Lerner ist Berater, Autor und Gründer von TEDAMOH – The Data
Modeling Hub. Mehr: https://tedamoh.com
#Data #AI #Datenmodellierung #DataVault #DataEngineering #Podcast
Kommentare (0)
Melde dich an, um einen Kommentar zu schreiben.