#72: TabPFN: Die KI-Revolution für tabulare Daten mit Noah Hollmann

Wir sprechen mit Noah Hollman von Prior Labs, einem der Schöpfer
von TabPFN (Tabular Prior Fitted Network), über dieses
bahnbrechende Foundation-Modell für tabulare Daten. In der
Diskussion geht es um die Funktionsweise von TabPFN, die Rolle
von In-Context Learning, die Herausforderungen bei der Anwendung
der Transformer-Architektur auf tabulare Daten sowie die
Generierung synthetischer Daten mit strukturellen kausalen
Modellen (SCMs). Darüber hinaus beleuchten wir die
beeindruckenden Benchmarking-Ergebnisse und zusätzliche Features
des Modells. Zum Ende hin sprechen wir über die offenen
Herausforderungen von Prior Labs und welche "Moonshots" sie für
die Zukunft planen.


 


**Zusammenfassung:**


TabPFN ist ein Modell für Vorhersagen auf tabellarischen
Daten, entwickelt von Prior Labs

Es nutzt In-Context Learning, um Aufgaben durch Sequenzen von
Daten zu lernen, und wurde speziell für die
Transformer-Architektur angepasst

TabPFN wurde mit 100 Millionen synthetischen Datensätzen, die
durch strukturelle kausale Modelle (SCMs) generiert wurden,
trainiert

Es stellt einen neuen Benchmark dar und liefert starke
Leistungen über verschiedene Domänen hinweg

Das Modell kann Unsicherheiten quantifizieren, mit fehlenden
Werten umgehen und Outlier erkennen

TabPFN ist auf Consumer-Hardware trainierbar, was die
Entwicklung auch auf kleinen GPUs ermöglicht

Zukünftige Entwicklungen fokussieren sich auf Zeitreihen,
Kausalität und multimodale Modelle



 


**Links:**


Blog: TabPFN: Die KI-Revolution für tabulare Daten
https://www.inwt-statistics.de/blog/tabpfn-die-ki-revolution-fuer-tabulare-daten

Nature Publikation zu tabPFN aus 2025:
https://www.nature.com/articles/s41586-024-08328-6

Artikel über tabPFN  in Fortune:
https://fortune.com/2025/02/05/prior-labs-9-million-euro-preseed-funding-tabular-data-ai/

Nature News & views von Duncan C. McElfresh:
https://www.nature.com/articles/d41586-024-03852-x

Zeit für Unternehmer:
https://www.zeit.de/zeit-fuer-unternehmer/2025/01/kuenstliche-intelligenz-tabpfn-tabellen-daten?freebie=a67d9166

Publikation zu tabICL: https://arxiv.org/abs/2502.05564

früher Hintergrund-Artikel zur Transformers Architektur für
Bayesianische Inferenz : https://arxiv.org/abs/2112.10510

früheres Working Paper zu tabPFN:
https://arxiv.org/abs/2207.01848

GitHub Repo zu tabPFN: https://github.com/PriorLabs/TabPFN

Homepage Prior Labs: https://priorlabs.ai/

#71: Predictive LLMs: Skalierung, Reproduzierbarkeit &
DeepSeek https://www.podbean.com/ew/pb-p2wjd-1897b7e

Feedback, Fragen oder Themenwünsche gern an
podcast@inwt-statistics.de