Startseite
Podcasts
Data Science Deep Dive Podcast
#50: Predictive Analytics mit LLMs: ist GPT3.5 besser als XGBoost?

#50: Predictive Analytics mit LLMs: ist GPT3.5 besser als XGBoost?

Data Science Deep Dive vor 2 Jahren

0:00

38:44

Wir lassen GPT3.5 Turbo und XGBoost bei der Prognose einer
metrischen Zielvariablen gegeneinander antreten. Dafür haben wir
von LOT Internet Fahrzeugdaten aus dem Portal mobile.de
bereitgestellt bekommen, um zu sehen, wer bei der Prognose des
Fahrzeugpreises die Nase vorn hat. Zudem besprechen wir das
Finetuning und gehen auch darauf ein, wie LLMs und XGBoost
kombiniert werden können.

***Links***

Blogartikel: Predictive LLMs: Kann GPT-3.5 die Prognosen von
XGBoost verbessern?
https://www.inwt-statistics.de/blog/predictive-llms-kann-gpt-xgboost-prognosen-verbessern

#27: Kann ein Large Language Model (LLM) bei der
Klassifikation tabellarischer Daten XGBoost schlagen?
https://inwt.podbean.com/e/27-kann-ein-large-language-model-llm-bei-der-klassifikation-tabellarischer-daten-xgboost-schlagen/

OpenAI API: https://platform.openai.com/docs/introduction

LLMs für Prognosen auf tabularen Daten zu nutzen, ist wenig
erforscht. Wenn es probiert wurde, geht es meistens um
Klassifikation, also keine metrische Zielvariable. Ein oft
zitiertes Paper hierzu ist dieses: TabLLM: Few-shot
Classification of Tabular Data with Large Language Models (Stefan
Hegselmann, Alejandro Buendia, Hunter Lang, Monica
Agrawal, Xiaoyi Jiang, David Sontag Proceedings
of The 26th International Conference on Artificial Intelligence
and Statistics, PMLR 206:5549-5581, 2023.)
https://proceedings.mlr.press/v206/hegselmann23a/hegselmann23a.pdf

Till mit seinem Song In My Fantasy auf YouTube:
https://www.youtube.com/watch?v=MU3oyJ1WR1U