Von NLP, LLMs, Prompts und Ground Truth - Wie Company GPTs zum Leben kommen | Sebastian Blank

Von NLP, LLMs, Prompts und Ground Truth - Wie Company GPTs zum
Leben kommen | Sebastian Blank


Der Traum vom eigenen Unternehmens GPT, jetzt eine Sache von nur
ein paar Klicks? Oder steckt doch mehr dahinter als die
Marketingslides der Hersteller sagen? Darüber spricht Christian
Krug, der Host des Podcasts „Unf*ck Your Data“ mit Sebastian
Blank Head of Natural Language Processing bei inovex.





Ohne Frage die Veröffentlichung von ChatGPT und freie
Verfügbarkeit von großen Sprachmodellen (LLMs) hat den Zugang zu
generativer KI unfassbar beschleunigt. Wo die Vorgängermodelle
oft noch auf einzelne Anwendungsfälle mühsam trainiert werden
mussten, bringe diese Modelle neben Sprachverständnis auch eine
gewisse Menge an Wissen mit. Das heißt sie sind oft schneller
einsetzbar. Manchmal allerdings bezahlt man diesen
Wissenvorsprung mit einer gewissen Ungenauigkeit, denn die
Modelle neigen zum halluzinieren.


Denn oft ist die „Ground Truth“ hier nicht richtig transparent.
Also was ist die „Wahrheit“ oder das gewünschte Ergebnis. Diese
musste früher, wie beispielsweise „Spam“ oder „nicht-Spam“ eben
noch mitgegeben werden.


Wenn wir jetzt die Genauigkeit der „alten“ Modelle mit den
Möglichkeiten der LLMs kombinieren könnten, dann wäre das doch
richtig schick, oder?


Ein Ansatz der in diese Richtung geht ist RAG die „retrieval
augumented generation“. Hier wird den LLMs zumindest ein Teil der
Ground Truth mitgegeben. Nämlich die Dokumente auf die sich die
Antwort beziehen soll.


So kann man den Ergebnisraum etwas besser abstecken und
ermöglicht neue Anwendungen. Wie den Vergleich von Dokumenten,
der Jurist*innen das Lesen langer Regularien ersparten kann.





Wichtig hierbei wie immer. Testen, Testen, Testen. Und
Nutzer*innen Feedback einholen.


Denn während die Modelle immer mehr zur Commodity werden, können
die Prompts hier den Unterschied machen.


Apropos prompting – ein wichtiger Skill, aber kein neuer Job?


Warum? Das verraten wir alles in dieser Folge!





Links:





lAIer 8/9 zu ManusAI:
https://open.spotify.com/episode/37MJNNnst1CoSXHaCPOnm8?si=27f82582f93c40b9





Profile:





Zum LinkedIn-Profil von Sebastian:
https://www.linkedin.com/in/sebastian-blank/





Zum LinkedIn-Profil von Christian:
https://www.linkedin.com/in/christian-krug/





Christians Wonderlink: https://wonderl.ink/@christiankrug





Unf*ck Your Data auf Linkedin:
https://www.linkedin.com/company/unfck-your-data





Buchempfehlung:





Buchempfehlung von Sebastian: Allein zwischen Himmel und Meer –
Boris Herrmann





Alle Empfehlungen in Melenas Bücherladen:
https://gunzenhausen.buchhandlung.de/unfuckyourdata








Hier findest Du Unf*ck Your Data:





Zum Podcast auf Spotify:
https://open.spotify.com/show/6Ow7ySMbgnir27etMYkpxT?si=dc0fd2b3c6454bfa





Zum Podcast auf iTunes:
https://podcasts.apple.com/de/podcast/unf-ck-your-data/id1673832019





Zum Podcast auf Deezer:
https://deezer.page.link/FnT5kRSjf2k54iib6





Zum Podcast auf Youtube: https://www.youtube.com/@unfckyourdata





Merch:





https://unfckyourdata-shop.de/





Kontakt:





E-Mail: christian@uyd-podcast.com





Timestamps:


00:00 Einführung in KI und Unternehmensanwendungen


03:06 Die Rolle von Natural Language Processing


05:58 Generative KI und ihre Auswirkungen auf Unternehmen


09:07 Der Vorteil von Vorwissen in der KI-Nutzung


11:56 Ground Truth und ihre Bedeutung für KI-Modelle


15:11 Die Herausforderungen der Datenverarbeitung


17:55 Fiktionale Antworten und die Grenzen von KI


22:12 Ground Truth in Unternehmensanwendungen


24:11 Retrieval Augmented Generation: Ein neuer Ansatz


26:00 Praktische Anwendungen in regulierten Märkten


29:17 Die Bedeutung von Genauigkeit in der Textanalyse


32:01 Mitarbeiterentlastung durch KI


35:07 Der Einfluss von KI auf den Arbeitsmarkt


37:18 Implementierung und Zeitrahmen für KI-Projekte


39:36 Erwartungshaltung und KI-Use Cases


42:57 Prompt Injection und Sicherheitsmaßnahmen


46:37 Die Kunst des Prompting


49:59 Entwicklung von KI-Modellen und Prompt Engineering


52:37 Kennzahlen und persönliche Einblicke


55:08 Buch- und Musiktipps