Guardrails für LLMs – die Basis für die Nutzung von AI in der Pharma-Welt | Mit Shaun Tyler

Wieso istsh*t in, sh*t out auch bei LLMs so wichtig?


Wie könnenGuardrails die Basis für Pharma-KI bilden?


Worauf kommtes bei Antworten aus einem LLM überhaupt an?


Darüberdiskutiert Host Christof Layher in der neuen Folge von
ChaosHacker-Talk mitShaun Tyler. Der hat schon viele Erfahrungen
in der IT und im reguliertenUmfeld gesammelt – erst bei
Fraunhofer, heute als Director für globale SoftwareIntegration
Services bei Körber Pharma Software.


Seintägliches Business? GMP und Qualifizierung, seit zweieinhalb
Jahren aber auchGenAI.


 


In der Folgegeht es um Guardrails.


Also eineEingabe-Ausgabe-Validierung. Die gibt es sonst in der
Softwareentwicklung auch,wobei der Output des LLMs in
qualifizierbare und berechenbare Schrankenverwiesen wird.


Shaun hat eineigenes Guardrail-Framework entwickelt.


Das Problemist nämlich: Ein Prompt muss einen wiederkehrbaren und
vollständigen Outputgenerieren – nicht so ganz die Stärke von
LLMs.


ImPharma-Kontext ist das aber ein MUSS!


 


Zu denGuardrails gehören verschiedene Ebenen:


ContentSafety zum Beispiel, denn Jailbreak ist für GenAI noch ein
Novum. Vor einerWeile gab es so einen Jailbreak, wodurch man
ChatGPT so überfordern konnte,dass es sensitive Daten preis gab.


Dann nochAccuracy – dabei erklärt Shaun, wie diese im Output
Guardrail sichergestelltwird.


AuchCompleteness ist total wichtig, dazu ein einfaches Beispiel:


EineFlüssigkeit ist grün? Cool.


Sie ist grünund giftig und du hast das „und giftig“ weggelassen?
Gar nicht mehr cool.


DasMolekulargewicht allerdings brauch ich aber nicht als Info.


Und dannkommt da noch Enduring zu.


 


Die Situationfür Pharma ist noch nicht optimal, denn in diesem
Bereich dürfen nur Dingeverwendet werden, die halbwegs stabil
sind. Vor allem bei der Patient Safetyein wichtiges Thema.


Klar – wirwollen uns auch nix spritzen, das nicht zu 100% sicher
ist. Die Correctness derAntworten muss also stimmen.


Das sind eineder Grundvoraussetzungen, um LLMs produktionsnah und
z.B. auf dem Shopflooreinzusetzen.


 


Dann geht esnoch um das geliebte Thema Sh*t in, Sh*t out.


Denn dieDatenbasis ist natürlich die Grundlage für vernünftige
Antworten aus dem LLM.Guardrails können das noch nicht erkennen –
die Datenqualität muss also schonvorher gecheckt werden.


 


Also:


Das Modelgeeignet dokumentieren.


Guardrailskreieren, dokumentieren und überprüfen, um den Input
und Output zuverifizieren.


DieDatenbasis qualifizieren und auch den Fluss der Daten in das
System.


 


Zum Schlussmachen Christof und Shaun noch einen Blick in die
Zukunft!


 


 


 


Kapitelmarken:


 


00:00:00Vorstellung und Begrüßung


00:02:10Guardrails in GenAI


00:05:40Pharma und Künstliche Intelligenz


00:08:19Input- und Output-Guardrails


00:09:52Accuracy in LLM-Antworten


00:11:59Completeness in LLM-Antworten


00:14:50Enduring in LLM-Antworten


00:18:45Deterministische Prüfungen


00:21:02Guardrails in Entwicklung


00:25:39Datenqualität in KI


00:34:25Regularien als Chance


00:37:18Explainable AI


00:40:40AI-Architektur


00:42:49Zeitaufwand und Korrektheit


00:49:43 EinBlick in die Zukunft


00:53:39 ZweiFragen an Shaun