Startseite
Podcasts
Antifragil in der VUKA-Welt: Digitale Transformation zwischen Regulierung und Realität🔥 Podcast
Guardrails für LLMs – die Basis für die Nutzung von AI in der Pharma-Welt | Mit Shaun Tyler

Guardrails für LLMs – die Basis für die Nutzung von AI in der Pharma-Welt | Mit Shaun Tyler

Antifragil in der VUKA-Welt: Digitale Transformation zwischen Regulierung und Realität🔥 vor 1 Jahr

0:00

58:33

Wieso istsh*t in, sh*t out auch bei LLMs so wichtig?

Wie könnenGuardrails die Basis für Pharma-KI bilden?

Worauf kommtes bei Antworten aus einem LLM überhaupt an?

Darüberdiskutiert Host Christof Layher in der neuen Folge von
ChaosHacker-Talk mitShaun Tyler. Der hat schon viele Erfahrungen
in der IT und im reguliertenUmfeld gesammelt – erst bei
Fraunhofer, heute als Director für globale SoftwareIntegration
Services bei Körber Pharma Software.

Seintägliches Business? GMP und Qualifizierung, seit zweieinhalb
Jahren aber auchGenAI.

In der Folgegeht es um Guardrails.

Also eineEingabe-Ausgabe-Validierung. Die gibt es sonst in der
Softwareentwicklung auch,wobei der Output des LLMs in
qualifizierbare und berechenbare Schrankenverwiesen wird.

Shaun hat eineigenes Guardrail-Framework entwickelt.

Das Problemist nämlich: Ein Prompt muss einen wiederkehrbaren und
vollständigen Outputgenerieren – nicht so ganz die Stärke von
LLMs.

ImPharma-Kontext ist das aber ein MUSS!

Zu denGuardrails gehören verschiedene Ebenen:

ContentSafety zum Beispiel, denn Jailbreak ist für GenAI noch ein
Novum. Vor einerWeile gab es so einen Jailbreak, wodurch man
ChatGPT so überfordern konnte,dass es sensitive Daten preis gab.

Dann nochAccuracy – dabei erklärt Shaun, wie diese im Output
Guardrail sichergestelltwird.

AuchCompleteness ist total wichtig, dazu ein einfaches Beispiel:

EineFlüssigkeit ist grün? Cool.

Sie ist grünund giftig und du hast das „und giftig“ weggelassen?
Gar nicht mehr cool.

DasMolekulargewicht allerdings brauch ich aber nicht als Info.

Und dannkommt da noch Enduring zu.

Die Situationfür Pharma ist noch nicht optimal, denn in diesem
Bereich dürfen nur Dingeverwendet werden, die halbwegs stabil
sind. Vor allem bei der Patient Safetyein wichtiges Thema.

Klar – wirwollen uns auch nix spritzen, das nicht zu 100% sicher
ist. Die Correctness derAntworten muss also stimmen.

Das sind eineder Grundvoraussetzungen, um LLMs produktionsnah und
z.B. auf dem Shopflooreinzusetzen.

Dann geht esnoch um das geliebte Thema Sh*t in, Sh*t out.

Denn dieDatenbasis ist natürlich die Grundlage für vernünftige
Antworten aus dem LLM.Guardrails können das noch nicht erkennen –
die Datenqualität muss also schonvorher gecheckt werden.

Also:

Das Modelgeeignet dokumentieren.

Guardrailskreieren, dokumentieren und überprüfen, um den Input
und Output zuverifizieren.

DieDatenbasis qualifizieren und auch den Fluss der Daten in das
System.

Zum Schlussmachen Christof und Shaun noch einen Blick in die
Zukunft!

Kapitelmarken:

00:00:00Vorstellung und Begrüßung

00:02:10Guardrails in GenAI

00:05:40Pharma und Künstliche Intelligenz

00:08:19Input- und Output-Guardrails

00:09:52Accuracy in LLM-Antworten

00:11:59Completeness in LLM-Antworten

00:14:50Enduring in LLM-Antworten

00:18:45Deterministische Prüfungen

00:21:02Guardrails in Entwicklung

00:25:39Datenqualität in KI

00:34:25Regularien als Chance

00:37:18Explainable AI

00:40:40AI-Architektur

00:42:49Zeitaufwand und Korrektheit

00:49:43 EinBlick in die Zukunft

00:53:39 ZweiFragen an Shaun