Deep Dive 141 – Integration von LLMs mit Christian Weyer

Generative AI, also eine künstliche Intelligenz, die neue Inhalte
erzeugen kann, ist aktuell im Tech-Umfeld omnipräsent und
schwappt auch in den Diskurs von Non-Techies. Nahezu täglich
werden neue, größere, bessere Modelle veröffentlicht. Um
mithalten und die Technologie nutzen zu können, wollen wir sie
ganz nüchtern und pragmatisch verstehen. Dazu haben wir erneut
Christian Weyer eingeladen und sprechen mit ihm über seine
Erfahrungen bei der tatsächlichen Integration von Generative AI
in echte Anwendungen.


Wir diskutieren, wie ihr euch dem Thema nähern solltet, wenn ihr
Software und Produkte entwickelt, welche Überlegungen dabei eine
zentrale Rolle spielen und wieso ihr vielleicht doch kein eigenes
KI-Modell hosten solltet – auch wenn ihr es könntet.


Wir stellen die These auf, dass AI und insbesondere Large
Language Models für uns als Entwickler:innen eigentlich bloß
weitere Werkzeuge sind. Dabei erklären wir, worin es sich von
allem zuvor Dagewesenen unterscheidet.


Und weil wir schon lange nicht mehr so schön im Studio
beieinander saßen, haben wir bei der Aufnahme vergessen, auf die
Uhr zu schauen. ;) Einen Pick of the Day gibt es am Ende trotzdem
noch für euch.


Picks of the Day:


Jan Gregor: Jan – Ähnlich wie LM Studio ermöglicht euch auch
„Jan“, Large Language Models lokal auf eurem Computer laufen zu
lassen. Dabei habt ihr die Auswahl aus verschiedenen Modellen,
die über einen zentralen Hub bereitgestellt werden. Alternativ
ladet ihr einfach selbst Modelle herunter (etwa via HuggingFace)
und importiert diese zur Nutzung in Jan. Für die Nutzung steht
euch sowohl ein Chat-Interface als auch eine HTTP-API zur
Verfügung. Wer Modelle selbst nutzen möchte, aber dafür nicht das
GUI von Jan braucht, kann auch die zugrundeliegende Library Nitro
selbst verwenden.



Schreibt uns!
Schickt uns eure Themenwünsche und euer Feedback:
podcast@programmier.bar


Folgt uns!
Bleibt auf dem Laufenden über zukünftige Folgen und virtuelle
Meetups und beteiligt euch an Community-Diskussionen.


Twitter
Instagram
Facebook
Meetup
YouTube


Musik: Hanimo