KI lokal nutzen: LLMs und KI-Agenten ganz ohne OpenAI, Anthropic & Co. | c’t uplink

Egal ob man gern ausufernde Gespräche mit einem Chatbot führt, jede
Menge Bilder generiert oder Programmierprojekte mit KI umsetzen
will: Die Token schwinden wie Eis in der Sonne und das Ganze geht
schnell ins Geld. Mal ganz abgesehen davon, dass gerade im
beruflichen Kontext Vorsicht geboten ist, welche Daten man an die
Onlinedienste weitergibt. Lokale KI-Modelle sind da die deutlich
bessere Wahl: Die Kosten sind besser kalkulierbar, weil man nur in
Hardware investieren und kein Abo bei KI-Firmen abschließen muss.
So muss man nicht mehr jedes Token auf die Goldwaage legen. Und um
den versehentlichen Abfluss von Daten braucht man sich dann auch
keine Sorgen machen. In dieser Folge des c’t uplink sprechen wir
darüber, was mit einem lokalen KI-Server möglich ist, ab welcher
Hardware das Spaß macht und welche coolen Dinge ein solcher
KI-Server tun kann. Jan Mahn berichtet von seinen Erfahrungen beim
[Aufsetzen eines LLM-Servers für kleine
Teams](https://www.heise.de/ratgeber/Sprachmodelle-mit-Open-WebUI-LLM-Server-fuer-kleine-Teams-selbst-hosten-11333185.html),
während Jan-Keno Janssen für ein c’t-3003-Video mit agentischer KI
experimentiert hat. Zu Gast im Studio: Jan Mahn, Jan-Keno Janssen
Host: Liane M. Dubowy Produktion: Tobias Reimer Mitdiskutieren
auf dem heise & c't Discord-Server:
https://discord.gg/Wf6ewnWpxH c’t Magazin: https://ct.de c’t
auf Mastodon: https://social.heise.de/@ct_Magazin c’t auf
Instagram: https://www.instagram.com/ct_magazin c’t auf Facebook:
https://www.facebook.com/ctmagazin c’t auf Bluesky:
https://bsky.app/profile/ct.de c’t auf Papier: überall wo es
Zeitschriften gibt!