095 | LLMs lokal ausführen: Erste Erfahrungen & praktische Tipps

Große Sprachmodelle (LLMs) lokal ausführen – das klingt erstmal
nach einer Menge technischer Hürden. Aber wie schwer ist es
wirklich? In dieser Folge teilt Thomas seine ersten Erfahrungen
mit lokalen LLMs, was gut lief, wo es gehakt hat und welche
Learnings er dabei mitgenommen hat.


Wir sind keine LLM-Profis, aber mit ein bisschen
Experimentierfreude kann man schnell ein besseres Verständnis für
die Möglichkeiten und Grenzen dieser Modelle entwickeln. Warum
sollte man LLMs überhaupt lokal laufen lassen? Welche Vorteile
bringt das – und wo liegen die Hürden? Thomas gibt außerdem ein
paar praktische Tipps, um den Einstieg so einfach wie möglich zu
gestalten.


Perfekt für alle, die sich in das Thema einarbeiten wollen, ohne
gleich ein Rechenzentrum im Keller zu brauchen!





Community:


Werde Teil der IOOB Discord Community:


https://discord.gg/bbC5c4vvQY





Links:





MIT Playlist (LLMs & AI):


https://www.youtube.com/watch?v=ErnWZxJovaM&list=PLtBw6njQRU-rwp5__7C0oIVt26ZgjG9NI&index=2


Langchain – Framework für LLMs:


https://www.langchain.com/


Ollama – Lokale LLMs leicht gemacht:


https://ollama.com/


Llama – Open-Source LLMs von Meta:


https://www.llama.com/


Deepseek R1 auf dem Raspberry Pi:


https://www.youtube.com/watch?v=o1sN1lB76EA


Kontakt:


https://ioob.de


input@ioob.de


𝕏 https://x.com/IoobPodcast


https://youtube.com/@ioobpodcast