032 - Tutorial: lokale KIs Teil 2

Tauche ein in die faszinierende Welt der lokalen KI!


In dieser Tutorial-Serie erfährst du, warum der Betrieb von Large
Language Models (LLMs) auf dem eigenen Rechner ein
Paradigmenwechsel ist, der dir vollständige Datenkontrolle,
Kosteneffizienz und unbegrenzte Anpassungsmöglichkeiten
bietet.Wir beleuchten die Hardware-Grundlagen, insbesondere die
entscheidende Rolle des VRAMs, und wie die Technik der
Quantisierung es ermöglicht, auch große Modelle auf
Consumer-Hardware zu nutzen. Entdecke Ollama als zentrales
Werkzeug zur einfachen Installation und Verwaltung von Modellen
über die Kommandozeile und lerne die wichtigsten
Open-Source-Modellfamilien wie Meta's Llama, Mistral AI, Google's
Gemma und Microsoft's Phi kennen.


Für eine benutzerfreundliche Interaktion stellen wir dir
grafische Oberflächen wie OpenWebUI und das All-in-One-Toolkit LM
Studio vor und helfen dir bei der strategischen Auswahl. Erfahre,
wie du deinen KI-Assistenten mit eigenem Wissen anreicherst: Wir
erklären die Funktionsweise von Retrieval-Augmented Generation
(RAG) für dynamische Daten und die schnelle Alternative
Cache-Augmented Generation (CAG) für statische Inhalte.Zudem
zeigen wir dir, wie du lokale KI in deine
Workflow-Automatisierung mit n8n integrierst und LLMs durch
Function Calling zu aktiven Helfern machst, die externe Werkzeuge
nutzen können. Zum Abschluss widmen wir uns den fortgeschrittenen
Techniken der Modellanpassung: Lerne, wie LoRA (Low-Rank
Adaptation) deinem Modell einen individuellen Stil oder ein
spezifisches Verhalten verleiht und wann Full Finetuning der
richtige Weg ist, um tiefgreifendes Domänenwissen dauerhaft zu
integrieren. Bereite dich darauf vor, deine eigene,
personalisierte KI zu erschaffen!