Startseite
Podcasts
KI - kurz und informativ, Klartext "to Go" in unter 5 Minuten Podcast
Open-Weight-Modelle: So installiert ihr ein LLM auf eurem eigenen PC

Open-Weight-Modelle: So installiert ihr ein LLM auf eurem eigenen PC

KI - kurz und informativ, Klartext "to Go" in unter 5 Minuten vor 1 Monat

0:00

6:56

Kimi K3 von Moonshot AI ist gerade in aller Munde. Ein
Open-Weight-Modell mit 2,8 Billionen Parametern, das mit den
besten Modellen aus den USA mithalten will. Aber wie installiert
man eigentlich ein solches Modell selbst?

In dieser Folge nehmen wir Kimi K3 als Aufhänger, um den
kompletten Prozess zu erklären: Was unterscheidet ein
Open-Weight-Modell von proprietären Systemen wie ChatGPT oder
Claude? Warum könnt ihr Kimi K3 selbst trotz Quantisierung nicht
auf eurem Laptop laufen lassen und welche kleineren,
alltagstauglichen Modelle funktionieren stattdessen?

Ich erkläre euch Hugging Face als zentrale Anlaufstelle für
Open-Weight-Modelle, erkläre die wichtigsten Dateiformate GGUF
und Safetensors, und stellen die drei populärsten Tools für den
lokalen Betrieb vor: Ollama, LM Studio und Open WebUI.

Diese Folge baut auf unseren vorherigen Episoden zu Quantisierung
und Speicherarten (VRAM, RAM, Unified Memory) auf und liefert den
praktischen Einstieg zum Selbermachen.

Themen: Kimi K3, Moonshot AI,
Open-Weight-Modelle, Hugging Face, GGUF, Ollama, LM Studio,
lokale LLMs, KI selbst hosten

Links:

- Erklärung GGUF: https://huggingface.co/docs/hub/gguf

- Erklärung Safe Tensors:

https://huggingface.co/docs/safetensors/index

- Kimi K3 auf Hugging Face:
https://huggingface.co/moonshotai/Kimi-K3

- Open WebUI: https://docs.openwebui.com/

- Ollama: https://ollama.com/

- LM Studio: https://lmstudio.ai/