Startseite
Podcasts
Prompt und Antwort Podcast
176 - Praxis mit dem DGX Spark

176 - Praxis mit dem DGX Spark

Prompt und Antwort vor 4 Monaten

0:00

5:10

Praxis mit dem DGX Spark: Komplette KI-Infrastruktur im
StresstestIn dieser Folge des KI Gilde Podcasts teilen
wir unsere harten Praxiswerte beim parallelen, lokalen Betrieb
einer vollständigen KI-Infrastruktur auf dem DGX Spark.Die
wichtigsten Erkenntnisse der Folge:

vLLM statt llama.cpp: Warum vLLM bei der
parallelen Verarbeitung deutlich mehr Token herausholt, der
vorab allokierte KV-Cache aber schnell zur Speicherfalle
wird.

Crash-Gefahr durch RAM-Limits: Wie große
Kontextfenster den Server unvermittelt zum Absturz bringen
können und warum wir einen "Wächter" für den
Arbeitsspeicher einrichten mussten.

Modell-Management mit LiteLLM: Der
erfolgreiche Parallelbetrieb von großen Sprachmodellen,
Rerankern sowie Text-zu-Sprache (TTS) und Sprache-zu-Text
(STT).

Die Reasoning-Falle: Warum es schädlich
ist, wenn Modelle ihre "inneren Gedanken" an das
Audiomodell weitergeben und wie wir das Problem gelöst
haben.

Unser Benchmark-Sieger: Warum das Modell
"Qvent 3.6" durch seine starke Kombination aus
Kontextverarbeitung und Token-Generierung unser absoluter
Allrounder geworden ist.