201 - Strata

Prompt und Antwort vor 1 Monat

0:00

9:02

Eine Inferenz-Engine, die genau ein Modell ausführen kann: Strata
bringt Qwen 3.8 Flash Next mit 125 Milliarden Parametern auf
einen normalen Spiele-PC mit einer Grafikkarte ab 12 Gigabyte.
Wir spielen das an einem Entwickler durch, der seinen
Coding-Agenten auf einer RTX 4090 lokal laufen lassen will, statt
seinen Code in die Cloud zu schicken. Und wir fragen, ob der
Trend weg vom Allzweck-Server wie Ollama hin zur
maßgeschneiderten Engine trägt.

Wie Strata das Modell auf drei Ebenen verteilt: die
meistgenutzten Experten im Grafikspeicher, alle im
Arbeitsspeicher, die Nachschlagetabelle auf der SSD

Was anders ist als bei llama.cpp und was unabhängige
Messungen zeigen: 63 statt 23 Token pro Sekunde auf 12 Gigabyte,
gleiche Ergebnisse bei Rechen- und Code-Aufgaben

Wie weit man die Engine anpasst: Paketgröße, Kontext,
parallele Plätze, das Überspringen seltener Experten, Sampling
und Forks bis hin zu zwei PCs im Heimnetz

Wo es bricht: unbelegte Qualität bei langen Agentenaufgaben,
Antworten, die bei Temperatur null nicht gleich bleiben, und eine
Engine, die an einem Vorschau-Modell hängt

Für wen es sich lohnt und für wen nicht: Team-Server, viele
Modelle, DGX Spark und Mac

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte
stammen von uns.