Startseite
Podcasts
Prompt & Proper Podcast
AI FinOps: Warum sinkende Tokenpreise die Kosten explodieren lassen

AI FinOps: Warum sinkende Tokenpreise die Kosten explodieren lassen

Prompt & Proper vor 4 Tagen

0:00

23:14

Der Preis pro Token fällt seit Monaten. Die Rechnung steigt
trotzdem. Wer agentisch entwickelt, verbraucht so viel mehr
Tokens, dass sinkende Modellpreise den Effekt nicht auffangen. In
dieser Folge von Prompt & Proper sprechen Romano Roth
(Zühlke) und Steffen Ochsenreither (Die Post) über AI FinOps:
warum jeder Agenten-Loop den Verbrauch exponentiell treibt,
welches Modell zu welchem Task gehört und warum Kosten allein
kein KPI sind.

Themen der Folge:

Der Preis pro Token sinkt, der Verbrauch steigt schneller,
die Rechnung wächst

Warum agentische Workflows exponentiell verbrauchen: jeder
Loop trägt den ganzen Kontext mit

Richtiges Modell für den richtigen Task: Frontier-Modell für
Analyse und Spezifikation, kleineres Modell für Planung und
Umsetzung

Warum das teure Modell in einem Durchlauf günstiger sein kann
als das billige in vier Iterationen

AI Gateway: Modellwahl steuern, von Anbietern entkoppeln,
Verbrauch auf Projekt und Unit runterbrechen

Warum die Modellwahl automatisiert werden muss, wenn sie
nicht vergessen werden soll

Kosten gegen Nutzen und Business Value stellen, statt nur
Token zu verteilen

Tokens künftig einkaufen wie Strom, inklusive
Lastverschiebung für nicht zeitkritische Tasks

"Man sollte nicht alles mit dem besten Modell erschlagen wollen."

Prompt & Proper ist der deutschsprachige Podcast über
künstliche Intelligenz in Unternehmen. Alle zwei Wochen,
praxisnah, ohne Marketing-Sprech.

Abonniert uns auf Spotify oder YouTube und schreibt uns, mit
welchem KI-Thema ihr gerade kämpft. Vielleicht wird genau das die
nächste Folge.