Startseite
Podcasts
Token-Therapie Podcast
Lokale KI: Braucht's die Cloud überhaupt noch? - Token-Therapie #5

Lokale KI: Braucht's die Cloud überhaupt noch? - Token-Therapie #5

Token-Therapie vor 3 Wochen

0:00

41:49

Wie viel KI muss eigentlich wirklich in der Cloud laufen?In
dieser Folge von Token-Therapie sprechen wir mit Branko Trebsche
über lokale KI – und darüber, wann Unternehmen sich unabhängig
von Anbietern wie OpenAI, Anthropic & Co. machen sollten.Mehr
zu Branko
Trebsche:https://www.linkedin.com/in/branko-trebsche/Wir
diskutieren, warum Datenschutz und der Schutz von
Geschäftsgeheimnissen starke Argumente für lokale Modelle sein
können, welche Anwendungen heute bereits auf einem MacBook oder
Mac Studio möglich sind und wann leistungsfähigere Hardware wie
NVIDIA-GPUs ins Spiel kommt.Außerdem geht es um die Frage, wie
Unternehmen lokale KI sinnvoll in ihre Softwareentwicklung
integrieren können. Denn ein Modell lokal laufen zu lassen, ist
nur der Anfang: Infrastruktur, Security, Entwicklungsprozesse,
Architektur, Teamkoordination und die Fähigkeiten der Entwickler
werden mit agentischer Softwareentwicklung wichtiger denn je.Wir
sprechen unter anderem über:• Wann lokale KI gegenüber Cloud-KI
sinnvoll ist• Datenschutz, IP und Geschäftsgeheimnisse• MacBook,
Mac Studio, RTX 6000, B200 & Co.• Lokale und hybride
KI-Infrastruktur• Coding mit lokalen Open-Source-Modellen• Warum
gute Softwarearchitektur durch KI noch wichtiger wird• Wie
Unternehmen KI in Entwicklungsteams einführen sollten• EU AI Act
und KI-Kompetenz der Mitarbeiter• Die Zukunft leistungsfähiger
Open-Source-Modelle• Abhängigkeit von großen KI- und
Softwareanbietern• Tokenkosten, Hardwarekosten und die Ökonomie
von KI• Warum KI-Produktivität ohne Koordination schnell wieder
verloren gehen kannEine zentrale These der Folge: Für typische
Business-Software muss lokale KI bei guter Vorbereitung nicht
zwangsläufig schlechter sein als die neuesten Cloud-Modelle.
Entscheidend sind nicht nur Modellgröße und Benchmarks, sondern
der gesamte Entwicklungsprozess rund um das Modell.Zum Abschluss
sprechen wir darüber, was IT- und Engineering-Führungskräfte in
den kommenden zwölf Monaten tun sollten: Zielinfrastruktur
definieren, Mitarbeiter qualifizieren und KI nicht als isoliertes
Tool, sondern als Bestandteil des gesamten
Software-Engineering-Systems betrachten.KAPITEL00:00 Intro &
Vorstellung von Branko Trebsche01:34 Warum überhaupt lokale
KI?03:40 Vertrauen, Datenschutz und Geschäftsgeheimnisse06:17 Was
bedeutet „lokale KI“ eigentlich?09:37 Was läuft heute auf MacBook
und Mac Studio?12:23 Welche Hardware braucht lokale KI – und was
kostet sie?15:01 Warum lokale KI nicht primär eine Kostenfrage
ist17:15 Wie führt man lokale KI in Entwicklungsteams ein?20:02
EU AI Act, Infrastruktur und KI-Kompetenz24:23 Warum gute
Softwareentwicklung durch KI wichtiger wird25:04 Wie groß ist der
Abstand zu den besten Cloud-Modellen?27:17 Wie schützt man sein
Geschäftsmodell vor der KI-Entwicklung?29:09 Hat Open Source bei
KI eine Zukunft?32:09 Wie entwickeln sich die Preise für
Cloud-KI?34:39 Wem gehört eigentlich der Output einer KI?36:58
Vendor Lock-in und die langfristigen Kosten von KI38:31 Welche
neuen Geschäftsmodelle ermöglicht eigene KI-Infrastruktur?39:12
Was IT-Führungskräfte in den nächsten 12 Monaten tun
solltenToken-Therapie – der Podcast für AI Engineering
Leader.Mehr Folgen, Infos und
Hintergründe:https://tokentherapie.de#KI #KünstlicheIntelligenz
#LocalAI #Softwareentwicklung #AIEngineering #LLM #OpenSource
#DevOps