Anmeldung Registrierung
Auto Hell Dunkel
Erweiterte Suche
  1. Startseite
  2. Podcasts
  3. Token-Therapie Podcast
  4. Lokale KI: Braucht's die Cloud überhaupt noch? - Token-Therapie #5
Wie viel KI muss eigentlich wirklich in der Cloud laufen?In
dieser Folge von Token-Therapie sprechen wir mit Branko Trebsche
über lokale KI – und darüber, wann Unternehmen sich unabhängig
von Anbietern wie OpenAI, Anthropic & Co. machen sollten.Mehr
zu Branko
Trebsche:https://www.linkedin.com/in/branko-trebsche/Wir
diskutieren, warum Datenschutz und der Schutz von
Geschäftsgeheimnissen starke Argumente für lokale Modelle sein
können, welche Anwendungen heute bereits auf einem MacBook oder
Mac Studio möglich sind und wann leistungsfähigere Hardware wie
NVIDIA-GPUs ins Spiel kommt.Außerdem geht es um die Frage, wie
Unternehmen lokale KI sinnvoll in ihre Softwareentwicklung
integrieren können. Denn ein Modell lokal laufen zu lassen, ist
nur der Anfang: Infrastruktur, Security, Entwicklungsprozesse,
Architektur, Teamkoordination und die Fähigkeiten der Entwickler
werden mit agentischer Softwareentwicklung wichtiger denn je.Wir
sprechen unter anderem über:• Wann lokale KI gegenüber Cloud-KI
sinnvoll ist• Datenschutz, IP und Geschäftsgeheimnisse• MacBook,
Mac Studio, RTX 6000, B200 & Co.• Lokale und hybride
KI-Infrastruktur• Coding mit lokalen Open-Source-Modellen• Warum
gute Softwarearchitektur durch KI noch wichtiger wird• Wie
Unternehmen KI in Entwicklungsteams einführen sollten• EU AI Act
und KI-Kompetenz der Mitarbeiter• Die Zukunft leistungsfähiger
Open-Source-Modelle• Abhängigkeit von großen KI- und
Softwareanbietern• Tokenkosten, Hardwarekosten und die Ökonomie
von KI• Warum KI-Produktivität ohne Koordination schnell wieder
verloren gehen kannEine zentrale These der Folge: Für typische
Business-Software muss lokale KI bei guter Vorbereitung nicht
zwangsläufig schlechter sein als die neuesten Cloud-Modelle.
Entscheidend sind nicht nur Modellgröße und Benchmarks, sondern
der gesamte Entwicklungsprozess rund um das Modell.Zum Abschluss
sprechen wir darüber, was IT- und Engineering-Führungskräfte in
den kommenden zwölf Monaten tun sollten: Zielinfrastruktur
definieren, Mitarbeiter qualifizieren und KI nicht als isoliertes
Tool, sondern als Bestandteil des gesamten
Software-Engineering-Systems betrachten.KAPITEL00:00 Intro &
Vorstellung von Branko Trebsche01:34 Warum überhaupt lokale
KI?03:40 Vertrauen, Datenschutz und Geschäftsgeheimnisse06:17 Was
bedeutet „lokale KI“ eigentlich?09:37 Was läuft heute auf MacBook
und Mac Studio?12:23 Welche Hardware braucht lokale KI – und was
kostet sie?15:01 Warum lokale KI nicht primär eine Kostenfrage
ist17:15 Wie führt man lokale KI in Entwicklungsteams ein?20:02
EU AI Act, Infrastruktur und KI-Kompetenz24:23 Warum gute
Softwareentwicklung durch KI wichtiger wird25:04 Wie groß ist der
Abstand zu den besten Cloud-Modellen?27:17 Wie schützt man sein
Geschäftsmodell vor der KI-Entwicklung?29:09 Hat Open Source bei
KI eine Zukunft?32:09 Wie entwickeln sich die Preise für
Cloud-KI?34:39 Wem gehört eigentlich der Output einer KI?36:58
Vendor Lock-in und die langfristigen Kosten von KI38:31 Welche
neuen Geschäftsmodelle ermöglicht eigene KI-Infrastruktur?39:12
Was IT-Führungskräfte in den nächsten 12 Monaten tun
solltenToken-Therapie – der Podcast für AI Engineering
Leader.Mehr Folgen, Infos und
Hintergründe:https://tokentherapie.de#KI #KünstlicheIntelligenz
#LocalAI #Softwareentwicklung #AIEngineering #LLM #OpenSource
#DevOps
Episode melden

„Lokale KI: Braucht's die Cloud überhaupt noch? - Token-Therapie #5“

Worum geht es? Danach fragen wir noch nach dem Grund.

Abonnenten

Teilen

Mein Archiv

Deine Privatkopie der Folgen, die du nicht verlieren willst.

Podcast-Folgen verschwinden. Feeds werden auf die letzten Episoden gekürzt, Hoster räumen alte Dateien ab, Formate wechseln den Anbieter und lassen ihr Archiv zurück. Mit „Mein Archiv“ sichert podcast.de die Folgen deiner Podcasts für dich — angefangen bei den ältesten, denn die sind zuerst weg.

  • Deine gesicherten Folgen bleiben hörbar, auch wenn das Original offline geht.
  • Auch Folgen, die im heutigen Feed gar nicht mehr stehen — podcast.de kennt sie noch.
  • Herunterladen bleibt möglich, solange die Folge beim Podcaster liegt. Der zählt seine Abrufe wie bisher.
Startet bald

Sei beim Start von Mein Archiv dabei

Mein Archiv ist fast fertig. Trag dich ein, dann bekommst du eine E-Mail, sobald es losgeht – und bist von Anfang an dabei. Wir schreiben dir nur zum Start, keine Werbung, keine Weitergabe deiner Daten.

Du bekommst zuerst eine Bestätigungsmail. Abmelden geht jederzeit. Datenschutz