podcast.de
Anmeldung
Anmeldung Registrierung
Auto Hell Dunkel
Erweiterte Suche
  1. Startseite
  2. Podcasts
  3. M365.FM – Microsoft 365, Copilot & KI Podcast auf Deutsch Podcast
  4. Langsame GPU-Inferenz entlarvt: CPU-Fallback, CUDA/TensorRT-Versionskonflikte und Container-Fehler beheben (KI-Synchronfassung)
Langsame GPU-Inferenz entlarvt: CPU-Fallback, CUDA/TensorRT-Versionskonflikte und Container-Fehler beheben (KI-Synchronfassung)

Langsame GPU-Inferenz entlarvt: CPU-Fallback, CUDA/TensorRT-Versionskonflikte und Container-Fehler beheben (KI-Synchronfassung)

M365.FM – Microsoft 365, Copilot & KI Podcast auf Deutsch vor 1 Woche
Zu Sammlung hinzufügen

Du hast noch keine Sammlungen.
Herunterladen (rechte Maustaste) Teilen Fundstellen Kommentare
0:00
22:28
Die GPU-Rechnung steigt, die Dashboards sind grün – und trotzdem
warten die Kunden. Diese Folge untersucht wie einen Kriminalfall,
warum Stable-Diffusion-Inferenz mit ONNX Runtime und TensorRT kaum
GPU-Auslastung zeigt, während die Latenz steigt, und belegt die
Lösung mit Latenz, Durchsatz und GPU-Auslastung vor und nach der
Korrektur.Das erfahren Sie:CPU-Fallback: Warum ONNX Runtime still
auf den CPU-Ausführungsanbieter ausweicht und die Latenz dadurch
10- bis 30-mal höher wirdVersionskonflikte zwischen Treiber, CUDA,
cuDNN, ONNX Runtime und TensorRT, durch die Fused Attention und
FP16-Optimierungen stillschweigend verloren
gehenContainer-Fehlkonfigurationen: aufgeblähte Images, fehlende
GPU-Geräte-Mounts, das NVIDIA Container Toolkit und die
CUDA-Speicher-ArenaStart-Gates für Integrität und Leistung:
Anbieter prüfen, Warmlauf mit deterministischen Canary-Prompts und
harter Abbruch statt stiller HerabstufungEin wiederholbares
Abhilfeprotokoll mit Versionsmatrix, vorgefertigten
TensorRT-Engines, IO-Binding, FP16 und Blue-Green-Rollouts mit
automatischem RollbackFür ML- und Plattform-Engineers sowie DevOps-
und SRE-Teams, die GPU-Inferenz in Containern betreiben und für
jede bezahlte GPU-Stunde echte Beschleunigung wollen.Diese Folge
ist eine KI-synchronisierte deutsche Fassung des animierten
Erklärvideos aus der M365 Show von Microsoft MVP Mirko Peters.
Video ansehen: https://youtu.be/7rNV_vcD-Fg Mehr Folgen:
https://www.m365.fm M365Con – kostenlose
Microsoft-Online-Konferenz: https://m365con.net Mirko Peters auf
LinkedIn: https://www.linkedin.com/in/m365showpodcast/

This episode includes AI-generated content.

Weitere Episoden

Was ist Azure AI Foundry? Projekte, Modellkatalog und KI-Agenten verständlich erklärt (KI-Synchronfassung)

Was ist Azure AI Foundry? Projekte, Modellkatalog und KI-Agenten verständlich erklärt (KI-Synchronfassung)

15 Minuten
vor 6 Stunden
Azure API Management einfach erklärt: Gateway, Richtlinien, Entwicklerportal und Preisstufen (KI-Synchronfassung)

Azure API Management einfach erklärt: Gateway, Richtlinien, Entwicklerportal und Preisstufen (KI-Synchronfassung)

15 Minuten
vor 6 Stunden
Dynamics 365 Bestandsverwaltung einfach erklärt: Lagerdimensionen, Warenfluss und Kalkulationsmethoden (KI-Synchronfassung)

Dynamics 365 Bestandsverwaltung einfach erklärt: Lagerdimensionen, Warenfluss und Kalkulationsmethoden (KI-Synchronfassung)

19 Minuten
vor 6 Stunden
Was ist Microsoft Dataverse? Tabellen, Sicherheit und Dynamics 365 einfach erklärt (KI-Synchronfassung)

Was ist Microsoft Dataverse? Tabellen, Sicherheit und Dynamics 365 einfach erklärt (KI-Synchronfassung)

21 Minuten
vor 6 Stunden
Dynamics 365 Asset Management einfach erklärt: Wartung planen, Arbeitsaufträge und Kosten im Griff (KI-Synchronfassung)

Dynamics 365 Asset Management einfach erklärt: Wartung planen, Arbeitsaufträge und Kosten im Griff (KI-Synchronfassung)

20 Minuten
vor 6 Stunden
Alle Episoden anzeigen
In Podcasts werben
Schalte jetzt Werbung in Podcasts.
Episode melden

„Langsame GPU-Inferenz entlarvt: CPU-Fallback, CUDA/TensorRT-Versionskonflikte und Container-Fehler beheben (KI-Synchronfassung)“

Worum geht es? Danach fragen wir noch nach dem Grund.

Abonnenten

Teilen

Mein Archiv

Deine Privatkopie der Folgen, die du nicht verlieren willst.

Podcast-Folgen verschwinden. Feeds werden auf die letzten Episoden gekürzt, Hoster räumen alte Dateien ab, Formate wechseln den Anbieter und lassen ihr Archiv zurück. Mit „Mein Archiv“ sichert podcast.de die Folgen deiner Podcasts für dich — angefangen bei den ältesten, denn die sind zuerst weg.

  • Deine gesicherten Folgen bleiben hörbar, auch wenn das Original offline geht.
  • Auch Folgen, die im heutigen Feed gar nicht mehr stehen — podcast.de kennt sie noch.
  • Herunterladen bleibt möglich, solange die Folge beim Podcaster liegt. Der zählt seine Abrufe wie bisher.
Startet bald

Sei beim Start von Mein Archiv dabei

Mein Archiv ist fast fertig. Trag dich ein, dann bekommst du eine E-Mail, sobald es losgeht – und bist von Anfang an dabei. Wir schreiben dir nur zum Start, keine Werbung, keine Weitergabe deiner Daten.

Du bekommst zuerst eine Bestätigungsmail. Abmelden geht jederzeit. Datenschutz