Startseite
Podcasts
Engineering Kiosk Podcast
#153 Wie hoste ich ein Large Language Modell (LLM) mit Kubernetes in 5 Minuten mit Data Science Deep Dive

#153 Wie hoste ich ein Large Language Modell (LLM) mit Kubernetes in 5 Minuten mit Data Science Deep Dive

Engineering Kiosk vor 1 Jahr

0:00

7:56

Wie hoste ich ein Large Language Modell in 5 Minuten mit
Kubernetes mit Data Science Deep Dive.

Im Engineering Kiosk Adventskalender 2024 sprechen befreundete
Podcaster⋅innen und wir selbst, Andy und Wolfi, jeden Tag kurz
& knackig innerhalb von wenigen Minuten über ein
interessantes Tech-Thema.

Unsere aktuellen Werbepartner findest du auf
https://engineeringkiosk.dev/partners

Das schnelle Feedback zur Episode:

(top) (geht
so)

Links

Data Science Deep Dive Podcast: https://inwt.podbean.com/

In Numbers We Trust: https://www.inwt-statistics.de/

Kubernetes: https://kubernetes.io/

Hugging Face: https://huggingface.co/

Databricks: https://www.databricks.com/de

Tabby: https://github.com/TabbyML/tabby

Gradio: https://www.gradio.app/

Ollama: https://ollama.com/

vLLM: https://github.com/vllm-project/vllm

NVIDIA device plugin for Kubernetes:
https://github.com/NVIDIA/k8s-device-plugin#quick-start

Sprungmarken

(00:00:00) Wie hoste ich ein Large Language Modell in 5 Minuten
mit Kubernetes?

Hosts

Wolfgang Gassler (https://mastodon.social/@woolf)

Andy Grunwald (https://andygrunwald.com/)

Feedback

EngKiosk Community:
https://engineeringkiosk.dev/join-discord

Buy us a coffee: https://engineeringkiosk.dev/kaffee

Email: stehtisch@engineeringkiosk.dev

LinkedIn: https://www.linkedin.com/company/engineering-kiosk/

Mastodon: https://podcasts.social/@engkiosk

Bluesky:
https://bsky.app/profile/engineeringkiosk.bsky.social

Twitter: https://twitter.com/EngKiosk