#153 Wie hoste ich ein Large Language Modell (LLM) mit Kubernetes in 5 Minuten mit Data Science Deep Dive

Wie hoste ich ein Large Language Modell in 5 Minuten mit
Kubernetes mit Data Science Deep Dive.


Im Engineering Kiosk Adventskalender 2024 sprechen befreundete
Podcaster⋅innen und wir selbst, Andy und Wolfi, jeden Tag kurz
& knackig innerhalb von wenigen Minuten über ein
interessantes Tech-Thema.





Unsere aktuellen Werbepartner findest du auf
https://engineeringkiosk.dev/partners





Das schnelle Feedback zur Episode:


(top)  (geht
so)



Links

Data Science Deep Dive Podcast: https://inwt.podbean.com/

In Numbers We Trust: https://www.inwt-statistics.de/

Kubernetes: https://kubernetes.io/

Hugging Face: https://huggingface.co/

Databricks: https://www.databricks.com/de

Tabby: https://github.com/TabbyML/tabby

Gradio: https://www.gradio.app/

Ollama: https://ollama.com/

vLLM: https://github.com/vllm-project/vllm

NVIDIA device plugin for Kubernetes:
https://github.com/NVIDIA/k8s-device-plugin#quick-start




Sprungmarken

(00:00:00) Wie hoste ich ein Large Language Modell in 5 Minuten
mit Kubernetes?



Hosts

Wolfgang Gassler (https://mastodon.social/@woolf)

Andy Grunwald (https://andygrunwald.com/)




Feedback

EngKiosk Community:
https://engineeringkiosk.dev/join-discord 

Buy us a coffee: https://engineeringkiosk.dev/kaffee

Email: stehtisch@engineeringkiosk.dev

LinkedIn: https://www.linkedin.com/company/engineering-kiosk/

Mastodon: https://podcasts.social/@engkiosk

Bluesky:
https://bsky.app/profile/engineeringkiosk.bsky.social

Twitter: https://twitter.com/EngKiosk