Warum ein Wiener Startup sein eigenes LLM trainiert

Wie baut man als Startup eigentlich ein eigenes LLM?
 Jakob Steinschaden (Trending
Topics, newsrooms) und Clemens
Wasner (enliteAI, AI Austria) begrüßen dazu in
der Folge 54 des AI Talk die beiden Gründer Matthias Neumayr und
Dima Rubanov (Branding5, Oscar Stories, HeyQQ) und sprechen über
folgende Themen:


️ Kindgerechte KI aus Österreich: Matthias
Neumayr und Dima Rubanov stellen Oscar Stories vor – eine App für
personalisierte Gute-Nacht-Geschichten, die auf einem selbst
trainierten Mistral-7B-Modell namens LORA basiert


Fine-Tuning statt Prompting: Warum Prompt
Engineering an Grenzen stößt und wie die Gründer mit enormem
Aufwand – inklusive 24-Stunden-Trainings auf dem MacBook-Chip
M3 – ihr eigenes Modell entwickelt haben


Datensammlung und Benchmarking: Der komplexe
Prozess von Data Cleaning über Modellauswahl bis zu
Readability-Tests - und warum ältere Modelle wie GPT-3.5
teilweise bessere einfache Texte liefern als Reasoning-Modelle


Mistral statt Meta: Warum das französische
Open-Source-Modell Mistral die beste Wahl für deutsche Sprache
war und Llama 3.1 sowie Phi-4 im Vergleich durchfielen


On-Device AI als Zukunft: Vision einer
komplett lokalen Ausführung auf iPhones - Privacy-First für
Eltern, ohne Cloud-Abhängigkeit, inspiriert von Apples
Foundation Model Framework


TÜV-Zertifizierung für Vertrauen: Der
aufwendige, aber freiwillige Weg zur Trusted-AI-Zertifizierung

️ AI Act in der Praxis: Warum die meisten
Kritiker gar nicht von High-Risk-Regulierung betroffen sind, wie
Compliance tatsächlich funktioniert und weshalb Copyright-Regeln
Foundation Models stärker bremsen als der AI Act selbst