Attention Heads - Schweizer Perspektiven auf KI und die Technologie von morgen

Grosse Sprachmodelle wie ChatGPT, Gemini oder Claude sind längst nicht mehr nur technische Spielereien – sie beeinflussen, wie wir Informationen konsumieren, politische Debatten führen und Entscheidungen treffen. Doch wie politisch neutral sind diese Modelle wirklich? Tragen sie eine inhärente ideologische Färbung in sich? Und wenn ja, welche?

In dieser Folge nehmen wir den bahnbrechenden DeepSeek R1 genau unter die Lupe – ein Modell, das seinen Denkprozess eigenständig definiert und optimiert. Statt ihm vorzugeben, wie es nachdenken soll, beobachten wir, wie die KI in Echtzeit ihre eigenen Ketten des Denkens generiert und dabei komplexe Probleme löst. Wir erklären, wie DeepSeek R1 mithilfe von Reinforcement Learning und innovativen Methoden den Weg zum autonomen Nachdenken ebnet und damit traditionelle, von menschlicher Anleitung abhängige Modelle herausfordert. Seid dabei, wenn wir als stille Beobachter die faszinierende Selbstorganisation und den freien Gedankengang dieser Open-Source-KI erleben – und diskutieren, was das für die Zukunft intelligenter Systeme bedeutet.

In dieser Folge nehmen wir das DeepSeek V3 Paper genau unter die Lupe – das Open-Source-Powerhouse, das aktuell für Furore in der KI-Szene sorgt. Wir erklären, warum dieses Modell mit seinen 671 Milliarden Parametern (37 Milliarden aktiv pro Token) und innovativen Architekturen wie Multi-Head Latent Attention und Mixture-of-Experts den Markt revolutioniert. Dabei beleuchten wir, wie DeepSeek V3 trotz geringer Kosten (nur ca. 5,58 Mio. USD für das Training) durch eine effiziente Nutzung von Nvidia H800 Chips und einen sparsamen Datenaufwand beeindruckende Leistungen erzielt. Erfahrt, was hinter dem Hype steckt, welche technischen Neuerungen das Modell auszeichnen und warum es als Gamechanger in der Open-Source-KI gilt.

In der SRF Arena ging es auch um die Frage, wie der rasante Fortschritt der Künstlichen Intelligenz sicher und verantwortungsvoll reguliert werden kann. Experten diskutierten, ob nationale Maßnahmen ausreichen oder ob ein globaler Sicherheitsmechanismus – vergleichbar mit Ansätzen in der Nukleartechnik – notwendig wäre, um Risiken zu minimieren. In dieser reAct-Folge setzen wir uns mit den in der Arena vorgebrachten Vorschlägen auseinander und fragen: Kann ein international abgestimmter Regulierungsrahmen die digitale Zukunft wirklich sichern? Wir beleuchten die Chancen und Herausforderungen eines solchen Ansatzes und stellen ihn in einen breiteren technischen Kontext.