Apples KI: Warum passt sie auf ein Smartphone?

Dieses Jahr werden wir auf unseren iPhones, iPads und Macs mit
einer sehr leistungsfähigen KI beglückt, die lokal auf den Geräten
läuft. Das ist eine erstaunliche Ingenieurleistung. Sowohl die
Funktion als auch die dafür nötige Rechenleistung wäre bis vor
kurzem noch ganz undenkbar gewesen. Natürlich kann diese KI nicht
mit den gigantischen Modellen mithalten, die nur in Rechenzentren
möglich sind. Aber gerade der Gigantismus führt zu der Frage, wie
eine derart komplexe Funktion möglich wird auf einem Smartphone,
mit wenig Speicher und einem winzigen Prozessor? Welche Tricks hat
Apple angewendet? Was musste Apple weglassen? Wie wirkt es sich
aus? Der Beitrag erläutert, wie aus großen KI-Modellen kleine
Versionen destilliert werden, und welche Fähigkeiten sie haben.