OpenAIs "Strawberry", Q-STaR und die Monte-Carlo-Glücksspiel-Strategie (Teil 1)

Der Weg nach KAI – Episode 24: OpenAIs "Strawberry", Q-STaR und
die Monte-Carlo-Glücksspiel-Strategie (Teil 1)
 
Im ersten Teil dieser Folge geht es vorrangig um die 5-stufige
Kategorisierung der KI-Entwicklung, die OpenAI kürzlich
vorgestellt hat. Diese Skala reicht von einfachen Chatbots bis
hin zu KI-Systemen, die ganze Organisationen führen können.
OpenAI befindet sich laut interner Einschätzung derzeit auf der
ersten "Chatbot"-Stufe, steht aber kurz davor, die zweite Stufe
der "Reasoners" zu erreichen, die menschenähnliches logisches
Denken ermöglichen. 
Das damit verbundene interne Projekt wird als "Strawberry"
bezeichnet.
Um die evtl. Auswirkungen dieser Ankündigung zu
verstehen, blicken wir auf die Ereignisse im November 2023
zurück, als Gerüchte über ein geheimes Projekt namens "Q-Star"
aufkamen. Dabei handelt es sich um einen Algorithmus, der
Q-Learning mit der A-STaR Methode kombiniert, um die
Schlussfolgerungsfähigkeiten von KI-Modellen zu verbessern.
Anhand eines Beispiels wird erklärt, wie ein "Self-Taught
Reasoner" durch wiederholtes Lernen und Verbessern seine
Fähigkeiten optimiert. Die Kombination aus Q-Learning und A-STaR
soll dem neuen KI-System schließlich verbesserte Fähigkeiten im
logischen Denken und Problemlösen verleihen.
Abschließend klären wir das Leistungspotenzial der "Monte Carlo
Tree Search"-Methode, die auch bei Google DeepMinds AlphaGo schon
zum Einsatz kam. Diese ermöglicht es KI-Systemen, durch Versuch
und Irrtum zu lernen, ohne auf spezifisches Domänenwissen
angewiesen zu sein. 
Eine Weiterentwicklung dieser Methode durch das Shanghai AI
Laboratory zielt speziell darauf ab, die mathematischen und
logischen Fähigkeiten von Sprachmodellen zu verbessern.