Machine Learning - Maschinelles Lernen ~ Modellansatz Podcast

Gudrun spricht mit Sebastian Lerch vom Institut für Stochastik in
der KIT-Fakultät für Mathematik. Vor einiger Zeit - Anfang 2015 -
hatten die beiden schon darüber gesprochen, wie extreme
Wetterereignisse stochastisch modelliert werden können.

Diesmal geht es um eine Lehrveranstaltung, die Sebastian extra
konzipiert hat, um für Promovierende aller Fachrichtungen am KIT
eine Einführung in Machine Learning zu ermöglichen. Der Rahmen
hierfür ist die Graduiertenschule MathSEED, die ein Teil des im
Oktober 2018 gegründeten KIT-Zentrums MathSEE ist. Es gab schon
lange (und vielleicht immer) Angebote am KIT, die insbesondere
Ingenieure an moderne Mathematik heranführten, weil sie deren
Methoden schon in der Masterphase oder spätestens während der
Promotion brauchten, aber nicht durch die klassischen Inhalten
der Höheren Mathematik abgedeckt werden. All das wird nun
gebündelt und ergänzt unter dem Dach von MathSEED. Außerdem
funktioniert das nun in beide Richtungen: Mathematiker:innen,
werden ebenso zu einführenden Angeboten der anderen beteiligten
Fakultäten eingeladen.

Das Thema Maschinelles Lernen und Künstliche Intelligenz war ganz
oben auf der Wunschliste für neu zu schaffende Angebote. Im
Februar 2020 hat Sebastian diese Vorlesung erstmalig konzipiert
und gehalten - die Übungen wurden von Eva-Maria Walz betreut. Die
Veranstaltung wird im Herbst 2020 wieder angeboten.

Es ist nicht ganz einfach, die unterschiedlichen Begriffe, die
für Künstliche Intelligenz (kurz: KI) benutzt werden
gegeneinander abzutrennen, zumal die Sprechweisen in
unterschiedlichen Kontexten unterschiedlich sind. Hinzu tritt,
dass mit der Verfügbarkeit großer Datenmengen und der häufigen
Nutzung von KI und Big Data gemeinsam auch hier vieles vermischt
wird.

Sebastian defininiert Maschinelles Lernen als echte Teilmenge von
KI und denkt dabei auch daran, dass z.B. symbolisches Rechnen KI
ist. Ebenso geben schon lange sogenannte Expertensysteme
Hilfestellung für Entscheidungen. Hier geben Regeln ein Programm
vor, das Daten-Input zu einem Output verwandelt.

Heute denken wir bei KI eher daran, dass z.B. der Computer lernt
wie ein Bild eines Autos aussieht, ohne dass dafür klare Regeln
vorgegeben werden. Dies ist eher vergleichbar damit, wie Kinder
lernen. Die modernste Variante ist sogenanntes Deep Learning auf
der Basis von Neuronalen Netzen. Die Abgrenzung zu statistischen
Verfahren ist mitunter nicht so klar.

Das Neuronale Netz wird dabei eine Black Box, was
wissenschaftlich arbeitende Menschen nicht ganz befriedigt. Aber
mit ihrer Hilfe werden komplexere Probleme lösbar. Forschung muss
versuchen, die Entscheidungen der Black Box nachvollziehbar zu
machen und entscheiden, wann die Qualität ausreicht. Dazu muss
man sich überlegen: Wie misst man Fehler? In der Bildverarbeitung
kann es genügen, z.B. falsch erkannte Autos zu zählen. In der
Wettervorhersage lässt sich im Nachhinein feststellen, welche
Fehler in der Vorhersage gemacht wurden.

Es wird unterschiedliche Fehlertoleranzen geben für Erkennung von
Fußgängern für selbst fahrende Autos und für die Genauigkeit von
Wettervorhersage.

Ein Beispiel in der Übung war die Temperaturvorhersage anhand von
vorliegenden Daten. Die Vorhersage beruht ja auf physikalischen
Modelle in denen die Entwicklung von Temperatur, Luftdruck und
Windgeschwindigkeit durch Gleichungssysteme nachgebildet wird.
Aber diese Modelle können nicht fehlerfrei berechnet werden und
sind auch recht stark vereinfacht. Diese Fehler werden mit Hilfe
von KI analysiert und die Ergebnisse für die Verbesserung der
Vorhersage benutzt.

Ein populäres Verfahren sind Random Forests oder
Entscheidungsbäume. Hier werden komplexe Fragen stufenweise
zerlegt und in den Stufen einfache Ja- oder Nein-Fragen
beantwortet. Dies wird z.B. angewandt in der Entscheidung ob und
wo eine Warnung vor einer Gewitterzelle erfolgen sollte.

Sehr bekannt und im praktischen Einsatz erprobt (beispielsweise
in der Bildverarbeitung und in der Übersetzung zwischen
gebräuchlichen Sprachen) sind Neuronale Netze. In mehrern
Schichten sind hier sogenannte Neuronen angeordnet. Man kann sich
diese wie Knoten in einem Netz vorstellen, in dem Daten von
Knoten zu Knoten transportiert werden. In den Knoten werden die
ankommenden Daten gewichtet aufaddiert und eine vorher
festgelegte Aktivierungsfunktion entscheidet, was an die nächsten
Knoten oder die nächste Schicht von Neuronen weitergegeben wird.
Die einzelnen Rechenoperationen sind hier also ganz elementar,
aber das Zusammenwirken ist schwer zu analysieren.

Bei vielen Schichten spricht man von Deep Learning. Das ist
momentan noch in den Kinderschuhen, aber es kann weit reichende
Konsequenzen haben. In jedem Fall sollte man Menschen im
Entscheidungsprozess beteiligen.

Die konkrete Umsetzung hat Sebastian als Vorlesung und Übung zu
gleichen Teilen gewählt. Er hat einen Schwerpunkt auf einen
Überblick zu methodischen Aspekten gelegt, die die Teilnehmenden
dazu befähigt, später selbst weiter zu lernen. Es ging also unter
anderem darum, wie man Trainingsdaten auswählt, wie
Qualitätssicherung funktioniert, wie populäre Modelle
funktionieren und wie man einschätzt, dass die Anpassung an Daten
nicht zu stark erfolgt.

In der Übung fand großen Anklang, dass ein Vorhersagewettbewerb
der entwickelten Modelle durch Kaggle competions online live
möglich war.

Literatur und weiterführende Informationen

Forschungsergebnisse mit Hilfe von Maschinen Lernen, an denen
Sebastian Lerch beteiligt ist:

M.N. Lang e.a.: Remember the past: A comparison of
time-adaptive training schemes for non-homogeneous regression
Nonlinear Processes in Geophysics, 27: 23–34 2020. (eher
stochastisch)

S. Rasp und S. Lerch: Neural networks for post-processing
ensemble weather forecasts Monthly Weather Review, 146(11):
3885–3900 2018.

Lehrbücher

T. Hastie, R. Tibshirani, J. Friedman: The Elements of
Statistical Learning Springer 2017 (2nd Edition).

G. James, D. Witten, T. Hastie and R. Tibshirani: An
Introduction to Statistical Learning Springer 2013 (7nd
Edition)

I. Goodfellow and Y. Bengio and A. Courville: Deep
Learning MIT-Press 2016.

Online Kurse

Pytorch-based Python library fastai

Deeplearning

Dystopie für alltägliche KI

C. Doctorow: Little Brother Tor Teen, 2008. download beim
Author

C. Doctorow: Homeland Tor Books, 2013, ISBN
978-0-7653-3369-8

im Gespräch angesprochene Bildbearbeitung, die eigene
Fotos mit Kunstwerken verschmilzt

Meetups im Umland von Karlsruhe

Karlsruhe ai Meetup

Heidelberg ai Meetup

Machine Learning Rhein-Neckar (Mannheim)

Podcasts

Leben X0 - Episode 6: Was ist Machine Learning? November
2019.

Streitraum: Intelligenz und Vorurteil Carolin Emcke im
Gespräch mit Anke Domscheit-Berg und Julia Krüger, 26. Januar
2020

P. Packmohr, S. Ritterbusch: Neural Networks, Data Science
Phil, Episode 16, 2019.