Informatik

Deep Learning - Theorie und Praxis

Dozent:innen: Univ.-Prof. Dr. Michael Wand
Kurzname: 08.079.318
Kurs-Nr.: 08.079.318
Kurstyp: Vorlesung/Übung

Voraussetzungen / Organisatorisches

Die Vorlesung setzt formal die Inhalte von Modelierung 1 voraus, aber gute Kenntnisse in Mathematik (Nebenfach oder Hauptfach Mathematik/Physik) sind i.d.R. ebenfalls ausreichend.
Vorkenntnisse in maschinellem Lernen sind hilfreich, aber nicht zwingend erforderlich (wir starten mit einer Kurzeinführung/Wiederholung).

Inhalt

Diese Veranstaltung behandelt maschinelles Lernen mit Hilfe von sogenannten "tiefen neuronalen Netzwerken", welche in letzter Zeit verblüffende Fortschritte bei der Erkennung und Modellierung von Mustern in natürlichen Daten geliefert haben.
Im Mittelpunkt steht dabei die Theorie, also die Analyse der Verfahren: Warum funktionieren diese (eigentlich simplen) Rezepte so verdammt gut? Eine abschließende Antwort auf diese Frage steht heute (Stand Mitte 2024) noch aus - aber es gibt fazinierende theoretische Ansätze und Ergebnisse, die scheinbar magische Eigenschaften dieser Verfahren mit relativ einfachen mathematischen Ideen (lineare Algebra, Taylornäherungen u.ä.) erklären.

Die Veranstaltung setzt zwar keine Vorkenntnisse in maschinellem Lernen voraus, die Einführung in die Grundbegriffe wird aber kompakt gehalten und methodische Themen sind komplementär zu der Grundvorlesung "Machine Learning" ausgelegt. Die Veranstaltung ist eine Weiterentwicklung der früheren Veranstaltung "Modellierung 2 – statistische Datenmodellierung" unter neuem Namen und mit aktualisierten Inhalten.

Diese Veranstaltung hat ihren Schwerpunkt in Theorie und Analyse – es gibt auch eine alternative Vorlesung mit praktischem Schwerpunkt (ebenfalls im WS 2024/25).

Geplant sind grob die folgende Themen (ohne Gewähr):

1 Grundlagen

  1. Einführung / Wiederholung Machine Learning (bei Bedarf)
  2. Informationstheorie
  3. Generalisierung, "Model Selection", Zusammenhang mit "Bayesschen" Methoden
  4. Einführung Deep Learning


2 Mathematische Werkzeuge

  1. Hochdimensionale Statistik
  2. Matrixfaktorisierung, Einbettungen, Kernels
  3. Gauß'sche Prozesse
  4. Markov-Random Fields
  5. Manigfaltigkeiten und nicht-Euklidische Metriken


3 Verständnis tiefer Netze

  1. Lineare Approximation von Netzen durch Gaussche Prozesse (Neural Tangent Kernel etc.)
  2. "Double Descent" - das Generalisierungsverhalten überparametrisierter Netze/Modelle
  3. Einfluss von Optimierungsverfahren auf Lernen und Generalisierung
  4. Differentialgeometrische Modelle, Fischer-Information
  5. Ideen aus der statistischen Physik (Symmetrie, Renormierung, Phasenübergänge)

Die Veranstaltung ist vor allem im letzten Teil thematisch forschungsnah und wendet sich eher an Studierende im Master (wobei interessierte Studierende im Bachelor trotzdem willkommen sind). Die Vorlesung kann auf Deutsch oder Englisch gehalten werden, falls die Teilnehmer/innen sich das wünschen (Diskussion in der ersten Vorlesung).

Zusätzliche Informationen

Weitere Materialien zur Vorlesung im WWW auf:

https://luna.informatik.uni-mainz.de/dl-24-25/

Termine

Datum (Wochentag) Zeit Ort
21.10.2024 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
28.10.2024 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
04.11.2024 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
11.11.2024 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
18.11.2024 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
25.11.2024 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
02.12.2024 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
09.12.2024 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
16.12.2024 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
06.01.2025 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
13.01.2025 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
20.01.2025 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
27.01.2025 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
03.02.2025 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik