AI Colloquium mit Lamarr-Fellow Prof. Dr. Arnulf Jentzen

Wir freuen uns, Prof. Arnulf Jentzen im Rahmen der AI Colloquium-Reihe des Lamarr-Instituts begrüßen zu dürfen.

Das AI Colloquium, organisiert vom Lamarr-Institut, bietet eine Plattform für führende Wissenschaftler*innen, um wegweisende Arbeiten im Bereich des Maschinellen Lernens und der Künstlichen Intelligenz zu präsentieren. Diese 90-minütigen Veranstaltungen zeichnen sich – im Gegensatz zu klassischen Kolloquien – durch einen interaktiven Dialog und internationale Zusammenarbeit aus. Sie bestehen aus einem einstündigen Vortrag und einer anschließenden 30-minütigen Fragerunde. Das Kolloquium findet überwiegend in englischer Sprache statt.

Abstract

Stochastische Gradientenverfahren (SGD) sind heute das Mittel der Wahl für das Training tiefer neuronaler Netze (DNNs) in KI-Systemen. In praxisrelevanten Trainingsszenarien wird jedoch häufig nicht das einfache Standard-SGD verwendet, sondern beschleunigte und adaptive Varianten – wie der weithin bekannte Adam-Optimizer.

In diesem Vortrag zeigen wir, dass Adam typischerweise nicht zu Minima oder kritischen Punkten der Zielfunktion (also der Funktion, die minimiert werden soll) konvergiert, sondern stattdessen zu den Nullstellen eines anderen Funktionsfeldes – dem sogenannten Adam-Vektorfeld. Darüber hinaus präsentieren wir Konvergenzraten in Abhängigkeit von der Anzahl der Adam-Schritte und der Größe der Mini-Batches für alle stark konvexen stochastischen Optimierungsprobleme. Abschließend stellen wir Beschleunigungstechniken für Adam im Kontext der Deep-Learning-basierten Approximation partieller Differentialgleichungen und von Optimierungsproblemen in der Steuerungstheorie vor.

Der Vortrag basiert auf gemeinsamen Arbeiten mit Steffen Dereich, Thang Do, Robin Graeber und Adrian Riekert.

Arnulf Jentzen

Arnulf Jentzen ist Professor an der Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen) (seit 2021) und Professor an der Universität Münster (seit 2019). Er begann 2004 sein Mathematikstudium an der Goethe-Universität Frankfurt, wo er 2007 sein Diplom erhielt und 2009 promovierte. Die Forschungsschwerpunkte seiner Arbeitsgruppe liegen in den Bereichen Approximationsalgorithmen für Maschinelles Lernen, stochastische Numerik, numerische Analyse für hochdimensionale partielle Differentialgleichungen (PDEs), stochastische Analysis sowie Computational Finance.

Derzeit ist er Mitglied in den Herausgebergremien mehrerer renommierter wissenschaftlicher Zeitschriften, darunter das Journal of Machine Learning, SIAM Journal on Scientific Computing, SIAM Journal on Numerical Analysis sowie das SIAM/ASA Journal on Uncertainty Quantification.

Seine Forschungsarbeit wurde mehrfach ausgezeichnet, unter anderem mit dem Felix Klein Prize der European Mathematical Society (EMS, 2020), einem ERC Consolidator Grant des Europäischen Forschungsrats (ERC, 2022), dem Joseph F. Traub Prize für Leistungen im Bereich der Information-Based Complexity (IBC, 2022) und dem Frontier of Science Award in Mathematics (gemeinsam mit Jiequn Han und Weinan E) durch den International Congress of Basic Science (ICBS, 2024).

Weitere Informationen zu seiner Forschung finden Sie unter: www.ajentzen.de