Glückwünsch an Johannes Müller zur erfolgreichen Promotion und neuen Stelle in Aachen

Wir gratulieren Johannes Christoph Müller zur erfolgreichen Verteidigung seiner Dissertation, in der er geometrische Eigenschaften spezifischer Optimierungsprobleme in Reinforcement learning Modellen untersucht. Johannes ist seit kurzem wissenschaftlicher Mitarbeiter am Lehrstuhl für Mathematik der Informationsverarbeitung an der RWTH Aachen.

Johannes' Forschung wird von der Frage angetrieben, ob man die geometrischen Eigenschaften bestimmter Optimierungsprobleme nutzen kann, um effizientere Algorithmen für deren Lösung zu entwickeln. Dabei konzentriert er sich auf Herausforderungen im Bereich des Reinforcement Learning und auf numerische Löser für partielle Differentialgleichungen, die tiefe neuronale Netze verwenden. Beides sind sehr lebendige Forschungsbereiche, in denen Reinforcement Learning eine wichtige Rolle bei der Entwicklung großer Sprachmodelle wie ChatGPT gespielt hat.

Seine Dissertation an der Universität Leipzig mit dem Titel “Geometry of Optimization in Markov Decision Processes and Neural Network Based PDE Solvers”, wurde von seinem Gruppenleiter Guido Montúfar und Nihat Ay betreut.

Johannes beschreibt seine Arbeit wie folgt:
Reinforcement learning modelliert die Interaktion eines Agenten mit seiner Umgebung. In meiner Dissertation habe ich gezeigt, dass, wenn der Agent unvollständige Informationen über seine Umgebung hat, das Problem äquivalent zur Optimierung einer linearen Funktion mit polynomialen Beschränkungen wird, wobei der Grad des Polynoms von der Art der verfügbaren Beobachtungen abhängt. Auf einer hohen Ebene beschreibt dies die Krümmung von Entscheidungsproblemen mit unvollständigen Zustandsinformationen, während Probleme mit vollständigen Zustandsinformationen als äquivalent zu einem linearen Programm und somit als flach bekannt waren. Ich hoffe, dass solche geometrischen Einsichten sowohl das theoretische Verständnis als auch die Entwicklung praktischer Algorithmen für diese Probleme voranbringen können.

Vor seinem sein Promotionsstudium in Leipzig studierte Johannes Mathematik an den Universitäten Freiburg und Warwick. Derzeit arbeitet er als wissenschaftlicher Mitarbeiter am Lehrstuhl für Mathematik der Informationsverarbeitung an der RWTH Aachen.