Veranstaltungen
Benchmarks in Leipzig
Veröffentlicht am 8. Juni 2026
Konzipiert von Mathematikforschenden für Mathematikforschende brachte dieser praxisorientierte Workshop die Teilnehmenden zusammen, um gemeinsam Benchmarks auf Forschungsniveau zu entwickeln. Ziel war es, die Fähigkeiten und Grenzen der sich rasant weiterentwickelnden KI-Modelle für mathematisches Denken zu untersuchen.
Das Programm kombinierte praktische Einheiten zu Prompting und Benchmark-Design mit kollaborativen Arbeitsgruppen. Die Teilnehmenden formulierten, verfeinerten und testeten mathematische Probleme auf Forschungsniveau. Darüber hinaus diskutierten sie den aktuellen Stand der KI in der Mathematik und gingen der Frage nach, was eine Aufgabe für heutige Modelle tatsächlich herausfordernd macht.
Im Mittelpunkt des Projekts stand die interaktive Plattform Science Bench, die zur Erstellung eines Datensatzes von mathematischen Fragestellungen auf Forschungsniveau anhand bekannter Lösungen genutzt wurde.
Die Forschenden evaluierten 100 Benchmark-Aufgaben in einem dreistufigen Verfahren. Nachdem in der ersten Phase fünf moderne Sprachmodelle die Aufgaben bearbeitet hatten, blieben 41 Fragen ungelöst. Nach weiteren 20 Durchläufen mit den drei leistungsstärksten Modellen in der zweiten Phase reduzierte sich diese Zahl auf 16. In der dritten und letzten Phase wurden zwei sogenannte „Deep-Think“-Modelle jeweils dreimal getestet. Am Ende blieben nur noch zwei Aufgaben ungelöst.
Um die Ergebnisse einer breiteren Öffentlichkeit zugänglich zu machen, veröffentlichten die Projektleitenden die Resultate in einem aktuellen arXiv-Artikel. Die Studie basiert maßgeblich auf den Beiträgen der 35 Teilnehmenden der Benchmark-Konferenz sowie der Arbeit von 14 externen Forschenden.
Die Ergebnisse beweisen, dass die Fähigkeiten großer Sprachmodelle im mathematischen Denken immer beeindruckender werden.
Organisator*innen
Veronica Calvo Cortes
Max-Planck-Institut für Mathematik in den Naturwissenschaften
E-Mail
Christian Stump
Ruhr-Universität Bochum
E-Mail
Bernd Sturmfels
Max Planck Institute for Mathematics in the Sciences
E-Mail
Publikation
-
arxiv.org
Benchmarks in Leipzig - veröffentlicht auf arXiv
Weiterführende Informationen
-
math.sciencebench.ai
Science Bench Plattform - konzipiert von Christian Stump
-
www.mis.mpg.de
Benchmarks in Leipzig - Konferenz Website
Redaktioneller Kontakt
Staff
Jana Gregor
/
Verwandte Inhalte
Events
23.07.26
ICM 2026 – MPI MiS auf dem weltweit bedeutendsten Mathematikkongress ICM 2026 – MPI MiS auf dem weltweit bedeutendsten Mathematikkongress
Heute beginnt in Philadelphia der International Congress of Mathematicians (ICM) 2026 – das weltweit wichtigste Treffen der mathematischen Gemeinschaft. Wir freuen uns sehr, auf dem Kongress mit wissenschaftlichen Vorträgen, einer internationalen Filmpremiere und einem Ausstellungsstand vertreten zu sein.
Events
05.07.26
Algomanet Sommerschule 2026 Algomanet Sommerschule 2026
Die Algomanet Summer School 2026 brachte Nachwuchsforschende aus ganz Europa in Leipzig zusammen. Ein vielseitiges Programm aus Vorlesungen, Übungen und Diskussionsrunden bot intensive Einblicke in aktuelle Entwicklungen der extremalen Kombinatorik und förderte den wissenschaftlichen Austausch innerhalb des Netzwerks.
Events
08.06.26
Benchmarks in Leipzig Benchmarks in Leipzig
Wie kann Künstliche Intelligenz die mathematische Forschung unterstützen? Kürzlich trafen sich 35 Wissenschaftlerinnen und Wissenschaftler an unserem Institut zu einem Workshop, um gemeinsam zu erforschen, wie die wissenschaftliche Gemeinschaft dazu beitragen kann, die Möglichkeiten und Grenzen großer Sprachmodelle für die Forschung auf mathematischem Spitzenniveau besser zu verstehen.
Events
13.03.26
Felix Klein – Insights from the Outside Felix Klein – Insights from the Outside
Zum Internationalen Tag der Mathematik laden wir Sie herzlich zur Filmpremiere "Felix Klein – Insights from the Outside" ein. Seien Sie dabei und feiern Sie mit uns am Freitag, 13. März 2026, 18 Uhr im Cinestar Leipzig/Petersbogen das Leben und Wirken Felix Kleins. Eintritt frei!
Events
02.12.25
Dies Academicus an der Universität Leipzig Dies Academicus an der Universität Leipzig
Anlässlich des 616. Dies Academicus lädt die Fakultät für Mathematik und Informatik am 2. Dezember 2025 zu einem Festkolloquium ein.
Events
27.11.25
GTML 2025: Geometrie, Topologie und maschinelles Lernen vernetzt GTML 2025: Geometrie, Topologie und maschinelles Lernen vernetzt
Der Workshop GTML 2025 brachte eine breite wissenschaftliche Community für eine intensive Woche des fachlichen Austauschs an der Schnittstelle von Geometrie, Topologie und maschinellem Lernen zusammen. Das überwältigende Interesse unterstreicht die wachsende Bedeutung dieses dynamischen Forschungsfeldes.
Im Gespräch
15.10.25
Chow Lectures 2025 – Im Gespräch mit Nima Arkani-Hamed Chow Lectures 2025 – Im Gespräch mit Nima Arkani-Hamed
In der letzten Woche fanden bei uns die Chow Lectures 2025 statt. Als diesjährigen Sprecher
hatten wie die Ehre den theoretischen Physiker Nima Arkani-Hamed vom Institute for Advanced
Studies in Princeton, New Jersey, USA begrüßen und interviewen zu dürfen.
Verschiedenes
04.09.25
CIMPA-Sommerschule in der Türkei CIMPA-Sommerschule in der Türkei
Mit großem Erfolg veranstaltete Şefika Kuzgun kürzlich gemeinsam mit Kolleg*innen in der Türkei eine CIMPA-Sommerschule zum Thema Wahrscheinlichkeitstheorie und Analysis - ein Teilgebiet der Mathematik, das bislang in der Türkei und den Nachbarländern nur wenig Beachtung gefunden hat.
Events
20.06.25
Art & Science Open Air 2026 Art & Science Open Air 2026
On September 5, from 12:00 PM to 10:00 PM, art and research come together at the enchanting open-air venue Heiter bis Wolkig. Spend a day where scientific curiosity meets artistic creativity and music creates the soundtrack.
Events
17.04.25
Ladyzhenskaya-Vorlesung: 23. April 2025 an der Universität Leipzig Ladyzhenskaya-Vorlesung: 23. April 2025 an der Universität Leipzig
Wir laden Sie herzlich zur 15. Ladyzhenskaya-Vorlesung ein. Am 23. April wird Adriana Garroni von der Università di Roma 'La Sapienza' über "Sharp Interface Models for Grain Boundaries: Derivation and Approximation" sprechen.
Events
12.03.25
Leipziger Gespräche zur Mathematik: 25. März 2025 Leipziger Gespräche zur Mathematik: 25. März 2025
Forschung und Innovation sind entscheidend für Europas Zukunft. Wir laden Sie ein zu einer Diskussionsrunde mit dem französischen Mathematiker und ehemaligen Präsidenten des Europäischen Forschungsrats Prof. Jean-Pierre Bourguignon. Wir sprechen über zentrale Themen der Wissenschaftspolitik, die Rolle von Forschungsinstitutionen und die Auswirkungen politischer Entwicklungen auf die Forschungspolitik.
Events
12.11.24
Einladung zum Cantor Tag am 27. November in Halle (Saale) Einladung zum Cantor Tag am 27. November in Halle (Saale)
Am 27. November wird unserem Direktor Felix Otto die Cantor Medaille der Deutschen Mathematiker Vereinigung DMV verliehen. Wir laden herzlich zur Festveranstaltung und Überreichung der bedeutendsten wissenschaftlichen Auszeichnung der DMV ein.
Events
28.08.24
Musik & Wissenschaft - Open Air Festival Musik & Wissenschaft - Open Air Festival
Am 7. September von 12:00 bis 22:00 Uhr treffen Musik und Forschung in der bezaubernden Open-Air-Location "Heiter Bis Wolkig" aufeinander. Erlebe eine einzigartige Fusion von Wissenschaft, Musik und Kunst!
Events
25.05.23
Eröffnungskolloquium des Zentrums für Mathematische Physik Eröffnungskolloquium des Zentrums für Mathematische Physik
Massimiliano Gubinelli von der University of Oxford hielt den ersten Kolloquiumsvortrag des jüngst gegründeten Zentrums für Mathematische Physik in Leipzig.
Events
10.05.23
Summer School on PDEs and Randomness beginnt Summer School on PDEs and Randomness beginnt
Unsere Summer School on PDEs and Randomness hat offiziell begonnen und wird die nächsten zwei Wochen laufen! Junge Forscher werden in die neuesten Themen an der Schnittstelle von PDEs und Wahrscheinlichkeitstheorie eingeführt.
Ankündigungen
24.03.23
Abel-Preisträger Luis A. Caffarelli spricht auf Konferenz „Shocking Developments“ Abel-Preisträger Luis A. Caffarelli spricht auf Konferenz „Shocking Developments“
Wir freuen uns, ankündigen zu dürfen, dass Herr Caffarelli auf unserer Konferenz „Shocking Developments: New Directions in Compressible and Incompressible Flows“ vortragen wird.
Events
16.12.22
Gauß-Vorlesung in Leipzig: „Discrete or Continuous?” Gauß-Vorlesung in Leipzig: „Discrete or Continuous?”
László Lovász, Professor an der Eötvös Loránd Universität und am Alfréd Rényi Institut für Mathematik in Budapest, hielt die renommierte Gauß-Vorlesung zum Thema Discrete or Continuous?, der Frage nach der kontinuierlichen Natur unserer Welt aus einem mathematischen Blickwinkel.
Events
28.10.22
Ladyzhenskaya-Vorlesung kehrt mit einem Vortrag von Mimi Dai zurück Ladyzhenskaya-Vorlesung kehrt mit einem Vortrag von Mimi Dai zurück
Am 12. Oktober diskutierte Mimi Dai von der University of Illinois Ladyzhenskayas liebstes Thema: die mathematische Theorie inkompressibler Flüssigkeiten.
Events
06.07.22
Wilmer Leal trifft Nobelpreisträger Wilmer Leal trifft Nobelpreisträger
Wilmer Leal wurde von der Max-Planck-Gesellschaft für die Teilnahme an der diesjährigen Lindauer Nobelpreisträgertagung nominiert – eine große Ehre und eine perfekte Gelegenheit zum wissenschaftlichen Austausch.
Events
22.06.22
Eindrücke der „Mathematical Concepts in the Sciences and Humanities“ Eindrücke der „Mathematical Concepts in the Sciences and Humanities“
Ein herzliches Dankeschön an alle Referenten, Teilnehmer, Organisatoren und Unterstützer, die unsere Tagung „Mathematical Concepts in the Sciences and Humanities“ zu Ehren unseres Direktors Jürgen Jost zu einem besonderen Erlebnis gemacht haben.
Events
22.04.22
Geburtstagskonferenz zu Ehren von Jürgen Jost Geburtstagskonferenz zu Ehren von Jürgen Jost
Wir widmen unserem Gründungsdirektor Jürgen Jost eine ganze Konferenzwoche zu mathematischen Konzepten in den Wissenschaften, um seine herausragenden wissenschaftlichen Leistungen und seinen 65. Geburtstag zu feiern.
Öffentlichkeitsarbeit
04.03.22
Ozeane aus dem Gleichgewicht? Max-Planck-Vorlesung mit Ian Hatton Ozeane aus dem Gleichgewicht? Max-Planck-Vorlesung mit Ian Hatton
Wir laden herzlich ein zum öffentlichen Vortrag „Oceans out of balance? How industrialized fishing affects the secret mathematical laws of nature” von Ian Hatton am 23. März um 18:00 Uhr.
Events
16.11.21
Der erste Workshop für mathematische Forschung und Daten Der erste Workshop für mathematische Forschung und Daten
Kürzlich fand der erste MaRDI-Workshop mit 25 persönlichen und insgesamt 38 Online-Teilnehmern statt. MaRDI ist ein Akronym für die Deutsche Mathematische Forschungsdateninitiative.
Events
09.06.21
ODYCCEUS Panel Discussion ODYCCEUS Panel Discussion
Das Forschungsprojekt ODYCCEUS rekapituliert jahrelange Forschung in der kommenden Woche in seiner Abschlusskonferenz. Den Abschluss der Konferenz bildet eine öffentliche Diskussionsrunde zum Thema „Social Media – Democratization or radicalization engine?“.
Events
12.03.21
Internationaler Tag der Mathematik 2021 Internationaler Tag der Mathematik 2021
Am kommenden Sonntag, dem 14. März, ist der Internationale Tag der Mathematik – eine weltweite Feier der essentiellen Rolle, die Mathematik bei Durchbrüchen in Wissenschaft und Technologie und vielem weiteren spielt.
Women in Science
11.02.21
Lasst uns Frauen und Mädchen in der Wissenschaft feiern Lasst uns Frauen und Mädchen in der Wissenschaft feiern
Heute, am 11. Februar, ist der Internationale Tag der Frauen und Mädchen in der Wissenschaft – ein perfekter Tag, um die Leistungen aller Frauen zu feiern, die in naturwissenschaftlichen Bereichen arbeiten.
Women in Science
23.10.19
Mit den Augen einer Frau Mit den Augen einer Frau
Die Ausstellung „Women of Mathematics throughout Europe“ gibt einen Einblick in die Welt der Mathematik aus dem Blickwinkel weiblicher Forscherinnen.
Verschiedenes
26.06.19
Die Sieger der diesjährigen HHL-MPI-Leibniz-Matheolympiade sind gekürt Die Sieger der diesjährigen HHL-MPI-Leibniz-Matheolympiade sind gekürt
Bei der 4. Leibniz-Matheolympiade traten 25 Schülerinnen und Schüler in Teams gegeneinander an, um innerhalb von vier Stunden ohne jegliche Hilfsmittel verschiedene Aufgaben aus dem Bereich der Zahlentheorie und der Funktionalgleichungen zu lösen.
Events
26.06.19
Mensch Maschine Moral Mensch Maschine Moral
Das Wissenschaftskino zu künstlicher Intelligenz und Robotik mit Prof. Nihat Ay und Experten der HTWK Leipzig lockte rund 160 Gäste an.
Events
21.05.19
Das Wissenschaftsjahr 2019 – Die MS Wissenschaft auf Tour durch Deutschland Das Wissenschaftsjahr 2019 – Die MS Wissenschaft auf Tour durch Deutschland
Seit dem 16. Mai ist das Ausstellungsschiff MS Wissenschaft unterwegs durch Deutschland und Österreich. Mit an Bord sind zwei interaktive Exponate zum Thema verkörperte KI der Forschungsgruppe „Informationstheorie kognitiver Systeme“ unter Leitung von Prof. Nihat Ay.
Events
30.10.18
Über Quantentheorie und Gravitation diskutieren – in Gedenken an Zeidler Über Quantentheorie und Gravitation diskutieren – in Gedenken an Zeidler
In der ersten Oktoberwoche veranstaltete das Max-Planck-Institut für Mathematik in den Naturwissenschaften eine Konferenz zum Thema “Progress and visions in quantum theory in view of Gravity”, die zum Gedenken an den Gründungsdirektor des Instituts Eberhard Zeidler stattfand.
Events
03.07.18
Coden lernen von den Besten: der Macaulay2 Workshop am MPI MiS Coden lernen von den Besten: der Macaulay2 Workshop am MPI MiS
Unsere ehemalige Postdoktorandin Eliana Duarte Gelvez hat letzten Monat, zusammen mit Heather Harrington und Thomas Kahle, einen Macaulay2-Workshop am Institut organisiert.
Pressemitteilungen
19.06.18
Soziale Netzwerke als Krisenbarometer – internationale Konferenz vereint Forscher in Leipzig Soziale Netzwerke als Krisenbarometer – internationale Konferenz vereint Forscher in…
Kommunikationsmechanismen in sozialen Netzwerken stehen im Fokus einer derzeit am Max-Planck-Institut für Mathematik in den Naturwissenschaften stattfindenden internationalen Konferenz.
Pressemitteilungen
29.09.17
Konferenz in Gedenken an den großen Leipziger Mathematiker Eberhard Zeidler Konferenz in Gedenken an den großen Leipziger Mathematiker Eberhard Zeidler
Zu Ehren des im Jahr 2016 verstorbenen Mathematikers und Gründungsdirektors des Max-Planck-Institutes für Mathematik in den Naturwissenschaften Prof. Dr. Dr. h.c. Eberhard Zeidler wird am 6. Oktober ab 10:00 Uhr eine Gedenkkonferenz ausgerichtet.
/