KI-Kolloquium mit Dr. Jonas Landsgesell, Pascal Knoll und Dr. Tizian Wenzel über „ScoringBench: Ein Benchmark zur Evaluierung tabellarischer Foundation Models mit Proper Scoring Rules“

Am Donnerstag, den 4. August 2026, halten Dr. Jonas Landsgesell und Pascal Knoll von der Universität Stuttgart sowie Dr. Tizian Wenzel von der Ludwig-Maximilians-Universität München und dem Munich Center for Machine Learning an der TU Dortmund einen Vortrag zum Thema „ScoringBench: Ein Benchmark zur Evaluierung tabellarischer Fundamentalmodelle mit Proper Scoring Rules“.

Über das KI-Kolloquium

Das KI-Kolloquium, organisiert vom Lamarr-Institut, dem Research Center Trustworthy Data Science and Security (RC Trust) und dem Center for Data Science & Simulation an der TU Dortmund (DoDas), bietet führenden Forscherinnen und Forschern eine Plattform zur Präsentation bahnbrechender Arbeiten auf dem Gebiet des maschinellen Lernens und der künstlichen Intelligenz.

Im Gegensatz zu anderen Kolloquien stehen bei diesen 90-minütigen Sitzungen der interaktive Dialog und die internationale Zusammenarbeit im Vordergrund. Sie umfassen einen einstündigen Vortrag sowie eine 30-minütige Fragerunde. Das Kolloquium findet hauptsächlich auf Englisch statt. Das hybride Format stellt sicher, dass alle Interessierten entweder vor Ort oder online über Zoom teilnehmen können.

Über den Vortrag

Obwohl manche tabellarischen Foundation Models (TFMs) vollständige Vorhersageverteilungen liefern können, stützen sich gängige Benchmarks meist nur auf Punktschätzungen wie den RMSE und vernachlässigen dadurch wertvolle probabilistische Informationen. Um diese Lücke zu schließen, stellen die Referenten ScoringBench vor – ein offenes Benchmark, das tabellarische Regressionsmodelle mithilfe von Proper Scoring Rules und Standardmetriken evaluiert. Die Ergebnisse zeigen, dass sich Modell-Rankings bei probabilistischer Betrachtung stark verschieben, unterschiedliche Verlustfunktionen spezifische induktive Verzerrungen erzeugen und gezieltes Feintuning die Metriken deutlich verbessern kann. Der Vortrag hebt hervor, dass die Wahl der Bewertungsmetrik eine zentrale Modellierungsentscheidung ist, die eng an der jeweiligen Anwendungsaufgabe ausgerichtet sein muss.

Über den Organisator

Matthias Feurer ist seit 2025 Assistant Professor (Juniorprofessor) für Automatisiertes Maschinelles Lernen und Optimierung an der TU Dortmund und Mitglied der Fakultät des Lamarr-Instituts für Maschinelles Lernen und Künstliche Intelligenz. Vor seinem Wechsel an die TU Dortmund war er Thomas-Bayes-Fellow am Munich Center for Machine Learning sowie kommissarischer Professor an der LMU München. Zuvor arbeitete er als Postdoktorand am Machine-Learning-Labor der Albert-Ludwigs-Universität Freiburg, an der er auch promoviert wurde.

Matthias verfolgt das Ziel, die Nutzung von Maschinellem Lernen zu vereinfachen, indem er Methoden erforscht und Werkzeuge entwickelt, die es sowohl Fachwissenschaftler:innen ermöglichen, Maschinelles Lernen einzusetzen, als auch die Effizienz für Expert:innen erhöhen. Sein Forschungsschwerpunkt liegt im Bereich des Automatisierten Maschinellen Lernens (AutoML), das unter anderem Methoden zur Hyperparameteroptimierung, zum Meta-Learning und zur Modellauswahl umfasst. Darüber hinaus legt er großen Wert auf fundiertes Benchmarking und erforscht Werkzeuge und Methoden zu dessen Unterstützung. Im Rahmen dieser Aktivitäten ist er zudem Mitglied des OpenML-Projekts, in dem Forschende Artefakte des Maschinellen Lernens – insbesondere Datensätze – für die kollaborative Forschung teilen können.

Jun. Prof. Dr.Matthias Feurer

Principal Investigator zum Profil