{"id":38255,"date":"2026-08-04T09:59:24","date_gmt":"2026-08-04T09:59:24","guid":{"rendered":"https:\/\/lamarr-institute.org\/events\/ai-colloquium-with-dr-jonas-landsgesell-pascall-knoll-and-dr-tizian-wenzel-on-scoringbench-a-benchmark-for-evaluating-tabular-foundation-models-with-proper-scoring-rules\/"},"modified":"2026-08-04T10:19:01","modified_gmt":"2026-08-04T10:19:01","slug":"ai-colloquium-with-dr-jonas-landsgesell-pascall-knoll-and-dr-tizian-wenzel-on-scoringbench-a-benchmark-for-evaluating-tabular-foundation-models-with-proper-scoring-rules","status":"publish","type":"event","link":"https:\/\/lamarr-institute.org\/de\/events\/ai-colloquium-with-dr-jonas-landsgesell-pascall-knoll-and-dr-tizian-wenzel-on-scoringbench-a-benchmark-for-evaluating-tabular-foundation-models-with-proper-scoring-rules\/","title":{"rendered":"KI-Kolloquium mit Dr. Jonas Landsgesell, Pascal Knoll und Dr. Tizian Wenzel \u00fcber \u201eScoringBench: Ein Benchmark zur Evaluierung tabellarischer Foundation Models mit Proper Scoring Rules\u201c"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Am Donnerstag, den 4. August 2026, halten Dr. Jonas Landsgesell und Pascal Knoll von der Universit\u00e4t Stuttgart sowie Dr. Tizian Wenzel von der Ludwig-Maximilians-Universit\u00e4t M\u00fcnchen und dem Munich Center for Machine Learning an der TU Dortmund einen Vortrag zum Thema \u201eScoringBench: Ein Benchmark zur Evaluierung tabellarischer Fundamentalmodelle mit Proper Scoring Rules\u201c.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u00dcber das KI-Kolloquium<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Das KI-Kolloquium, organisiert vom Lamarr-Institut, dem <a href=\"https:\/\/rc-trust.ai\/\" target=\"_blank\" data-type=\"link\" data-id=\"https:\/\/rc-trust.ai\/\" rel=\"noreferrer noopener\">Research Center Trustworthy Data Science and Security (RC Trust)<\/a> und dem <a href=\"https:\/\/dodas.tu-dortmund.de\/\" target=\"_blank\" data-type=\"link\" data-id=\"https:\/\/dodas.tu-dortmund.de\/\" rel=\"noreferrer noopener\">Center for Data Science &amp; Simulation an der TU Dortmund (DoDas)<\/a>, bietet f\u00fchrenden Forscherinnen und Forschern eine Plattform zur Pr\u00e4sentation bahnbrechender Arbeiten auf dem Gebiet des maschinellen Lernens und der k\u00fcnstlichen Intelligenz.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Im Gegensatz zu anderen Kolloquien stehen bei diesen 90-min\u00fctigen Sitzungen der interaktive Dialog und die internationale Zusammenarbeit im Vordergrund. Sie umfassen einen einst\u00fcndigen Vortrag sowie eine 30-min\u00fctige Fragerunde. Das Kolloquium findet haupts\u00e4chlich auf Englisch statt. Das hybride Format stellt sicher, dass alle Interessierten entweder vor Ort oder online \u00fcber <a href=\"https:\/\/tu-dortmund.zoom.us\/meeting\/94589413318?meetingMasterEventId=CWrgxHIoS8KVq5soqFykiw\" target=\"_blank\" data-type=\"link\" data-id=\"https:\/\/tu-dortmund.zoom.us\/meeting\/94589413318?meetingMasterEventId=CWrgxHIoS8KVq5soqFykiw\" rel=\"noreferrer noopener\">Zoom <\/a>teilnehmen k\u00f6nnen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u00dcber den Vortrag<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Obwohl manche tabellarischen Foundation Models (TFMs) vollst\u00e4ndige Vorhersageverteilungen liefern k\u00f6nnen, st\u00fctzen sich g\u00e4ngige Benchmarks meist nur auf Punktsch\u00e4tzungen wie den RMSE und vernachl\u00e4ssigen dadurch wertvolle probabilistische Informationen. Um diese L\u00fccke zu schlie\u00dfen, stellen die Referenten <strong>ScoringBench <\/strong>vor \u2013 ein offenes Benchmark, das tabellarische Regressionsmodelle mithilfe von <em>Proper Scoring Rules<\/em> und Standardmetriken evaluiert. Die Ergebnisse zeigen, dass sich Modell-Rankings bei probabilistischer Betrachtung stark verschieben, unterschiedliche Verlustfunktionen spezifische induktive Verzerrungen erzeugen und gezieltes Feintuning die Metriken deutlich verbessern kann. Der Vortrag hebt hervor, dass die Wahl der Bewertungsmetrik eine zentrale Modellierungsentscheidung ist, die eng an der jeweiligen Anwendungsaufgabe ausgerichtet sein muss.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u00dcber den Organisator<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/lamarr-institute.org\/de\/person\/feurer-matthias\/\" data-type=\"link\" data-id=\"https:\/\/lamarr-institute.org\/de\/person\/feurer-matthias\/\">Matthias Feurer<\/a> ist seit 2025 Assistant Professor (Juniorprofessor) f\u00fcr Automatisiertes Maschinelles Lernen und Optimierung an der TU Dortmund und Mitglied der Fakult\u00e4t des Lamarr-Instituts f\u00fcr Maschinelles Lernen und K\u00fcnstliche Intelligenz. Vor seinem Wechsel an die TU Dortmund war er Thomas-Bayes-Fellow am Munich Center for Machine Learning sowie kommissarischer Professor an der LMU M\u00fcnchen. Zuvor arbeitete er als Postdoktorand am Machine-Learning-Labor der Albert-Ludwigs-Universit\u00e4t Freiburg, an der er auch promoviert wurde.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Matthias verfolgt das Ziel, die Nutzung von Maschinellem Lernen zu vereinfachen, indem er Methoden erforscht und Werkzeuge entwickelt, die es sowohl Fachwissenschaftler:innen erm\u00f6glichen, Maschinelles Lernen einzusetzen, als auch die Effizienz f\u00fcr Expert:innen erh\u00f6hen. Sein Forschungsschwerpunkt liegt im Bereich des Automatisierten Maschinellen Lernens (AutoML), das unter anderem Methoden zur Hyperparameteroptimierung, zum Meta-Learning und zur Modellauswahl umfasst. Dar\u00fcber hinaus legt er gro\u00dfen Wert auf fundiertes Benchmarking und erforscht Werkzeuge und Methoden zu dessen Unterst\u00fctzung. Im Rahmen dieser Aktivit\u00e4ten ist er zudem Mitglied des OpenML-Projekts, in dem Forschende Artefakte des Maschinellen Lernens \u2013 insbesondere Datens\u00e4tze \u2013 f\u00fcr die kollaborative Forschung teilen k\u00f6nnen.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Am Donnerstag, den 4. August 2026, halten Dr. Jonas Landsgesell und Pascal Knoll von der Universit\u00e4t Stuttgart sowie Dr. Tizian Wenzel von der Ludwig-Maximilians-Universit\u00e4t M\u00fcnchen und dem Munich Center for Machine Learning an der TU Dortmund einen Vortrag zum Thema \u201eScoringBench: Ein Benchmark zur Evaluierung tabellarischer Fundamentalmodelle mit Proper Scoring Rules\u201c. \u00dcber das KI-Kolloquium Das KI-Kolloquium, organisiert vom Lamarr-Institut, dem Research Center Trustworthy Data Science and Security (RC Trust) und [&hellip;]<\/p>\n","protected":false},"author":29,"featured_media":18431,"parent":0,"menu_order":0,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[36,175],"tags":[],"class_list":["post-38255","event","type-event","status-publish","format-standard","has-post-thumbnail","hentry","category-allgemein","category-wissenschaft"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/event\/38255","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/event"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/event"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/29"}],"version-history":[{"count":4,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/event\/38255\/revisions"}],"predecessor-version":[{"id":38263,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/event\/38255\/revisions\/38263"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/18431"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=38255"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/categories?post=38255"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/tags?post=38255"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}