{"id":10099,"date":"2024-04-02T08:58:10","date_gmt":"2024-04-02T08:58:10","guid":{"rendered":"https:\/\/lamarr-institute.org\/?post_type=blog&#038;p=10099"},"modified":"2025-11-12T14:53:11","modified_gmt":"2025-11-12T14:53:11","slug":"aaai-xai4sci","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/aaai-xai4sci\/","title":{"rendered":"Einblicke in den AAAI XAI4Sci Explainable Machine Learning for Sciences Workshop"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">In der Wissenschaft geht es um Entdeckungen und darum, dass wir dem Verstehen der nat\u00fcrlichen Welt ein St\u00fcck n\u00e4herkommen. Die wissenschaftliche Methode folgt einem Prozess mit der Untersuchung einer Frage, Formulierung von Hypothesen, experimenteller Pr\u00fcfung, Analyse und Schlussfolgerungen. Maschinelles Lernen wird <em>in<\/em> und <em>f\u00fcr<\/em> diesen Prozess verwendet und weil die meisten Modelle intransparent sind, ist die Notwendigkeit von Modellerkl\u00e4rungen ein zentrales Anliegen geworden.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Im Allgemeinen sind Erkl\u00e4rungen erforderlich, um das Modellverhalten besser zu verstehen und Vertrauen in die Vorhersagen des Modells zu schaffen. In den Wissenschaften gehen die Anforderungen an Erkl\u00e4rungen jedoch \u00fcber diese Punkte hinaus. In wissenschaftlichen Bereichen sind Erkl\u00e4rungen f\u00fcr die Validierung und den Erkenntnisgewinn \u00fcber den zugrunde liegenden Prozess unerl\u00e4sslich. Es ist weniger wichtig, dass Erkl\u00e4rungen &#8222;ansprechend&#8220; sind, sondern dass sie verst\u00e4ndlich und \u00fcberpr\u00fcfbar sind, z. B., um neue Hypothesen zu generieren.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Bisher wurden die Ans\u00e4tze f\u00fcr erkl\u00e4rbares Maschinelles Lernen in den Wissenschaften nicht ausreichend diskutiert. Umso mehr ist der Stand der Technik mit Herausforderungen konfrontiert wie z.B., dass sich Erkl\u00e4rungen von unterschiedlichen Methoden unterscheiden oder auch instabile Erkl\u00e4rungen. Es ist daher essenziell genauer zu untersuchen, was funktioniert, was nicht funktioniert und was bisher noch fehlt.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Bei der AAAI Conference on Artificial Intelligence wurde daher ein Workshop organisiert, um dieses Thema zu beleuchten und genau diese Fragen zu beantworten. Das Ziel des <a href=\"https:\/\/xai4sci.github.io\" target=\"_blank\" rel=\"noreferrer noopener\">\u201cXAI4Sci Explainable machine learning for sciences\u201d Workshops<\/a> war es, Austausch zu initiieren und Raum f\u00fcr eine Diskussion dar\u00fcber zu schaffen, was Erkl\u00e4rungen im wissenschaftlichen Bereich einzigartig macht und welche Herausforderungen und Potenziale sich in Zukunft ergeben. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Hiermit geben wir Einblicke in den Workshop, in dem wir die Vortr\u00e4ge zusammenfassen und die Ergebnisse in einen gr\u00f6\u00dferen Kontext einordnen. Insbesondere werden wir sehen, das aktuelle Erkl\u00e4rbarkeitsmethoden nicht unbedingt funktionieren und welche Ans\u00e4tze stattdessen verwendet werden.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>Aufbau des Workshops<\/strong><\/h4>\n\n\n\n<p class=\"wp-block-paragraph\">Der Workshop hat mit Vortr\u00e4gen zu Wissen und Kognition gestartet und ist dann zu Anwendungsbeispielen in Physik, Medizin und Materialwissenschaft \u00fcbergegangen. Insgesamt haben acht Speaker*innen Input zu dem Thema geliefert. Im Folgenden stellen wir kurz das jeweilige Thema vor und heben die wichtigsten Erkenntnisse sowie weiterf\u00fchrende Literatur hervor.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Erforschung von Wissensintegration<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Wissen ist ein wesentlicher Bestandteil der Wissenschaft: Welches Wissen haben wir bereits und wie k\u00f6nnen wir neues Wissen generieren? Deshalb ist es interessant zu untersuchen, wie vorhandenes Wissen f\u00fcr erkl\u00e4rbares Maschinelles Lernen genutzt werden kann.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">H\u00e4ufig haben wir die Herausforderung, dass Modellausgaben nicht unbedingt mit Fachwissen \u00fcbereinstimmen. Aber es gibt Forschung, die sich genau mit diesem Umstand befasst. Der Vortrag stellte drei Ans\u00e4tze vor, die zus\u00e4tzliches Wissen f\u00fcr die Erkl\u00e4rbarkeit nutzen. Der erste Ansatz erm\u00f6glicht die Integration zus\u00e4tzlichen Wissens als individuelle, interpretierbare Komponente und erh\u00f6ht dadurch die Interpretierbarkeit des gesamten Systems. Ein wichtiger Forschungsbereich in diese Richtung ist das physikinformierte Maschinelle Lernen, das versucht, physikalische Gesetze direkt in die maschinelle Lernpipeline zu integrieren. Der zweite Ansatz integriert Wissen in die Erkl\u00e4rbarkeitskomponente und kann als Filterungsschritt dienen, um Kandidaten zu entfernen, die nicht mit dem vorherigen Wissen \u00fcbereinstimmen. Der dritte Ansatz nutzt Erkl\u00e4rungen, um Einblicke in den zugrunde liegenden Prozess zu gewinnen. Diese Einblicke k\u00f6nnen als neues Wissen betrachtet werden, das wiederum in die Pipeline integriert wird. Dieser Ansatz bietet Erkenntnispotenzial mittels iterativer Verbesserungen.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong><strong>Take-aways von Vortrag und Diskussion<\/strong><\/strong><\/h4>\n\n\n\n<p class=\"wp-block-paragraph\">Manchmal ist es nicht m\u00f6glich, Wissen zu integrieren, z.B. weil das Wissen nicht explizit vorliegt. Ein Beispiel ist erfahrenes medizinisches Personal, das erkennen kann, ob sich der Zustand eine*r Patient*in verschlechtert, ohne quantitative Ma\u00dfnahmen wie Hautfarben\u00e4nderung, Schwei\u00dfbildung oder \u00e4hnliches angeben zu k\u00f6nnen. Es kann auch Wissen geben, das nicht mit den Informationen in den Trainingsdaten \u00fcbereinstimmt, zum Beispiel weil die Trainingsdaten fehlerhaft sind oder Daten fehlen. Das stellt eine Herausforderung dar. In einem Projekt sind wir derzeit dabei, Trainingsdaten neu zu annotieren, was nat\u00fcrlich nicht trivial und m\u00fchsam ist.&nbsp; Eine interessante Frage ist, ob es schon Arbeiten gibt, die die Auswirkung der Integration von &#8222;falschem&#8220; Wissen untersuchen. M\u00f6glicherweise gibt es relevante Arbeiten im Bereich Adversarial Attacks.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Vortragstitel<\/strong>: How prior knowledge can be utilized for Explainable Machine Learning<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Speakerin<\/strong>: Katharina Beckh<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">F\u00fcr weitere Details zu den drei Ans\u00e4tzen verweisen wir auf den entsprechenden <a href=\"https:\/\/lamarr-institute.org\/de\/blog\/erklaerbares-maschinelles-lernen\/\" target=\"_blank\" rel=\"noreferrer noopener\">Blogartikel<\/a> und die <a href=\"https:\/\/www.researchgate.net\/publication\/371243326_Harnessing_Prior_Knowledge_for_Explainable_Machine_Learning_An_Overview\" target=\"_blank\" rel=\"noreferrer noopener\">Ver\u00f6ffentlichung<\/a>.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Erforschung von Unsicherheit<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">W\u00e4hrend Wissen validierte Informationen sind und in der Regel auf harten Fakten basieren, sehen sich die Wissenschaften oft mit Unsicherheit konfrontiert. Daher untersuchte der zweite Vortrag Unsicherheit in Bezug darauf<ins>,<\/ins> wie gut Menschen in der Lage sind<ins>,<\/ins> Umweltunsicherheit zu erlernen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Wenn wir vor der Aufgabe stehen, Umweltunsicherheit zu lernen, ist es eigentlich unklar, wie unser Gehirn Unsicherheit mit begrenzten kognitiven Ressourcen internalisiert. In einer Nutzerstudie wurde untersucht, wie gut eine von Nutzer*innen angegebene Wahrscheinlichkeitsverteilung mit einer tats\u00e4chlichen Verteilung \u00fcbereinstimmt. Die Nutzer*innen erhielten sequenzielle Beobachtungen, z.B. in Form von Landepositionen von Lavasteinen, und wurden gebeten, die Wahrscheinlichkeitsdichte zuk\u00fcnftiger Landepositionen vorherzusagen. Es wurde ein Framework der Dichtesch\u00e4tzung vorgestellt, welches das menschliche Verhalten modelliert.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>Take-aways von Vortrag und Diskussion<\/strong><\/h4>\n\n\n\n<p class=\"wp-block-paragraph\">Die Diskussion hat offengelassen, wie genau die Vorstellung der Unsicherheitsrepr\u00e4sentation und des erkl\u00e4rbaren Maschinellen Lernens miteinander verbunden sind. Was gesagt werden kann, ist, dass das Thema weniger darauf abzielt, wie wir Erkl\u00e4rungen generieren sollten, sondern vielmehr darauf, wie intelligente Systeme funktionieren sollten, n\u00e4mlich wie neuronale Systeme mit Unsicherheit umgehen k\u00f6nnen und wie wir menschliches Verhalten in Bezug auf Unsicherheit erkl\u00e4ren k\u00f6nnen. Die wichtigste Erkenntnis war, dass Menschen tats\u00e4chlich in der Lage sind, gute Dichtemodelle zu erlernen, trotz der Tendenz, die Anzahl der Cluster (z. B. Vulkane) zu \u00fcbersch\u00e4tzen. F\u00fcr das Studiendesign haben wir gelernt, dass es schwierig ist, Ged\u00e4chtnis zu modellieren und eine geeignete Nutzerstudie umzusetzen. Insbesondere der letzte Punkt ist allgemein sehr relevant f\u00fcr die Evaluation von Erkl\u00e4rungen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Vortragstitel:<\/strong> Uncertainty representations in cognitive systems<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Speaker:<\/strong> Kevin Li<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Der Vortrag basiert auf der Publikation <a href=\"https:\/\/openreview.net\/pdf?id=VnfeOjR73Q\" target=\"_blank\" rel=\"noreferrer noopener\">\u201cBounded rationality in structured density estimation\u201d<\/a>, welche weitere technische Details zum Framework enth\u00e4lt.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Anwendung: Gesichtserkennung<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">In einem ersten Anwendungsbeispiel wurden Fortschritte und Erkenntnisse aus der Gesichtserkennung vorgestellt. Es wurde gezeigt, dass die Fehlerraten mit neuronalen Netzwerken von Jahr zu Jahr reduziert wurden und schlie\u00dflich besser wurden als die menschliche Erkennungsleistung. Der &#8222;Other-Race-Effekt&#8220; ist ein Ph\u00e4nomen, bei dem wir Gesichter der eigenen ethnischen Gruppe besser erkennen als Gesichter anderer Gruppen. Es wurde festgestellt, dass dieses Ph\u00e4nomen auch f\u00fcr Algorithmen gilt. Bei frontal aufgenommenen Bildern erzielen maschinelle Lernverfahren bessere Ergebnisse als der Gro\u00dfteil der Menschen, sogar im Vergleich zu \u201eSuper-Recognizer\u201c (Menschen, die besonders gut Gesichter wiedererkennen k\u00f6nnen).<\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>Take-aways von Vortrag und Diskussion<\/strong><\/h4>\n\n\n\n<p class=\"wp-block-paragraph\">\u00c4hnlich wie der vorherige Vortrag hat dieser Vortrag nur indirekt eine Verbindung mit erkl\u00e4rbarem Maschinellem Lernen hergestellt. In der Diskussion haben wir erfahren, dass post-hoc Methoden (LIME und GradCAM) ausprobiert wurden und die Ergebnisse nicht beeindruckend waren. Es bleibt fraglich, ob diese Methoden f\u00fcr die Aufgabe der Gesichtserkennung hilfreich w\u00e4ren. Es w\u00e4re zudem interessant, besser zu verstehen, worauf das System achtet. Typische Merkmale wie der Abstand zwischen den Augen wurden nicht gesondert untersucht und es bleibt offen, worauf Pr\u00fcfer*innen, insbesondere Super-Recognizer, im Gegensatz zu z.B. Studierenden achten. Diese Analyse k\u00f6nnte z.B. mit Eye-Tracking-Technologie umgesetzt werden.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Talk title<\/strong>: Challenges in using deep learning to model the face processing in humans<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Speaker<\/strong>: P. Jonathon Phillips<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">F\u00fcr weitere Informationen \u00fcber Gesichtserkennungssysteme und den Other-Race-Effekt verweisen wir auf ver\u00f6ffentlichte Arbeiten von Phillips und empfehlen folgenden <a href=\"https:\/\/www.pnas.org\/doi\/abs\/10.1073\/pnas.1721355115\" target=\"_blank\" rel=\"noreferrer noopener\">Artikel <\/a>als Ausgangspunkt.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Anwendung: Medizin<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Medizin zeichnet sich durch hohes Risiko aus und ist damit ein Feld, das besonders auf Interpretierbarkeit angewiesen ist. Die beiden Speaker*innen haben sich nachdr\u00fccklich f\u00fcr interpretierbare Modelle und gegen post-hoc Ans\u00e4tze ausgesprochen.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Im ersten Vortrag wurde ein Ansatz vorgestellt, wie man aus einem Black-Box-Modell ein interpretierbares Modell entwickelt. Um den Anwendungsfall n\u00e4her zu erl\u00e4utern: Brustkrebs ist weltweit der am h\u00e4ufigsten diagnostizierter Krebs. Bei Frauen \u00fcber 40 wird ein regelm\u00e4\u00dfiges Screening durchgef\u00fchrt. Allerdings ist die Mammographie eine schwierige Aufgabe, offenbar wird Krebs in 1 von 5 F\u00e4llen \u00fcbersehen. Das Ziel ist es, die Screeningbelastung zu reduzieren, indem das Krebsrisiko f\u00fcr die n\u00e4chsten 5 Jahre vorhergesagt wird. Ein State-of-the-Art-Modell hat eine gute Vorhersageleistung, aber aufgrund der fehlenden Nachvollziehbarkeit ist unklar, auf welche Merkmale es achtet. Durch Experimentieren mit dem Modell wurde, eher zuf\u00e4llig, festgestellt, dass die Abweichung zwischen linker und rechter Brust ein sehr guter Pr\u00e4diktor f\u00fcr das Brustkrebsrisiko ist. Daraufhin wurde ein interpretierbares Modell entwickelt, das die lokalisierten Un\u00e4hnlichkeiten beider Seiten ber\u00fccksichtigt. Das neue System hat eine vergleichbare Leistung zu der Black-Box und es wurde kein Trade-off zwischen Genauigkeit und Interpretierbarkeit gefunden.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Der zweite Vortrag beleuchtete, welche Modelle besonders in der Praxis funktionieren. Hier lag der Anwendungsfall in der Sepsis-Vorhersage. Es wurde empfohlen, erkl\u00e4rbare Boosting Algorithmen und GAM-Changer zu verwenden. GAMs sind additive Modelle, die eine Untersuchung von z.B. lokalem Overfitting erm\u00f6glichen. Da Sepsis im Vergleich selten ist, kann ein Modell Scheinkorrelationen lernen. Mit GAMs ist es m\u00f6glich, diese zu inspizieren und zu gl\u00e4tten.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>Take-aways von Vortr\u00e4gen und Diskussion<\/strong><\/h4>\n\n\n\n<p class=\"wp-block-paragraph\">Eine Black-Box zu verwenden und dann zu versuchen, die Gr\u00fcnde f\u00fcr die Entscheidungen zu verstehen, ist ein Ansatz, der auch f\u00fcr andere Systeme funktionieren kann. Es illustriert sehr sch\u00f6n den Prozess mittels einer Black-Box Erkenntnisse abzuleiten und daraus ein Modell zu erstellen, das besser f\u00fcr das Anwendungsszenario geeignet ist. Modelle, die einfache iterative \u00c4nderungen erm\u00f6glichen, werden gegen\u00fcber intransparenten bevorzugt, die zeitaufw\u00e4ndiges Neutrainieren erfordern w\u00fcrden. In letzterem Fall ist es immer noch notwendig, von den Daten zu schlussfolgern und beispielsweise Messfehler und fehlende Eintr\u00e4ge zu ber\u00fccksichtigen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Talk title<\/strong>: We turned a black box into a scientific discovery and an interpretable model: a study in predicting breast cancer years in advance<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Speaker:<\/strong> Cynthia Rudin<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Talk title<\/strong>: Safety and explainability in clinical predictive models<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Speaker:<\/strong> Peter A. Stella<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Das System zur Vorhersage des Brustkrebsrisikos wird in folgender <a href=\"https:\/\/pubs.rsna.org\/doi\/10.1148\/radiol.232780\" target=\"_blank\" rel=\"noreferrer noopener\">Publikation<\/a> beschrieben.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Das Visual Analytics Tool, welches im zweiten Vortrag vorgestellt wurde, ist <a href=\"https:\/\/github.com\/interpretml\/gam-changer\" target=\"_blank\" rel=\"noreferrer noopener\">hier<\/a> zu finden.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Anwendung: Materialwissenschaft<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Eine Dom\u00e4ne, die weniger Risiken birgt als die Medizin, ist die Materialwissenschaft. Tats\u00e4chlich sind Simulationsexperimente in diesem Ingenieurbereich vergleichsweise kosteng\u00fcnstig. Die Materialwissenschaft besch\u00e4ftigt sich mit der Frage, warum eine bestimmte nanophotonische Struktur funktioniert. Dieses Wissen w\u00fcrde die Entwicklung optimieren. Um ein besseres funktionales Verst\u00e4ndnis daf\u00fcr zu gewinnen, warum eine Struktur gut funktioniert, wurden post-hoc Methoden verwendet. Die Ausgabe dieser Methoden diente als Ausgangspunkt, um die lokalen Minima des Optimierungsalgorithmus zu erkunden und diesen zu entgehen. Ein weiterer Schritt filterte Kandidaten aus, die nicht fabriziert werden k\u00f6nnen.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>Take-aways von Vortrag und Diskussion<\/strong><\/h4>\n\n\n\n<p class=\"wp-block-paragraph\">Die Pr\u00e4sentation hat veranschaulicht, dass die Verwendung von post-hoc Methoden in wissenschaftlichen Bereichen vorteilhaft sein kann, wenn das Risiko und die experimentellen Kosten gering sind. Dies steht im Gegensatz zum medizinischen Bereich, in dem das Risiko und die damit verbundenen Kosten viel h\u00f6her sind. Dar\u00fcber hinaus scheint es so zu sein, dass die Untersuchung des latenten Raums ein schwieriges Unterfangen ist, da er schwer zu interpretieren ist und dies daher derzeit keine L\u00f6sung darstellt. Letztendlich haben die post-hoc Methoden keine Erkenntnisse zu den relevanten Merkmalen erm\u00f6glicht, so dass das zugrunde liegende Prinzip unbekannt bleibt. Dies wirft auch die Frage auf, ob post-hoc Methoden unzureichend sind, um zu diesem Verst\u00e4ndnis zu gelangen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Talk title<\/strong>: Explainable AI to both elucidate and optimize the design of complex optical materials and devices<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Speaker<\/strong>: Aaswath P. Raman <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">F\u00fcr weitere technische Einblicke in das Thema von nanophotonischen Strukturen, verweisen wir auf folgende <a href=\"https:\/\/www.spiedigitallibrary.org\/conference-proceedings-of-spie\/11795\/117950D\/Deep-learning-to-explain-and-design-complex-nanophotonic-structures\/10.1117\/12.2595477.short#_=_\" target=\"_blank\" rel=\"noreferrer noopener\">Publikation<\/a>.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Anwendung: Physik<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Physik ist ein Bereich, der sich dank der Forschung bez\u00fcglich physikinformiertem Maschinellem Lernen bereits seit einiger Zeit mit Interpretierbarkeit besch\u00e4ftigt. Die Idee besteht darin, physikalische Grenzen und Prinzipien in Maschinelles Lernen zu integrieren, um das Verhalten des Modells n\u00e4her an das gew\u00fcnschte Verhalten heranzubringen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Der erste Vortrag pr\u00e4sentierte mehrere Beispiele f\u00fcr physikinformiertes Maschinelles Lernen. Dazu geh\u00f6rte die Verwendung eines Graph Neural Network (GNN) und die Erkenntnis, dass physikalische Beziehungen durch symbolische Regression aus dem Modell extrahiert werden k\u00f6nnen. Der zweite Vortrag konzentrierte sich auf den Aufbau von White-Box-Modellen in der Physik. Das Ziel ist ein Modell, das zugrunde liegende physikalische Gesetze von hochenergetischen Teilchenkollisionen aufdecken kann. Insbesondere lag der Fokus der Arbeit auf Parton Showers und der Verwendung von <a href=\"https:\/\/lamarr-institute.org\/de\/blog\/generative-neuronale-modelle\/\" target=\"_blank\" rel=\"noreferrer noopener\">Generative Adversarial Networks (GAN)<\/a>. Damit konnte der zugrunde liegende Parton-Verzweigungsmechanismus rekonstruiert werden. Es wurde angebracht, dass der Aufbau von White-Box-Modellen in mehreren Bereichen der Hochenergiephysik hilfreich sein kann.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong><strong>Take-aways von Vortr\u00e4gen und Diskussion<\/strong><\/strong><\/h4>\n\n\n\n<p class=\"wp-block-paragraph\">Es wurde der Vorteil der Wissensintegration in den induktiven Bias von Architekturen hervorgehoben, zum Beispiel durch die Ausrichtung von Architekturbestandteilen mit mechanistischen Konzepten. Gleichzeitig wurde darauf hingewiesen, dass wir aufgrund von Misalignment get\u00e4uscht werden k\u00f6nnen. In der Diskussion wurde gefragt, warum GANs f\u00fcr Transparenzziele verwendet wurden. Im zweiten Vortrag hatten GANs den Vorteil der Datenaugmentation und der M\u00f6glichkeit, Simulationen wiederholt durchzuf\u00fchren. Interessanterweise wurden in den Physikvortr\u00e4gen keine post-hoc Methoden erw\u00e4hnt, und es bleibt offen, ob dies ein n\u00fctzlicher Ansatz ist oder nicht.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Talk title<\/strong>: Explainable Generative Adversarial Network for Particle Shower<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Speaker<\/strong>: Yue Shi Lai<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Talk title<\/strong>: Injecting knowledge and extracting insight: promise and perils<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Speaker<\/strong>: Kyle Cranmer<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">F\u00fcr eine ausf\u00fchrlichere Lekt\u00fcre zu der Extraktion symbolischer Darstellungen aus GNNs verweisen wir auf folgende <a href=\"https:\/\/arxiv.org\/abs\/2006.11287\" target=\"_blank\" rel=\"noreferrer noopener\">Publikation<\/a>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die Details des White Box Ansatzes f\u00fcr hochenergetische Teilchenkollisionen sind <a href=\"https:\/\/arxiv.org\/abs\/2012.06582\" target=\"_blank\" rel=\"noreferrer noopener\">hier<\/a> zu finden.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Zusammenfassung<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Aus den Vortr\u00e4gen wurde deutlich, dass die Erkl\u00e4rbarkeitsans\u00e4tze in den verschiedenen Bereichen unterschiedlich und risikoabh\u00e4ngig sind. W\u00e4hrend die Medizin stark f\u00fcr interpretierbare Modelle pl\u00e4diert, verwendet die Materialwissenschaft post-hoc Methoden f\u00fcr Experimente. Im Laufe des Workshops habe ich den Eindruck gewonnen, dass viele Speaker*innen und Teilnehmende kritisch gegen\u00fcber post-hoc Methoden eingestellt sind. Bei Erkl\u00e4rbarkeit in den Wissenschaften geht es darum, zugrunde liegende Prozesse zu verstehen. In bestimmten Bereichen ist es kostspielig, wenn Unsicherheit dar\u00fcber bestehen bleibt, ob die Methoden das tats\u00e4chliche Modellverhalten widerspiegeln. Das Ph\u00e4nomen, dass Erkl\u00e4rungsmethoden uneinig sind (Disagreement Problem), tr\u00e4gt sicherlich zu dieser kritischen Haltung bei.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Au\u00dferhalb dieses Workshops habe ich den Eindruck, dass viele Menschen immer noch die falsche Vorstellung haben, dass die Verwendung eines KI-Systems ein Problem magisch l\u00f6sen oder zu Erkenntnisgewinn f\u00fchren wird. Wir haben an mehreren Stellen in den Vortr\u00e4gen gesehen, dass immer noch ein Mensch die Ergebnisse interpretiert und \u00fcber die Daten schlussfolgert. Ein wichtiges Fazit ist also, dass KI wissenschaftliche Probleme nicht alleine l\u00f6sen wird, sondern mit einem Menschen im Prozess. In diesen F\u00e4llen ist es viel wichtiger, Methoden zu entwerfen, die Menschen dabei helfen, ihre &#8222;Verstehziele&#8220; zu erreichen &#8211; unter Ber\u00fccksichtigung der menschlichen Kognition. Nat\u00fcrlich gibt es Ausnahmen wie eingeschr\u00e4nkter Einsatz oder das Beispiel der Gesichtserkennung.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">In Zukunft wird es interessant weitere Forschung zu sehen, die Black-Boxes einsetzt, um ein zugrunde liegendes Ph\u00e4nomen besser zu verstehen \u2013 insbesondere angesichts der Vielzahl an Sprachmodellen, die nun zur Verf\u00fcgung stehen.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Mit erkl\u00e4rbarem maschinellem Lernen neue Entdeckungen erm\u00f6glichen \u2013 wie sich die Wissenschaften mit Erkl\u00e4rbarkeit besch\u00e4ftigen beschreiben wir in unserem Blogbeitrag, der die wichtigsten Erkenntnisse des AAAI XAI4Sci Workshops zusammenfasst. <\/p>\n","protected":false},"author":16,"featured_media":10104,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,546],"blog-tag":[1484,1526,1527,1619],"class_list":["post-10099","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-anwendung","blog-tag-erklaerbare-ki-xai","blog-tag-ki-in-der-medizin","blog-tag-ki-in-der-physik","blog-tag-wissenschaft"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/10099","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/16"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/10099\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/10104"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=10099"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=10099"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=10099"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}