In der Wissenschaft geht es um Entdeckungen und darum, dass wir dem Verstehen der natürlichen Welt ein Stück näherkommen. Die wissenschaftliche Methode folgt einem Prozess mit der Untersuchung einer Frage, Formulierung von Hypothesen, experimenteller Prüfung, Analyse und Schlussfolgerungen. Maschinelles Lernen wird in und für diesen Prozess verwendet und weil die meisten Modelle intransparent sind, ist die Notwendigkeit von Modellerklärungen ein zentrales Anliegen geworden.
Im Allgemeinen sind Erklärungen erforderlich, um das Modellverhalten besser zu verstehen und Vertrauen in die Vorhersagen des Modells zu schaffen. In den Wissenschaften gehen die Anforderungen an Erklärungen jedoch über diese Punkte hinaus. In wissenschaftlichen Bereichen sind Erklärungen für die Validierung und den Erkenntnisgewinn über den zugrunde liegenden Prozess unerlässlich. Es ist weniger wichtig, dass Erklärungen „ansprechend“ sind, sondern dass sie verständlich und überprüfbar sind, z. B., um neue Hypothesen zu generieren.
Bisher wurden die Ansätze für erklärbares Maschinelles Lernen in den Wissenschaften nicht ausreichend diskutiert. Umso mehr ist der Stand der Technik mit Herausforderungen konfrontiert wie z.B., dass sich Erklärungen von unterschiedlichen Methoden unterscheiden oder auch instabile Erklärungen. Es ist daher essenziell genauer zu untersuchen, was funktioniert, was nicht funktioniert und was bisher noch fehlt.
Bei der AAAI Conference on Artificial Intelligence wurde daher ein Workshop organisiert, um dieses Thema zu beleuchten und genau diese Fragen zu beantworten. Das Ziel des “XAI4Sci Explainable machine learning for sciences” Workshops war es, Austausch zu initiieren und Raum für eine Diskussion darüber zu schaffen, was Erklärungen im wissenschaftlichen Bereich einzigartig macht und welche Herausforderungen und Potenziale sich in Zukunft ergeben.
Hiermit geben wir Einblicke in den Workshop, in dem wir die Vorträge zusammenfassen und die Ergebnisse in einen größeren Kontext einordnen. Insbesondere werden wir sehen, das aktuelle Erklärbarkeitsmethoden nicht unbedingt funktionieren und welche Ansätze stattdessen verwendet werden.
Aufbau des Workshops
Der Workshop hat mit Vorträgen zu Wissen und Kognition gestartet und ist dann zu Anwendungsbeispielen in Physik, Medizin und Materialwissenschaft übergegangen. Insgesamt haben acht Speaker*innen Input zu dem Thema geliefert. Im Folgenden stellen wir kurz das jeweilige Thema vor und heben die wichtigsten Erkenntnisse sowie weiterführende Literatur hervor.
Erforschung von Wissensintegration
Wissen ist ein wesentlicher Bestandteil der Wissenschaft: Welches Wissen haben wir bereits und wie können wir neues Wissen generieren? Deshalb ist es interessant zu untersuchen, wie vorhandenes Wissen für erklärbares Maschinelles Lernen genutzt werden kann.
Häufig haben wir die Herausforderung, dass Modellausgaben nicht unbedingt mit Fachwissen übereinstimmen. Aber es gibt Forschung, die sich genau mit diesem Umstand befasst. Der Vortrag stellte drei Ansätze vor, die zusätzliches Wissen für die Erklärbarkeit nutzen. Der erste Ansatz ermöglicht die Integration zusätzlichen Wissens als individuelle, interpretierbare Komponente und erhöht dadurch die Interpretierbarkeit des gesamten Systems. Ein wichtiger Forschungsbereich in diese Richtung ist das physikinformierte Maschinelle Lernen, das versucht, physikalische Gesetze direkt in die maschinelle Lernpipeline zu integrieren. Der zweite Ansatz integriert Wissen in die Erklärbarkeitskomponente und kann als Filterungsschritt dienen, um Kandidaten zu entfernen, die nicht mit dem vorherigen Wissen übereinstimmen. Der dritte Ansatz nutzt Erklärungen, um Einblicke in den zugrunde liegenden Prozess zu gewinnen. Diese Einblicke können als neues Wissen betrachtet werden, das wiederum in die Pipeline integriert wird. Dieser Ansatz bietet Erkenntnispotenzial mittels iterativer Verbesserungen.
Take-aways von Vortrag und Diskussion
Manchmal ist es nicht möglich, Wissen zu integrieren, z.B. weil das Wissen nicht explizit vorliegt. Ein Beispiel ist erfahrenes medizinisches Personal, das erkennen kann, ob sich der Zustand eine*r Patient*in verschlechtert, ohne quantitative Maßnahmen wie Hautfarbenänderung, Schweißbildung oder ähnliches angeben zu können. Es kann auch Wissen geben, das nicht mit den Informationen in den Trainingsdaten übereinstimmt, zum Beispiel weil die Trainingsdaten fehlerhaft sind oder Daten fehlen. Das stellt eine Herausforderung dar. In einem Projekt sind wir derzeit dabei, Trainingsdaten neu zu annotieren, was natürlich nicht trivial und mühsam ist. Eine interessante Frage ist, ob es schon Arbeiten gibt, die die Auswirkung der Integration von „falschem“ Wissen untersuchen. Möglicherweise gibt es relevante Arbeiten im Bereich Adversarial Attacks.
Vortragstitel: How prior knowledge can be utilized for Explainable Machine Learning
Speakerin: Katharina Beckh
Für weitere Details zu den drei Ansätzen verweisen wir auf den entsprechenden Blogartikel und die Veröffentlichung.
Erforschung von Unsicherheit
Während Wissen validierte Informationen sind und in der Regel auf harten Fakten basieren, sehen sich die Wissenschaften oft mit Unsicherheit konfrontiert. Daher untersuchte der zweite Vortrag Unsicherheit in Bezug darauf, wie gut Menschen in der Lage sind, Umweltunsicherheit zu erlernen.
Wenn wir vor der Aufgabe stehen, Umweltunsicherheit zu lernen, ist es eigentlich unklar, wie unser Gehirn Unsicherheit mit begrenzten kognitiven Ressourcen internalisiert. In einer Nutzerstudie wurde untersucht, wie gut eine von Nutzer*innen angegebene Wahrscheinlichkeitsverteilung mit einer tatsächlichen Verteilung übereinstimmt. Die Nutzer*innen erhielten sequenzielle Beobachtungen, z.B. in Form von Landepositionen von Lavasteinen, und wurden gebeten, die Wahrscheinlichkeitsdichte zukünftiger Landepositionen vorherzusagen. Es wurde ein Framework der Dichteschätzung vorgestellt, welches das menschliche Verhalten modelliert.
Take-aways von Vortrag und Diskussion
Die Diskussion hat offengelassen, wie genau die Vorstellung der Unsicherheitsrepräsentation und des erklärbaren Maschinellen Lernens miteinander verbunden sind. Was gesagt werden kann, ist, dass das Thema weniger darauf abzielt, wie wir Erklärungen generieren sollten, sondern vielmehr darauf, wie intelligente Systeme funktionieren sollten, nämlich wie neuronale Systeme mit Unsicherheit umgehen können und wie wir menschliches Verhalten in Bezug auf Unsicherheit erklären können. Die wichtigste Erkenntnis war, dass Menschen tatsächlich in der Lage sind, gute Dichtemodelle zu erlernen, trotz der Tendenz, die Anzahl der Cluster (z. B. Vulkane) zu überschätzen. Für das Studiendesign haben wir gelernt, dass es schwierig ist, Gedächtnis zu modellieren und eine geeignete Nutzerstudie umzusetzen. Insbesondere der letzte Punkt ist allgemein sehr relevant für die Evaluation von Erklärungen.
Vortragstitel: Uncertainty representations in cognitive systems
Speaker: Kevin Li
Der Vortrag basiert auf der Publikation “Bounded rationality in structured density estimation”, welche weitere technische Details zum Framework enthält.
Anwendung: Gesichtserkennung
In einem ersten Anwendungsbeispiel wurden Fortschritte und Erkenntnisse aus der Gesichtserkennung vorgestellt. Es wurde gezeigt, dass die Fehlerraten mit neuronalen Netzwerken von Jahr zu Jahr reduziert wurden und schließlich besser wurden als die menschliche Erkennungsleistung. Der „Other-Race-Effekt“ ist ein Phänomen, bei dem wir Gesichter der eigenen ethnischen Gruppe besser erkennen als Gesichter anderer Gruppen. Es wurde festgestellt, dass dieses Phänomen auch für Algorithmen gilt. Bei frontal aufgenommenen Bildern erzielen maschinelle Lernverfahren bessere Ergebnisse als der Großteil der Menschen, sogar im Vergleich zu „Super-Recognizer“ (Menschen, die besonders gut Gesichter wiedererkennen können).
Take-aways von Vortrag und Diskussion
Ähnlich wie der vorherige Vortrag hat dieser Vortrag nur indirekt eine Verbindung mit erklärbarem Maschinellem Lernen hergestellt. In der Diskussion haben wir erfahren, dass post-hoc Methoden (LIME und GradCAM) ausprobiert wurden und die Ergebnisse nicht beeindruckend waren. Es bleibt fraglich, ob diese Methoden für die Aufgabe der Gesichtserkennung hilfreich wären. Es wäre zudem interessant, besser zu verstehen, worauf das System achtet. Typische Merkmale wie der Abstand zwischen den Augen wurden nicht gesondert untersucht und es bleibt offen, worauf Prüfer*innen, insbesondere Super-Recognizer, im Gegensatz zu z.B. Studierenden achten. Diese Analyse könnte z.B. mit Eye-Tracking-Technologie umgesetzt werden.
Talk title: Challenges in using deep learning to model the face processing in humans
Speaker: P. Jonathon Phillips
Für weitere Informationen über Gesichtserkennungssysteme und den Other-Race-Effekt verweisen wir auf veröffentlichte Arbeiten von Phillips und empfehlen folgenden Artikel als Ausgangspunkt.
Anwendung: Medizin
Medizin zeichnet sich durch hohes Risiko aus und ist damit ein Feld, das besonders auf Interpretierbarkeit angewiesen ist. Die beiden Speaker*innen haben sich nachdrücklich für interpretierbare Modelle und gegen post-hoc Ansätze ausgesprochen.
Im ersten Vortrag wurde ein Ansatz vorgestellt, wie man aus einem Black-Box-Modell ein interpretierbares Modell entwickelt. Um den Anwendungsfall näher zu erläutern: Brustkrebs ist weltweit der am häufigsten diagnostizierter Krebs. Bei Frauen über 40 wird ein regelmäßiges Screening durchgeführt. Allerdings ist die Mammographie eine schwierige Aufgabe, offenbar wird Krebs in 1 von 5 Fällen übersehen. Das Ziel ist es, die Screeningbelastung zu reduzieren, indem das Krebsrisiko für die nächsten 5 Jahre vorhergesagt wird. Ein State-of-the-Art-Modell hat eine gute Vorhersageleistung, aber aufgrund der fehlenden Nachvollziehbarkeit ist unklar, auf welche Merkmale es achtet. Durch Experimentieren mit dem Modell wurde, eher zufällig, festgestellt, dass die Abweichung zwischen linker und rechter Brust ein sehr guter Prädiktor für das Brustkrebsrisiko ist. Daraufhin wurde ein interpretierbares Modell entwickelt, das die lokalisierten Unähnlichkeiten beider Seiten berücksichtigt. Das neue System hat eine vergleichbare Leistung zu der Black-Box und es wurde kein Trade-off zwischen Genauigkeit und Interpretierbarkeit gefunden.
Der zweite Vortrag beleuchtete, welche Modelle besonders in der Praxis funktionieren. Hier lag der Anwendungsfall in der Sepsis-Vorhersage. Es wurde empfohlen, erklärbare Boosting Algorithmen und GAM-Changer zu verwenden. GAMs sind additive Modelle, die eine Untersuchung von z.B. lokalem Overfitting ermöglichen. Da Sepsis im Vergleich selten ist, kann ein Modell Scheinkorrelationen lernen. Mit GAMs ist es möglich, diese zu inspizieren und zu glätten.
Take-aways von Vorträgen und Diskussion
Eine Black-Box zu verwenden und dann zu versuchen, die Gründe für die Entscheidungen zu verstehen, ist ein Ansatz, der auch für andere Systeme funktionieren kann. Es illustriert sehr schön den Prozess mittels einer Black-Box Erkenntnisse abzuleiten und daraus ein Modell zu erstellen, das besser für das Anwendungsszenario geeignet ist. Modelle, die einfache iterative Änderungen ermöglichen, werden gegenüber intransparenten bevorzugt, die zeitaufwändiges Neutrainieren erfordern würden. In letzterem Fall ist es immer noch notwendig, von den Daten zu schlussfolgern und beispielsweise Messfehler und fehlende Einträge zu berücksichtigen.
Talk title: We turned a black box into a scientific discovery and an interpretable model: a study in predicting breast cancer years in advance
Speaker: Cynthia Rudin
Talk title: Safety and explainability in clinical predictive models
Speaker: Peter A. Stella
Das System zur Vorhersage des Brustkrebsrisikos wird in folgender Publikation beschrieben.
Das Visual Analytics Tool, welches im zweiten Vortrag vorgestellt wurde, ist hier zu finden.
Anwendung: Materialwissenschaft
Eine Domäne, die weniger Risiken birgt als die Medizin, ist die Materialwissenschaft. Tatsächlich sind Simulationsexperimente in diesem Ingenieurbereich vergleichsweise kostengünstig. Die Materialwissenschaft beschäftigt sich mit der Frage, warum eine bestimmte nanophotonische Struktur funktioniert. Dieses Wissen würde die Entwicklung optimieren. Um ein besseres funktionales Verständnis dafür zu gewinnen, warum eine Struktur gut funktioniert, wurden post-hoc Methoden verwendet. Die Ausgabe dieser Methoden diente als Ausgangspunkt, um die lokalen Minima des Optimierungsalgorithmus zu erkunden und diesen zu entgehen. Ein weiterer Schritt filterte Kandidaten aus, die nicht fabriziert werden können.
Take-aways von Vortrag und Diskussion
Die Präsentation hat veranschaulicht, dass die Verwendung von post-hoc Methoden in wissenschaftlichen Bereichen vorteilhaft sein kann, wenn das Risiko und die experimentellen Kosten gering sind. Dies steht im Gegensatz zum medizinischen Bereich, in dem das Risiko und die damit verbundenen Kosten viel höher sind. Darüber hinaus scheint es so zu sein, dass die Untersuchung des latenten Raums ein schwieriges Unterfangen ist, da er schwer zu interpretieren ist und dies daher derzeit keine Lösung darstellt. Letztendlich haben die post-hoc Methoden keine Erkenntnisse zu den relevanten Merkmalen ermöglicht, so dass das zugrunde liegende Prinzip unbekannt bleibt. Dies wirft auch die Frage auf, ob post-hoc Methoden unzureichend sind, um zu diesem Verständnis zu gelangen.
Talk title: Explainable AI to both elucidate and optimize the design of complex optical materials and devices
Speaker: Aaswath P. Raman
Für weitere technische Einblicke in das Thema von nanophotonischen Strukturen, verweisen wir auf folgende Publikation.
Anwendung: Physik
Physik ist ein Bereich, der sich dank der Forschung bezüglich physikinformiertem Maschinellem Lernen bereits seit einiger Zeit mit Interpretierbarkeit beschäftigt. Die Idee besteht darin, physikalische Grenzen und Prinzipien in Maschinelles Lernen zu integrieren, um das Verhalten des Modells näher an das gewünschte Verhalten heranzubringen.
Der erste Vortrag präsentierte mehrere Beispiele für physikinformiertes Maschinelles Lernen. Dazu gehörte die Verwendung eines Graph Neural Network (GNN) und die Erkenntnis, dass physikalische Beziehungen durch symbolische Regression aus dem Modell extrahiert werden können. Der zweite Vortrag konzentrierte sich auf den Aufbau von White-Box-Modellen in der Physik. Das Ziel ist ein Modell, das zugrunde liegende physikalische Gesetze von hochenergetischen Teilchenkollisionen aufdecken kann. Insbesondere lag der Fokus der Arbeit auf Parton Showers und der Verwendung von Generative Adversarial Networks (GAN). Damit konnte der zugrunde liegende Parton-Verzweigungsmechanismus rekonstruiert werden. Es wurde angebracht, dass der Aufbau von White-Box-Modellen in mehreren Bereichen der Hochenergiephysik hilfreich sein kann.
Take-aways von Vorträgen und Diskussion
Es wurde der Vorteil der Wissensintegration in den induktiven Bias von Architekturen hervorgehoben, zum Beispiel durch die Ausrichtung von Architekturbestandteilen mit mechanistischen Konzepten. Gleichzeitig wurde darauf hingewiesen, dass wir aufgrund von Misalignment getäuscht werden können. In der Diskussion wurde gefragt, warum GANs für Transparenzziele verwendet wurden. Im zweiten Vortrag hatten GANs den Vorteil der Datenaugmentation und der Möglichkeit, Simulationen wiederholt durchzuführen. Interessanterweise wurden in den Physikvorträgen keine post-hoc Methoden erwähnt, und es bleibt offen, ob dies ein nützlicher Ansatz ist oder nicht.
Talk title: Explainable Generative Adversarial Network for Particle Shower
Speaker: Yue Shi Lai
Talk title: Injecting knowledge and extracting insight: promise and perils
Speaker: Kyle Cranmer
Für eine ausführlichere Lektüre zu der Extraktion symbolischer Darstellungen aus GNNs verweisen wir auf folgende Publikation.
Die Details des White Box Ansatzes für hochenergetische Teilchenkollisionen sind hier zu finden.
Zusammenfassung
Aus den Vorträgen wurde deutlich, dass die Erklärbarkeitsansätze in den verschiedenen Bereichen unterschiedlich und risikoabhängig sind. Während die Medizin stark für interpretierbare Modelle plädiert, verwendet die Materialwissenschaft post-hoc Methoden für Experimente. Im Laufe des Workshops habe ich den Eindruck gewonnen, dass viele Speaker*innen und Teilnehmende kritisch gegenüber post-hoc Methoden eingestellt sind. Bei Erklärbarkeit in den Wissenschaften geht es darum, zugrunde liegende Prozesse zu verstehen. In bestimmten Bereichen ist es kostspielig, wenn Unsicherheit darüber bestehen bleibt, ob die Methoden das tatsächliche Modellverhalten widerspiegeln. Das Phänomen, dass Erklärungsmethoden uneinig sind (Disagreement Problem), trägt sicherlich zu dieser kritischen Haltung bei.
Außerhalb dieses Workshops habe ich den Eindruck, dass viele Menschen immer noch die falsche Vorstellung haben, dass die Verwendung eines KI-Systems ein Problem magisch lösen oder zu Erkenntnisgewinn führen wird. Wir haben an mehreren Stellen in den Vorträgen gesehen, dass immer noch ein Mensch die Ergebnisse interpretiert und über die Daten schlussfolgert. Ein wichtiges Fazit ist also, dass KI wissenschaftliche Probleme nicht alleine lösen wird, sondern mit einem Menschen im Prozess. In diesen Fällen ist es viel wichtiger, Methoden zu entwerfen, die Menschen dabei helfen, ihre „Verstehziele“ zu erreichen – unter Berücksichtigung der menschlichen Kognition. Natürlich gibt es Ausnahmen wie eingeschränkter Einsatz oder das Beispiel der Gesichtserkennung.
In Zukunft wird es interessant weitere Forschung zu sehen, die Black-Boxes einsetzt, um ein zugrunde liegendes Phänomen besser zu verstehen – insbesondere angesichts der Vielzahl an Sprachmodellen, die nun zur Verfügung stehen.
