Das menschenzentrierte maschinelle Lernen (englisch: human-centred ML) strebt eine enge Verknüpfung von menschlicher und Computerintelligenz sowie eine synergetische Zusammenarbeit zwischen ML-Modellen und menschlichen Nutzer*innen an. Zur Nutzung der Vorteile menschlicher Intelligenz bei der Entwicklung von ML-Modellen bindet das ML-Paradigma, bekannt als interaktives maschinelles Lernen, menschliche Nutzer*innen in eine enge Interaktionsschleife der sich wiederholenden Änderung von Daten und/oder Merkmalen ein, um so die Modellleistung zu verbessern. Damit die Nutzer*innen eine aktive Rolle bei der Modellentwicklung spielen können, müssen sie verstehen, was die Maschine tut und wie sich ihre Eingaben auf das Modellverhalten auswirken. Das Verständnis von ML-Modellen ist auch wichtig für die Entscheidung, ob sie in der Praxis eingesetzt werden können. Dieses Problem wird im Forschungsbereich der Erklärbaren KI (englisch: Explainable AI, XAI) behandelt, wobei sich die Erkenntnis durchgesetzt hat, dass die „Erklärbarkeit“ eines Modells nicht notwendigerweise bedeutet, dass das Modell dem Menschen tatsächlich korrekt erklärt und von ihm verstanden wird. Methoden der Erklärbaren Künstlichen Intelligenz erklären Modelle oft nicht in den Begriffen und Konzepten, die Menschen bei ihren Überlegungen verwenden, so dass die Erklärungen nicht mit menschlichen mentalen Modellen in Verbindung gebracht werden können. Ein weiteres Problem besteht darin, dass ein theoretisch interpretierbares Modell aufgrund seiner Größe und Komplexität in der Praxis unverständlich sein kann.
Die große Herausforderung des menschzentrierten maschinellen Lernens, besteht darin die Kluft zwischen den Methoden des maschinellen Lernens und der menschlichen Intelligenz zu überbrücken, d. h. Ansätze zu entwickeln, bei denen sich das maschinelle Lernen einerseits an menschliche Ziele, Konzepte, Werte und Denkweisen anpasst und andererseits die Leistungsfähigkeit der menschlichen Wahrnehmung und Intelligenz nutzt. Visual Analytics (VA) kann zur Lösung dieser Herausforderung beitragen, indem es die Macht der Visualisierung nutzt, die nicht nur ein wirksames Mittel ist, um Menschen Informationen zu vermitteln, sondern auch ein starker Auslöser für die abstrakte menschliche Wahrnehmung und das Denken ist.
Visual Analytics für informiertes ML und XAI
Visual Analytics ist ein natürlicher Partner von Maschinellem Lernen und Künstlicher Intelligenz in der Forschung, sowohl bei der Einbindung von Nutzern*innen in ML-Prozesse als auch bei der Erklärung von ML für Nutzer*innen. Die Verbindung von menschlicher und maschineller Intelligenz ist die Kernidee von VA. Während sich ML mehr auf die maschinelle Seite konzentriert und versucht, die menschliche Intelligenz zur Verbesserung von ML-Modellen zu nutzen, nimmt VA die menschliche Perspektive ein und betrachtet die maschinelle Intelligenz als Hilfe für die menschliche Argumentation. Im menschenzentrierten ML kann VA die Rolle eines Vermittlers in der Kommunikation zwischen Menschen und Computern bei der Entwicklung, Anwendung und Erklärung von ML-Modellen übernehmen.
Informed ML bedeutet die Einbeziehung von Vorwissen in den Prozess der Ableitung von Modellen aus Daten. Dabei wird in der Regel davon ausgegangen, dass das Wissen explizit in einer maschinell verarbeitbaren Form vorliegt. VA kann den Wissenserwerb von menschlichen Expert*innen unterstützen, einschließlich ihres Vorwissens und neuen Wissens, das die Expert*innen durch interaktive visuelle Datenanalyse gewonnen haben. Basierend auf den Paradigmen der interaktiven ML und der informierten ML werden Modelle in enger Interaktion zwischen ML-Algorithmen und Menschen entwickelt, so dass menschliches Wissen und von Menschen definierte Konzepte auf die Algorithmen übertragen und bei der Erstellung von Computermodellen verwendet werden. Dieser Prozess wird durch interaktive visuelle Schnittstellen unterstützt, die von VA bereitgestellt werden. Das von den menschlichen Expert*innen erworbene Wissen und die Konzepte werden nicht nur in die Modellbildung, sondern auch in die Erstellung von Erklärungen der Modelle für die Benutzer*innen einbezogen. Die hierfür noch zu entwickelnden Methoden können in Analogie zu Informed ML als „Informed XAI“ bezeichnet werden.
Regelgeneralisierung zur strukturierten Darstellung der Modelllogik
Ein ML-Modell, das „transparent by design“ ist, oder ein transparentes mimisches Modell, das eine Blackbox erklären soll, kann aus einer großen Anzahl von Komponenten bestehen, zum Beispiel aus Regeln oder Knoten eines Entscheidungsbaums. Während jede Komponente für sich genommen von einem Menschen leicht verstanden werden kann, kann das Gesamtkonstrukt die menschlichen Fähigkeiten, es zu verstehen, bei weitem übersteigen. Daher muss die Modelllogik dem Menschen auf einer geeigneten Abstraktionsebene präsentiert werden, die ihm einen Gesamtüberblick ermöglicht, während alle Details bei Bedarf zugänglich sein sollten. Unsere Idee der informierten XAI ist, dass eine XAI-Komponente von einem menschlichen Experten lernt, wie Modellkomponenten auf geeigneten Abstraktionsebenen in sinnvolle Informationsgranulate organisiert werden können.
Als einen Schritt in Richtung dieses langfristigen Ziels haben wir Möglichkeiten zur abstrahierten Darstellung von regelbasierten Modellen untersucht. Die Idee besteht darin, Gruppen ähnlicher Regeln durch allgemeinere Vereinigungsregeln darzustellen. Eine Vereinigungsregel ersetzt nicht nur mehrere ursprüngliche Regeln, sondern besteht in der Regel auch aus weniger logischen Bedingungen als jede der ursprünglichen Regeln. Dadurch wird die resultierende Menge von Vereinigungsregeln, selbst mit zusätzlich möglichen Ausnahmen, verständlicher. Auf diese Weise konstruieren wir ein vereinfachtes deskriptives Modell des transparenten, aber praktisch unverständlichen ML-Modells. Der erreichbare Vereinfachungsgrad wird dabei nicht durch die Forderung nach Beibehaltung der Vorhersagegüte des ursprünglichen Modells eingeschränkt, wie dies bei vielen bekannten Ansätzen zum Training kompakterer regelbasierter Modelle der Fall ist. Die Assoziationsregeln des deskriptiven Modells können im Detail untersucht werden, indem die Hierarchie der spezifischeren Regeln, die an der Ableitung der Assoziationsregeln beteiligt waren, verfolgt wird.
Die Idee der Verallgemeinerung von Regeln kann durch die visuelle Darstellung einer Regel als rechteckiges Symbol (Glyphe) mit mehreren vertikalen Achsen für die im Modell verwendeten Merkmale veranschaulicht werden. Die vertikalen Balken stellen die Wertebereiche der in der Regel verwendeten Merkmale dar.
Die folgende Abbildung zeigt, wie eine Gruppe ähnlicher Regeln (dargestellt durch die Glyphen auf der rechten Seite) zu einer allgemeineren Vereinigungsregel (die Glyphe auf der linken Seite) vereinigt wird. Die cyanfarbenen Balken in den Glyphen stellen die Merkmalswertintervalle der Vereinigungsregel dar.
In den nächsten Schritten wollen wir Ansätze entwickeln, um einen menschlichen Experten in den Prozess der Erstellung verständlicher Beschreibungsmodelle einzubinden. Ein menschlicher Experte kann nicht nur den Prozess der Organisation und Abstraktion von Modellkomponenten überwachen, sondern auch die im Modell verwendeten Low-Level-Merkmale in übergeordnete Domänenkonzepte einordnen, die für die Benutzer*innen aussagekräftiger sind.
Unsere Ideen werden im folgenden Paper ausführlicher vorgestellt:
Natalia Andrienko, Gennady Andrienko, Linara Adilova, and Stefan Wrobel: Visual Analytics for Human-Centered Machine Learning. IEEE Computer Graphics & Applications, 2022, vol. 42(1), pp.123-133, Link
