{"id":4145,"date":"2021-07-21T04:41:38","date_gmt":"2021-07-21T04:41:38","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/erklaerbares-maschinelles-lernen\/"},"modified":"2025-11-12T14:52:04","modified_gmt":"2025-11-12T14:52:04","slug":"erklaerbares-maschinelles-lernen","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/erklaerbares-maschinelles-lernen\/","title":{"rendered":"Erkl\u00e4rbares Maschinelles Lernen durch zus\u00e4tzliches Wissen verbessern"},"content":{"rendered":"\n<p>Die Einsatzbereiche von K\u00fcnstlicher Intelligenz (KI) werden stetig vielf\u00e4ltiger. Die prominentesten Anwendungen sind vermutlich das autonome Fahren und pers\u00f6nliche Assistenten, wie sie sich auf Smartphones oder in Smarthomes finden lassen. Weitere bekannte Anwendungsbereiche aus dem Alltag sind die automatische Generierung von Produktempfehlungen auf Shopping- oder Streaming-Plattformen (Recommender-Systeme), die Bewertung von Kreditw\u00fcrdigkeit oder die Identifikation von Versicherungsmissbrauch. KI kann zus\u00e4tzlich auch rein beratend eingesetzt werden. So unterst\u00fctzt sie \u00c4rzte beispielsweise bei der Diagnose von Hautkrebs.<\/p>\n\n\n\n<p>Besonders in Anwendungsf\u00e4llen, in denen sich KI auf das Leben von Menschen auswirkt, ist es essenziell, den Entscheidungsprozess dieser Modelle nachvollziehen zu k\u00f6nnen. Stimmt die Diagnose des Arztes nicht mit der Diagnose des Algorithmus \u00fcberein, so hilft dies dem Arzt nur dann, wenn der Algorithmus seine Ausgabe auch nachvollziehbar begr\u00fcnden kann. Der Problematik der Erkl\u00e4rbarkeit von KI nimmt sich der Forschungsbereich &#8222;Explainable Machine Learning&#8220; (XML) (Erkl\u00e4rbares Maschinelles Lernen) an. Hintergr\u00fcnde zur Notwendigkeit und dem aktuellen Stand von Erkl\u00e4rbarkeit k\u00f6nnen in dem Beitrag &#8222;<a href=\"https:\/\/lamarr-institute.org\/de\/erklaerbarkeit-kuenstliche-intelligenz\/\" target=\"_blank\" rel=\"noopener\">Warum KI erkl\u00e4rbar sein muss<\/a>&#8220; nachgelesen werden.<\/p>\n\n\n\n<p>In diesem Beitrag diskutieren wir drei Arten und Weisen, auf die Erkl\u00e4rbarkeit durch zus\u00e4tzliches Wissen verbessert oder zur Wissensgewinnung im maschinellen Lernprozess eingesetzt werden kann.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span style=\"font-size: 18pt;\">Erkl\u00e4rungen sind ein Kommunikationsproblem<\/span><\/h2>\n\n\n\n<p>Aus der Vielfalt der Anwendungsgebiete von KI ergibt sich nun bereits, dass auch Erkl\u00e4rungen in den unterschiedlichsten Kontexten gebraucht werden. Dabei ist sowohl der Anwendungsfall selbst als auch der Empf\u00e4nger der Erkl\u00e4rung ausschlaggebend daf\u00fcr, welche Form und Formulierung der Erkl\u00e4rung am sinnvollsten ist. Wenn eine Erkl\u00e4rung nicht in Konzepten kommuniziert, die dem Empf\u00e4nger vertraut sind, so kann dieser die Erkl\u00e4rung nicht verstehen. Die medizinische KI aus unserem Beispiel k\u00f6nnte dem Arzt ihre Diagnose dadurch begr\u00fcnden, dass sie einen Bereich in einem Foto markiert, der eine auff\u00e4llige Stelle der Haut zeigt. Soll die Diagnose aber dem Patienten begreiflich gemacht werden, m\u00fcsste die Erkl\u00e4rung zus\u00e4tzlich notwendiges Hintergrundwissen vermitteln. Aktuellen Methoden der Erkl\u00e4rbarkeit fehlt es an Flexibilit\u00e4t, um sich an verschiedenste Kontexte und Empf\u00e4ngergruppen anpassen zu k\u00f6nnen. Viele Erkl\u00e4rbarkeitsmethoden analysieren die Entscheidung des Modells mit Hilfe von statistischen Verfahren. Diese k\u00f6nnen zwar Korrelationen aufzeigen, daraus lassen sich aber keine kausalen Zusammenh\u00e4nge folgern. Deshalb ist immer noch kontextspezifisches Wissen notwendig, um die Ausgaben dieser Erkl\u00e4rbarkeitsmethoden korrekt zu interpretieren. Verf\u00fcgt der Empf\u00e4nger nicht \u00fcber das n\u00f6tige Wissen, kann er die Erkl\u00e4rbarkeitsmethode nicht nutzen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span style=\"font-size: 18pt;\">Kontext durch zus\u00e4tzliches Wissen<\/span><\/h2>\n\n\n\n<p>Wie der Beitrag &#8222;<a href=\"https:\/\/lamarr-institute.org\/de\/informed-machine-learning\/\" target=\"_blank\" rel=\"noreferrer noopener\">Informed Machine Learning \u2013 Aus Daten und Vorwissen lernen<\/a>&#8220; erkl\u00e4rt, lassen sich KI-Methoden verbessern, indem neben den \u00fcblichen Trainingsdaten weitere Informationen in Form von externem Wissen in den Lernprozess integriert werden. Dieses Wissen kann in verschiedenen Formen vorliegen, zum Beispiel als Fachwissen, Simulationen oder Wissensgraphen. Der Beitrag beschreibt, wie sich externes Wissen auf Dateneffizienz und Absicherung der Algorithmen auswirkt. Wir sind daran interessiert herauszufinden, ob externes Wissen auch genutzt werden kann, um Erkl\u00e4rbarkeitsmethoden an Kontext und Empf\u00e4ngergruppen anzupassen und damit anwendbarer zu machen. Bei unseren Nachforschungen haben wir drei M\u00f6glichkeiten identifiziert, wie externes Wissen und Erkl\u00e4rbarkeitsmethoden zusammenwirken k\u00f6nnen. Schematisch sind diese M\u00f6glichkeiten in der untenstehenden Abbildung durch die farbigen Pfeile dargestellt. Die Abbildung zeigt eine leicht ver\u00e4nderte Version des Informed-Machine-Learning-Prozesses aus oben genanntem Blog-Beitrag. Neu sind hier, neben den farblich hervorgehobenen Pfeilen, die &#8222;Erkl\u00e4rbarkeitsmethode&#8220; und das &#8222;Wissen aus Erkl\u00e4rungen&#8220;.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/30-1-1024x730.jpg\" alt=\"- Lamarr Institute for Machine Learning (ML) and Artificial Intelligence (AI)\" class=\"wp-image-24819\" title=\"\"><figcaption class=\"wp-element-caption\">\u00a9 ML2R <br>Schematische Darstellung des maschinellen Lernprozesses inklusive des Einsatzes von Erkl\u00e4rbarkeitsmethoden. Die farbigen Pfeile stellen M\u00f6glichkeiten dar, wo externes Wissen mit Erkl\u00e4rbarkeitsmethoden integriert wird oder wie solches Wissen durch Erkl\u00e4rbarkeitsmethoden generiert werden kann.<\/figcaption><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\">Erkl\u00e4rbarkeit eines Modells durch Vorwissen verbessern<\/h2>\n\n\n\n<p>Der gr\u00fcne Pfeil findet sich auch in der Abbildung des Blog-Beitrags zu Informed Machine Learning. Der Grund daf\u00fcr ist, dass sich viele Beispiele finden lassen, in denen sich bereits allein durch die Integration von Vorwissen in den Lernprozess die Nachvollziehbarkeit der Modelle verbessert, ohne dass eine dedizierte Erkl\u00e4rbarkeitsmethode angewendet wird. Die Modelle werden durch das Vorwissen dazu gebracht, sich bei ihrem Entscheidungsprozess mehr an f\u00fcr Menschen nachvollziehbaren Konzepten zu orientieren. Zwei Beispiele:<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Die Trainingsdaten f\u00fcr Recommender-Systeme, die sonst nur mit Nutzerhistorien arbeiten, wurden durch einen Wissensgraphen erweitert, der Wissen \u00fcber Produkte enthielt. Die Empfehlungen der Systeme wurden dann durch Pfade in dem Wissensgraphen gegeben. So war nachvollziehbar, aufgrund welcher Zusammenh\u00e4nge ein Produkt empfohlen wurde.<\/li>\n\n\n\n<li>Andere Methoden greifen in den Lernalgorithmus ein und geben dem Modell w\u00e4hrend des Trainings zus\u00e4tzliches Feedback, welches aus externem Wissen geschlossen wird. So gab es beispielsweise eine Anwendung, bei der der Algorithmus Objekte auf einem Bild identifizieren sollte. Aus einem Wissensgraphen wurde erschlossen, ob es plausibel ist, dass die gefundenen Objekte auch tats\u00e4chlich in dieser Kombination auftreten. Wird zum Beispiel ein Tisch erkannt, so ist es plausibler anzunehmen, auf dem Bild auch einen Stuhl als einen Reifen zu finden.<\/li>\n<\/ol>\n\n\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/31-1024x471.jpg\" alt=\"- Lamarr Institute for Machine Learning (ML) and Artificial Intelligence (AI)\" class=\"wp-image-24821\" title=\"\"><figcaption class=\"wp-element-caption\">\u00a9 ML2R <br>Gr\u00fcner Pfeil: Die Integration von Vorwissen in den maschinellen Lernprozess kann die Erkl\u00e4rbarkeit eines Modells direkt verbessern.<\/figcaption><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\">Erkl\u00e4rbarkeitsmethoden durch Vorwissen anpassen<\/h2>\n\n\n\n<p>Der blaue Pfeil in der Abbildung umfasst Ans\u00e4tze, in denen Vorwissen die Erkl\u00e4rbarkeitsmethode direkt beeinflusst. Diese Erkl\u00e4rbarkeitsmethoden fallen meist in die Kategorie der sogenannten &#8222;post-hoc&#8220; (nachtr\u00e4glichen) Methoden. Der Name kommt daher, dass diese Methoden den maschinellen Lernprozess nicht beeinflussen k\u00f6nnen und nur Zugriff auf das finale Modell haben. Ein gutes Beispiel daf\u00fcr sind &#8222;counterfactual&#8220; (kontrafaktische) Methoden. Diese generieren systematisch k\u00fcnstliche Eingaben f\u00fcr das Modell und untersuchen, wie sich die Ausgabe des Modells ver\u00e4ndert. Kontrafaktische Methoden k\u00f6nnen so &#8222;Was w\u00e4re wenn&#8220;-Fragen beantworten, die Einblick geben, was sich bei der Eingabe \u00e4ndern m\u00fcsste, um statt der erhaltenen Ausgabe eine andere (gew\u00fcnschte) Ausgabe zu erhalten.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/32-1024x470.jpg\" alt=\"- Lamarr Institute for Machine Learning (ML) and Artificial Intelligence (AI)\" class=\"wp-image-24823\" title=\"\"><figcaption class=\"wp-element-caption\">\u00a9 ML2R <br>Blauer Pfeil: Vorwissen kann genutzt werden, um Erkl\u00e4rbarkeitsmethoden zu verbessern oder anzupassen.<\/figcaption><\/figure>\n\n\n\n<p>Lehnt ein automatisches System einer Bank beispielsweise einen Kreditantrag ab, so k\u00f6nnte der Antragsteller mit diesen Methoden herausfinden, welche der Angaben auf dem Antrag, wie etwa Wohnort, Kredith\u00f6he, Alter oder Einkommen, sich \u00e4ndern m\u00fcssten, damit der Antrag angenommen wird. Welchen Regeln die Generierung von k\u00fcnstlichen Eingaben unterliegt, ist anwendungsspezifisch. Hier muss die Methode durch Vorwissen angepasst werden, um verl\u00e4ssliche oder sinnvolle Erkl\u00e4rungen zu liefern. So w\u00e4re ein theoretisch m\u00f6glicher Vorschlag des Systems, die Kredith\u00f6he auf einen Wert unter Null zu senken, damit der Antrag angenommen wird, nicht konstruktiv. Alternativ k\u00f6nnen die k\u00fcnstlichen Eingaben auch interaktiv vom Nutzer direkt vorgegeben werden. In einem interaktiven Szenario k\u00f6nnte der Antragsteller selbst verschiedene \u00c4nderungen an seinem Kreditantrag durchspielen, um so gegebenfalls eine f\u00fcr ihn akzeptable Alternative zu seinem urspr\u00fcnglichen Antrag zu finden.<\/p>\n\n\n\n<p>Kontrafaktische Methoden eignen sich also zur selbstbestimmten Modellanalyse und bieten so einen vielversprechenden Weg, sich an einen konkreten Nutzer und Kontext anzupassen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Erkl\u00e4rungen helfen, neues Wissen zu generieren oder Wissen nutzbar zu machen<\/h2>\n\n\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/33-1024x345.jpg\" alt=\"- Lamarr Institute for Machine Learning (ML) and Artificial Intelligence (AI)\" class=\"wp-image-24825\" title=\"\"><figcaption class=\"wp-element-caption\">\u00a9 ML2R <br>Oranger Pfad: Die Erkl\u00e4rbarkeitsmethode hilft, Wissen \u00fcber das Problem oder den maschinellen Lernprozess zu gewinnen. Dieses Wissen kann f\u00fcr k\u00fcnftige Verbesserungen genutzt werden.<\/figcaption><\/figure>\n\n\n\n<p>Je nach Anwendung k\u00f6nnen post-hoc Methoden aber auch durch den orangen Pfeil beschrieben werden. In unserem Beispiel hat der Antragsteller zwar Wissen gewonnen, dieses wird sich aber nicht auf das Modell auswirken. Nutzt ein Programmierer aber post-hoc Methoden, um sein Modell zu untersuchen, so kann er gewonnenes Wissen verwenden, um einen k\u00fcnftigen Lernprozess zu verbessern. Wie das Beispiel in der untenstehenden Abbildung und aus dem Beitrag &#8222;<a href=\"https:\/\/lamarr-institute.org\/de\/erklaerbarkeit-kuenstliche-intelligenz\/\" target=\"_blank\" rel=\"noreferrer noopener\">Warum KI erkl\u00e4rbar sein muss<\/a>&#8220; illustriert, kann so beispielsweise herausgefunden werden, ob ein Objekterkenner auch tats\u00e4chlich auf relevante Bereiche der Eingabe achtet.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Bildschirmfoto-2020-08-04-um-13.57.49-e1604393675880-1024x343.jpg\" alt=\"- Lamarr Institute for Machine Learning (ML) and Artificial Intelligence (AI)\" class=\"wp-image-24827\" title=\"\"><figcaption class=\"wp-element-caption\">\u00a9 Nature Communications\/ CCBY <br>Der Objekterkenner identifiziert bei dem linken Bild korrekt, dass dort ein Zug zu sehen ist. Rechts wurde das Bild durch eine Erkl\u00e4rbarkeitsmethode eingef\u00e4rbt. Je r\u00f6ter der Bereich, desto mehr Einfluss hatte dieser auf die Ausgabe des Algorithmus. Man erkennt, dass der Algorithmus hier weniger auf den Zug als auf die Gleise achtet.<\/figcaption><\/figure>\n\n\n\n<p>Ans\u00e4tze wie &#8222;Exploratives Interaktives Lernen&#8220; bieten einen \u00e4hnlichen, aber viel direkteren Weg, wie Wissen in den Lernprozess eingebaut werden kann. Bei diesem Ansatz erzeugt eine Erkl\u00e4rbarkeitsmethode bereits w\u00e4hrend des Trainings eines Modells eine Erkl\u00e4rung f\u00fcr eine Ausgabe. Diese Erkl\u00e4rung wird von einem Menschen bewertet und korrigiert. Das Feedback wird dann in den Lernalgorithmus aufgenommen. So kann das Modell beispielsweise schon w\u00e4hrend des Trainings angeleitet werden, worauf es bei den Eingaben achten soll. Auf diese Art und Weise wird durch die Erkl\u00e4rbarkeitsmethode das &#8222;Fachwissen&#8220; des Menschen f\u00fcr den Lernprozess erst nutzbar gemacht.<\/p>\n\n\n\n<p>Wir haben gesehen, dass das Zusammenwirken von Erkl\u00e4rbarkeitsmethoden und zus\u00e4tzlichem Wissen vielf\u00e4ltige Effekte auf den Prozess des Maschinellen Lernens und die Interaktion von Menschen mit Modellen haben kann. Interpretierbare Wissensquellen wie Wissensgraphen k\u00f6nnen Modellen helfen, nachvollziehbarere Ausgaben zu erzeugen. Interaktive Methoden bieten f\u00fcr Nutzer die M\u00f6glichkeit, eigenst\u00e4ndig das Modell zu untersuchen. So k\u00f6nnen Nutzer einerseits selbst bestimmen, was sie erkl\u00e4rt haben m\u00f6chten, andererseits kann ein solcher Ansatz auch dabei helfen, Wissen zu gewinnen, welches k\u00fcnftige Modelle verbessern kann. Erkl\u00e4rbarkeitsmethoden fungieren immer als Mediator zwischen dem Modell und dem Menschen; richtig eingesetzt kann so Fachwissen direkt in den Lernprozess integriert werden. Wir hoffen, durch die Identifizierung dieser drei Kontaktpunkte von Erkl\u00e4rbarkeitsmethoden und zus\u00e4tzlichem Wissen ein Analysewerkzeug entwickelt zu haben, durch das sich k\u00fcnftige und bestehende Erkl\u00e4rbarkeitsmethoden zielgerichtet entwickeln oder verbessern lassen.<\/p>\n\n\n\n<p>Mehr Informationen in dem zugeh\u00f6rigen Paper:<\/p>\n\n\n\n<p><strong>Explainable Machine Learning with Prior Knowledge: An Overview.<\/strong><br>Katharina Beckh, Sebastian M\u00fcller, Matthias Jakobs, Vanessa Toborek, Hanxiao Tan, Raphael Fischer, Pascal Welke, Sebastian Houben, Laura von Rueden. ArXiv, 2021, <a href=\"https:\/\/arxiv.org\/abs\/2105.10172\" target=\"_blank\" rel=\"noreferrer noopener\">Link<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Nachvollziehbarkeit algorithmischer Entscheidungen ist l\u00e4ngst auch \u00fcber die Forschung hinaus relevant. Wir analysieren, wie Erkl\u00e4rbarkeitsmethoden und externes Wissen zusammenwirken k\u00f6nnen, um Maschinelles Lernen an gesellschaftliche Anforderungen anzupassen und zu verbessern.<\/p>\n","protected":false},"author":9,"featured_media":4156,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,390],"blog-tag":[1484,1520,1593,1619],"class_list":["post-4145","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-grundlagen","blog-tag-erklaerbare-ki-xai","blog-tag-informed-machine-learning-de","blog-tag-sichere-ki","blog-tag-wissenschaft"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4145","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4145\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4156"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4145"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4145"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4145"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}