{"id":4749,"date":"2022-05-04T03:30:25","date_gmt":"2022-05-04T03:30:25","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/punktwolken\/"},"modified":"2025-11-12T14:54:46","modified_gmt":"2025-11-12T14:54:46","slug":"punktwolken","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/punktwolken\/","title":{"rendered":"Eine Erkl\u00e4rbarkeitsmethode f\u00fcr Punktwolken"},"content":{"rendered":"\n

Als eine Form von Computer-Vision-Daten werden Punktwolken aufgrund ihrer ausgezeichneten Darstellung von 3D-Szenen h\u00e4ufig f\u00fcr die Navigation und die Lokalisierung von selbstfahrenden Autos und Robotern verwendet. In diesen Bereichen ist Sicherheit und Zuverl\u00e4ssigkeit von h\u00f6chster Bedeutung: Durch KI-Manipulation verursachte Unf\u00e4lle m\u00fcssen so gut wie m\u00f6glich verhindert werden. Herausfordernd bleiben bislang jedoch sowohl die Diagnose von Modellen durch KI-Fachleute als auch f\u00fcr die Vertrauensw\u00fcrdigkeit der maschinellen Entscheidungsfindung f\u00fcr Nutzer*innen. Die meisten Machine-Learning-Modelle sind nicht transparent genug, um zur\u00fcckverfolgen zu k\u00f6nnen, auf welcher Grundlage die K\u00fcnstliche Intelligenz Entscheidungen trifft. Auch die Anpassung des Modells an Fehlerursachen ist eine gro\u00dfe Herausforderung. Die Erforschung der Vertrauensw\u00fcrdigkeit von Punktwolkenmodellen, das hei\u00dft von ihrer Erkl\u00e4rbarkeit<\/em>, ist folglich von gro\u00dfer Relevanz. Leider wurde die Erkl\u00e4rbarkeit von Modellen, die Punktwolken im Vergleich zu Bildern verarbeiten, bislang nur wenig untersucht. Das Ziel unserer Arbeit ist es daher, eine bestehende Erkl\u00e4rbarkeitsmethode – LIME – an Punktwolken anzupassen und die Zuverl\u00e4ssigkeit der generierten Erkl\u00e4rungen durch die Eigenschaften von Punktwolkennetzwerken zu verbessern.<\/p>\n\n\n\n

Tiefe neuronale Netze f\u00fcr Punktwolken<\/span><\/h2>\n\n\n\n

So wie sich Bilder aus Pixeln zusammensetzen, konstituieren einzelne Punkte die grundlegende Einheit von Punktwolken. In der Regel enth\u00e4lt ein Punkt zwei Arten von Informationen in sechs Dimensionen: Die ersten drei Dimensionen sind r\u00e4umliche Koordinaten, die die Position an der X-, Y- und Z-Achse darstellen, und die letzten drei Dimensionen enthalten Informationen \u00fcber den Farbwert, der als herk\u00f6mmlicher RGB-Wert ausgedr\u00fcckt wird. Anders als bei Bildern wird die Position eines Punktes durch die Koordinaten und nicht implizit durch den Index des Bildes dargestellt. Hierbei entsteht das Problem der Unordnung, da sich die physische N\u00e4he der Punkte in der Punktwolkeninstanz unabh\u00e4ngig von der Reihenfolge verh\u00e4lt, in der sie in den Daten angeordnet sind. Dies verst\u00f6\u00dft gegen die Funktionsweise von Faltungsmatrizen, weshalb herk\u00f6mmliche Convolutional Neural Networks (CNNs) nicht anwendbar sind. Gl\u00fccklicherweise wurden in den letzten Jahren neue neuronale Netze f\u00fcr Punktwolken entwickelt, deren Leistungsf\u00e4higkeit mittlerweile zufriedenstellend ist.<\/p>\n\n\n\n

Erkl\u00e4rbarkeitsmethoden<\/span><\/h2>\n\n\n\n

Aufgrund von Sicherheitsbedenken im Hinblick auf KI-Anwendungen hat sich die Erkl\u00e4rbarkeit von maschinellen Lernmodellen zu einem aufstrebenden Forschungsgebiet entwickelt (entsprechende Auseinandersetzungen finden Sie hier: Warum KI erkl\u00e4rbar sein muss<\/a>). Erkl\u00e4rbarkeit kann in Abh\u00e4ngigkeit des Erkl\u00e4rungsobjektes grob in globale und lokale Methoden unterteilt werden. Globale Erkl\u00e4rungen sollen Nutzer*innen einen \u00dcberblick, zum Beispiel \u00fcber die allgemeinen Entscheidungsgrundlagen des Modells, oder die allgemeine Datenverteilung verschaffen. Lokale Erkl\u00e4rungen dienen der Bereitstellung von Entscheidungsgrundlagen f\u00fcr einzelne Instanzen.<\/p>\n\n\n\n

Die beliebten lokalen Erkl\u00e4rbarkeitsmethoden <\/strong>umfassen zwei Kategorien: gradientenbasiert <\/em>und st\u00f6rungsbasiert<\/em>. Gradientenbasierte Ans\u00e4tze erfordern den Zugriff auf die internen Strukturen eines Machine-Learning-Modells und sind auch bekannt als White-Box-Test \u2013 Beispiele sind Layer-Wise Relevance Propagation<\/a> (LRP), Taylor Decomposition und Integrated Gradients. Die st\u00f6rungsbasierten Ans\u00e4tze erfassen lediglich die Beziehungen zwischen den In- und Outputs, um auf Merkmalsbedeutungen zu schlie\u00dfen. Sie werden daher auch als Black-Box-Test bezeichnet \u2013 Beispiele hierf\u00fcr sind KernelShap und LIME.<\/p>\n\n\n\n

Nachfolgend konzentrieren wir uns auf LIME <\/strong>(Local Interpretable Model-agnostic Explanations), eine leistungsf\u00e4hige Erkl\u00e4rbarkeitsmethode, die theoretisch jedes Black-Box-Modell erkl\u00e4ren kann. Ist eine Instanz gegeben, so w\u00e4hlt LIME zun\u00e4chst eine gro\u00dfe Anzahl von Mutationen in der Umgebung durch Perturbation (St\u00f6rung) aus. Anschlie\u00dfend werden diese Mutationen in das Modell eingespeist, um Labels zu erhalten. Unter Verwendung der Mutationen und ihrer Labels wird ein simples und interpretierbares lineares Ersatzmodell trainiert, das die Entscheidungen des zu erkl\u00e4renden Modells in der N\u00e4he der gegebenen Instanz so genau wie m\u00f6glich nachahmt. Schlie\u00dflich kann durch eine Beobachtung der Gewichte des linearen Ersatzmodells die Bedeutung der Merkmale f\u00fcr die Vorhersage des urspr\u00fcnglichen Modells abgeleitet werden.<\/p>\n\n\n\n

\"-
\u00a9Marco Tulio Ribeiro et al.
Graphische Darstellung der LIME Methode<\/a>: Positive und negative Beispiele (X und O) werden um die zu erkl\u00e4rende Instanz herum ausgew\u00e4hlt (das hervorgehobene X). Anschlie\u00dfend werden diese Beispiele genutzt, um ein lokal erkl\u00e4rbares Ersatzmodell zu trainieren (die gestrichelte Linie).<\/figcaption><\/figure>\n\n\n\n

LIME f\u00fcr Punktwolken<\/h2>\n\n\n\n

Obwohl LIME jedes Modell erkl\u00e4rt, kann die Plausibilit\u00e4t der Erkl\u00e4rungen noch weiter verbessert werden, wenn man die Eigenschaften des Punktwolkennetzes strategisch ausnutzt. In unserer Arbeit integrieren wir hierf\u00fcr vornehmlich zwei Verfahren, um die Leistung des Ersatzmodells zu erh\u00f6hen: Farthest Points Sampling und Variable Input Size Flipping.<\/p>\n\n\n\n

\"-
\u00a9 ModelNet40 & Hanxiao Tan et al.
Eine Demonstration<\/a> der Input-Instanz und ihrer vier Erkl\u00e4rungen mit unterschiedlichen Gr\u00f6\u00dfen von Superpunkten: Die roten und blauen Anteile stellen positive beziehungsweise negative Zuordnungen zur Klassifikation dar.<\/figcaption><\/figure>\n\n\n\n

Farthest Points Sampling (FPS)<\/h2>\n\n\n\n

Bei Bildern w\u00fcrde die Behandlung jedes einzelnen Pixels als Input Merkmal die Berechnungskomplexit\u00e4t stark erh\u00f6hen. Dies ist in der Praxis jedoch kaum umsetzbar. Denn insbesondere bei hochaufl\u00f6senden Bildern ist eine sehr hohe Verarbeitungszeit f\u00fcr Nutzer*innen inakzeptabel. Die bislang bestehende L\u00f6sung hierf\u00fcr sieht vor, die geb\u00fcndelten Superpixel als ein Merkmal zu behandeln. Dies wirft jedoch die Frage auf: Wie kann man Superpunkte rationaler gruppieren?<\/p>\n\n\n\n

In Bildern erm\u00f6glicht eine semantische Segmentierung geeignete Superpixel zu erhalten. Dies ist aber leider nicht auf Punktwolken anwendbar. Die intuitivste Antwort ist eine zuf\u00e4llige Segmentierung. Wenn die Segmentierung jedoch nicht einheitlich ist, konzentrieren sich die wichtigsten Zuschreibungen auf gro\u00dfe Superpunkte. Diese Erkl\u00e4rung ist f\u00fcr den Erkl\u00e4renden jedoch nicht von Nutzen, da der menschliche Verstand Segmenten mit mehr Punkten eine gr\u00f6\u00dfere Bedeutung beimisst. Um dieses Problem zu adressieren, haben wir den K-Mean-Clustering-Algorithmus mit FPS eingef\u00fchrt. Bei dieser Methode wird willk\u00fcrlich ein Startpunkt ausgew\u00e4hlt. Anschlie\u00dfend wird der Punkt, der am weitesten von dem K-Punkt entfernt liegt, als K+1er abgetastet. Diese einfache und intuitive Methode erzwingt, dass die anf\u00e4nglichen Zentren im K-Mean-Clustering gleichm\u00e4\u00dfig auf der Instanz-Oberfl\u00e4che verteilt werden. Experimentell hat sich gezeigt, dass dieses Modul die Plausibilit\u00e4t der Erkl\u00e4rungen verbessert.<\/p>\n\n\n\n

Variable Input Size Flipping (VISF)<\/h2>\n\n\n\n

Bei der Perturbation von Bildern steht man oft vor einer schwierigen Wahl: Was genau ist der Substitutionswert f\u00fcr die St\u00f6rung? In bestehenden Studien wurden verschiedene L\u00f6sungen angef\u00fchrt, zum Beispiel Nullwerte, zuf\u00e4llig gew\u00e4hlte Zahlen oder der Durchschnitt der Instanzen. Diese scheinen intuitiv m\u00f6glich zu sein, haben aber keine strikte theoretische Grundlage. Eine intuitive Wahl kann zudem die Plausibilit\u00e4t der Erkl\u00e4rung gravierend beeinflussen. Wir \u00fcberwinden dieses Problem, indem wir die strukturellen Eigenschaften von Punktwolkennetzen nutzen. Da Punktwolken nicht indexiert sind, haben die Netze keine Anforderung an die Gr\u00f6\u00dfe des Inputs. Daher ist das Entfernen von Punkten, die gest\u00f6rt werden m\u00fcssen, direkt aus der Input-Punktwolke eine alternative L\u00f6sung ohne R\u00fccksicht auf Informationsreste nehmen zu m\u00fcssen.<\/p>\n\n\n\n

Quantitative Evaluationen<\/h2>\n\n\n\n

Zwei quantitative Metriken werden in unserer Arbeit f\u00fcr ersatzmodellbasierte Erkl\u00e4rbarkeitsans\u00e4tze herangezogen: lokale Treue <\/strong>und Plausibilit\u00e4t<\/strong>. Die lokale Treue bewertet die Verhaltens\u00e4hnlichkeit des Ersatzmodells mit dem zu erkl\u00e4renden Modell. Sie ist einfach zu ermitteln und ergibt sich aus der Differenz zwischen den Vorhersagewerten des Ersatzmodells und des zu erkl\u00e4renden Modells auf dem gest\u00f6rten Trainingsdatensatz. Plausibilit\u00e4t untersucht die Genauigkeit der generierten Erkl\u00e4rung f\u00fcr die Vorhersage und ist eher schwer zu bestimmen, da die Ground-Truth-Erkl\u00e4rung nicht verf\u00fcgbar ist. Der Ablationstest ist in diesem Kontext eine intuitive Option: Eine Erkl\u00e4rung wird dann als zuverl\u00e4ssig erachtet, wenn das Vertrauen des Modells in seine Vorhersage signifikant abf\u00e4llt, nachdem jener Teil mit der gr\u00f6\u00dften Zuschreibung innerhalb der Erkl\u00e4rung gest\u00f6rt wurde. In \u00e4hnlicher Weise f\u00fchrten wir VISF auch in den Ablationstest der Punktwolke ein, um diesen genauer zu gestalten, ohne uns um die verbleibenden Informationen in den abgetragenen Beispielen zu k\u00fcmmern.<\/p>\n\n\n\n

\"-
Quantitative Evaluation von bestehenden Erkl\u00e4rbarkeitsmethoden f\u00fcr Punktwolken: Unter allen Methoden, erreichen nur Gradienten und unser Ansatz eine hohe Plausibilit\u00e4t. Dar\u00fcber hinaus \u00fcbertrifft unsere Methode auch LIME, das aus den Bildnetzen \u00fcbernommen wurde.\n\n<\/figcaption><\/figure>\n\n\n\n

Toolkit: Erkl\u00e4rung von Punktwolkennetzen<\/h2>\n\n\n\n

Unser Toolkit mit agentenbasierten interpretierbaren Methoden f\u00fcr Punktwolken ist auf Github verf\u00fcgbar: https:\/\/github.com\/Explain3D\/LIME-3D<\/a><\/p>\n\n\n\n

Das gesamte Projekt wurde auf PyTorch aufgebaut und auf Python 3.6 mit PyTorch 1.7.0 getestet. Das Standardklassifizierungsmodell ist PointNet<\/a>. Da der auf Ersatzmodellen basierende Erkl\u00e4rbarkeitsansatz jedoch modellunabh\u00e4ngig ist, kann es durch beliebige Alternativen ersetzt werden. Wir stellen auch die im Beitrag beschriebenen Bewertungstools zur Verf\u00fcgung, und der gesamte Bewertungsprozess wird mit dem ModelNet40<\/a>-Datenset durchgef\u00fchrt.<\/p>\n\n\n\n

Mehr in der zugeh\u00f6rigen Publikation:<\/p>\n\n\n\n

Surrogate Model-Based Explainability Methods for Point Cloud NNs <\/strong>Hanxiao Tan, Helena Kotthaus. Proceedings of the IEEE\/CVF Winter Conference on Applications of Computer Vision, 2022, PDF<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"

Ein modellbasierter Erkl\u00e4rbarkeitsansatz f\u00fcr Punktwolken-Klassifikatoren wird zusammen mit zwei verschiedenen Bewertungsma\u00dfst\u00e4ben (lokale Treue und Plausibilit\u00e4t), die die Plausibilit\u00e4t des Ansatzes validieren, vorgeschlagen. Das Toolkit ist jetzt online verf\u00fcgbar.<\/p>\n","protected":false},"author":9,"featured_media":3673,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,396],"blog-tag":[1484,1612],"class_list":["post-4749","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-forschung","blog-tag-erklaerbare-ki-xai","blog-tag-tiefe-neuronale-netze"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4749","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4749\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/3673"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4749"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4749"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4749"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}