{"id":4405,"date":"2021-03-24T09:00:17","date_gmt":"2021-03-24T09:00:17","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/ki-absicherung\/"},"modified":"2025-11-12T14:55:07","modified_gmt":"2025-11-12T14:55:07","slug":"ki-absicherung","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/ki-absicherung\/","title":{"rendered":"Der Weg zur abgesicherten KI: Ein \u00dcberblick \u00fcber praktische Methoden"},"content":{"rendered":"\n

In Laufe kaum eines Jahrzehnts haben tiefe neuronale Netzwerke (DNNs) das Maschinelle Lernen revolutioniert und zeigen nach wie vor unerreichte Performanz in einer wachsenden Zahl h\u00f6chst relevanter Aufgaben. F\u00fcr stark eingeschr\u00e4nkte Problemstellungen werden menschliche Leistungen hierbei immer h\u00e4ufiger \u00fcbertroffen. Viele dieser neuronalen Modelle haben ihren Weg in marktreife Anwendungen wie Smart Speaker, automatisierte \u00dcbersetzungen oder Content Feeds gefunden. Allerdings bergen sicherheitskritische Systeme, bei denen m\u00f6glicherweise Gefahr f\u00fcr Leib und Leben besteht, bestimmte Herausforderungen in der Anwendung von ML-Methoden. Zu diesen Gefahren geh\u00f6ren einige potentielle Schw\u00e4chen der DNNs, die vielf\u00e4ltig sind und von mangelnder Generalisierung \u00fcber unzureichende Interpretierbarkeit bis hin zu Problemen mit manipulierten Eingaben reichen. Diese Schw\u00e4chen angemessen zu ber\u00fccksichtigen, zu behandeln und zu beheben, macht den Einsatz neuronaler Netze in sicherheitskritischen Systemen so schwierig. Beispiele f\u00fcr Systeme, in denen eine solche sicherheitskritische Betrachtung n\u00f6tig ist, sind nahezu alle Anwendungen der autonomen Robotik, bei denen menschliche Interaktion m\u00f6glich oder n\u00f6tig ist. Hierunter f\u00e4llt auch das automatisierte Fahren.<\/p>\n\n\n\n

\"-
\u00a9 Mackevision Medien Design GmbH
Autonomes Fahren ist eines der popul\u00e4rsten Anwendungsbeispiele, wenn man \u00fcber die Sicherheit und Vertrauensw\u00fcrdigkeit der eingesetzten Machine-Learning-Verfahren spricht.<\/figcaption><\/figure>\n\n\n\n

\u201eKI-Absicherung\u201c \u2013 Sichere KI f\u00fcr das Autonome Fahren<\/h2>\n\n\n\n

In den letzten Jahren wurden eine Vielzahl von State-of-the-Art-Techniken entwickelt, die darauf abzielen, etwaige Sicherheitsbedenken maschineller Lernverfahren zu adressieren. In dem Forschungsprojekt \u201eKI-Absicherung\u201c erarbeiten 24 Partner aus Industrie und Forschung unter Leitung der Volkswagen AG und des Fraunhofer IAIS (als Teil des ML2R) Verfahren und Argumentationsketten, die die Sicherheit von KI-basierten Wahrnehmungsfunktionen nachweisbar machen. Ein in dieser Zusammenarbeit entstandenes und  j\u00fcngst erschienenes Survey-Paper<\/a>  gibt einen strukturierten und breiten \u00dcberblick \u00fcber die State-of-the-Art-Techniken zur Absicherung von ML-Modellen. Ziel dieses Surveys und der Zusammenarbeit ist es, die aktuellen Forschungsans\u00e4tze zusammenzufassen, um potentielle Schw\u00e4chen von DNNs zu identifizieren, quantitativ zu messen (so genannte Sicherheitsmetriken<\/em>) oder zumindest teilweise zu beheben (so genannte Sicherheitsma\u00dfnahmen<\/em>).<\/p>\n\n\n\n

Zur Entwicklung dieser Metriken und Ma\u00dfnahmen konzentrieren sich einige Forschungsans\u00e4tze auf den Aufbau einer Theorie zum besseren Verst\u00e4ndnis der DNNs, andere widmen sich der Entwicklung praktischer Verfahren, um das Training, die Vorhersagen oder den Entwicklungsprozess selbst an die neuen Sicherheitsanforderungen anzupassen. Derzeit gibt es eine Vielzahl verschiedener Arbeiten, die sich jeweils jedoch nur einem kleinen Teil aller Sicherheitsbedenken widmen. Eine umfassende Absicherungsargumentation f\u00fcr ein komplexes System auf Basis eines DNNs wird hingegen in der Regel auf einem Zusammenspiel mehrerer Metriken und Ma\u00dfnahmen beruhen. Dieser Beitrag fasst die bekanntesten und vielversprechendsten von ihnen in acht Kategorien zusammen und stellt diese jeweils in einem \u00dcberblick vor. F\u00fcr eine detaillierte Auseinandersetzung mit den einzelnen Metriken und Ma\u00dfnahmen sei auf das Survey-Paper verwiesen.<\/p>\n\n\n\n

Acht Wege zur sicheren KI<\/h2>\n\n\n\n

Datensatzoptimierung:<\/strong> Ma\u00dfnahmen der Datensatzoptimierung<\/em><\/strong> widmen sich dem Trainings- und Evaluationsprozess neuronaler Netzwerke. Dies ist in der Tatsache begr\u00fcndet, dass neuronale Netze im Gegensatz zu Menschen auf Eingaben, die ihnen beim Training nicht pr\u00e4sentiert wurden und die sich m\u00f6glicherweise grundlegend von Trainingsdaten unterscheiden, in der Regel schlechte Ausgaben pr\u00e4dizieren. Das Problem ergibt sich einerseits durch unvollst\u00e4ndige, also nicht repr\u00e4sentative Datens\u00e4tze und das Vorhandensein von Distributional Shifts. So ist beispielsweise das Aussehen von Fu\u00dfg\u00e4nger*innen und das Stra\u00dfenbild sowohl von Land zu Land als auch \u00fcber die Zeit sehr unterschiedlich. M\u00f6gliche Gegenma\u00dfnahmen f\u00fcr diese Probleme sind Data Augmentation und Ausrei\u00dferdetektionsverfahren.<\/p>\n\n\n\n

Robustheit und \u201eAdversarial Attacks\u201c:<\/strong> Auch kleine \u00c4nderungen in Eingaben eines neuronalen Netzwerks, vor allem durch die Verkn\u00fcpfung zahlreicher nichtlinearer Funktionen, k\u00f6nnen zu einem signifikant anderen Ergebnis f\u00fchren. Beispielsweise kann das Austauschen der Kleidung einer Person als geringf\u00fcgige \u00c4nderung innerhalb eines Bildes angesehen werden, jedoch zu v\u00f6llig anderen Vorhersagen des ML-Modells f\u00fchren. Ma\u00dfnahmen des Bereichs Robustheit<\/em><\/strong> behandeln dieses Problem. Ein Spezialfall der Robustheit bilden die so genannten \u201eadversarial Attacks\u201c, bei denen man nach einer m\u00f6glichst geringf\u00fcgigen Manipulation sucht, die eine m\u00f6glichst gro\u00dfe \u00c4nderung des Verhaltens eines Netzwerks verursacht.<\/p>\n\n\n\n

Erkl\u00e4rbarkeit:<\/strong> Ma\u00dfnahmen des Bereichs Erkl\u00e4rbarkeit<\/em><\/strong> befassen sich mit der Offenlegung der inneren Funktionsweise neuronaler Netze. Aus einer Sicherheitsperspektive ist dies wichtig, da die Interpretierbarkeit und Transparenz maschineller Lernverfahren es erlaubt, Fehlerf\u00e4lle durch das Modell zur\u00fcckzuverfolgen und zielgerichtete Verbesserungen anzusto\u00dfen (siehe auch den Blogbeitrag: Warum KI erkl\u00e4rbar sein muss<\/a>). Ebenso erlauben es diese Methoden, Shortcut Learning zu identifizieren. Dies ist ein Spezialfall des Overfitting, in denen eine Vorhersage auf einer zuf\u00e4llig gelernten Korrelation aber nicht auf einem kausalen Zusammenhang beruht.<\/p>\n\n\n\n

Unsicherheit:<\/strong> Methoden und Ma\u00dfnahmen des Bereichs Unsicherheit<\/em><\/strong> versuchen DNNs mit einer situationsabh\u00e4ngigen G\u00fcteeinsch\u00e4tzung auszustatten, mit der sie ihre eigene Sicherheit bez\u00fcglich der gemachten Vorhersage bewerten. Ohne entsprechende Anpassungen tendieren neuronale Netzwerke dazu, die Konfidenz ihrer Vorhersage zu \u00fcbersch\u00e4tzen. Sie weisen in diesem Fall dem vorhergesagten Ergebnis eine Wahrscheinlichkeit zu, die nicht mit der Wahrscheinlichkeit korreliert, dass die Vorhersage korrekt ist. Gerade als Komponente eines Systems, m\u00f6glicherweise mit mehreren redundant arbeitenden Modellen, ist aber die Konfidenz eines DNNs essentiell, um die besten Vorhersagen auszuw\u00e4hlen und andere Vorhersagen zu verwerfen.  Schlechte Konfidenzsch\u00e4tzungen treten insbesondere bei Eingabedaten auf, die sich stark von der Trainingsmenge unterscheiden. Zudem sollte die Selbsteinsch\u00e4tzung eines Netzwerks nicht nur global stimmen, sondern auch lokal mit der entsprechenden Fehlerwahrscheinlichkeit korrelieren. Als Beispiel dient hier eine Fu\u00dfg\u00e4ngererkennung, die alle weiblichen Fu\u00dfg\u00e4nger detektiert aber keinen m\u00e4nnlichen. Hier w\u00e4re die Konfidenz mit 50% f\u00fcr jede Ausgabe des Netzes global korrekt bewertet, dennoch stellt diese nicht an die Daten angepasste Konfidenzbewertung offensichtlich ein Sicherheitsproblem dar. Methoden und Ma\u00dfnahmen der Kategorie Unsicherheitsbewertung betrachten dieses Problems.<\/p>\n\n\n\n

Aggregation:<\/strong> Der Kombination verschiedener Modelle in einem komplexen System widmen sich auch Methoden und Ma\u00dfnahmen des Bereichs Aggregation<\/em><\/strong>.  Als Hauptvertreter dieser Ideen z\u00e4hlen das Ensembling, also die Kombination der Vorhersagen unterschiedlicher Verfahren, und die Temporal Consistency, also die Kombination der Vorhersagen in zu verschiedenen Zeitpunkten.<\/p>\n\n\n\n

Verifikation und Validierung: <\/strong>Methoden und Ma\u00dfnahmen zur Verifikation<\/em><\/strong> versuchen, quantitative Anforderungen an neuronale Netze zu definieren und systematisch sowie vollst\u00e4ndig zu testen. Ob diese Anforderungen gen\u00fcgen, um die Sicherheit eines Systems zu garantieren und ob zum Beispiel Risiken \u00fcbersehen wurden, wird hingegen bei der Validierung<\/em><\/strong> betrachtet.  F\u00fcr KI-Modelle m\u00fcssen diese etablierten Begriffe aus der funktionalen Sicherheit neu gedacht werden, so dass Verifikation zu einem gro\u00dfen Teil aus der Definition, Auswahl, Zusammenstellung und Pflege eines Testdatensatzes besteht. Um die \u00dcberdeckungsg\u00fcte dieses Testdatensatzes zu ermitteln, kommen wiederum Verfahren zum Einsatz, die die Vollst\u00e4ndigkeit der Aktivierungen einer Schicht f\u00fcr alle Trainingsbeispiele eines neuronalen Netzwerks (beziehungsweise eines Surrogate-Modells) bewerten.<\/p>\n\n\n\n

Architektur:<\/strong> Einen wichtigen Einfluss sowohl auf die Generalisierbarkeit als auch auf die Robustheit haben die vielen Arten ein neuronales Netzwerk zu konstruieren. Begann man anfangs noch mit wenigen Convolutional Layers und f\u00fcgte mit der Zeit immer mehr Convolutional Layers hinzu, so gibt es heute spezialisierte Bl\u00f6cke, die als Netzwerk im Netzwerk eingebaut und teilweise automatisiert kombiniert werden. Erg\u00e4nzt werden diese Ans\u00e4tze durch Methoden des Multi-Task Learning, bei dem einem Netzwerk mehrere Aufgaben antrainiert werden, so dass dessen Merkmalsrepr\u00e4sentation entsprechend vielf\u00e4ltig einsetzbar sein muss.<\/p>\n\n\n\n

Compression:<\/strong> Zu guter Letzt kann auch die Inferenzdauer und hiermit einhergehend die Anzahl durchzuf\u00fchrender Rechenoperationen bei neuronalen Netzwerken den Einsatz in sicherheitskritischen Anwendungen verbieten, da notwendige Ergebnisse nicht in vertretbarer Zeit berechnet werden k\u00f6nnen oder zu viel Energie ben\u00f6tigen. Eine Reihe von L\u00f6sungsans\u00e4tzen sind unter dem Begriff Pruning zusammengefasst. Man versucht hier, den Einfluss von Gewichten, Neuronen oder Layern auf den Loss-Wert zu bestimmen und diejenigen Elemente mit minimalem Einfluss sukzessive zu entfernen. Datensatzunabh\u00e4ngige Verfahren bedienen sich unterschiedlicher Heuristiken, die Relevanz einzelner Filter auf Grund statistischer Eigenschaften zu bewerten.<\/p>\n\n\n\n

Herausforderungen mit Strahlkraft<\/h2>\n\n\n\n

Moderne KI ist also nicht nur durch die Jagd nach immer h\u00f6herer Performanz bestimmt. Forschende und Praktizierende m\u00fcssen sich heute auch der sicherheitsrelevanten Schwachstellen neuronaler Netze bewusst sein und einen \u00dcberblick \u00fcber die wichtigsten Entwicklungen zu deren Behandlung behalten. Wenngleich eine umfassende L\u00f6sung derzeit nicht in greifbarer Zukunft scheint, haben die in diesem Artikel vorgestellten Methoden eine hohe praktische Relevanz und strahlen bereits jetzt vielfach in wirtschaftliche Anwendungen aus.<\/p>\n\n\n\n

Mehr Informationen sind auf der KI-Absicherung Projektseite<\/a> oder im zugeh\u00f6rigen Survey-Paper zu finden:<\/p>\n\n\n\n

Inspect, Understand, Overcome: A <\/strong>Survey of Practical Methods for AI Safety<\/strong>
S. Houben, S. Abrecht, M. Akila, A. B\u00e4r, F. Brockherde, P. Feifel, T. Fingscheidt, S. S. Gannamaneni, S. E. Ghobadi, A. Hammam, A. Haselhoff, F. Hauser, C. Heinzemann, M. Hoffmann, N. Kapoor, F. Kappel, M. Klingner, J. Kronenberger, F. K\u00fcppers, J. L\u00f6hdefink, M. Mlynarski, M. Mock, F. Mualla, S. Pavlitskaya, M. Poretschkin, A. Pohl, V. Ravi-Kumar, J. Rosenzweig, M. Rottmann, S. R\u00fcping, T. S\u00e4mann, J. D. Schneider, E. Schulz, G. Schwalbe, J. Sicking, T. Srivastava, S. Varghese, Weber, S. Wirkert, T. Wirtz, M. Woehrle, 2021, PDF.<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Sicherheitskritische Systeme, wie beispielsweise selbstfahrende Autos, stellen neue, hohe Anforderungen an KI-Modelle. Vielerorts wird hierzu an L\u00f6sungsans\u00e4tzen geforscht, ein umfassender \u00dcberblick wurde jetzt durch ein \u00dcbersichtspapier des Konsortiums \u201eKI-Absicherung\u201c geschaffen.<\/p>\n","protected":false},"author":9,"featured_media":3970,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,396],"blog-tag":[1422,1449,1460,1484,1593],"class_list":["post-4405","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-forschung","blog-tag-adversarial-attacks-de","blog-tag-autonomes-fahren","blog-tag-cybersicherheit","blog-tag-erklaerbare-ki-xai","blog-tag-sichere-ki"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4405","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4405\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/3970"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4405"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4405"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4405"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}