Laut Definition ist ein Widersacher ein Angreifer (englisch: \u201eAdversary\u201c), ein Antagonist, der die eigene Arbeit verhindern oder dysfunktional machen will. Im Bereich der Informatik und Softwareentwicklung wird die Sicherheit des Systems und der darin laufenden Programme durch das Forschungsfeld der Cybersecurity untersucht. Die Entwicklung und breite Nutzung von Software, die auf Maschinellem Lernen basiert, hat neue M\u00f6glichkeiten f\u00fcr solche Angreifer er\u00f6ffnet. Durch das Manipulieren einer Eingabe im maschinellen Lernprozess kann das Verhalten des Algorithmus gest\u00f6rt werden. Zum Beispiel k\u00f6nnen Spam-Erkennungssysteme durch sorgf\u00e4ltiges F\u00e4lschen der eingehenden Trainingsbeispiele angegriffen werden. Dies f\u00fchrt nach einiger Zeit dazu, dass das Modell den Spam nicht mehr erkennt<\/a>. Oder man stellt sich ein maschinelles Lernmodell vor, das einen Server mit Firmendaten vor Invasionsangriffen sch\u00fctzt. Das Ziel eines Angreifers w\u00e4re es hier, den Server so zu f\u00fcllen, dass sein Angriff unentdeckt bleibt.<\/p>\n\n\n\n Seit 2010 wurde das Problem des adversen Maschinellen Lernens formuliert und es wurde gezeigt, dass Methoden des Maschinellen Lernens, wie lineare Modelle, Support Vector Machines und Random Forests, anf\u00e4llig f\u00fcr Adversarial Examples sind<\/a>.<\/p>\n\n\n\n Die Entwicklung und wachsende Popularit\u00e4t von hochgradig nicht-konvexen neuronalen Netzen f\u00fcr Deep Learning lie\u00df die Hoffnung aufkommen, dass solche Modelle widerstandsf\u00e4higer gegen Angreifer sein w\u00fcrden. Doch in 2014 demonstrierten Szegedy et al. eine verbl\u00fcffende Eigenschaft von neuronalen Netzen \u2013 sie machten falsche Vorhersagen, wenn die Eingabe nur geringf\u00fcgig auf eine spezielle und besondere Methode ver\u00e4ndert wurde. Diese Ver\u00e4nderung der Eingabe<\/a> wird heutzutage mit Adversarial Examples beschrieben. Die Experimente wurden f\u00fcr visuelle Klassifikatoren durchgef\u00fchrt. Der r\u00e4tselhafte Aspekt war, dass das hinzugef\u00fcgte Rauschen f\u00fcr die Person, die das Bild betrachtete, tats\u00e4chlich nicht wirklich viel \u00e4nderte. Das Netzwerk w\u00fcrde jedoch eine falsche Antwort geben und sich dessen sehr sicher sein. Dies erregte die Aufmerksamkeit der Deep-Learning-Praktiker*innen und f\u00fchrte zu einer popul\u00e4ren Forschungslinie \u00fcber solche auf kleinen St\u00f6rungen basierenden Adversarial Examples.<\/p>\n\n\n\n Ein Adversarial Example ist ein speziell manipuliertes Eingangs-Signal f\u00fcr Algorithmen des Maschinellen Lernens, welches dieses absichtlich zu Fehlklassifikationen verleitet. Wie oben genannt, wird dabei die Eingabe nur geringf\u00fcgig auf eine \u201ebestimmte spezielle Methode\u201c hin ver\u00e4ndert. Doch was bedeutet es, eine Eingabe auf eine „bestimmte spezielle Methode“ zu ver\u00e4ndern, die f\u00fcr den menschlichen Beobachter nicht erkennbar ist?<\/p>\n\n\n\n In diesen Jahren wurden viele verschiedene Algorithmen zur Erzeugung der fehlerhaften Eingaben vorgeschlagen, die jeweils besondere Eigenschaften haben. Um zu verstehen, wie einer der bekanntesten Algorithmen<\/a> funktioniert, m\u00fcssen wir uns daran erinnern, dass ein neuronales Netz \u00fcber die Minimierung des Verlusts (Loss), der bei den Trainingseingaben auftritt, trainiert wird. Die Minimierung erfolgt durch einen Gradientenabstieg<\/a>, das hei\u00dft die Parameter des neuronalen Netzes bewegen sich in Richtung des kleinstm\u00f6glichen Wertes des Verlustes der Vorhersage.<\/p>\n\n\n\n Stellen Sie sich nun vor, dass wir eine Parameterkonfiguration erreicht haben, die zu einem kleinen Loss bei den Trainingsdaten f\u00fchrt. Wir k\u00f6nnen nun den Bereich um eines unserer Beispiele herum ausw\u00e4hlen, der wiederum so klein ist, dass f\u00fcr einen menschlichen Beobachter alle Beispiele gleich erscheinen. Und da der Loss sowohl von den Parametern des Netzes als auch von dem eingegebenen Beispiel abh\u00e4ngt, k\u00f6nnen wir Gradienten verwenden, um das Beispiel zu optimieren, sodass der Loss so gro\u00df wie m\u00f6glich wird, aber nicht den definierten Bereich der Nicht-Ver\u00e4nderung verl\u00e4sst. Auf diese Weise ist es m\u00f6glich, f\u00fcr jede Eingabe und jedes neuronale Netz, ein Adversarial Example zu erzeugen.<\/p>\n\n\n\n Diese Beispiele werden auch \u201esmall-pertubations large-loss\u201c-Beispiele genannt. Der Grund f\u00fcr die Existenz solcher small-perturbations large-loss-Beispiele ist jedoch noch nicht vollst\u00e4ndig gekl\u00e4rt. Das hei\u00dft, wir k\u00f6nnen sie mit bestimmten spezifischen Algorithmen konstruieren, aber keinen Grund f\u00fcr ihre Existenz angeben. Beim Training eines maschinellen Lernmodells zielen wir darauf ab, dass das Modell zumindest bei den Trainingsdaten und bei Eingaben, die den Trainingsdaten \u00e4hnlich sind, keine Fehler macht – aber jetzt wissen wir, dass unbegrenzt viele fehlerhafte Beispiele erzeugt werden k\u00f6nnen. Es gibt mehrere Theorien dazu, aber noch keine, die allgemein akzeptiert ist. Der Grund daf\u00fcr ist, dass haupts\u00e4chlich alle Beweise empirisch sind und somit in der Zukunft als falsch erwiesen werden k\u00f6nnten. Einer der verheerendsten Angriffstypen auf Maschinelles Lernen manipuliert die F\u00e4higkeit der tiefen neuronalen Netze Merkmale zu lernen, die wir als Menschen nicht unterscheiden k\u00f6nnen, die aber dennoch f\u00fcr die L\u00f6sung der Aufgabe n\u00fctzlich sein k\u00f6nnten. Wenn ein Angreifer also neuronale Netze dazu zwingt, jenen Merkmalen keine Aufmerksamkeit zu schenken, die potenziell zu Fehlern bei der St\u00f6rung f\u00fchren, f\u00fchrt dies insgesamt zu einer geringeren Leistung des ML-Modells.<\/p>\n\n\n\n Eine besonders interessante Charakteristik von Adversarial Examples ist zudem die empirisch nachgewiesene \u00dcbertragbarkeit zwischen verschiedenen neuronalen Netzen. Das bedeutet, dass angreifendes St\u00f6rrauschen, das f\u00fcr eine bestimmte Eingabe und ein bestimmtes Deep-Learning-Modell erzeugt wird, auch f\u00fcr eine andere Eingabe und ein anderes Modell ein angreifendes St\u00f6rrauschen ist. Dieses Ph\u00e4nomen ist \u00e4u\u00dferst gef\u00e4hrlich. Stellen Sie sich vor, dass Sie als Entwickler*in eines KI-Systems, dessen Kern ein Deep-Learning-Modell ist, dieses System vor Angriffen sicher machen wollen. Sie verwenden alle verf\u00fcgbaren Cybersecurity-Tools und verhindern so, dass Au\u00dfenstehende an die Details des Modells gelangen. Der Gegner wird nichtsdestotrotz in der Lage sein, Ihr Modell bei der Arbeit zu sehen, gen\u00fcgend Informationen zu sammeln, ein eigenes Ersatzmodell zu trainieren, Adversarial Examples f\u00fcr dieses Modell zu erstellen und dann Ihr hochgesch\u00fctztes Modell zu brechen. Solche Blackbox-Angriffe sind sehr beunruhigend im Kontext von Anwendungen, die f\u00fcr das menschliche Leben kritisch sind, zum Beispiel f\u00fcr Systeme in einem autonomen Auto.<\/p>\n\n\n\n In der modernen Welt, in der mehr und mehr Aufgaben automatisiert werden, ist die Sicherheit der Software kritisch. Mehr noch, die Sicherheit von auf Maschinellem Lernen basierender Software ist wichtig, da sehr sensible Bereiche davon betroffen sind. Gegnerische Angriffe m\u00fcssen in jedem KI-System ber\u00fccksichtigt werden. Deshalb forscht das ML2R an Trustworthy ML<\/a>, also vertrauensw\u00fcrdiger K\u00fcnstlicher Intelligenz und fokussiert sich dort unter anderem auf die Sicherheit von KI-Systemen. Nun ist es wichtig zu wissen, wie man sich gegen Adversarial attacks sch\u00fctzen kann. Grundlegende Abwehrstrategien stellen wir in unserem n\u00e4chsten Blog-Beitrag vor.<\/p>\n","protected":false},"excerpt":{"rendered":" Feindliche Angriffe beim maschinellen Lernen zielen darauf ab, Ausf\u00e4lle in der Funktionalit\u00e4t der Modelle zu verursachen. Dieser Blogpost beschreibt die sogenannten \u201eAdversarial Examples\u201c, die fehlerhafte Vorhersagen neuronaler Netze verursachen.<\/p>\n","protected":false},"author":9,"featured_media":4143,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,390],"blog-tag":[1422,1460,1593],"class_list":["post-4138","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-grundlagen","blog-tag-adversarial-attacks-de","blog-tag-cybersicherheit","blog-tag-sichere-ki"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4138","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4138\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4143"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4138"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4138"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4138"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/stealth_tshirt.gif\" "\\"\\"")
Was sind Adversarial Examples?<\/h2>\n\n\n\n
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/AdversarialExamples1_12_MW-1.gif\" "\\"\\"")
Zuerst zeigt das Bild schematisch den Trainingsprozess, bei dem mit Gradientenabstieg die Gewichte modifiziert werden, um einen minimalen Verlust L(x,w) zu erreichen. Im Anschluss zeigt das Bild schematisch, dass man, wenn die Gewichte im Minimum sind, die Eingabe x so ver\u00e4ndern kann, dass der Verlust w\u00e4chst, aber die \u00c4nderungen kleiner als epsilon sind. <\/figcaption><\/figure>\n\n\n\nDie Relevanz der Sicherheit f\u00fcr Maschinelles Lernen<\/h2>\n\n\n\n