{"id":4648,"date":"2021-06-01T05:00:13","date_gmt":"2021-06-01T05:00:13","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/entscheidungsgrenzen\/"},"modified":"2025-11-12T14:54:49","modified_gmt":"2025-11-12T14:54:49","slug":"entscheidungsgrenzen","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/entscheidungsgrenzen\/","title":{"rendered":"Robust oder anf\u00e4llig \u2013 mit W\u00e4rme mehr Einsichten in neuronale Netze erhalten"},"content":{"rendered":"\n

Wenn k\u00fcnstliche Intelligenzen Entscheidungen treffen m\u00fcssen, k\u00f6nnen sie leicht zum Opfer feindlicher Angriffe werden. Wie einfach ein Angreifer es hierbei hat, h\u00e4ngt von der Form der Grenze ab, mit der das neuronale Netz die m\u00f6glichen Entscheidungen von einander trennt. In unserer Publikation „Heating Up Decision Boundaries<\/a>“ messen wir die Hitze<\/em>, die eine solche Grenze absondert und folgern daraus ihre Form.<\/p>\n\n\n\n

Neuronale Netze sind heutzutage tief verwoben in unseren Alltag und f\u00fchren zahlreiche Aufgaben mit einer f\u00fcr Menschen unerreichbaren Pr\u00e4zision aus. Umso \u00fcberraschender ist, dass sie Opfer von Attacken werden k\u00f6nnen, auf die ein Mensch nie hereinfallen w\u00fcrde.<\/p>\n\n\n\n

\"-
\u00a9 ML2R<\/figcaption><\/figure>\n\n\n\n

In diesem Beispiel w\u00e4ren sich beim linken Bild Mensch und Maschine einig – es handelt sich um ein Schwein. Das Hinzuf\u00fcgen eines bestimmten Rauschens \u00fcberzeugt die Maschine jedoch davon, dass sie ein Flugzeug vor sich hat, w\u00e4hrend das menschliche Auge keinen Unterschied zwischen den Bildern sieht. Was ist hier passiert?<\/p>\n\n\n\n

Der k\u00fcrzeste Weg zur Entscheidungsgrenze<\/h2>\n\n\n\n

Wir m\u00fcssen zun\u00e4chst begreifen, wie neuronale Netze \u00fcberhaupt Bilder einordnen. In diesem Beispiel klassifiziert das Netz alle handgeschriebenen Ziffern, die im helleren Graubereich liegen als zwei und im dunkleren Graubereich liegen als Sieben. An welchem Ort eine Ziffer liegt, wird durch die Helligkeit seiner Pixel bestimmt. Von einer Zwei ausgehend, k\u00f6nnten wir nun einzelne Pixel so lange \u00e4ndern, bis unser Bild eine Sieben zeigt. Fragen wir w\u00e4hrend des Abwanderns dieses Pfads das neuronale Netz, wie es unser Bild einordnet, muss es einen Punkt geben, an dem es sein Urteil \u00e4ndert. Diesen Punkt nennen wir die Entscheidungsgrenze, im obigen Bild ist es die wei\u00dfe Grenzen zwischen dem helleren und dunkleren Graubereich.<\/p>\n\n\n\n

\"-
\u00a9 ML2R<\/figcaption><\/figure>\n\n\n\n

Feindlich gesonnene Algorithmen suchen nach dem k\u00fcrzesten Weg zur Entscheidungsgrenze, um so durch eine minimale Manipulation des Bildes das Urteil des neuronalen Netzes zu \u00e4ndern. Im obigen Beispiel hat eine solche Strategie wenig Aussicht auf Erfolg, weil die Grenze n\u00e4herungsweise glatt ist und stets einen gro\u00dfen Abstand zwischen den Siebenen und den Zweien bewahrt. In diesem Fall nennen wir das Netzwerk robust. Das folgende Netzwerk ist dagegen \u00e4u\u00dferst anf\u00e4llig.<\/p>\n\n\n\n

\"-
\u00a9 ML2R\n<\/figcaption><\/figure>\n\n\n\n

Der feindliche Algorithmus kann den Zacken in der Entscheidungsgrenze zu seinem Vorteil nutzen und \u00fcberschreitet die Grenze schon mit einer minimalen Manipulation der Daten. Einen solchen Zacken scheint es auch im obigen Beispiel mit dem Schwein gegeben zu haben und erkl\u00e4rt, warum die Geometrie von Entscheidungsgrenzen im Zentrum einer lebhaften Diskussion \u00fcber die Angreifbarkeit von k\u00fcnstlicher Intelligenz steht. Jedoch ist es in realistischen Szenarien extrem aufw\u00e4ndig, Einblicke in diese Geometrie zu erlangen, sodass stetig neue und effiziente Methoden gesucht werden, um unser Verst\u00e4ndnis von neuronalen Netzen zu sch\u00e4rfen.<\/p>\n\n\n\n

Entscheidungsgrenzen sichtbar machen<\/h2>\n\n\n\n

Eine solche Methode zur Ermittlung der Geometrie von Grenzen schlagen wir in unserer neuen ICLR-Publikation<\/a> „Heating Up Decision Boundaries: Isocapacitory Saturation, Adversarial Scenarios and Generalization Bounds“ von unseren ML2R-Forschern Bogdan Georgiev, Lukas Franken und Mayukh Mukherjee<\/a> (Indian Institute of Technology Bombay) vor. Die Idee ist, die Entscheidungsgrenze als eine Hitzequelle zu interpretieren und die Menge an abgesonderter W\u00e4rme in Geometrie zu \u00fcbersetzen: Den Prozess kann man sich vorstellen wie bei altmodischen Heizungen, deren kantige und spitze K\u00f6rper versuchen, die Hitze abgebende Fl\u00e4che zu maximieren. Nach dem gleichen Prinzip gibt auch die Entscheidungsgrenze mehr Hitze ab, wenn sie spitz und uneben ist.<\/p>\n\n\n\n

\"-
\u00a9 ML2R<\/figcaption><\/figure>\n\n\n\n

Aber wie k\u00f6nnen wir diese Erw\u00e4rmung simulieren? Wir k\u00f6nnen Hitze physikalisch interpretieren: Was wir als W\u00e4rme auf unserer Haut empfinden, sind in Wirklichkeit nur eine Vielzahl winziger Teilchen, die mit der Haut kollidieren – weniger W\u00e4rme, weniger Kollisionen und umgekehrt. Diese Intuition k\u00f6nnen wir auch nutzen, um das Erw\u00e4rmen von Entscheidungsgrenzen darzustellen. Also repr\u00e4sentieren wir die Erw\u00e4rmung durch sich zuf\u00e4llig bewegende Teilchen, die von der Entscheidungsgrenze abgegeben werden und sich im Raum verteilen. Als Messorte nutzen wir die Trainingsbeispiele – Empfangen sie viele Teilchen, erw\u00e4rmt sich die Entscheidungsgrenze stark, ansonsten weniger.<\/p>\n\n\n\n

Allerdings ergibt sich hier ein weiteres Problem, denn wir wissen nicht einmal, wo diese Grenze liegt. Alles was wir wissen, ist, wo die Beispiele, also die Zweien und Siebenen, liegen. In der Praxis messen wir also, wie viel W\u00e4rme die Grenze durch die Erw\u00e4rmung des Beispiels empf\u00e4ngt und nicht umgekehrt. Die Analyse bleibt identisch, weil die beiden Rollen – W\u00e4rmestrahler und W\u00e4rmeempf\u00e4nger – austauschbar sind. Dieser Umstand wird durch die Feynman-Kac-Dualit\u00e4t<\/em><\/a> formalisiert. Der Anteil der Teilchen, die w\u00e4hrend ihrer Bewegung mit der Entscheidungsgrenze kollidieren, entspricht der emittierten Hitze. Mit dieser Methode k\u00f6nnen wir nicht nur ertasten, ob die Entscheidungsgrenze existiert, sondern auch ob sie flach, rund oder spitz ist. Diese Unterscheidung zu ermessen war bisher keinem der bekannten Verfahren m\u00f6glich. Tats\u00e4chlich war die Forschungsgemeinschaft bisher der \u00dcberzeugung, dass robuste Netze dann entstehen, wenn die Entscheidungsgrenzen flach sind. Wir weisen nach, dass dies nicht der Fall ist. Lokal weisen auch robuste Netze spitze Oberfl\u00e4chen auf, ihre Robustheit scheint also durch schwer nachweisbare andere Eigenschaften erzeugt zu werden. In dem Sinne vertiefen wir unser Verst\u00e4ndnis der Angreifbarkeit neuronaler Netze.<\/p>\n\n\n\n

R\u00fcckschl\u00fcsse auf Verallgemeinerungsf\u00e4higkeit neuronaler Netze<\/h2>\n\n\n\n

Tats\u00e4chlich ist Robustheit gegen Widersacher nicht die einzige Eigenschaft, die beeinflusst wird von der Geometrie der Entscheidungsgrenzen. Wir zeigen auch, dass die Geometrie Hinweise daf\u00fcr liefert, wie gut ein neuronales Netz verallgemeinert<\/em>. Die F\u00e4higkeit zu verallgemeinern ist der Hauptgrund f\u00fcr die N\u00fctzlichkeit von Maschinellem Lernen. Sie bedeutet exemplarisch, dass wir einem Netzwerk Beispiele f\u00fcr handgeschriebene Dreien zeigen k\u00f6nnen und es anschlie\u00dfend dazu in der Lage ist Dreien zu erkennen, obwohl es nicht die Dreien aus dem Training sind. K\u00f6nnte das Netzwerk von den gelernten Beispielen nicht verallgemeinern, w\u00e4re es nicht dazu in der Lage \u00c4hnlichkeit<\/em> zu erkennen, sondern nur, ob ein Beispiel exakt identisch ist zu einem bereits gesehenen Beispiel. Es stellt sich heraus, dass die Eigenschaft gut verallgemeinern zu k\u00f6nnen eher gew\u00e4hrleistet ist, wenn Entscheidungsgrenzen a) flach und b) weit entfernt von den Trainingsbeispielen sind. Unsere Methode bietet M\u00f6glichkeiten, Einsichten in beide Eigenschaften zu erlangen.<\/p>\n\n\n\n

Wie Entscheidungsgrenzen in angreifbaren oder robusten neuronaler Netze geformt sind, ist seit einigen Jahren ein aktives Forschungsthema. Unsere Technik, die Entscheidungsgrenzen zu erhitzen und von der Menge emittierter Hitze ihre Form zu folgern, bereichert den aktuellen Kenntnisstand zu diesem Thema: Selbst robuste Netze weisen lokal spitze und zackige Oberfl\u00e4chen auf. Es gibt sogar noch weitere Eigenschaften, die durch die Geometrie von Entscheidungsgrenzen ermittelt werden k\u00f6nnen. Hierzu geh\u00f6ren beispielsweise die allgemeine Qualit\u00e4t der Klassifizierung oder die Menge an Parametern, die f\u00fcr die Funktionalit\u00e4t des Netzes eine Rolle spielen. In zuk\u00fcnftigen Projekten werden wir diese Zusammenh\u00e4nge genauer untersuchen.<\/p>\n\n\n\n

Mehr Informationen in der zugeh\u00f6rigen Publikation:<\/p>\n\n\n\n

Heating up decision boundaries: isocapacitory saturation, adversarial scenarios and generalization bounds <\/strong>B. Georgiev, L. Franken, M. Mukherjee, ICLR, 2021, PDF<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"

Wie einfach KI-Algorithmen angegriffen werden k\u00f6nnen, h\u00e4ngt von der Form der Grenzen ab, mit der das neuronale Netz die Entscheidungen voneinander trennt. Diese kann durch das Erhitzen der Entscheidungsgrenzen bestimmt werden.<\/p>\n","protected":false},"author":9,"featured_media":4657,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,396],"blog-tag":[1422,1558,1590,1593],"class_list":["post-4648","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-forschung","blog-tag-adversarial-attacks-de","blog-tag-neuronale-netze","blog-tag-robustheit","blog-tag-sichere-ki"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4648","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4648\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4657"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4648"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4648"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4648"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}