Betrachten wir ein DNN, das mit der Erkennung von Fu\u00dfg\u00e4nger*innen auf Bildern von Verkehrssituationen beauftragt ist. Wir k\u00f6nnen die Leistung des Modells auf dem Testdatensatz mit Hilfe von \u201eIntersection over Union\u201c (IoU), einer h\u00e4ufig verwendeten semantischen Segmentierungsmetrik, ermitteln. Nehmen wir an, dass wir eine Punktzahl von
80 % erreichen, was besser ist als die bestehenden klassischen Methoden. W\u00fcrde man nur die aggregierte Punktzahl verwenden, k\u00f6nnte man den Einsatz eines solchen Modells in einer realen Anwendung in Betracht ziehen. Es k\u00f6nnte jedoch Unterregionen im Datenraum geben, in denen das Modell schlechter abschneidet als der Durchschnitt. Solche Regionen mit geringer Leistung k\u00f6nnten potenzielle Schwachstellen sein, die aus den Trainingsdaten gelernt wurden. Wir schlagen vor, menschlich verst\u00e4ndliche semantische Merkmale, die die Szene beschreiben, als Unterregionen der Daten zu betrachten und die Leistungsmetrik durch Gruppierung \u00fcber solche semantischen Merkmale zu berechnen.<\/p>\n\n\n\n
Abbildung 1 zeigt eine Darstellungsskizze unseres Beispiels, in der wir das IoU entlang der semantischen Dimensionen sehen \u2013 die Hautfarbe der Fu\u00dfg\u00e4nger*innen, welche auf einen Bias in den Daten hinweist. Die Farbe der Punkte im Bild zeigt die Hautfarbe der Fu\u00dfg\u00e4nger*innen an, und wir k\u00f6nnen recht schnell feststellen, dass das Modell bei dunkelh\u00e4utigen Fu\u00dfg\u00e4nger*innen durchweg schlecht abschneidet. Dieser Test kann auf alle m\u00f6glichen semantischen Dimensionen ausgedehnt werden, die nach Ansicht eines\/einer menschlichen Expert*in sicherheitskritisch sind. Wir erwarten zwar unabh\u00e4ngige und identisch verteilte Stichproben in den Testdatens\u00e4tzen, aber die reale Welt hat eine zeitliche und semantische Konsistenz. Angenommen, die Modelle sind systematisch schwach f\u00fcr bestimmte semantische Dimensionen in einer Szene: In diesem Fall werden sie wahrscheinlich auch in zuk\u00fcnftigen Szenen schwach sein. Deshalb ist es wichtig, solche Schwachstellen zu identifizieren und das zugrunde liegende Problem zu beheben. Wir nennen das semantisches Testen<\/strong>.<\/p>\n\n\n\n Wie man sich vorstellen kann, ist die Generierung von gekennzeichneten Daten f\u00fcr \u00fcberwachtes Lernen selbst eine zeit- und kostenintensive Aufgabe. Die zus\u00e4tzliche Beschaffung von Szenen- und semantischen Informationen w\u00fcrde den Kennzeichnungsprozess weiter verkomplizieren. Bestimmte semantische Merkmale k\u00f6nnen mithilfe automatisierter klassischer Bildverarbeitungstechniken aus den Rohbildern und Beschriftungen extrahiert werden, aber es gibt eine Grenze f\u00fcr die Ausf\u00fchrlichkeit dieses Ansatzes. Mithilfe von Computersimulatoren k\u00f6nnen wir jedoch die Prozesse der Datengenerierung, der Kennzeichnung und der Extraktion von Szenenbeschreibungen automatisieren.<\/p>\n\n\n\n F\u00fcr unsere Arbeit<\/a> verwenden wir einen solchen Open-Source-Simulator f\u00fcr autonomes Fahren, den CARLA-Simulator<\/a>. W\u00e4hrend es bereits m\u00f6glich ist, Rohbilder und Beschriftungen direkt zu extrahieren, mussten wir einige \u00c4nderungen am Quellcode vornehmen, um die Metadaten der Szenen zu extrahieren (Code auf GitHub<\/a> verf\u00fcgbar). Mit unserem modifizierten CARLA-Simulator erstellen wir einen gro\u00dfen Datensatz von Rohszenen, semantischen Segmentierungslabels und Metadaten der Szenen und verwenden diese, um ein semantisches Segmentierungs-DNN namens DeepLabv3+<\/a> zu trainieren. Wir f\u00fchren verschiedene Auswertungen \u00fcber semantische Dimensionen hinweg durch, um zu untersuchen, wo Schwachstellen im Modell auftreten k\u00f6nnten. Au\u00dferdem k\u00f6nnen wir das Modell weiter ausbauen, indem wir, wie in Video 1 gezeigt, spezielle Test-sets erstellen, in denen wir eine einzige semantische Dimension in jedem Bild \u00e4ndern, zum Beispiel die Position der zu Fu\u00df gehenden Person, und die Leistung, wie in Abbildung 2 gezeigt, bewerten. Dabei wird deutlich, dass die Leistung nicht einheitlich ist. Wie erwartet werden Fu\u00dfg\u00e4ngerinnen, die sich in der N\u00e4he befinden, besser erkannt als Fu\u00dfg\u00e4nger<\/em>innen, die weiter entfernt sind. Wir k\u00f6nnen jedoch feststellen, dass es neben der Entfernung noch andere Faktoren gibt, die die Leistung beeinflussen, da diese nicht symmetrisch ist.<\/p>\n\n\n\n![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/sematic_test-15.jpg\" "\\"\\"")
Abbildung 1: Ein Darstellungsschema, um zu zeigen, wie semantische Tests bei der Identifizierung von Schwachstellen in DNNs von Nutzen sein k\u00f6nnen<\/figcaption><\/figure>\n\n\n\nSemantisches Testen<\/h2>\n\n\n\n