{"id":4702,"date":"2021-11-10T04:28:11","date_gmt":"2021-11-10T04:28:11","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/fuzzy-testing\/"},"modified":"2025-11-12T14:54:47","modified_gmt":"2025-11-12T14:54:47","slug":"fuzzy-testing","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/fuzzy-testing\/","title":{"rendered":"Fuzzy Testing f\u00fcr KI-Systeme"},"content":{"rendered":"\n

Mit dem sogenannten Fuzzy Testing<\/strong> (kurz: Fuzzing) stellen wir in diesem Blogbeitrag ein Pr\u00fcfverfahren vor, das kontinuierliche, automatisierte Tests von Software mit moderatem Zeit- und Kostenaufwand erlaubt, sich f\u00fcr dynamische Entwicklungs- und Einsatzumgebungen eignet und eine im Vergleich zu manuellen Verfahren deutlich gr\u00f6\u00dfere Testraumabdeckung erreichen kann. Dieser moderne Ansatz, der urspr\u00fcnglich f\u00fcr klassische Software entwickelt<\/a> wurde, wird zunehmend im Hinblick auf die Pr\u00fcfung von KI-Systemen (speziell von Neuronalen Netzen) erweitert und angewendet. Es kombiniert konzeptionelle Einfachheit mit einer ganzen Reihe g\u00fcnstiger Eigenschaften, die es auch zur L\u00f6sung von spezifischen Problemen aus dem KI-Umfeld attraktiv erscheinen lassen, die wir in einem fr\u00fcheren Blogbeitrag<\/a> vorgestellt haben.<\/p>\n\n\n\n

Fuzzing: Testen mit Hilfe des Zufalls<\/span><\/h2>\n\n\n\n

Fuzzy Testing basiert auf einer evolution\u00e4ren Optimierungsstrategie und ist ein vielversprechender Kandidat, um Herausforderungen anzugehen, die vor allem im Kontext von KI-Systemen bedeutsam sind. Ausgehend von einer Reihe vorausgew\u00e4hlter Testeingaben werden mittels anwendungsspezifischer Transformationen zuf\u00e4llig neue Eingaben erzeugt und dem KI-Modell vorgelegt.  Eine solche Zufallsmutation ist genau dann im Sinne des Algorithmus „interessant“, wenn mindestens eines der folgenden Kriterien erf\u00fcllt ist:<\/p>\n\n\n\n

    \n
  1. Schlechte(re) Vorhersagen:<\/strong> Die Vorhersage des Modells ist entweder fehlerhaft oder ihre Qualit\u00e4t ungen\u00fcgend.<\/li>\n\n\n\n
  2. Erh\u00f6hte Suchraumabdeckung:<\/strong> Ein geeignetes Ma\u00df f\u00fcr die Abdeckung des Zustandsraums des Modells wird durch die Zufallsmutation signifikant erh\u00f6ht. F\u00fcr ein Neuronales Netz und neuron coverage<\/em> als Abdeckungsma\u00df w\u00e4re dies etwa dann gegeben, wenn durch das neue Beispiel Neuronen stark aktiviert werden, die durch alle anderen Tests nicht oder nur schwach aktiviert wurden.<\/li>\n<\/ol>\n\n\n\n

    Da mit dem zweiten Kriterium ein Ma\u00df f\u00fcr die Abdeckung (englisch coverage<\/em>) des Zustandsraums des Modells in die Bewertung einer Testeingabe einflie\u00dft, spricht man hierbei auch von coverage-based Fuzzing<\/strong>. Alle Zufallseingaben werden gesammelt und hinsichtlich ihrer Interessantheit bewertet. In regelm\u00e4\u00dfigen Abst\u00e4nden wird ein bestimmter Anteil der uninteressanteren Testf\u00e4lle ausgefiltert.<\/p>\n\n\n\n

    \"-
    \u00a9ML2R
    Das Bild zeigt einen Durchlauf durch die Fuzzing Testschleife. Ausgehend von einer Sammlung bestehender Testeingaben wird eine Eingabe gezogen und mit einer anwendungsspezifischen Zufallsmutation ver\u00e4ndert. Wenn die Vorhersage des zu testenden KI-Modells fehlerhaft ist oder die Testeingabe ein geeignetes Abdeckungsma\u00df signifikant erh\u00f6ht (zum Beispiel neuron coverage bei Neuronalen Netzen), wird die Zufallsmutation der Testsammlung hinzugef\u00fcgt. Dieser Vorgang wird solange wiederholt, bis das Testbudget ersch\u00f6pft oder ein kritischer Fehler aufgetreten ist.<\/figcaption><\/figure>\n\n\n\n

    Eine entscheidende Rolle f\u00fcr die erreichbare<\/p>\n\n\n\n