{"id":4485,"date":"2021-11-03T04:32:29","date_gmt":"2021-11-03T04:32:29","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/testen-von-ki-systemen\/"},"modified":"2025-11-12T14:53:40","modified_gmt":"2025-11-12T14:53:40","slug":"testen-von-ki-systemen","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/testen-von-ki-systemen\/","title":{"rendered":"Von Sisyphos und Herakles: Herausforderungen beim effektiven und effizienten Testen von KI-Anwendungen"},"content":{"rendered":"\n

Die rasante Zunahme der Leistungsf\u00e4higkeit und Einsatzgebiete maschineller Lernverfahren \u2013 allen voran von Neuronalen Netzen \u2013 treibt die Verbreitung von Anwendungen K\u00fcnstlicher Intelligenz (KI) in nahezu alle Wirtschaftsbranchen und Lebensbereiche voran. Dies geht einher mit einer <\/span>Professionalisierung der Entwicklung und des Betriebs von KI-L\u00f6sungen<\/span><\/a> und f\u00fchrt diese Verfahren zunehmend in kleine und mittelst\u00e4ndische Unternehmen, Beh\u00f6rden und \u00f6ffentliche Einrichtungen sowie in alle Bereiche privater und \u00f6ffentlicher Infrastruktur (Energie- und Datennetze, Krankenh\u00e4user, usw.).<\/span> <\/span><\/p>\n\n\n\n

Zeitgem\u00e4\u00dfen Standards professioneller Softwareentwicklung wie etwa dem <\/span>V-Modell<\/span> zufolge ist das systematische <\/span>Testen von Funktionalit\u00e4t und Sicherheit<\/span><\/b> ein integraler Bestandteil des Entwicklungs- und Auslieferungsprozesses und sollte w\u00e4hrend des gesamten Lebenszyklus einer Anwendung stattfinden \u2013 <\/span>ob KI-Komponenten enthalten sind oder nicht<\/span><\/b>. Dies ist besonders dort n\u00f6tig, wo ihr Einsatz mit hohen oder kritischen Risiken einhergeht. Dar\u00fcber hinaus setzen <\/span>agile Entwicklungsprozesse<\/span> mit ihren schnellen, iterativen Aktualisierungen und <\/span>automatisierter Auslieferung<\/span> sowie die teils sehr dynamischen Einsatzumgebungen die Verwendung von gut automatisierbaren Pr\u00fcfverfahren voraus.<\/span> <\/span><\/p>\n\n\n\n

Im Vergleich zu klassischer Software ist die Pr\u00fcfung von KI-Anwendungen mit einer Reihe besonderer Herausforderungen verbunden, die von etablierten Testverfahren bislang noch nicht oder nicht ausreichend adressiert werden. In diesem Blogbeitrag stellen wir einige dieser Herausforderungen vor.<\/span><\/p>\n\n\n\n

Moderne Softwareentwicklung ist komplex und hoch automatisiert <\/span><\/h2>\n\n\n\n

Speziell bei maschinellen Lernverfahren aber auch schon bei klassischer Software reichen Pr\u00fcfungen, die allein auf manuell erstellten Funktionstests basieren, oft nicht aus, um ein akzeptables Funktions- und Sicherheitsniveau zu gew\u00e4hrleisten. Hinzu kommt, dass Software heutzutage oft in vielen kurzen Entwicklungszyklen weiterentwickelt, automatisiert zu Paketen integriert und ausgeliefert wird. Insgesamt f\u00fchrt diese hohe Dynamik dazu, dass viele Anwendungen niemals endg\u00fcltig fertiggestellt werden und damit auch niemals vollst\u00e4ndig getestet werden (k\u00f6nnen). Effektive Pr\u00fcfverfahren m\u00fcssen dem Rechnung tragen und dabei nicht nur praktikabel, sondern auch wirtschaftlich sein.<\/span> <\/span><\/p>\n\n\n\n

So ist zum Beispiel die <\/span>formale Verifikation<\/span><\/b><\/a>, das hei\u00dft ein mathematischer Beweis der Funktionsf\u00e4higkeit eines Softwaremoduls, in der Regel sehr zeit- und kostenintensiv. In der Praxis eignet sie sich daher nur f\u00fcr deterministische Programme von \u00fcberschaubarer Komplexit\u00e4t sowie f\u00fcr Einsatzszenarien, die sowohl statisch als auch in hohem Ma\u00dfe sicherheitskritisch sind (zum Beispiel Weltraummissionen). Vielfach ist ein solcher Korrektheitsbeweis zwar w\u00fcnschenswert, aber nicht durchf\u00fchrbar, was zum Beispiel gegeben sein kann, wenn der Raum m\u00f6glicher Eingaben <\/span>praktisch unendlich<\/span><\/a> gro\u00df ist. Letzteres ist dann der Fall, wenn es, nach aktuellem Kenntnisstand, selbst mit allen potentiell menschen-verf\u00fcgbaren Ressourcen absehbar niemals m\u00f6glich sein wird, alle Eingaben durchzuspielen. Ein Beispiel hierf\u00fcr ist Software, die Bildinhalte verarbeitet.\u00a0\u00a0<\/span><\/p>\n\n\n\n

Selbst wenn sich eine Anwendung f\u00fcr die formale Verifikation eignet, so existieren nach heutigem Stand nicht f\u00fcr alle maschinellen Lernverfahren entsprechende Ans\u00e4tze. Um den oben genannten Pr\u00fcfbedarf auch f\u00fcr den gro\u00dfen Anteil der Anwendungen decken zu k\u00f6nnen, f\u00fcr die formale Verifikation nicht in Frage kommt, m\u00fcssen daher alternative Pr\u00fcfverfahren gefunden werden.<\/span><\/p>\n\n\n\n

Spezifische Herausforderungen von KI-Modellen <\/span><\/h2>\n\n\n\n

Die Funktionalit\u00e4t eines KI-Modells l\u00e4sst sich nur sehr l\u00fcckenhaft, so wie bei klassischer Software \u00fcblich, durch manuell erstellte Unit- oder Integrationstests (also Tests elementarer Funktionseinheiten beziehungsweise des Zusammenspiels mehrerer Funktionseinheiten durch Vergleich der berechneten mit der erwarteten Ausgabe bei gegebener Eingabe) pr\u00fcfen. Daher wird stattdessen datengetrieben und eingebettet in den Trainingsprozess getestet. So besteht ein Standardverfahren zum Testen \u00fcberwachter Lernverfahren darin, die Eingangsdaten in <\/span>Trainings-, Validierungs- und Testdatens\u00e4tze<\/span><\/a> aufzuteilen. Das Modell wird auf dem Trainingsdatensatz trainiert und die Performanz auf den Testdaten als Kriterium f\u00fcr den aktuellen, tats\u00e4chlichen „Lernerfolg“ kontinuierlich \u00fcberwacht. Schlie\u00dflich wird mit dem zur\u00fcckgehaltenen Validierungsdatensatz gepr\u00fcft, wie gut das Model gelernt hat, auf g\u00e4nzlich unbekannte Eingaben korrekt zu reagieren und damit die zu lernenden Beziehungen zu generalisieren. <\/span><\/p>\n\n\n\n

\"-
\u00a9ML2R<\/figcaption><\/figure>\n\n\n\n

Qualit\u00e4tsmanagement der Trainingsdaten <\/h2>\n\n\n\n

Allerdings ist dieses Verfahren ungeeignet, um zu erkennen, dass in einem Eingangsdatensatz wichtige Beispiele fehlen. So sind etwa Konstellationen denkbar, in denen bekannte und kritische Anwendungsf\u00e4lle eines Modells in den Trainingsdaten nicht oder nur schwach repr\u00e4sentiert sind oder sich nur unter hohen Kosten oder per Simulator generieren lassen. Ein Beispiel hierf\u00fcr w\u00e4re die Repr\u00e4sentation „echter“ Verkehrsunf\u00e4lle zum Training autonomer Fahrzeuge. <\/p>\n\n\n\n

Doch selbst wenn alle wichtigen Arten von zul\u00e4ssigen Beispielen enthalten sind, kann das oben genannte Trainings- und Testverfahren nicht verhindern, dass m\u00f6glicherweise vorhandene statistische Verzerrungen zwischen den erhobenen Eingangsdaten und den zu lernenden Beziehungen auf das Modell \u00fcbertragen werden. Solche Verzerrungen k\u00f6nnen auf verschiedene Arten entstehen, sei es, dass <\/p>\n\n\n\n