Ein typisches Beispiel, aufgrund seiner hohen Anforderungen und Komplexit\u00e4t, ist das autonome Fahren<\/em>. Hierbei sollte insbesondere die Erkennung vulnerabler Verkehrsteilnehmer*innen (VRUs, zum Beispiel Fu\u00dfg\u00e4nger*innen) gew\u00e4hrleistet werden. Einerseits sollten Fehleinsch\u00e4tzungen oder Unw\u00e4gbarkeiten bez\u00fcglich der Position und Trajektorie von Verkehrsteilnehmenden, wie sie etwa auch durch Teil\u00fcberdeckung entstehen k\u00f6nnen, fr\u00fchzeitig erkannt und in die Planung aufgenommen werden (ein*e Fu\u00dfg\u00e4nger*in k\u00f6nnte beispielsweise, wie in untenstehender Abbildung (rechts), weitgehend durch andere Fu\u00dfg\u00e4nger*innen oder aber auch Fahrzeuge verdeckt sein, sodass er\/sie sich nur teilweise detektieren l\u00e4sst). Andererseits stellt auch die nicht zuverl\u00e4ssige Erkennung des \u201eObjekt\u201c-typs ein potenzielles Risiko dar, zum Beispiel, wenn ein VRU mit hoher Dynamik, beispielsweise ein*e Radfahrer*in, irrt\u00fcmlich f\u00fcr einen (im Allgemeinen) sehr viel langsamere VRU, wie ein*e Fu\u00dfg\u00e4nger*in, gehalten wird. Hier kann eine Unsicherheitseinsch\u00e4tzung helfen, indem diese*r Teilnehmende gesondert und mit mehr Umsicht in der Planung ber\u00fccksichtigt wird.<\/p>\n\n\n\n Aber auch abseits vom Schutz menschlichen Lebens leistet \u201eUnsicherheit\u201c relevante Beitr\u00e4ge. In einer Fertigungsstra\u00dfe l\u00e4sst sich zum Beispiel eine Automated Optical Inspection<\/em> (AOI) zur Qualit\u00e4tssicherung eines in Serie gefertigten Produktes einsetzen. Eine fehlerhafte Vorhersage kann hier (bestenfalls) zu unn\u00f6tigem Ausschuss f\u00fchren, da eigentlich hochwertige Produkte aussortiert werden, oder (schlimmstenfalls) zur Weiterverarbeitung oder zum Verkauf eines fehlerbehafteten Produktes. Auf Basis einer gut kalibrierten Unsicherheit lie\u00dfe sich zwar nicht die Performanz der KI-Anwendung direkt erh\u00f6hen, sie w\u00fcrde aber einen Ausschlag daf\u00fcr geben, bei welchen Produkten eine weitere Nachpr\u00fcfung (etwa durch einen Menschen) sinnvoll erscheint. Hierdurch w\u00fcrden (unter der Annahme, dass Mensch und KI unabh\u00e4ngig pr\u00fcfen) Ausschuss verringert und Qualit\u00e4tseinbr\u00fcche reduziert.<\/p>\n\n\n\n W\u00e4hrend die beiden genannten Anwendungsf\u00e4lle aus dem Bereich der Computer Vision<\/a> stammen, tritt Unsicherheit in nahezu allen Bereichen des Maschinellen Lernens auf und betrifft alle g\u00e4ngigen Problemstellungen, sei es Klassifikation (z.B. AOI) oder Regression (z.B. Stromverbrauch). Sie belastbar einsch\u00e4tzen zu k\u00f6nnen, bildet daher eine der zentralen Sto\u00dfrichtungen f\u00fcr vertrauensw\u00fcrdige KI (s. Absicherungsmethoden f\u00fcr KI<\/a>).<\/p>\n\n\n\n Unsicherheiten in der Modellvorhersage k\u00f6nnen aus verschiedensten Quellen stammen. Abgesehen von nur schwer zu vermeidenden leichten Modellschw\u00e4chen werden in der Literatur meist zwei grundlegende Arten oder Ursachen unterschieden: zum einen epistemische <\/em>und zum anderen aleatorische Unsicherheit<\/em> (s. untenstehende Abbildung).<\/p>\n\n\n\n Im ersteren Fall decken die Daten, auf denen das ML-Modell trainiert hat, nicht den gesamten Bereich m\u00f6glicher Eingabedaten ab und das Modell muss zwischen oder au\u00dferhalb der gesehenen Datenpunkte inter- oder extrapolieren. In diesen Bereichen kann oft keine vollst\u00e4ndig belastbare Aussage \u00fcber das eigentlich zu erwartende Ergebnis getroffen werden (im Schaubild also \u00fcber den \u201ewahren\u201c Verlauf der Daten). Diese Form von Unsicherheit ist h\u00e4ufig anzutreffen bei Fragestellungen mit im Vergleich zu ihrer Komplexit\u00e4t niedriger Datendichte, bei der starke Anforderungen an die Generalisierungsf\u00e4higkeit zwischen Datenpunkten besteht. Sie ist daher auch ein Standardproblem von KI-Anwendungen, die in einem \u201eOpen World Context\u201c eingesetzt werden, bei denen also im Vorhinein nicht alle m\u00f6glichen Eingabedaten bekannt sein k\u00f6nnen. Dies betrifft vor allem KI-Anwendungen mit offenen Schnittstellen, etwa frei zug\u00e4nglich im Internet oder aber auch im \u00f6ffentlichen Raum (etwa Kamerasysteme von autonomen Fahrzeugen), da dort die Interaktion oder Eingaben nicht immer vorhersagbar sind. Am Beispiel der Personenerkennung f\u00fcr das autonome Fahren k\u00f6nnten Fu\u00dfg\u00e4nger*innen im L\u00f6wenkost\u00fcm f\u00fcr die Anwendung eine zuvor ungesehene Herausforderung darstellen, die um die Karnevalssaison herum aber auftreten kann. Sofern die KI-Anwendung nicht sinnvoll auf diesen Fall extrapoliert, sollte zumindest ein Sch\u00e4tzer f\u00fcr epistemische Unsicherheit anschlagen und die Person als neuartiges \u201eObjekt\u201c einstufen.<\/p>\n\n\n\n Die zweite Art von Unsicherheit, die aleatorische Unsicherheit, bezeichnet den Daten inh\u00e4rente Unw\u00e4gbarkeiten. Prototypische Beispiele sind verrauschte Datens\u00e4tze, wie etwa der anfangs erw\u00e4hnte Stromverbrauch eines Haushalts. Allgemein handelt es sich um Problemstellungen, bei denen die Daten keine eindeutige Entscheidung erm\u00f6glichen. Dies kann neben dem Regressionsbeispiel auch komplexe Aufgabenstellungen betreffen. Beispielsweise kann es bei der Segmentierung (das hei\u00dft pixelgenauen Erkennung von Objekten) Unstimmigkeiten zwischen menschlichen Experten geben, was die genauen Objektgrenzen betrifft. Unter anderem tritt dies im medizinischen Bereich f\u00fcr Unterscheidungen zwischen gesundem und erkranktem Gewebe auf. Um Ergebnisse von KI-Anwendungen f\u00fcr derartige Aufgabenstellungen sinnvoller einsch\u00e4tzen zu k\u00f6nnen, kann es hilfreich sein, solche Unstimmigkeiten als (aleatorische) Ausgabeunsicherheit mit abzubilden.<\/p>\n\n\n\n Gerade bei komplexen Fragestellungen treten meist beide Arten von Unsicherheit (mit unterschiedlicher Gewichtung) auf. Um KI-Anwendungen in diesen Umfeldern zuverl\u00e4ssig betreiben zu k\u00f6nnen, ist es oftmals hilfreich, wenn die Belastbarkeit ihrer Aussagen, sei es Klassifikation oder die Vorhersage kontinuierlicher numerischer Ergebnisse, ein- bzw. ihre Unsicherheit abgesch\u00e4tzt werden kann.<\/p>\n\n\n\n Gerade bei Anwendungen mit \u201eOpen World Context\u201c kann die Sch\u00e4tzung epistemischer Unsicherheit dazu genutzt werden, um strukturell neue Daten zu erkennen und so das Modell vor Ausgabefehlern zu sch\u00fctzen. Neben dieser F\u00e4higkeit, die auch in anderen Bereichen wie dem Active Learning<\/a> Anwendung findet, gibt es zwei zentrale Anforderungen an Unsicherheitssch\u00e4tzer, damit diese sinnvoll nutzbar sind. Dies ist zun\u00e4chst die h\u00e4ufig in der Literatur diskutierte und bereits oben erw\u00e4hnte Kalibrierung: Sofern ein KI-Algorithmus eine Klassifikationsaussage, etwa \u00fcber die Tauglichkeit eines gepr\u00fcften Produktes, mit 99% Konfidenz t\u00e4tigt, so ist die Erwartungshaltung, dass von 100 so bewerteten Produkten im Mittel lediglich eins untauglich ist. F\u00fcr Regression gelten \u00e4hnliche Aussagen f\u00fcr vorhergesagte Zielintervalle, innerhalb derer sich der wahre Wert mit 99-prozentiger (oder beliebiger anderer) Wahrscheinlichkeit befinden soll. Es handelt sich bei Kalibrierung also um ein \u201ePerformanzma\u00df\u201c nicht f\u00fcr die eigentliche KI-Anwendung, sondern f\u00fcr die G\u00fcte der zugeh\u00f6rigen Unsicherheitssch\u00e4tzung. H\u00e4ufig wird diese \u00fcber den \u201eExpected Calibration Error\u201c (ECE) gemessen. Neben dieser (globalen) Kalibrierung ist das Vorhandensein ausreichender Korrelationen zwischen Unsicherheitssch\u00e4tzung und tats\u00e4chlicher Modellqualit\u00e4t f\u00fcr einen gegebenen Input entscheidend, um ausgehend von diesem Sch\u00e4tzwert weitere Schritte, etwa Mitigationsstrategien wie die menschliche Nachpr\u00fcfung bei der AOI in obigem Beispiel, einzuleiten. Dies bedingt zwingend eine eingabeabh\u00e4ngige Unsicherheitssch\u00e4tzung.<\/p>\n\n\n\n KI-Modelle arbeiten, trotz hoher Leistungsf\u00e4higkeit, selten v\u00f6llig fehlerfrei. Gerade bei sicherheitskritischen Anwendungen ist es daher wichtig, fehlerhafte Vorhersagen m\u00f6glichst fr\u00fchzeitig zu erkennen, um Sch\u00e4den abzuwenden. Eine gut kalibrierte Unsicherheitssch\u00e4tzung kann, als Form der \u201eSelbstkontrolle\u201c, hierzu beitragen. Deswegen besch\u00e4ftigt sich das Fraunhofer IAIS mit L\u00f6sungsans\u00e4tzen und Technologien f\u00fcr zuverl\u00e4ssige KI. Weitere Informationen zu entsprechenden Projekten k\u00f6nnen hier<\/a> gefunden werden.<\/p>\n","protected":false},"excerpt":{"rendered":" KI-Anwendungen kommen zunehmend in kritischen Bereichen zum Einsatz, in denen Fehlentscheidungen unter Umst\u00e4nden zu Personen- oder Sachsch\u00e4den f\u00fchren k\u00f6nnen. Der Einsatz von Unsicherheitssch\u00e4tzung kann hier einen Beitrag zu erh\u00f6hter Verl\u00e4sslichkeit leisten.<\/p>\n","protected":false},"author":9,"featured_media":4523,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,546],"blog-tag":[1449,1593],"class_list":["post-4518","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-anwendung","blog-tag-autonomes-fahren","blog-tag-sichere-ki"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4518","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4518\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4523"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4518"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4518"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4518"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Unsicherheitsschaetzung-Bild-1-1024x411.jpg\" "\\"\\"")
Abbildung 1: Unsicherheit im Maschinellen Lernen kommt vielgestaltig daher und unterscheidet sich von Datentyp zu Datentyp. F\u00fcr Bilddaten lassen sich einige F\u00e4lle besonders gut veranschaulichen: So erschweren geringe Kontraste (zum Beispiel bei Nachtaufnahmen, linkes Bild) die Verarbeitung durch ein ML-Modell ebenso wie die (teilweise) \u00dcberdeckung (Okklusion) von Personen oder Objekten (rechtes Bild). <\/figcaption><\/figure>\n\n\n\nWelche Unsicherheitsquellen gibt es?<\/h2>\n\n\n\n
![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Unsicherheitsschaetzung-Bild-2-DE-1024x386.png\" "\\"\\"")
Abbildung 2: Schematische Darstellung zweier Unsicherheitsarten. Die epistemische Unsicherheit (links) ist vor allem in Bereichen ausgepr\u00e4gt, in denen das Modell keinerlei Daten gesehen hat. Aleatorische Unsicherheit (rechts) ist eine Eigenschaft der Daten, die hier keinen deterministischen Zusammenhang zwischen x- und y-Werten erkennen lassen. Hierbei kann, wie dargestellt, die Unsicherheit, also die Breite der Datenverteilung, vom konkreten x-Wert abh\u00e4ngen. <\/figcaption><\/figure>\n\n\n\nAnforderungen an Unsicherheitssch\u00e4tzer<\/h2>\n\n\n\n
Fazit<\/h2>\n\n\n\n