Eine L\u00f6sung f\u00fcr viele dieser Herausforderungen bietet das sogenannte Edge Deployment von KI-L\u00f6sungen an, wodurch die Datenverarbeitung und Auswertung dezentral am Rand des Netzwerks (der sogenannten Kante) bereitgestellt wird. Hierbei wird, im Gegensatz zum zentralen Deployment im Rechenzentrum, der Auswertealgorithmus auf einen oder mehreren dezentralen Rechnern oder Mikroprozessoren implementiert \u2013 typischerweise dort, wo auch die Daten entstehen.<\/p>\n\n\n\n
Zur Veranschaulichung soll eine typische KI-Anwendung aus der Bildverarbeitung dienen: die Objekterkennung. Im Falle des klassischen zentralen Deployment werden die Videostreams der Kameras zentral gesammelt und durch den Objekterkennungsalgorithmus zwecks Inferenz geleitet. Das Ergebnis sind die Konfidenz, Boxkoordinaten und Klassennamen der erkannten Objekte. Wenn nun die Anforderung an eine Echtzeitverarbeitung besteht, muss der Videostream einer Kamera mit der ben\u00f6tigten Aufl\u00f6sung und Framerate (FPS) \u00fcbertragen werden. Dieser Datenstrom multipliziert sich mit der gew\u00fcnschten Anzahl von Ger\u00e4ten und erreicht schnell die ben\u00f6tigten Transfergeschwindigkeiten von mehreren Megabyte beziehungsweise Gigabyte pro Sekunde (je nach Setup), die zum Rechenzentrum transferiert werden m\u00fcssen. Selbstverst\u00e4ndlich werden durch diese daf\u00fcr erforderliche Bandbreite Kosten anfallen, die nicht zu vernachl\u00e4ssigen sind.<\/p>\n\n\n\n
Eine m\u00f6gliche Edge-L\u00f6sung f\u00fcr dieses Problem k\u00f6nnte zum Beispiel ein direkt an die Kamera angeschlossener Rechner sein, auf dem der Objekterkennungsalgorithmus ausgef\u00fchrt wird. \u00dcbermittelt wird hierbei nur noch der Ergebnisstring, der im Vergleich zum Videostream zur \u00dcbermittelung nur wenige Kilobyte pro Sekunde an Bandbreite erfordert. Da der ben\u00f6tigte Edge-Rechner in diesem Szenario nur die Aufgabe hat den Videostream auszuwerten und zu \u00fcbermitteln, kann auf typische kosteng\u00fcnstige Kleinstrechner zur\u00fcckgegriffen werden, welche bereits f\u00fcr unter 100 Euro erworben werden k\u00f6nnen. Diese Herangehensweise ist besonders attraktiv, wenn f\u00fcr die L\u00f6sung der technischen Aufgabenstellung sehr viele Ger\u00e4te ben\u00f6tigt werden. Sie erfordert jedoch zus\u00e4tzlich eine genaue Abstimmung zwischen Edge-Rechner und KI-Modell.<\/p>\n\n\n\n Zu einem wesentlichen Fortschritt im Bereich Edge Deployment hat unter anderem die Automobilindustrie mit der Erforschung autonom fahrender Fahrzeuge beigetragen. Hier ist der Bedarf f\u00fcr kleine, ressourceneffiziente L\u00f6sungen besonders gro\u00df, die auf der einen Seite gro\u00dfe Datenstr\u00f6me (zum Beispiel durch Kameraaufnahmen) zuverl\u00e4ssig in Echtzeit verarbeiten k\u00f6nnen und auf der anderen Seite konkurrenzf\u00e4hig auf dem Massenmarkt bleiben m\u00fcssen. Dabei wird insbesondere der ganzheitliche Charakter der ben\u00f6tigten L\u00f6sungen wieder ersichtlich: Angefangen von der ma\u00dfgeschneiderten, ressourcenoptimierten Hardware hin zu speziell entwickelten Netzwerkarchitekturen f\u00fcr neuronale Netze, die gegen\u00fcber etablierten Objekterkennungsalgorithmen ein Deployment auf einer ressourcenbeschr\u00e4nkten Hardware beg\u00fcnstigen. Gerade bei neuronalen Netzen, welche besonders den Bereich der Bildverarbeitung in den letzten Jahren stark gepr\u00e4gt haben, ist die Anzahl der Modellparameter besonders kritisch. Das hei\u00dft, dass eine Reduktion der Modelparameter zusammen mit den n\u00f6tigen Operationen w\u00fcnschenswert ist, um die Inferenzgeschwindigkeit und somit die FPS-Rate zu maximieren. Ungl\u00fccklicherweise besitzen viele Branchen nicht die finanziellen Mittel der Automobilindustrie. Jedoch lassen sich viele der entwickelten L\u00f6sungen mit relativ wenig Aufwand auf andere Bereiche \u00fcbertragen. Gerade f\u00fcr weit verbreitete Datentypen wie Bild, Text und Audio lassen sich Wissen und ganze Modelle so auch in anderen Praxisfeldern anwenden.<\/p>\n\n\n\n Ein neuer Aspekt des Edge Deployment ist die Erweiterung der Modelltrainingsm\u00f6glichkeiten. Hierbei ist zwischen dem zentralen Training und anschlie\u00dfenden dezentralen Edge Deployment und dem g\u00e4nzlich dezentralen Training (federated training) zu unterscheiden. Gerade das g\u00e4nzlich dezentrale Training besticht durch das Wegfallen der Bedingung, dass Trainingsdaten zentral gespeichert werden m\u00fcssen und ist besonders im Falle sensibler oder sehr gro\u00dfen Daten eine effiziente M\u00f6glichkeit KI-Modelle sicher zu trainieren. Sowohl das verteilte Lernen aber auch die Kompression von Modellen ist meist iterativ und erfordert ein umsichtiges Management der Trainingsl\u00e4ufe. Auch hier ist es empfehlenswert auf die Erkenntnisse aus dem Bereich Machine Learning Operations (MLOps)<\/a> zur\u00fcckzugreifen und von der initialen Architekturauslegung hinzu dem operativen Training und der Revisionierung von KI-Modellen s\u00e4mtliche Aspekte in einem fr\u00fchen Stadium mit abzubilden. MLOps beschreibt eine Mischung aus klassischen DevOps und Machine Learning Ans\u00e4tzen und verfolgt die systematische Planung und Implementierung solcher L\u00f6sungen.<\/p>\n\n\n\n![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/trash2.gif\" "\\"\\"")
Ein Beispiel f\u00fcr einen Objekterkennungsalgorithmus basierend auf der SqueezeDet Architektur<\/a>, der sich besonders f\u00fcr ein Deployment auf ressourcenbeschr\u00e4nkten Systemen eignet \u2013 Dieses Modell erm\u00f6glicht das Erkennen von M\u00fcll und soll auf Fahrzeugen platziert werden, um Verschmutzungen zu kartographieren (Originalvideo: Pressmaster<\/a>).<\/figcaption><\/figure>\n\n\n\nAutonomes Fahren als Vorreiter<\/h2>\n\n\n\n
Dezentrales Training und Datenmanagement<\/h2>\n\n\n\n