Entwurf intelligenter Schnittstellen<\/span><\/h2>\n\n\n\nZentrale Punkte, um die das Intelligente Regal entworfen wurden, sind also in erster Linie Nutzungsfreundlichkeit und Energieeffizienz. Hierzu wurde auf ein flexibles Design gesetzt und einzelne Interaktionskomponenten entworfen, die einerseits zusammenspielen, aber auch individuell genutzt werden k\u00f6nnen. Dies gilt sowohl f\u00fcr die physischen Interaktionsmodule, die frei an Regalen im Lager platziert werden k\u00f6nnen, als auch f\u00fcr die Software. Die angebrachten Module agieren unabh\u00e4ngig voneinander und k\u00f6nnen daher auch zeitgleich von unterschiedlichen Mitarbeiter*innen genutzt werden. Der Informationsfluss wird dabei \u00fcber einen Leitstand geregelt.<\/p>\n\n\n\n
Die intelligenten Softwarekomponenten lassen sich an der Schnittstelle zwischen dem\/der Mitarbeiter*in und dem Interaktionsmodul finden. Die Mitarbeiter*innen k\u00f6nnen zum Beispiel \u00fcber einen ML-basierten Sprachassistenten mit dem Warenmanagementsystem (WMS) interagieren und durch diesen auf ihre aktuellen Kommissionierauftr\u00e4ge zugreifen. Treten Probleme auf oder ist ein Auftrag abgeschlossen, k\u00f6nnen sie dies dem WMS \u00fcber Sprachbefehle mitteilen. Eine weitere wesentliche Komponente des Intelligenten Regals ist die Personenidentifikation: Sie stellt eine Sicherheitsfunktion sowie auch eine wichtige Personalisierungskomponente dar. Anstatt eines Passwortes wird im Falle des Intelligenten Regals der Login \u00fcber eine visuelle Identifikation in Form einer Gesichtserkennung geregelt. Diese gew\u00e4hrt nicht nur den Zugang zum System, sondern ruft gleichzeitig die f\u00fcr diesen Nutzer hinterlegten Auftr\u00e4ge auf und passt den Sprachassistent an dessen Pr\u00e4ferenzen an.<\/p>\n\n\n\n
Gesichtsdetektion mit vortrainierten Netzen<\/span><\/h2>\n\n\n\nZu Beginn befindet sich das Modul in einer Art Ruhemodus, um in inaktiven Zeiten m\u00f6glichst wenig Energie zu verbrauchen. Haupts\u00e4chlich wird eine Anwesenheitserkennung mit Strom versorgt. Nimmt diese eine N\u00e4herung an das Modul wahr, wird das restliche Modul aufgeweckt, welches dann von dem Bereich unmittelbar vor sich eine Bildaufnahme startet. Die Bildaufnahme wird daraufhin an die Personenidentifikation weitergeleitet. Eine festgelegte \u201eVerweildauer\u201c und ein vorher bestimmter Radius verhindern, dass Aufnahmen von zuf\u00e4llig vorbeikommenden Personen gemacht werden.<\/p>\n\n\n\n
Identifiziert werden die Personen anhand ihrer individuellen Gesichtsmerkmale (zum Beispiel die allgemeine Gesichtsform, Augenform, Brille, etc.). Dies geschieht jedoch in einem geschachtelten, mehrschrittigen Prozess: Zuerst durchl\u00e4uft die Momentaufnahme des Mitarbeiters oder der Mitarbeiterin ein Modell zur Gesichtsdetektion, daraufhin werden numerische Merkmalsvektoren (Embeddings), generiert und zur eigentlichen Gesichtsidentifikation weitergeleitet. Die Identifikation wird als Klassifikationsproblem gehandhabt und es wird eine Entscheidung \u00fcber die Identit\u00e4t des Mitarbeiters oder der Mitarbeiterin getroffen. Die Gesichtsdetektion an erster Stelle ist wichtig, um einen genauen Rahmen um das zu identifizierende Gesicht bestimmen zu k\u00f6nnen. Sollte sich au\u00dferdem doch noch eine Person im Hintergrund befinden, wird diese an dieser Stelle aus dem Bild herausgefiltert.<\/p>\n\n\n\n![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/Farbanpassung_1_Pipeline_Abbildung_Notizen-1024x435.png\" "\\"\\"")
\u00a9 Fraunhofer IML
Datenfluss w\u00e4hrend der Personenidentifikation<\/figcaption><\/figure>\n\n\n\nIn der Implementation wurde auf einige vortrainierte neuronale Netze zur\u00fcckgegriffen, um eine m\u00f6glichst gro\u00dfe Diversit\u00e4t von Gesichtern einfangen und die Zuverl\u00e4ssigkeit des Systems verbessern zu k\u00f6nnen. Darunter fallen das Multi-task Cascaded Neural Network (MTCNN) zur Gesichtsdetektion und das FaceNet zur Generierung der Gesicht-Embeddings.<\/p>\n\n\n\n
Das MTCNN besteht aus einer Reihe gekoppelter Convolutional Neural Networks (CNNs) und detektiert mit hoher Trefferquote potenzielle Gesichter, welche es durch eine Reihe elementarer Charakteristika findet, die es im Input sucht: Die f\u00fcnf Grundpunkte Augen, Nase und Mundwinkel. Als Output gibt es Rahmenkoordinaten (Bounding Boxes) f\u00fcr die Gesichter aus. Zum Generieren der Merkmalsvektoren wird daraufhin das FaceNet eingesetzt. \u00c4hnlich wie das MTCNN, ist das FaceNet auf das Enkodieren von Gesichtsmerkmalen spezialisiert und erzeugt Vektoren, die die individuellen Gesichtsmerkmale einer Person einfangen und differenziert beschreiben. Aufgrund des Trainings auf einem Datensatz mit mehreren Tausend Personen, ist es in der Lage, wichtige Schl\u00fcsselmerkmale zu enkodieren und repr\u00e4sentative Embeddings von Personen jeglichen Aussehens zu erzeugen.<\/p>\n\n\n\n
Herausforderungen einer Multiclass-Klassifikation<\/h2>\n\n\n\n
Ein Anwendungsfall, der die Konzipierung der Personenidentifikation stark beeinflusst hat, ist der Login-Versuch eines nicht-registrierten User, also einer dem System \u201eunbekannten\u201d Person. Es sollte nicht vorkommen, dass eine unbekannte Person f\u00e4lschlicher Weise einer der bekannten Personen zugeordnet wird und somit Zugriff erh\u00e4lt. Um auch diesen Fall abdecken und vermeiden zu k\u00f6nnen, wurde f\u00fcr die Identifikation ein Ensemble (eine Kombination mehrerer Klassifikatoren) bestehend aus Support Vektor Machines (SVMs) und einem Kosinus-Distanz Algorithmus implementiert. Beide Modelle f\u00fchren eigenst\u00e4ndige Klassifikationen durch, die anschlie\u00dfend gemeinsam verarbeitet werden. Im Falle von registrierten Usern, sollten beide dieselbe Entscheidung treffen, im Falle von nicht-registrierten Usern, sollte es jedoch zu einem Konflikt kommen.<\/p>\n\n\n\n![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/2_Klassifikation_Prozess.png\" "\\"\\"")
\u00a9 Fraunhofer IML
Ensemble-Klassifikation der beiden Modelle<\/figcaption><\/figure>\n\n\n\nDie SVMs sind gut darin einen bekannten User wiederzuerkennen, k\u00f6nnen aber keine Ablehnung von unbekannten Personen vornehmen. Daf\u00fcr ist das Kosinusmodell zust\u00e4ndig, welches \u00c4hnlichkeitswerte f\u00fcr jeden registrierten User berechnet. Anhand dessen kann dann eine fundierte Entscheidung \u00fcber die Bekanntheit einer Person getroffen werden.<\/p>\n\n\n\n
F\u00fcr einen registrierten User werden nach erfolgreicher Identifikation die Informationen des aktuellen Kommissionierauftrags auf dem SmartDevice dargestellt. \u00dcber den Sprachassistenten oder die manuelle Eingabe durch die Kn\u00f6pfe kann der User den Auftrag bearbeiten und als erf\u00fcllt kennzeichnen oder Probleme melden.<\/p>\n\n\n\n![\"-](\"https:\/\/lamarr-institute.org\/wp-content\/uploads\/3_KommissionierungBeitragsbild-1024x565.jpg\" "\\"\\"")
\u00a9 Fraunhofer IML
Eigens entwickeltes Interaktionsmodul mit einem ma\u00dfgeschneiderten Linux-basierten Betriebssystem <\/figcaption><\/figure>\n\n\n\nPrototyping vs. Industrieanwendung<\/h2>\n\n\n\n
Ziel dieser Arbeit ist das Ausprobieren der technischen M\u00f6glichkeiten, damit eine L\u00f6sung f\u00fcr ein aktuelles Problem eines exemplarischen Anwendungsfalls entwickelt werden kann. Dabei geht es noch nicht um ein fertiges, industriereifes Produkt, sondern um einen sogenannten \u201eProof-of-Concept\u201d. Zu Beginn des Projektes wurden bestimmte Abl\u00e4ufe, sogenannte User Stories, definiert, die es zu realisieren galt.<\/p>\n\n\n\n
Da der Fokus einer solchen Arbeit auf der technischen Machbarkeit liegt, werden dabei bestimmte Aspekte explizit nicht ber\u00fccksichtigt. In diesem Fall wurden Konzepte f\u00fcr den Datenschutz oder IT-Sicherheit bewusst ausgeklammert.<\/p>\n\n\n\n
F\u00fcr den Einsatz in der Industrie m\u00fcssten diese Punkte ebenfalls ausgearbeitet und der Prototyp noch um die Kundenanforderungen und Qualit\u00e4tssicherung erweitert werden. Dennoch bietet das Intelligente Regal schon vielversprechende Ans\u00e4tze, die in Folgeprojekten noch weiterentwickelt werden sollen.<\/p>\n\n\n\n
Mehr Informationen zur Interaktion mit dem Intelligenten Regal in dem folgenden Video:<\/p>\n\n\n\n
Zu Beginn befindet sich das Modul in einer Art Ruhemodus, um in inaktiven Zeiten m\u00f6glichst wenig Energie zu verbrauchen. Haupts\u00e4chlich wird eine Anwesenheitserkennung mit Strom versorgt. Nimmt diese eine N\u00e4herung an das Modul wahr, wird das restliche Modul aufgeweckt, welches dann von dem Bereich unmittelbar vor sich eine Bildaufnahme startet. Die Bildaufnahme wird daraufhin an die Personenidentifikation weitergeleitet. Eine festgelegte \u201eVerweildauer\u201c und ein vorher bestimmter Radius verhindern, dass Aufnahmen von zuf\u00e4llig vorbeikommenden Personen gemacht werden.<\/p>\n\n\n\n
Identifiziert werden die Personen anhand ihrer individuellen Gesichtsmerkmale (zum Beispiel die allgemeine Gesichtsform, Augenform, Brille, etc.). Dies geschieht jedoch in einem geschachtelten, mehrschrittigen Prozess: Zuerst durchl\u00e4uft die Momentaufnahme des Mitarbeiters oder der Mitarbeiterin ein Modell zur Gesichtsdetektion, daraufhin werden numerische Merkmalsvektoren (Embeddings), generiert und zur eigentlichen Gesichtsidentifikation weitergeleitet. Die Identifikation wird als Klassifikationsproblem gehandhabt und es wird eine Entscheidung \u00fcber die Identit\u00e4t des Mitarbeiters oder der Mitarbeiterin getroffen. Die Gesichtsdetektion an erster Stelle ist wichtig, um einen genauen Rahmen um das zu identifizierende Gesicht bestimmen zu k\u00f6nnen. Sollte sich au\u00dferdem doch noch eine Person im Hintergrund befinden, wird diese an dieser Stelle aus dem Bild herausgefiltert.<\/p>\n\n\n\n In der Implementation wurde auf einige vortrainierte neuronale Netze zur\u00fcckgegriffen, um eine m\u00f6glichst gro\u00dfe Diversit\u00e4t von Gesichtern einfangen und die Zuverl\u00e4ssigkeit des Systems verbessern zu k\u00f6nnen. Darunter fallen das Multi-task Cascaded Neural Network (MTCNN) zur Gesichtsdetektion und das FaceNet zur Generierung der Gesicht-Embeddings.<\/p>\n\n\n\n Das MTCNN besteht aus einer Reihe gekoppelter Convolutional Neural Networks (CNNs) und detektiert mit hoher Trefferquote potenzielle Gesichter, welche es durch eine Reihe elementarer Charakteristika findet, die es im Input sucht: Die f\u00fcnf Grundpunkte Augen, Nase und Mundwinkel. Als Output gibt es Rahmenkoordinaten (Bounding Boxes) f\u00fcr die Gesichter aus. Zum Generieren der Merkmalsvektoren wird daraufhin das FaceNet eingesetzt. \u00c4hnlich wie das MTCNN, ist das FaceNet auf das Enkodieren von Gesichtsmerkmalen spezialisiert und erzeugt Vektoren, die die individuellen Gesichtsmerkmale einer Person einfangen und differenziert beschreiben. Aufgrund des Trainings auf einem Datensatz mit mehreren Tausend Personen, ist es in der Lage, wichtige Schl\u00fcsselmerkmale zu enkodieren und repr\u00e4sentative Embeddings von Personen jeglichen Aussehens zu erzeugen.<\/p>\n\n\n\n Ein Anwendungsfall, der die Konzipierung der Personenidentifikation stark beeinflusst hat, ist der Login-Versuch eines nicht-registrierten User, also einer dem System \u201eunbekannten\u201d Person. Es sollte nicht vorkommen, dass eine unbekannte Person f\u00e4lschlicher Weise einer der bekannten Personen zugeordnet wird und somit Zugriff erh\u00e4lt. Um auch diesen Fall abdecken und vermeiden zu k\u00f6nnen, wurde f\u00fcr die Identifikation ein Ensemble (eine Kombination mehrerer Klassifikatoren) bestehend aus Support Vektor Machines (SVMs) und einem Kosinus-Distanz Algorithmus implementiert. Beide Modelle f\u00fchren eigenst\u00e4ndige Klassifikationen durch, die anschlie\u00dfend gemeinsam verarbeitet werden. Im Falle von registrierten Usern, sollten beide dieselbe Entscheidung treffen, im Falle von nicht-registrierten Usern, sollte es jedoch zu einem Konflikt kommen.<\/p>\n\n\n\n Die SVMs sind gut darin einen bekannten User wiederzuerkennen, k\u00f6nnen aber keine Ablehnung von unbekannten Personen vornehmen. Daf\u00fcr ist das Kosinusmodell zust\u00e4ndig, welches \u00c4hnlichkeitswerte f\u00fcr jeden registrierten User berechnet. Anhand dessen kann dann eine fundierte Entscheidung \u00fcber die Bekanntheit einer Person getroffen werden.<\/p>\n\n\n\n F\u00fcr einen registrierten User werden nach erfolgreicher Identifikation die Informationen des aktuellen Kommissionierauftrags auf dem SmartDevice dargestellt. \u00dcber den Sprachassistenten oder die manuelle Eingabe durch die Kn\u00f6pfe kann der User den Auftrag bearbeiten und als erf\u00fcllt kennzeichnen oder Probleme melden.<\/p>\n\n\n\n Ziel dieser Arbeit ist das Ausprobieren der technischen M\u00f6glichkeiten, damit eine L\u00f6sung f\u00fcr ein aktuelles Problem eines exemplarischen Anwendungsfalls entwickelt werden kann. Dabei geht es noch nicht um ein fertiges, industriereifes Produkt, sondern um einen sogenannten \u201eProof-of-Concept\u201d. Zu Beginn des Projektes wurden bestimmte Abl\u00e4ufe, sogenannte User Stories, definiert, die es zu realisieren galt.<\/p>\n\n\n\n Da der Fokus einer solchen Arbeit auf der technischen Machbarkeit liegt, werden dabei bestimmte Aspekte explizit nicht ber\u00fccksichtigt. In diesem Fall wurden Konzepte f\u00fcr den Datenschutz oder IT-Sicherheit bewusst ausgeklammert.<\/p>\n\n\n\n F\u00fcr den Einsatz in der Industrie m\u00fcssten diese Punkte ebenfalls ausgearbeitet und der Prototyp noch um die Kundenanforderungen und Qualit\u00e4tssicherung erweitert werden. Dennoch bietet das Intelligente Regal schon vielversprechende Ans\u00e4tze, die in Folgeprojekten noch weiterentwickelt werden sollen.<\/p>\n\n\n\n Mehr Informationen zur Interaktion mit dem Intelligenten Regal in dem folgenden Video:<\/p>\n\n\n\n
Datenfluss w\u00e4hrend der Personenidentifikation<\/figcaption><\/figure>\n\n\n\nHerausforderungen einer Multiclass-Klassifikation<\/h2>\n\n\n\n
Ensemble-Klassifikation der beiden Modelle<\/figcaption><\/figure>\n\n\n\n
Eigens entwickeltes Interaktionsmodul mit einem ma\u00dfgeschneiderten Linux-basierten Betriebssystem <\/figcaption><\/figure>\n\n\n\nPrototyping vs. Industrieanwendung<\/h2>\n\n\n\n