{"id":4532,"date":"2022-04-13T03:15:04","date_gmt":"2022-04-13T03:15:04","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/ml-in-der-logistik-bin-picking\/"},"modified":"2025-11-12T14:53:13","modified_gmt":"2025-11-12T14:53:13","slug":"ml-in-der-logistik-bin-picking","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/ml-in-der-logistik-bin-picking\/","title":{"rendered":"ML in der Logistik: Wie k\u00f6nnen CNNs die Automatisierung beim Bin Picking effizienter machen?"},"content":{"rendered":"\n

In diesem Artikel geht es darum, wie Convolutional Neural Networks (CNNs) in der Industrieautomatisierung schneller implementiert werden k\u00f6nnen, indem individuelle Anpassungsprozesse \u00fcberfl\u00fcssig werden und au\u00dferdem ein nahezu sofortiger Einsatz m\u00f6glich wird. Zu diesem Zweck zeigen wir anhand unserer Hauptanwendung Bin Picking (dt.: Griff-in-die-Kiste) auf, wie CNNs klassische Algorithmen wie Clustering und 3D-Matching ersetzen k\u00f6nnen. Insgesamt l\u00e4sst sich unser Hauptkonzept der klassenagnostischen Segmentierung, aber auch allgemein bei Robotermanipulationen in industriellen Anwendungen einsetzen. Die erzielte Verbesserung von Bildverarbeitungssystemen beim Bin Picking kann nicht nur zur Automatisierung der Aufgabe selbst f\u00fchren, sondern kann auch die Effizienz des Materialflusses zwischen und innerhalb von Lagern und Fabriken insgesamt verbessern.<\/p>\n\n\n\n

Die Einf\u00fchrung einer neuen Technologie in der industriellen Automatisierung h\u00e4ngt haupts\u00e4chlich von zwei Faktoren ab: deren Integrationsf\u00e4higkeit und ihrer Zuverl\u00e4ssigkeit. Die CNN-basierte Objektsegmentierung ist eine relativ neue Technologie in der Industrieautomatisierung. Ihre Integration w\u00fcrde es jedoch erm\u00f6glichen, mehrere Aufgaben zu automatisieren, die derzeit noch manuell ausgef\u00fchrt werden. Um CNNs aber schlie\u00dflich in einer beliebigen Anwendung verwenden zu k\u00f6nnen, m\u00fcssen sie einen langen Anpassungsprozess durchlaufen, der zu Beginn eine schlechte Integrierbarkeit und einen hohen Aufwand erfordert. Zudem sehen sich neue Verfahren immer mit der Skepsis der Industrie konfrontiert, wie zuverl\u00e4ssig und reproduzierbar die endg\u00fcltige Implementierung wirklich sein wird. Aus diesen Gr\u00fcnden ist die CNN-basierte Objektsegmentierung in der Forschung bereits gut entwickelt, findet aber in der Automatisierung bislang nur begrenzt Anwendung.<\/p>\n\n\n\n

Diese L\u00fccke zwischen den CNN-F\u00e4higkeiten im Bereich der Forschung und der tats\u00e4chlichen Nutzung in Automatisierungsanwendungen konnte entstehen, weil die Forscher*innen eine wichtige Information auslassen, die in der realen Anwendung genutzt werden kann: das Vorwissen <\/strong>\u00fcber die zu bearbeitenden Objekte oder Objekttypen. Bei diesem Vorwissen handelt es sich ganz einfach um die Datenbank der Fabrik oder des Lagers, in der sich die Listen aller gelagerten Objekte und deren Lagerplatz befinden.<\/p>\n\n\n\n

In der Forschung ist es \u00fcblich, dass bei der Objektsegmentierung mit einer begrenzten Anzahl von Klassen operiert wird. In der Logistik und der Industrie m\u00fcssen hingegen oft Hunderte oder Tausende von Objekttypen segmentiert werden \u2013 und das h\u00e4ufig allein innerhalb ein und derselben Anlage. Au\u00dferdem \u00e4ndern sich die betroffenen Objekte regelm\u00e4\u00dfig, da neue Objekte hinzugef\u00fcgt und andere entfernt werden. Ein CNN, das auf eine bestimmte, begrenzte Anzahl von Objekten trainiert ist, w\u00fcrde in der Industrie keine Verwendung finden \u2013 einfach, weil es wiederholt auf die wechselnden Zielobjekte trainiert werden m\u00fcsste, was mit einem gro\u00dfen Aufwand verbunden ist. Wie bereits erw\u00e4hnt, w\u00e4ren viele Einrichtungen lediglich an einer L\u00f6sung interessiert, die universell einsetzbar ist und eine enorme Anzahl von Objekten abdecken kann, statt an einem Modell mit Begrenzungen.<\/p>\n\n\n\n

Klassenagnostische Segmentierungs-Pipeline<\/span><\/h2>\n\n\n\n

Die Hauptidee der von uns vorgeschlagenen Pipeline basiert auf einer klassenagnostischen Segmentierung und adressiert die zuvor beschriebenen Herausforderungen beim Einsatz von CNNs in der Automatisierung. Bei diesem Ansatz wird der Segmentierungsprozess in die folgenden drei Schritte unterteilt:<\/p>\n\n\n\n

    \n
  1. Die klassenunabh\u00e4ngige Segmentierung:<\/strong> Ein CNN segmentiert alle Objekte im Bild in eine einzige Klasse, unabh\u00e4ngig ihrer Art- oder Objektklasse. Dadurch k\u00f6nnen dieselben CNNs f\u00fcr ein gr\u00f6\u00dferes Objekt-Spektrum verwendet werden, was die Integration von CNNs in der Industrie erleichtert.<\/li>\n\n\n\n
  2. Abruf von Kandidatenobjekten und -bildern: <\/strong>Eine Liste der Objekte, die in der Kiste gelagert sind, wird aus dem Lagerdatensatz abgerufen. Anschlie\u00dfend werden f\u00fcr jedes Objekt sechs vorgespeicherte Bilder abgerufen, die alle Seiten abdecken.<\/li>\n\n\n\n
  3. Der Abgleich-Schritt: <\/strong>Die Objektmasken werden mit der Liste der Kandidatenobjekte abgeglichen. Nach diesem Schritt k\u00f6nnen wir die Segmentierungsmasken aller Objekte klassifizieren lassen.<\/li>\n<\/ol>\n\n\n\n
    \"-
    \u00a9 ML2R
    Die Abbildung zeigt die Architektur der von uns vorgeschlagenen Pipeline. <\/figcaption><\/figure>\n\n\n\n

    Training unseres CNN mit synthetischen Daten<\/h2>\n\n\n\n

    Unser klassenagnostisches CNN entwickelt sich abweichend von Mask R-CNN. F\u00fcr das Training haben wir den synthetisch erzeugten NVIDIA Faling Things Datensatz (FAT)<\/a> verwendet. FAT enth\u00e4lt eine Untermenge von 21 Objekten aus dem YCB-Objektdatensatz<\/a>. Der Trainingsdatensatz umfasst 80.000 Bilder, auf denen sich kein anderes Objekt im Hintergrund befindet. Die Tatsache, dass sich keine anderen Objekte im Hintergrund befinden, ist ein wichtiger Aspekt beim Training. Diese w\u00fcrden sonst das klassendiagnostische CNN verwirren, indem sie als falsch-positiv erkannt werden w\u00fcrden, obwohl sie richtig-positiv sind, da sie nicht in der Annotation enthalten sind.<\/p>\n\n\n\n

    Das folgende Bild zeigt das Ergebnis unserer Segmentierung, wenn sie mit dem Validierungsset getestet wird: Das Netz war also in der Lage, auch ungesehene Objekte, die nicht im Datensatz enthalten waren, zu segmentieren. Dazu geh\u00f6ren die Bratpfanne, die Milchpackung, das Brot, die Teller und die \u00c4pfel.<\/p>\n\n\n\n

    \"-
    \u00a9 ML2R<\/figcaption><\/figure>\n\n\n\n

    Inferenz auf reale Daten (erster Schritt unserer Pipeline)<\/h2>\n\n\n\n

    Aber l\u00e4sst sich das Training mit synthetischen Daten auch auf reale Daten \u00fcbertragen? Dies zeigen die n\u00e4chsten beiden Bilder, die ein Beispiel aus unseren DoPose-Datensatz<\/a> zeigen. Es ist zu erkennen, dass die Daten nach einer schnellen Feinabstimmung gut auf reale Bilder \u00fcbertragen werden k\u00f6nnen. Beachtlich ist au\u00dferdem, dass keines der erkannten Objekte im Datensatz enthalten ist. Dies zeigt, wie gut das Netzwerk verallgemeinern konnte.<\/p>\n\n\n\n

    \n
    \"-
    \u00a9 ML2R\n<\/figcaption><\/figure>\n\n\n\n
    \"-
    \u00a9 ML2R\n<\/figcaption><\/figure>\n
    Das Bild zeigt das Ergebnis der Inferenz auf realen Daten, wo das Netzwerk erfolgreich generalisieren konnte \u2013 obwohl alle erkannten Objekte ungesehene Objekte waren und nicht im Trainingsdatensatz enthalten.<\/figcaption><\/figure>\n\n\n\n

    Merkmalsabgleich (dritter Schritt unserer Pipeline)<\/h2>\n\n\n\n

    Der letzte Teil unserer Pipeline ist der Merkmalsabgleich. Das Bild unten zeigt die klassische ORB-Merkmalskorrespondenz zwischen einem Bild des in der Datenbank gespeicherten Objekts (links) und einem Szenenbild (rechts). Die besten 30 \u00dcbereinstimmungen aus beiden Bildern entsprachen alle demselben Objekt. Das bedeutet, dass der klassische Merkmalsabgleich leicht dazu verwendet werden kann, segmentierte Masken mit den Objektkandidaten abzugleichen, indem zuvor gespeicherte Bilder f\u00fcr die Objekte verwendet werden. F\u00fcr jedes Objekt sollten dabei sechs vorgespeicherte Bilder genutzt werden, die alle sechs Seiten abdecken – das folgende Bild zeigt nur eines, um die Visualisierung zu vereinfachen. Dieser Vorgang wird f\u00fcr jede segmentierte Maske wiederholt, um sie mit der h\u00f6chsten \u00dcbereinstimmung der Kandidatenobjekte zu klassifizieren.<\/p>\n\n\n\n

    \"-
    \u00a9 ML2R\n<\/figcaption><\/figure>\n\n\n\n

    Schlussfolgerungen<\/h2>\n\n\n\n

    Die oben dargestellten Ergebnisse zeigen, dass die von uns vorgeschlagene Pipeline klassische Objekterkennungsalgorithmen (z. B. ICP, 3D-Matching) abl\u00f6sen kann, die immer noch f\u00fcr die Objekterkennung beim Bin Picking verwendet werden. Unsere Pipeline kann diese Algorithmen \u00fcbertreffen, da CNNs bei der Segmentierung besser abschneiden k\u00f6nnen. Au\u00dferdem hat unsere Pipeline gezeigt, dass sie trotz des lernbasierten Ansatzes allgemein genug ist, um diese Algorithmen ersetzen zu k\u00f6nnen. Dadurch k\u00f6nnte zuk\u00fcnftig eine breitere Produktpalette mit der gleichen Roboterzelle bearbeitet werden. Dar\u00fcber hinaus w\u00fcrde dies die zunehmende Automatisierung weiterer Aufgaben erm\u00f6glichen, wie z. B. Beh\u00e4lter mit gemischten Objekten, die Automatisierung von Retouren und vieles mehr.<\/p>\n\n\n\n

    Weitere Details zu diesem Thema finden Sie in unserem Artikel „Object class-agnostic segmentation for practical CNN utilization in industry“, der in den IEEE ICMERR 2021 Conference Proceedings ver\u00f6ffentlicht wurde, Link<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"

    Der Anwendungsbereich von Convolutional Neural Networks (CNNs) in Industrie und Logistik ist aktuell noch begrenzt, obwohl sie dabei helfen k\u00f6nnen, unterschiedliche Aufgaben effizient zu automatisieren. Verschiedene Anwendungsmethoden k\u00f6nnen ihren Einsatz f\u00f6rdern.<\/p>\n","protected":false},"author":9,"featured_media":4543,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,546],"blog-tag":[1447,1456,1457,1519,1552],"class_list":["post-4532","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-anwendung","blog-tag-automation-de","blog-tag-cnns-de","blog-tag-computer-vision-de","blog-tag-industrie-4-0","blog-tag-logistik"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4532","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/9"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4532\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/4543"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4532"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4532"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4532"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}