{"id":4848,"date":"2023-07-12T05:00:57","date_gmt":"2023-07-12T05:00:57","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/guided-reinforcement-learning-und-robotik\/"},"modified":"2025-11-12T14:54:21","modified_gmt":"2025-11-12T14:54:21","slug":"guided-reinforcement-learning-und-robotik","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/guided-reinforcement-learning-und-robotik\/","title":{"rendered":"Guided Reinforcement Learning \u2013 Ein Konzept f\u00fcr effiziente und effektive Robotik in der realen Welt\u00a0"},"content":{"rendered":"\n

Im ersten Beitrag unserer Blogpost-Reihe \u00fcber Guided Reinforcement Learning (RL)<\/a> haben wir bereits das Potenzial von RL f\u00fcr den Bereich der Robotik gesehen und wie es sich als leistungsf\u00e4higes Tool zum Erlernen der Robotersteuerung erweist. Da es sich jedoch in erster Linie um einen datengesteuerten Ansatz handelt, ist es schwierig, Trainingsdaten effizient zu sammeln und zu nutzen sowie effektive Strategien f\u00fcr den Einsatz in der realen Robotik zu trainieren. Ein m\u00f6glicher Weg zur \u00dcberwindung dieser Herausforderungen ist die Integration von zus\u00e4tzlichem Wissen und die Kombination der St\u00e4rken von daten- und wissensbasierten Ans\u00e4tzen (mehr dazu finden Sie in unserem Blogbeitrag Informed Machine Learning \u2013 Aus Daten und Vorwissen lernen<\/a>). Dieser Blogbeitrag beschreibt die Idee hinter dem Konzept des Guided Reinforcement Learning und gibt dabei Einblicke in die generelle Pipeline, eine neuartige Taxonomie und die Ergebnisse der Evaluierungsstudie.<\/p>\n\n\n\n

Pipeline \u2013 Integration von Wissen in das Training<\/strong><\/h2>\n\n\n\n

Das Wissen selbst kann auf verschiedenen Ebenen der RL-Pipeline integriert werden (vgl. Abb. 1). Zum Beispiel k\u00f6nnte es im Kern der Lernproblemformulierung integriert werden, n\u00e4mlich in der Repr\u00e4sentation der Beobachtungs- oder Aktionsr\u00e4ume des Agenten, wie beispielsweise einer Roboterhand. Dar\u00fcber hinaus k\u00f6nnte zus\u00e4tzliches Wissen auch in die Lernstrategie selbst oder durch die Bereitstellung von zus\u00e4tzlichem Kontext und Struktur f\u00fcr die bevorstehende Lernaufgabe integriert werden. Wird schlie\u00dflich eine Simulationsumgebung f\u00fcr die Erzeugung synthetischer Trainingsdaten verwendet, sind die trainierten Strategien wahrscheinlich mit der Kluft zwischen Simulation und Realit\u00e4t konfrontiert. Zu diesem Zweck kann zus\u00e4tzliches Wissen integriert werden, um diese L\u00fccke weiter zu verkleinern, damit die trainierten RL-Strategien in der realen Welt eingesetzt werden k\u00f6nnen. <\/p>\n\n\n\n

\"-
Abb. 1: Die Pipeline des Guided Reinforcement Learning. Zus\u00e4tzliches Wissen kann auf allen Ebenen der RL-Pipeline integriert werden, um den Trainingsprozess zu beschleunigen und die Leistung in der realen Welt der Robotik zu verbessern.
\u00a9 Fraunhofer IML<\/figcaption><\/figure>\n\n\n\n

Taxonomie \u2013 Eine modulare Toolbox f\u00fcr Reinforcement Learning<\/strong><\/h2>\n\n\n\n

Mit der Idee des Guided RL im Hinterkopf k\u00f6nnte man sich fragen, wie man die Idee der Integration von zus\u00e4tzlichem Wissen praktisch anwenden kann, um intelligentes Verhalten f\u00fcr einen Roboter in der realen Welt zu trainieren. Zu diesem Zweck wurde eine neuartige Taxonomie (siehe Abb. 2) entwickelt, die einen strukturierten \u00dcberblick dar\u00fcber gibt, welche Arten von Wissen hilfreich sein k\u00f6nnen (Knowledge Sources), welche spezifischen Methoden verwendet werden k\u00f6nnen (Guided RL Methods) und wo diese praktisch in die Lernpipeline integriert werden k\u00f6nnen (RL-Pipeline). Drei Arten von Vorwissen bilden die Grundlage f\u00fcr die meisten Guided-RL-Methoden, n\u00e4mlich wissenschaftliches Wissen (z. B. algebraische Gleichungen), Weltwissen (z. B. Fakten aus dem Alltag) und Expertenwissen (z. B. Hyperparameter-Tuning). Diese Wissensquellen k\u00f6nnen mittels verschiedener Guided-RL-Methoden in die RL-Pipeline integriert werden, wie im Folgenden skizziert wird. Die Formulierung des Lernproblems kann in hohem Ma\u00dfe von Expertenwissen profitieren, z. B. durch eine sorgf\u00e4ltige Auswahl des beobachtbaren Raums, der Aufstellung einer komplexen Belohnungsfunktion oder die Bereitstellung abstrahierter Aktionsr\u00e4ume f\u00fcr den RL-Agenten. Ebenso kann die algorithmische Formulierung der Lernstrategie von der Intuition der Experten profitieren, z. B. durch die Auswahl eines Datensatzes zum Trainieren, den Entwurf parallelisierter Lernverfahren oder die Integration von Demonstrationsdaten in den Lernprozess. Dar\u00fcber hinaus hat das Weltwissen in der Regel einen starken Bezug zur Strukturierung der bevorstehenden Lernaufgabe, z. B. durch das Lernen immer komplexerer Aufgaben oder die Aufteilung einer gro\u00dfen Aufgabe in mehrere Teilaufgaben, die nacheinander gelernt werden. Um schlie\u00dflich die Kluft zwischen Simulation und Realit\u00e4t zu \u00fcberbr\u00fccken, k\u00f6nnen verschiedene Wissensquellen n\u00fctzlich sein, um die Systemmodelle zu verbessern, die Umgebungen zu randomisieren oder Anpassungsmodelle zu entwerfen, um den Realismus der simulierten Trainingsumgebungen zu erh\u00f6hen. Durch die Bereitstellung eines strukturierten \u00dcberblicks kann diese Taxonomie als ein modularer Werkzeugkasten betrachtet werden und wird hoffentlich den Forschenden bei der Auswahl geeigneter Methoden f\u00fcr ihre spezifischen Lernprobleme helfen. <\/p>\n\n\n\n

\"-
Abb. 2: Die Taxonomie des Guided Reinforcement Learning. Sie strukturiert die Guided-RL-Forschung nach der zugrundeliegenden Wissensquelle, den spezifischen methodischen Ans\u00e4tzen und deren Integration in die Lernpipeline. Das Ziel dieser Taxonomie ist es, einen strukturierten \u00dcberblick zur Einordnung der aktuellen Forschungsaktivit\u00e4ten zu geben.
\u00a9Fraunhofer IML<\/figcaption><\/figure>\n\n\n\n

Evaluation \u2013 Wann welche Methoden anzuwenden sind<\/strong><\/h2>\n\n\n\n

Ausgehend von der Motivation, gleichzeitig die Effizienz, Effektivit\u00e4t und den Simulation-to-Reality (Sim-to-Real) Transfer des Lernprozesses zu verbessern, wurde eine Evaluationsstudie \u00fcber mehr als 100 aktuelle Forschungsarbeiten durchgef\u00fchrt, um die Wirkung der entsprechenden Guided-RL-Methoden quantitativ zu analysieren. Basierend auf der vorgestellten Taxonomie wurden alle vorgestellten Guided-RL-Methoden analysiert und normalisiert, um ihren relativen Beitrag (siehe Abb. 3, links) zur Reduzierung der Trainingszeit (Effizienz), zur Verbesserung der Policy-Performance (Effektivit\u00e4t) und zur erfolgreichen \u00dcbertragung einer Policy auf den realen Roboter (Sim-to-Real) aufzuzeigen. Insgesamt lassen sich die Ergebnisse dieser Evaluierungsstudie in drei wesentlichen Erkenntnissen zusammenfassen (siehe Abb. 3, rechts), die im Folgenden kurz er\u00f6rtert werden. Erstens wurde festgestellt, dass die Verwendung mehrerer Methoden der Guided-RL-Taxonomy dazu beitragen kann, gleichzeitig die Effizienz, Effektivit\u00e4t und Sim-to-Real zu verbessern. Zweitens stellt sich heraus, dass nicht nur die Anzahl der verwendeten Methoden wichtig ist, sondern sich auch die Wirkungen der eingesetzten Methoden in bestimmten Kombinationen gegenseitig verst\u00e4rken. So lassen sich beispielsweise positive Korrelationen zwischen Dom\u00e4nenanpassung und Dom\u00e4nenrandomisierung f\u00fcr den Sim-to-Real-Transfer und zwischen parallelem Lernen und Dom\u00e4nenrandomisierung f\u00fcr die datengesteuerte Skalierbarkeit feststellen. Schlie\u00dflich stellt sich heraus, dass die Nutzung mehrerer Ebenen der Guided-RL-Pipeline ein effizienteres und effektiveres Training f\u00fcr den Einsatz in der realen Robotik erm\u00f6glichen kann. <\/p>\n\n\n\n

\n
\n
\"-
Abb. 3: Die Bewertung der Methoden des Guided Reinforcement Learning. Auf der Grundlage einer Literaturrecherche zeigen die quantitativen Ergebnisse den relativen Beitrag der jeweiligen Methoden zur Beschleunigung des Trainingsprozesses (Effizienz), zur Verbesserung der Gesamtleistung der Policy (Effektivit\u00e4t) und zum erfolgreichen Einsatz in der realen Welt (Sim-to-Real).
\u00a9 Fraunhofer IML<\/figcaption><\/figure>\n<\/div>\n<\/div>\n\n\n\n
\n
\n

Zusammenfassung <\/h2>\n\n\n\n

Zusammenfassend kann man sagen, dass es drei wichtige Erkenntnisse gibt, die im Zusammenhang mit Guided RL betrachtet werden k\u00f6nnen. Erstens, die allgemeine Idee der Integration von zus\u00e4tzlichem Wissen in den Trainingsprozess als Weg zu dateneffizientem und effektivem Roboterlernen. Zweitens die Guided-RL-Taxonomie, die als modularer Werkzeugkasten f\u00fcr die Integration verschiedener Wissensquellen in die Trainingspipeline angesehen werden kann. Und schlie\u00dflich hat die Evaluierungsstudie in praktischer Hinsicht gezeigt, dass der Einsatz mehrerer Guided-RL-Methoden, die Kombination spezifischer Methoden und die Nutzung mehrerer Ebenen der Guided-RL-Pipeline gleichzeitig die Effizienz und Effektivit\u00e4t des Einsatzes trainierter RL-Policies in der realen Welt verbessern k\u00f6nnen.  <\/p>\n\n\n\n

F\u00fcr weitere Details zum methodischen Ansatz, einen umfassenden \u00dcberblick \u00fcber den Stand der Technik sowie zuk\u00fcnftige Herausforderungen und Richtungen wird der interessierte Leser auf die entsprechende Ver\u00f6ffentlichung im IEEE Robotics and Automation Magazine (IEEE-RAM) verwiesen, die unter folgendem Link verf\u00fcgbar ist (Open-Access): Guided Reinforcement Learning: A Review and Evaluation for Efficient and Effective Real-World Robotics | IEEE Journals & Magazine | IEEE Xplore<\/a> <\/p>\n\n\n\n

Im n\u00e4chsten Blog-Beitrag werden wir untersuchen, wie Guided RL praktisch angewendet werden kann, indem wir die erste reale Robotik-Herausforderung diskutieren: Lernen der dynamischen Fortbewegung f\u00fcr einen zweir\u00e4drigen Roboter! Bleiben Sie dran … <\/p>\n<\/div>\n<\/div>\n","protected":false},"excerpt":{"rendered":"

Guided Reinforcement Learning beschreibt das eigenst\u00e4ndige Erlernen von Steuerungsstrategien f\u00fcr intelligente Roboter. Durch die Einbeziehung von zus\u00e4tzlichem Wissen wird der Trainingsprozess dateneffizienter und effektiver f\u00fcr die Anwendung auf realen Robotern.<\/p>\n","protected":false},"author":16,"featured_media":3804,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,396,733],"blog-tag":[1587,1589,1596,1611],"class_list":["post-4848","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-forschung","blog-category-rl-for-robotics-de","blog-tag-reinforcement-learning-de","blog-tag-robotik","blog-tag-simulation-de","blog-tag-taxonomie"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4848","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/16"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4848\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/3804"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4848"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4848"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4848"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}