{"id":20684,"date":"2025-04-09T05:56:16","date_gmt":"2025-04-09T05:56:16","guid":{"rendered":"https:\/\/lamarr-institute.org\/?post_type=blog&p=20684"},"modified":"2025-11-12T14:54:19","modified_gmt":"2025-11-12T14:54:19","slug":"action-space-design-reinforcement-learning","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/action-space-design-reinforcement-learning\/","title":{"rendered":"Action Space Design \u2013 Reinforcement Learning f\u00fcr Roboter Skills\u00a0"},"content":{"rendered":"\n

Einleitung<\/h2>\n\n\n\n

Reinforcement Learning (RL) ist eine leistungsstarke Methode zur Entwicklung von Roboter-Motorf\u00e4higkeiten (siehe die vorherigen Blogbeitr\u00e4ge der RL-f\u00fcr-Robotik-Serie<\/a>). Die Auswahl des geeigneten Action Spaces f\u00fcr das Lernen ist jedoch entscheidend und basiert oft auf Intuition. Ein Roboter mit R\u00e4dern kann beispielsweise einen Geschwindigkeits-Action Space f\u00fcr die R\u00e4der nutzen, w\u00e4hrend ein laufender Roboter typischerweise Gelenkpositionen verwendet und Manipulatoren kartesische Zielpunkte ansteuern. Obwohl etablierte Action Spaces wie die Positionssteuerung f\u00fcr laufende Roboter existieren, bleiben wichtige Fragen offen: Warum ist Positionssteuerung f\u00fcr laufende Roboter effektiver als die direkte Nutzung von Drehmomenten? Ist sie f\u00fcr alle Robotikaufgaben geeignet, oder gibt es effektivere Optionen f\u00fcr verschiedene Systeme? <\/p>\n\n\n\n

Roboter operieren im Allgemeinen innerhalb eines physikalisch definierten Action Spaces, in denen elektrischen Antriebe typischerweise Strom verwenden, um \u00fcber eine hochfrequente Regelung Drehmomente zu generieren. W\u00e4hrend RL-Policies direkt Drehmomente ausgeben k\u00f6nnen, empfehlen viele Studien alternative Action Spaces wie Gelenkpositionen, Gelenkgeschwindigkeiten oder aufgabenbezogene Sollwerte, die durch Regelkreise in Drehmomente umgewandelt werden. Die Wahl des Action Spaces beeinflusst das Roboterlernen erheblich, z. B. in Bereichen wie Charakteranimation, Manipulation und fliegende Roboter. Obwohl Positionssteuerung oft bevorzugt wird, deuten einige Studien darauf hin, dass andere Action Spaces f\u00fcr bestimmte Aufgaben effektiver sein k\u00f6nnen. <\/p>\n\n\n\n

Die Omniverse Isaac Gym Suite f\u00fcr robotische Lernaufgaben verdeutlicht die Komplexit\u00e4t der Implementierung von Action Spaces mit einer Vielzahl unterschiedlicher Varianten. Vor diesem Hintergrund untersucht unsere Studie die Auswirkungen der Action Space Wahl auf verschiedene Aufgaben und Roboter mit unterschiedlichen Dynamiken (siehe Abb. 1). <\/p>\n\n\n\n

\"-
Abb. 1: \u00dcberblick \u00fcber die Roboterlernaufgaben in unserer Fallstudie, die verschiedene Action Spaces umfasst. Wir analysieren eine Teilmenge der Omniverse Isaac Gym Suite sowie die Plattformen evoBOT und Go1, um Anwendern bei der Auswahl des geeigneten Action Spaces f\u00fcr neue Aufgaben zu helfen.
\u00a9 Fraunhofer IML, MIT, NVIDIA.<\/figcaption><\/figure>\n\n\n\n

Generalisierter Action Space<\/h2>\n\n\n\n

Zu diesem Zweck f\u00fchren wir eine generalisierte Parametrisierung von Action Spaces ein, die eine einheitliche Darstellung g\u00e4ngiger, konfigurationsbasierter Aufgaben erm\u00f6glicht (siehe Abb. 2). In RL kann die Umwandlung von Policy-Ausgaben, Zust\u00e4nden und historischen Informationen in Drehmomentbefehle beschrieben werden. Obwohl dieses Rahmenwerk sowohl aufgabenbezogene als auch konfigurationsbezogene Action Spaces umfasst, konzentriert sich unsere Studie auf konfigurationsbasierte Steuerung, die Gelenkpositionen, Geschwindigkeiten und Drehmomente umfasst. <\/p>\n\n\n\n

Wir identifizieren g\u00e4ngige Action Spaces innerhalb dieses Rahmens. Wenn Befehls- und Drehmomentaktualisierungen mit der gleichen Frequenz erfolgen, k\u00f6nnen diese Action Spaces als lineare Abbildungen von Zustand und Aktion auf Drehmoment dargestellt werden. Dieser Ansatz verdeutlicht intuitive Zusammenh\u00e4nge zwischen Action Spaces; beispielsweise kann Delta-Positionssteuerung mit einem einfachen Integrator einem Drehmomentregelungsansatz mit einem D\u00e4mpfungsterm entsprechen, und Delta-Geschwindigkeitssteuerung kann mit Drehmomentregelung \u00fcbereinstimmen. <\/p>\n\n\n\n

Die generalisierte Parametrisierung erm\u00f6glicht zudem die Interpretation der beteiligten Parameter als Teil der letzten Schicht des Policy-Netzwerks. Die Wahl des Action Spaces h\u00e4ngt damit zusammen, wie diese Parameter initialisiert werden. Dies f\u00fchrt zu der Frage, ob die Vorteile eines bestimmten Action Spaces aus seiner Architektur (die effektives Lernen erleichtert) oder aus der richtigen Initialisierung (die die Leistung verbessert) resultieren. <\/p>\n\n\n\n

\"-
Abb. 2: Generalisierter Action Space f\u00fcr Roboterlernen<\/strong>.\u202fA. <\/strong>Klassische Aufteilung des Reglers in ein neuronales Netz und einen Low-Level-Controller.\u202fB. <\/strong>Verallgemeinerte Parametrisierung von Action Spaces, wobei der Low-Level-Controller als lineare Schicht im Lernschema fungiert.\u202fC.<\/strong> Die Unterschiede zwischen den Action Spaces k\u00f6nnen in der Architektur der Strategie und der Initialisierung gesehen werden, wobei ein Raum vortrainiert wird, um die Erkundung eines anderen zu replizieren.
\u00a9 Fraunhofer IML & MIT<\/figcaption><\/figure>\n\n\n\n

Praxisleitfaden f\u00fcr die Auswahl des Action Spaces<\/h2>\n\n\n\n

Unsere Ergebnisse zeigen, dass die Wahl des Action Spaces vom jeweiligen Roboter und der zu lernenden Aufgabe abh\u00e4ngt. Hier sind einige Richtlinien zur Auswahl des richtigen Action Spaces f\u00fcr neue Robotikaufgaben:\u00a0<\/p>\n\n\n\n

    \n
  1. Einfluss der Dynamik:<\/strong> Der gew\u00e4hlte Action Space beeinflusst das Lernen erheblich in Abh\u00e4ngigkeit der Dynamik des Roboters. Zwei Roboter k\u00f6nnen sogar gegens\u00e4tzliche Trends in der Wahl des Action Spaces f\u00fcr dieselbe Lernaufgabe zeigen. Daher sollten die Bewegungsweise und Dynamik des Roboters ber\u00fccksichtigt werden. Positionssteuerung kann hilfreich sein, wenn Gelenke in einer bestimmten Position gehalten werden sollen, und Drehmomentsteuerung, wenn eine kontinuierliche Drehbewegung erforderlich ist.\u00a0<\/li>\n\n\n\n
  2. Tunen von Explorationsverhalten:<\/strong> Die Wahl des Action Spaces beeinflusst das Explorationsverhalten. F\u00fcr manche Aufgaben kann eine gezielte Anpassung der anf\u00e4nglichen Exploration die Leistungsunterschiede zwischen Action Spaces erheblich reduzieren. Die Visualisierung von Position, Geschwindigkeit und Drehmoment mit einer untrainierten Policy kann wertvolle Einblicke liefern. Dar\u00fcber hinaus kann ein Einstieg mit Imitationslernen helfen, Verhaltensweisen aus verschiedenen Action Spaces zu kombinieren.\u00a0<\/li>\n\n\n\n
  3. \u00dcbertragbarkeit von Action Spaces:<\/strong> Obwohl es deutliche Unterschiede in der RL-Leistung zwischen Action Spaces geben kann, lassen sich effektive Policies oft \u00fcber verschiedene Action Spaces hinweg mit \u00e4hnlichen Ergebnissen anpassen. Die Wahl geeigneter Reglerparameter hingegen kann das Lernen f\u00fcr eine Aufgabe erheblich verbessern. Falls ein sp\u00e4terer Transfer der Policy notwendig wird, kann ein Teacher-Student Ansatz die \u00dcbertragung erm\u00f6glichen.\u00a0<\/li>\n\n\n\n
  4. Einfluss der Regelungsfrequenz:<\/strong> Das Verhalten der Policy zwischen den Zeitschritten kann die finale Leistung beeinflussen, wobei die Effekte variieren k\u00f6nnen. Unsere Ergebnisse zeigen, dass eine enge Abstimmung zwischen Hoch- und Niedrigfrequenzsteuerung vorteilhaft ist. In vielen F\u00e4llen scheint es vorteilhaft zu sein die Policy mit hoher Frequenz laufen zu lassen, ohne Frames zu \u00fcberspringen, um eine bessere Leistung zu erzielen.\u00a0<\/li>\n<\/ol>\n\n\n\n

    Zusammenfassung<\/h2>\n\n\n\n

    Diese Studie hat die Auswirkungen der Action Space Wahl auf das Lernen f\u00fcr verschiedene Roboterplattformen untersucht. Unsere Ergebnisse zeigen, dass die Wahl des Action Spaces das Lernen erheblich beeinflusst. So k\u00f6nnen unterschiedliche Roboter sogar gegens\u00e4tzliche Trends f\u00fcr die gleiche zu lernende Aufgabe aufzeigen, was die Notwendigkeit einer dynamikbasierten Auswahl des Action Spaces unterstreicht. <\/p>\n\n\n\n

    Wir fanden zudem heraus, dass eine gezielte Anpassung des Explorationsverhaltens helfen kann, Leistungsunterschiede zwischen Action Spaces f\u00fcr bestimmte Aufgaben zu verringern. Diese Strategie ist jedoch nicht universell wirksam, was die aufgabenabh\u00e4ngige Natur der Exploration unterstreicht. Dar\u00fcber hinaus k\u00f6nnen effektive Policies trotz Leistungsunterschieden zwischen Action Spaces oft mit \u00e4hnlichem Erfolg angepasst werden. Dies zeigt, dass die Charakteristiken eines Action Spaces zwar wichtig sind, aber nicht zwangsl\u00e4ufig die optimale Leistung bestimmt. Schlie\u00dflich konnte eine enge Wechselwirkung zwischen der Abstimmung der Regelungsfrequenz und der Action Space Darstellung identifiziert werden, was die Komplexit\u00e4t der Optimierung von Action Spaces in Bezug auf zeitliche Steuerungsparameter verdeutlicht. <\/p>\n\n\n\n

    Insgesamt zeigen unsere Erkenntnisse, dass die Auswahl des Action Spaces die Lernleistung aufgabenabh\u00e4ngig stark beeinflussen kann. Die praktischen Auswirkungen von Action Spaces lassen sich prim\u00e4r auf eine verbesserte Initialisierung der Policies und das Verhalten zwischen Zeitschritten zur\u00fcckf\u00fchren. Dies liefert wertvolle Erkenntnisse zur Optimierung des robotischen Lernens und der Steuerung \u00fcber verschiedene Plattformen und Aufgaben hinweg. <\/p>\n\n\n\n

    Weitere Details zur Methodik, den Benchmarking-Ergebnissen und dem Trainingssetup sind in der Open-Source Publikation<\/a> aufgezeigt, welche auf der Conference on Robot Learning (CoRL) 2024<\/a> vorgestellt wurde. <\/p>\n","protected":false},"excerpt":{"rendered":"

    Praktiker verlassen sich bei der Auswahl von Aktionsr\u00e4umen f\u00fcr Roboter-Lernaufgaben in der Regel auf ihre Intuition. Diese Studie untersucht die Auswahl von Aktionsr\u00e4umen f\u00fcr verschiedene Aufgaben und Roboter und bietet praktische Richtlinien f\u00fcr die Roboterlerngemeinschaft. <\/p>\n","protected":false},"author":22,"featured_media":20691,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,396],"blog-tag":[1587,1589],"class_list":["post-20684","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-forschung","blog-tag-reinforcement-learning-de","blog-tag-robotik"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/20684","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/22"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/20684\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/20691"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=20684"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=20684"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=20684"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}