{"id":4845,"date":"2023-07-05T08:19:48","date_gmt":"2023-07-05T08:19:48","guid":{"rendered":"https:\/\/lamarr-institute.org\/blog\/reinforcement-learning-und-robotik\/"},"modified":"2025-11-12T14:54:21","modified_gmt":"2025-11-12T14:54:21","slug":"reinforcement-learning-und-robotik","status":"publish","type":"blog","link":"https:\/\/lamarr-institute.org\/de\/blog\/reinforcement-learning-und-robotik\/","title":{"rendered":"Einf\u00fchrung in Reinforcement Learning \u2013 Aus Perspektive der Robotik\u00a0"},"content":{"rendered":"\n

Reinforcement Learning (RL) ist ein Teilgebiet des maschinellen Lernens, bei dem ein intelligenter Agent in einer Umgebung Entscheidungen trifft, um eine kumulative Belohnung zu maximieren. Im Gegensatz zu anderen Paradigmen des maschinellen Lernens<\/a> werden die Trainingsdaten also in einem interaktiven Prozess der Erkundung und Nutzung erzeugt. Dieser Blogbeitrag erkundet den Workflow von RL f\u00fcr die Robotik, sowie exemplarische Anwendungsf\u00e4lle und offene Herausforderungen in diesem Forschungsfeld f\u00fcr die Zukunft. <\/p>\n\n\n\n

Workflow \u2013 Wie Roboter lernen zu Handeln <\/h2>\n\n\n\n

Der gesamte RL-Workflow kann als ein iterativer Lernprozess gesehen werden, der auf der sensomotorischen Aktivit\u00e4t eines Agenten mit einer Umgebung beruht (vgl. Abb. 1) – eine nat\u00fcrliche und sehr \u00e4hnliche Perspektive, wie auch wir Menschen lernen! <\/p>\n\n\n\n

\"-
Abb. 1: Der Ablauf des Reinforcement Learning im Kontext der Robotik. Ein iterativer Lernprozess eines Agenten mit der Umwelt als Ergebnis von sensomotorischer Aktivit\u00e4t und Belohnungssignalen
\u00a9 Fraunhofer IML\/ Julian E\u00dfer<\/figcaption><\/figure>\n\n\n\n

Umgebung:<\/strong> Der erste Schritt besteht darin, die Trainingsumgebung, h\u00e4ufig eine Simulationsumgebung, mit Spezifikationen f\u00fcr Aktionen, Beobachtungen und Belohnungen einzurichten. Im Kontext der Robotik bezieht sich der Beobachtungsraum typischerweise auf die verf\u00fcgbaren Sensorquellen des realen Robotersystems und die gew\u00fcnschten Steuerungseingaben. W\u00e4hrend diskrete Aktionsr\u00e4ume oft in RL-Anwendungen zu finden sind, werden in der Robotik typischerweise kontinuierliche Aktionen bevorzugt, die z.B. Positions- oder Geschwindigkeitsziele umfassen. Da Robotik Aufgaben oft Einschr\u00e4nkungen entweder des physikalischen Systems (z.B. Gelenkgrenzen) oder eines gew\u00fcnschten Verhaltensstils beinhalten, werden \u00fcblicherweise komplexe Belohnungsfunktionen verwendet, um gew\u00fcnschte Verhaltensweisen zu erlernen. <\/p>\n\n\n\n

Training<\/strong>: Der zweite Schritt von RL in der Robotik umfasst dann die Festlegung des eigentlichen Trainingsplans des Agenten. Obwohl es verschiedene M\u00f6glichkeiten zur Darstellung der endg\u00fcltigen Strategie gibt, werden heutzutage in der Regel tiefe neuronale Netze f\u00fcr die Zustands-Aktions-Zuordnung verwendet, da sie mit Nichtlinearit\u00e4ten umgehen k\u00f6nnen. Dar\u00fcber hinaus wurde in den letzten Jahren ein breites Spektrum an potenziellen Algorithmen vorgeschlagen. F\u00fcr die Steuerung von Robotern werden in der Regel modellfreie RL-Algorithmen verwendet, da sie kein wahrheitsgetreues Modell der Umgebung erfordern, das oft nicht zur Verf\u00fcgung steht. <\/p>\n\n\n\n

Deployment<\/strong>: Nachdem die trainierten Strategien in den virtuellen Trainingsumgebungen erfolgreich evaluiert wurden, ist es schlie\u00dflich an der Zeit, sie auf das reale Robotersystem zu \u00fcbertragen! Letztendlich h\u00e4ngt der Erfolg der \u00dcbertragung von vielen Faktoren ab, z. B. von der Kluft zwischen der virtuellen und der realen Welt, der Schwierigkeit der bevorstehenden Lernaufgabe oder der Komplexit\u00e4t der Roboterplattform selbst. <\/p>\n\n\n\n

Anwendungen \u2013 RL f\u00fcr Robotik in der realen Welt <\/h2>\n\n\n\n

Reinforcement Learning wird derzeit auf eine Vielzahl von Roboterplattformen und -aufgaben angewendet. Vor allem lernbasierte Steuerungsans\u00e4tze sind besonders vielversprechend, wenn es darum geht, schwer zu konstruierende Verhaltensweisen mit einem hohen Grad an Unsicherheit zu l\u00f6sen – wie wir sie typischerweise in der realen Welt finden. Werfen wir also einen Blick auf drei sehr unterschiedliche Anwendungen der Anwendung von RL auf verschiedene reale Roboteraufgaben:<\/p>\n\n\n\n

\n
\n
\n
<\/div>
<\/div>

Sie sehen gerade einen Platzhalterinhalt von YouTube<\/strong>. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfl\u00e4che unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.<\/p> Mehr Informationen<\/a> <\/div>

Inhalt entsperren<\/a> Erforderlichen Service akzeptieren und Inhalte entsperren<\/a> <\/div> <\/div> <\/div><\/div>\n<\/div>
Abb. 2a: Zu den verschiedenen Arten von Roboteranwendungen geh\u00f6ren beispielsweise die Fortbewegung in schwierigem Gel\u00e4nde,<\/figcaption><\/figure>\n<\/div>\n\n\n\n
\n
\n
<\/div>
<\/div>

Sie sehen gerade einen Platzhalterinhalt von YouTube<\/strong>. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfl\u00e4che unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.<\/p> Mehr Informationen<\/a> <\/div>

Inhalt entsperren<\/a> Erforderlichen Service akzeptieren und Inhalte entsperren<\/a> <\/div> <\/div> <\/div><\/div>\n<\/div>
Abb. 2b: die robuste Manipulation unbekannter Objekte <\/figcaption><\/figure>\n<\/div>\n\n\n\n
\n
\n
<\/div>
<\/div>

Sie sehen gerade einen Platzhalterinhalt von YouTube<\/strong>. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfl\u00e4che unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.<\/p> Mehr Informationen<\/a> <\/div>

Inhalt entsperren<\/a> Erforderlichen Service akzeptieren und Inhalte entsperren<\/a> <\/div> <\/div> <\/div><\/div>\n<\/div>
Abb. 2c: oder die schnelle Navigation in unbekannten Umgebungen. <\/figcaption><\/figure>\n<\/div>\n<\/div>\n\n\n\n
\n
\n
\n

Fortbewegung<\/strong>: Einer der laufenden Forschungsbereiche im Bereich RL f\u00fcr die Robotik ist das Erlernen der dynamischen Fortbewegung. In diesem Fall steigt die Komplexit\u00e4t dieser Aufgabe nicht nur mit der Art der Roboterplattform, sondern auch mit dem zu durchquerenden Gel\u00e4nde. So kann die Fortbewegung eines vierr\u00e4drigen Roboters in flachem Gel\u00e4nde im Allgemeinen als recht einfache Aufgabe angesehen werden, w\u00e4hrend die Fortbewegung eines vierf\u00fc\u00dfigen Roboters in unwegsamem Gel\u00e4nde bereits mit mehr Freiheitsgraden und Unsicherheiten verbunden ist (siehe Abb. 2a). Doch selbst f\u00fcr einfache Roboterplattformen (wie einen vierr\u00e4drigen Roboter) in einfachen Umgebungen (z. B. flacher Boden), wie im ersten Beispiel zu sehen, steigt die Komplexit\u00e4t potenziell weiter an, wenn hochdynamische Bewegungen mit Drifts ber\u00fccksichtigt werden, was die Modellierung aufgrund der gr\u00f6\u00dferen L\u00fccke zwischen Simulation und Realit\u00e4t nochmals erschwert. <\/p>\n\n\n\n

Manipulation<\/strong>: Ebenso kann auch der Bereich der Robotermanipulation von lernbasierten Steuerungsans\u00e4tzen wie RL profitieren. Obwohl die Aufgabe, ein bestimmtes Objekt mit einer bestimmten Roboterplattform zu ergreifen, sicherlich nicht einfach ist, kann sie als l\u00f6sbar angesehen werden, wenn sie in einer kontrollierten Umgebung eingesetzt wird. Wenn es jedoch darum geht, Objekte zu greifen und zu manipulieren, die vorher nicht bekannt sind und sich in Umgebungen befinden, die viele andere (dynamische) Objekte umfassen k\u00f6nnen (siehe Abb. 2c), k\u00f6nnen lernbasierte Ans\u00e4tze einzigartige M\u00f6glichkeiten bieten. So k\u00f6nnten beispielsweise Bilddaten verwendet werden, um RL-Agenten zu trainieren, die die Szene auf menschen\u00e4hnliche Weise verstehen k\u00f6nnen, um optimierte Entscheidungen zu treffen. <\/p>\n\n\n\n

Navigation<\/strong>: Eine weitere Anwendung von RL in der Robotik ist der Bereich der Navigation, bei der es nicht nur um die sensorische Wahrnehmung der Umgebung geht, sondern auch um \u00fcbergeordnete \u00dcberlegungen zu den zu treffenden Entscheidungen. Auch hier kann RL seine St\u00e4rken ausspielen, da sich die Umgebungen als schwierig zu modellieren erweisen. So kann beispielsweise die Aufgabe, sich in einer statischen Umgebung zurechtzufinden, die a priori bekannt ist, als relativ einfach angesehen werden. Wenn es jedoch darum geht, eine Drohne schnell in einer unbekannten Umgebung zu navigieren (siehe Abb. 2b), die sogar dynamische Hindernisse (z. B. andere Roboter) enthalten kann, steigt der Grad der Ungewissheit betr\u00e4chtlich an – was dies wiederum zu einem perfekten Anwendungsgebiet f\u00fcr RL macht. <\/p>\n\n\n\n

Herausforderungen \u2013 Der Weg in die Zukunft der Robotik <\/h2>\n\n\n\n

Obwohl bereits vielversprechende Anwendungen das Potenzial von Reinforcement Learning f\u00fcr die Robotersteuerung gezeigt haben, bestehen besondere Herausforderungen im Zusammenhang mit dem Training von Robotern f\u00fcr reale Aufgaben. <\/p>\n\n\n\n

1. Performance (Effektivit\u00e4t): <\/h3>\n\n\n\n

Eine der aktuellen Herausforderungen bei der Anwendung von RL auf die Robotik besteht darin, das gew\u00fcnschte Leistungsniveau der trainierten Agenten zu erreichen. Einer der Gr\u00fcnde daf\u00fcr ist, dass RL als datengesteuerter Ansatz empfindlich auf eine bestimmte Auswahl von Hyperparametern reagiert. Aber selbst bei der exakt gleichen Auswahl von Hyperparametern kann der Gesamtertrag beim Training aufgrund von wechselnden Zufallsfaktoren in der Umgebung unterschiedlich ausfallen. Ein weiterer Teil der Herausforderung besteht darin, dass RL dazu neigt, je nach Belohnungsformulierung in lokale Minima vorzudringen. Lokale Minima k\u00f6nnen beispielsweise durch die Ausnutzung falsch spezifizierter dichter Belohnungen erreicht werden, w\u00e4hrend im Falle sp\u00e4rlicher Belohnungen die Konvergenz zu leistungsf\u00e4higen Policies noch schwieriger sein kann. <\/p>\n\n\n\n

2. Datenmenge (Effizienz)<\/strong>:<\/h3>\n\n\n\n

Eine weitere zentrale Herausforderung bei der Anwendung von RL auf die Robotik ist die Tatsache, dass RL typischerweise Millionen von Interaktionen mit der Umgebung ben\u00f6tigt, um zu konvergieren, was in der realen Welt unpraktisch ist. Obwohl in den letzten Jahren verschiedene Arten von RL-Algorithmen vorgeschlagen wurden, wie z. B. verschiedene Off- und On-Policy-Algorithmen oder sogar modellbasierte Algorithmen, ist das Problem der hohen Stichprobenkosten und der rechnerischen Auslastung noch lange nicht gel\u00f6st. Um diese L\u00fccke zu schlie\u00dfen, werden h\u00e4ufig Simulationsumgebungen eingesetzt, um virtuelle Trainingsumgebungen f\u00fcr die RL-Agenten bereitzustellen. <\/p>\n\n\n\n

3. Sim-to-Real Gap: <\/strong><\/h3>\n\n\n\n

Simulationsumgebungen werden in der Robotik h\u00e4ufig eingesetzt, um schnell, sicher und skalierbar Trainingsmuster f\u00fcr Roboteraufgaben zu erstellen. Da es sich bei Simulationen jedoch um Abstraktionen vom realen Roboter und der realen Welt handelt, wird es immer einen Unterschied zwischen diesen beiden Welten geben – auch bekannt als Simulations-Realit\u00e4ts-Gap. So h\u00e4ngt beispielsweise das physikalische Verhalten des Roboters in der Simulation stark von der Qualit\u00e4t der Modellierung der Kinematik, Dynamik, Aktuatoren usw. ab. Auch die Wahrnehmung der Umgebung in der Simulation ist Teil der Simulations-Realit\u00e4tsl\u00fccke, da der Realismus stark von den verwendeten Sensormodellen abh\u00e4ngt. Schlie\u00dflich sind auch Verz\u00f6gerungen bei der Kommunikation sowie Hardwareausf\u00e4lle typisch f\u00fcr reale Robotersysteme und tragen zur L\u00fccke zwischen Simulation und Realit\u00e4t bei der Anwendung von RL auf den Bereich der Robotik bei. <\/p>\n\n\n\n

Zusammenfassung <\/h2>\n\n\n\n

In diesem Blogbeitrag haben wir das Potenzial von RL f\u00fcr die Steuerung von Robotern erkundet. Insbesondere haben wir gesehen, wie ein typischer Arbeitsablauf f\u00fcr die Anwendung von RL in der Robotik aussieht und dass es f\u00fcr eine Vielzahl von Anwendungsf\u00e4llen geeignet ist. Wir haben jedoch auch gesehen, dass die Robotik in diesem Bereich ihre eigenen Herausforderungen und Komplexit\u00e4ten mit sich bringt. Wie k\u00f6nnen wir Strategien f\u00fcr die Robotersteuerung effizient und effektiv trainieren, so dass sie sich erfolgreich auf das reale Robotersystem \u00fcbertragen lassen? Einen m\u00f6glichen Weg zu diesem Ziel werden wir im n\u00e4chsten Blogbeitrag untersuchen \u2013 bleiben Sie dran … <\/p>\n<\/div><\/div>\n<\/div>\n<\/div>\n","protected":false},"excerpt":{"rendered":"

Reinforcement Learning beschreibt einen datengetriebenen Ansatz zum Erlernen intelligenter Verhaltensweisen durch Trial-and-Error-Interaktion mit der Umwelt. Bezogen auf die Robotik bietet es neue M\u00f6glichkeiten zum Erlernen der Robotersteuerung unter Unsicherheiten f\u00fcr anspruchsvolle Roboteraufgaben.<\/p>\n","protected":false},"author":16,"featured_media":3795,"template":"","meta":{"_acf_changed":false,"footnotes":""},"blog-category":[1416,396,733],"blog-tag":[1587,1589,1596],"class_list":["post-4845","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-alle-blogbeitraege","blog-category-forschung","blog-category-rl-for-robotics-de","blog-tag-reinforcement-learning-de","blog-tag-robotik","blog-tag-simulation-de"],"acf":[],"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4845","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/users\/16"}],"version-history":[{"count":0,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog\/4845\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media\/3795"}],"wp:attachment":[{"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/media?parent=4845"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-category?post=4845"},{"taxonomy":"blog-tag","embeddable":true,"href":"https:\/\/lamarr-institute.org\/de\/wp-json\/wp\/v2\/blog-tag?post=4845"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}