Nutzpflanzen sind eine wichtige Quelle für Lebensmittel und viele andere Produkte. In der konventionellen Landwirtschaft tragen Traktoren große Mengen an Agrochemikalien gleichmäßig auf den Feldern zur Unkrautbekämpfung und zum Pflanzenschutz aus. Autonome Agrarroboter, die auf dem Feld erkennen, Situation verstehen und selbständig handeln können, haben das Potenzial, umweltfreundliche Unkrautbekämpfung und Pflanzenschutz auf Pflanzenbasis zu bieten. Ein Wahrnehmungssystem, das Kulturpflanzen, Unkräuter, Boden und andere relevante Objekte unter unterschiedlichen Umweltbedingungen zuverlässig unterscheidet, ist die Grundlage für pflanzenspezifische Eingriffe wie Spotanwendungen. Die Entwicklung neuer Ansätze und Techniken, die Kombination neuer Technologien aus Künstlicher Intelligenz (KI), Maschinellem Lernen (ML), Robotik und Phänotypisierung hin zu einer nachhaltigen Pflanzenproduktion ist Teil des DFG-Exzellenzclusters „PhenoRob“.
Um Pflanzen, Parzellen und ganze Felder zu überwachen und zu analysieren, verwenden heutige Roboter maschinelle Lerntechniken, die Computer Vision und tiefe neuronale Netze kombinieren, um die relevanten Informationen aus Kamerabildern zu extrahieren. In der Forschung werden oft sogenannte semantische Segmentierungsnetzwerke verwendet, die jedem Pixel in jedem Bild ein semantisches Label wie Crop oder Weed zuweisen. Zusammen mit Informationen über den Standort des Roboters, beispielsweise kann aus GPS, die Umgebung auf Zentimeter- bis Millimeter-Ebene georeferenziert interpretiert werden. Basierend auf diesem detaillierten Wissen können Roboter gezielte Interventionsmaßnahmen ergreifen, die vom Spot-Sprühen über mechanische Behandlungen bis hin zur laserbasierten Zerstörung einzelner Unkrautpflanzen reichen.
Analyse und Verständnis der Umwelt
Heutige semantische Segmentierungssysteme zeigen oft einen Leistungsabfall, wenn sie unter neuen Bedingungen angewendet werden. Dies ist ein allgemeines Problem beim überwachten maschinellen Lernen, wenn es auf reale Probleme angewendet wird, bei denen sich die Umgebung auf natürliche Weise ändert. Forschende aus den Fachbereichen ML, KI, Roboterlernen und verschiedenen anderen Clustern forschen aktiv, um diese Lücke zwischen der Quelldomäne, das heißt der Trainingsumgebung, und der Zieldomäne zu schließen. Dieser Transfer von betreuten Lernsystemen wird oft als Domänentransfer oder Domänenanpassung bezeichnet.
Domänenanpassung innerhalb der PhenoRob-Roboter
Innerhalb von PhenoRob entwickeln wir Ansätze zur unüberwachten Domänenanpassung für Pflanzensegmentierungssysteme in der Landwirtschaft. Die Möglichkeit, eine solche Anpassung unbeaufsichtigt durchzuführen, ermöglicht eine automatische Verallgemeinerung der erlernten neuronalen Netze nur auf Basis unbeschrifteter Daten. Unsere neuen Techniken zielen darauf ab, bestehende Segmentierungsnetzwerke zu verallgemeinern und an neue Feldumgebungen, unterschiedliche Wertpflanzen und andere landwirtschaftliche Roboter anzupassen. Das heißt, wir können ein System für Zuckerrüben auf andere Kulturpflanzen, zum Beispiel Sonnenblumen oder von einem Feldroboter auf ein kleines unbemanntes Luftfahrzeug, übertragen.
Das Bild ist das Ergebnis unseres Netzwerks, in dem das Bild aus Bonn übersetzt wird, um wie ein in Stuttgart aufgenommenes Bild auszusehen.
Forschende von PhenoRob haben gezeigt, dass ihre Systeme eine hohe Segmentierungsleistung in der Zieldomäne liefern, indem sie Labels nur aus der Quelldomäne verwenden – über Standorte, Kulturen und Roboter hinweg. Die Techniken nutzen CycleGANs. GANs sind generative gegnerische Netzwerke, die aus zwei neuronalen Netzen bestehen, die miteinander konkurrieren. Durch den Wettbewerb können beide Netzwerke im Laufe der Zeit immer besser werden und ihre Fähigkeiten verbessern. Was das vorgeschlagene CycleGAN besonders effektiv macht, ist die Durchsetzung einer semantischen Konsistenz des Domain-Transfers, indem die Bilder pixelweise klassifiziert werden, wenn Transfere in beide Richtungen durchgeführt werden, das bedeutet von der Quelle zum Ziel und zurück zur Quelldomäne. Diese Technik verbessert die Übertragung von semantischen Segmentierungssystemen unter Verwendung landwirtschaftlicher Felder auf neue Feldumgebungen, verschiedene Kulturen und verschiedene Sensoren oder Roboter erheblich. Dies wiederum wirkt sich auf die Benutzerfreundlichkeit von Landwirtschaftsrobotern aus und hat das Potenzial, solche Systeme der Praxis näher zu bringen, so dass die gleichen Roboter in verschiedenen Umgebungen und Kulturen auf robuste Weise eingesetzt werden können.
Der Excelenzcluster stellte sich bereits im letzten Beitrag vor, schauen Sie doch einmal vorbei: Drohnen und Roboter für eine nachhaltige Landwirtschaft der Zukunft
