„Entferne dieses Blatt“ klingt nach einer einfachen Anweisung. Für einen Roboter verlangt sie jedoch eine komplexe Übersetzungsleistung: Er muss Sprache verstehen, das gemeinte Blatt in seiner Umgebung erkennen und daraus eine sichere Bewegung ableiten. Im neuen deutsch-taiwanischen Forschungsprojekt AgriLoop untersucht ein Team um die Lamarr-Forscherin Prof. Dr. Maren Bennewitz, wie diese bislang häufig getrennten Fähigkeiten in einem integrierten Robotersystem zusammenwirken können. Der Bonner Projektteil wird vom Bundesministerium für Forschung, Technologie und Raumfahrt mit 463.000 Euro gefördert.
Vom Sprachbefehl zur sicheren Bewegung
AgriLoop steht für „Learning Expert-Guided Crop Intervention through Human-in-the-Loop LLM Robotics“. Das Projekt verbindet Sprachmodelle mit Vision-Language Models und Vision-Language-Action Models sowie mit der dreidimensionalen Wahrnehmung und physischen Steuerung eines Roboters. Vision-Language Models führen sprachliche und visuelle Informationen zusammen. Vision-Language-Action Models gehen einen Schritt weiter: Sie verknüpfen das Wahrgenommene und Gesagte mit einer konkreten Handlung. Die richtige Handlung hängt vom Zustand der Pflanzen und von der jeweiligen Situation im Gewächshaus ab. Fachkräfte erkennen etwa, ob ein Eingriff erforderlich ist und wie er ausgeführt werden kann, ohne die Pflanze zu beschädigen. Dieses Erfahrungswissen lässt sich nicht vollständig im Voraus programmieren. Vereinfacht gesagt soll der Roboter drei Fragen beantworten: Was wurde mir aufgetragen? Welche Pflanze oder welches Blatt ist gemeint? Welche Bewegung führt den Auftrag aus, ohne die Pflanze zu beschädigen?
Kameras und Sensoren erfassen dafür den Pflanzenbestand und erzeugen ein räumliches Modell des Gewächshauses. Die KI ordnet eine gesprochene oder geschriebene Anweisung einem bestimmten Objekt in dieser Umgebung zu. Aus einem Auftrag wie „Untersuche diese Pflanze genauer“ soll so eine gezielte und verlässliche Bewegung zu einer konkreten Pflanze werden. Auf deutscher Seite liegt der Schwerpunkt auf Robotik und 3D-Wahrnehmung. Kameras und Sensoren erfassen den Pflanzenbestand; aus den gewonnenen Daten entsteht ein dreidimensionales Modell des Gewächshauses. Die KI verknüpft gesprochene oder geschriebene Anweisungen mit konkreten Objekten in dieser Umgebung. Aus einem Auftrag wie „Untersuche diese Pflanze genauer“ soll so eine gezielte und verlässliche Bewegung zu einer bestimmten Pflanze werden. Darin kann der Roboter einzelne Pflanzen und Pflanzenteile lokalisieren und geeignete Bewegungen bestimmen. Reale Gewächshausumgebungen und pflanzenbauliche Expertise ermöglichen es, die Verfahren unter praxisnahen Bedingungen zu entwickeln und zu erproben. Die taiwanischen Teams arbeiten unter anderem an multimodaler Sprachverarbeitung, Dialogsystemen, der Zuordnung von Befehlen zu Objekten und Handlungen sowie am Lernen aus menschlichen Rückmeldungen.
Als Ergebnis ist zunächst ein Demonstrator geplant, der das Prinzip der sprachgesteuerten Zusammenarbeit sichtbar macht. Zugleich entwickelt das Projekt effiziente KI-Modelle, die direkt auf den Roboterplattformen eingesetzt werden können, ohne fortlaufend auf große Rechenzentren angewiesen zu sein.
Warum der Mensch Teil des Systems bleibt
Welche Pflanze gesund wirkt, welches Blatt entfernt werden sollte oder wann besondere Vorsicht nötig ist, hängt von der jeweiligen Situation ab. Dieses Erfahrungswissen lässt sich nicht vollständig vorab programmieren. Bei AgriLoop bleiben Fachkräfte deshalb in den Lern- und Entscheidungsprozess eingebunden: Sie erteilen Anweisungen, korrigieren den Roboter und bewerten seine Handlungen.
Damit führt das Projekt mehrere Forschungsrichtungen des Lamarr-Instituts zusammen. Als Area Chair für den Forschungsbereich Embodied AI untersucht Maren Bennewitz, wie intelligente Systeme ihre Umgebung wahrnehmen, Informationen verstehen, Handlungen planen und physisch ausführen. AgriLoop verbindet diese Forschung mit menschlichem Wissen und situativem Kontext sowie mit der Frage, wie leistungsfähige KI ressourceneffizient auf realer Hardware betrieben werden kann. Das Gewächshaus dient dabei als anspruchsvolle Forschungsumgebung für eine grundsätzlichere Aufgabe: Roboter sollen Expertenwissen nicht nur verarbeiten, sondern es in veränderlichen realen Situationen zuverlässig in Handlungen umsetzen.