3D-Bewegungserfassung des Menschen für die kooperative Baurobotertechnik

Projektbeschreibung

Im Rahmen dieses Projekts wird ein robustes System zur Erfassung menschlicher Bewegungen in realen Umgebungen entwickelt, um eine sichere und effektive Mensch-Roboter-Zusammenarbeit in Bauumgebungen zu ermöglichen. Durch die Kombination von visuell-inertialem SLAM zur Schätzung der Eigenbewegung mit einer dichten geometrischen und semantischen Kartierung liefert das System wichtige Kontextinformationen für die Interpretation menschlicher Handlungen in dynamischen, unübersichtlichen und teilweise verdeckten Szenen. Ein auf Deep Learning basierendes Modell zur Posenschätzung verbindet visuelle Hinweise mit einem erlernten Bewegungsprior, um die Ganzkörperpose des Menschen und die Unsicherheit in 3D vorherzusagen, selbst bei starker Verdeckung und Kamerabewegung. Das Projekt führt zudem ein Steuerungsframework für kooperative Maurerarbeiten ein, das das Auftragen von Mörtel durch den Menschen mit robotergesteuerten Pick-and-Place-Routinen kombiniert. Die aufgezeichneten Datensätze aus der realen Welt belegen die Machbarkeit einer präzisen Posenverfolgung und legen den Grundstein für Vorhersagemodelle, die eine sicherere und autonomere Zusammenarbeit in der Baubotik unterstützen.

Ergebnisse

• Es wurde ein neuartiger Datensatz aus der Praxis erfasst, der menschliche Bewegungen beim Bau einer Ziegelwand dokumentiert und dabei Verdeckungen sowie komplexe Interaktionen erfasst.
• Es wurde ein Deep-Learning-Framework zur Schätzung der menschlichen Körperhaltung entwickelt, das starke Verdeckungen bewältigt, Kamera- und Körperbewegungen voneinander trennt und die 3D-Unsicherheit des gesamten Körpers modelliert.
• Erzielte im Vergleich zu den modernsten Methoden in einer nicht zielgerichteten Bewertung eine um bis zu 47 % geringere Rekonstruktionsfehlerquote, eine um 20 % schnellere Laufzeit und einen um 76 % geringeren Speicherverbrauch.
• Ein kooperatives Steuerungsframework für das koordinierte Mauern durch Mensch und Roboter wurde etabliert, das die Grundlage für zukünftige, auf dem Fortschritt des Menschen basierende Aktionsauslösung bildet.
• Ein graphbasiertes Modell der Mauer wurde erstellt, das Design und Robotertrajektorien integriert und eine wiederholbare und strukturierte Datenerfassung ermöglicht.
• Es wurden erste Belege für das Potenzial der Integration der menschlichen Posenabschätzung in sicherheitskritische kollaborative Aufgaben in der Baurobotik geliefert.

Weitere Schritte

Zukünftige Arbeiten werden sich darauf konzentrieren, die gesammelten Datensätze zu nutzen, um Vorhersagemodelle zu trainieren, die menschliche Bewegungen antizipieren, sodass der Roboter Aufgabenabläufe autonom und ohne manuelles Eingreifen auslösen kann. Die Erweiterung des aktuellen probabilistischen Modells auf multimodale Verteilungen wird die Robustheit bei langfristigen Verdeckungen und mehrdeutigen menschlichen Bewegungen verbessern. Über Interaktionen mit einzelnen Mitarbeitern hinaus kann das Framework erweitert werden, um die Zusammenarbeit mehrerer Menschen zu unterstützen, wie beispielsweise das koordinierte Tragen großer Elemente oder teamorientierte Montageaufgaben. Darüber hinaus könnte die Integration von semantischem Szenenverständnis mit einer langfristigen Absichtsvorhersage die Sicherheit und die Aufgabenkoordination weiter verbessern. Das System dient auch als Grundlage für verwandte Anwendungen, wie beispielsweise die automatisierte Demontage oder die adaptive Planung vor Ort, bei denen eine robuste Verfolgung menschlicher Bewegungen entscheidend ist. Wir haben diese Aspekte in das GNI-Projekt “SPAICR: Spatial AI for Cooperative Construction Robotics” eingebracht und Bewegungserfassung weiterentwickelt im Rahmen des ONE Munich Strategy Forum project: Next Generation Human-Centered Robotics.