3D-Bewegungserfassung des Menschen für die kooperative Baurobotertechnik

HuMoCap

Zusammenfassung

Die Verfolgung menschlicher Bewegungen von einer sich möglicherweise bewegenden Kamera aus ist für viele mobile Robotikanwendungen in unstrukturierten Umgebungen wie z. B. auf Baustellen, die einen Einsatz zwischen Menschen oder sogar eine Zusammenarbeit mit Menschen erfordern, von entscheidender Bedeutung: Roboter müssen menschliche Handlungen verstehen und vor allem die Fähigkeit erwerben, künftige Bewegungen vorherzusagen, um Kollisionen sicher zu vermeiden und/oder Aufgaben gemeinsam und möglicherweise in physischer Interaktion auszuführen. Dieses Unterfangen ist eine Herausforderung aufgrund (1) der Ego-Bewegung, (2) des Kontexts, in dem Menschen und Roboter agieren (d.h. 3D- und semantische Umgebung sowie Aufgaben), und (3) des Mangels an leicht verfügbaren, kontextualisierten Wahrheitsdaten, aus denen datengesteuerte Modelle angelernt werden können, um eine robustere Verfolgung und Vorhersage zu ermöglichen. Dieses Projekt zielt darauf ab, all diese Probleme zu lösen, indem ein System zur Erfassung menschlicher Bewegungen in freier Umgebung entwickelt wird, das visuell-inertiale Simultanlokalisierung und -kartierung (SLAM) für die Ego-Bewegungsabschätzung sowie eine dichte Kartierung nutzt, um den geometrischen und semantischen Szenekontext bereitzustellen, gepaart mit Deep-Learning-basierter menschlicher Posenabschätzung und Verfolgung. Die mit dem System gesammelten Daten können später als Grundlage für das Training fortschrittlicher Algorithmen zur Bewegungsverfolgung, Vorhersage und Mensch-Roboter-Kollaboration im Bereich der kooperativen Baurobotik dienen.

Team