Virtuelle Welten sind heute allgegenwärtig: Sei es in Videospielen, Filmen oder bei medizinischen und industriellen Anwendungen. Die Erstellung realistischer 3D-Inhalte ist dabei sehr zeitaufwändig und arbeitsintensiv. Bisherige Verfahren zur Automatisierung des Prozesses kommen qualitativ nicht an die Arbeit von Grafikerinnen und Grafikern heran, die virtuelle Welten händisch designen. MDSI Kernmitglied Matthias Niessner, Professor für Visual Computing, stellt sich dieser Herausforderung in seinem Projekt „Gen3D: Learning to Create Virtual Worlds“. Er entwickelt dabei generative Modelle, die 3D-Polygonnetze sowie deren Oberflächentexturen und Materialeigenschaften erzeugen. Diese Modelle können direkt von modernen Grafiksystemen verwendet werden. Als Trainingsdaten nutzt er Bilder und Videos. Da diese nur teilweise die 3D-Welt zeigen, müssen die Modelle zusätzlich lernen mit unvollständigen Daten umzugehen.