Der Einsatz von Depth Maps kann in vielen VFX Bereichen sehr nützlich sein. Erst kürzlich hat Autodesk mit Flame 2020 einen Z-Depth Generator vorgestellt. Nun veröffentlichte Google eine eigene Methode in dem Paper „Learning the Depths of Moving People by Watching Frozen People„. Die Depth Map Generierung geschieht dabei auf Basis von Aufnahmen, bei denen sich sowohl Kamera als auch Personen bewegen.
Die Trainingsdaten
Das Google AI-Team verwendete für das Training des AI Models über 2.000 YouTube-Videos der „Mannequin Challenge“, welche zeitlich „gefrorene“ Gruppen von Menschen zeigen, während sich die Kamera durch die jeweilige Szene bewegt.
Da die Video Inhalte sich bis auf die Kamera nicht bewegen, konnte das Team danach unter anderem über Structure from Motion (SfM) und Multi-View-Stereo (MVS) Algorithmen Depth Maps für die gesamte Szene inklusive der Personen erstellen. Diese werden als „Ground Truth“ beim Training des Networks festgelegt. Das Datenset inklusive Resultate der Mannequin Challenge könnt Ihr Euch hier anschauen.
Depth Prediction
Anschließend kann das AI Model auf Videos angewendet werden, bei denen sich nun auch die Personen bewegen. Statt die Map für jedes Einzelbild des Videos separat zu erstellen, hat das Team die Resultate unter anderem mit Hilfe von Bewegungsparallaxe (Optical Flow) und einem Human Segementation Network weiter verbessert.
Die Eingabe in das AI Modell besteht insgesamt aus einem RGB-Bild (Frame x), einer S/W Maske der Menschen und einer anfängliche Depth Map für die Regionen ohne Menschen, die aus der Bewegungsparallaxe berechnet wird. Das Modell gibt über ein Regression Network eine vollständige Depth Map für Frame x aus. Einige der Anwendungsbeispiele könnt Ihr Euch dazu hier anschauen.
Weitere Informationen: Zur Google Website
