Zuletzt gab es einen Vorgeschmack für die diesjährigenTechnical Paper der Siggraph 2019. Eines der Forschungsprojekte stammt von der technischen Universität München und der Stanford University. Dabei untersuchten die Projektmitglieder eine neue Methode, um aktuelle 3D Pipelines mit der Hilfe von AI zu ergänzen. Der präsentierte Algorithmus benötigt ein einfaches Video als Input. Nach einer groben 3D Rekonstruktion (über SfM) lassen sich, mit Einsatz des neuronalen Renderings, fotorealistische Bilder ausgeben. Die Methode ermöglicht beispielsweise Änderungen des Blickwinkels, simples 3D Editing einer Szene oder Facial Reenactment.
Deferred Neural Rendering
Um diese Ergebnisse zu erreichen, werden neuronale Texturen in Kombination mit einem neuronalen Renderer nach einem „Encoder-Decoder“ Prinzip verwendet. Die grundlegende Idee hinter neuronalen Texturen besteht darin, dass sie erlernte Merkmale eines Bildes bzw. Textur erkennen und abspeichern, die später von einem Renderer rekonstruiert werden können. In der Kombination erhalten sie dadurch mehr Informationen, als herkömmliche Maps (wie beispielsweise Albedo).
Der Deferred Neural Renderer übernimmt anschließend die Interpretation der neuronalen Texturen, um daraus Oberflächeneigenschaften abzuleiten. Dieser basiert auf aktuellen Entwicklungen im Bereich Bild-zu-Bild Zuordnungen. Der Neural Renderer kann dabei auch Rekonstruktionsfehler der Geometrien korrigieren.
Sowohl die neuralen Texturen als auch der Renderer werden so trainiert, dass auch bei unvollständiger Geometrie fotorealistische Ergebnisse erzielt werden können. Die Bildanzahl der Trainingsdaten beeinflussen dabei die Qualität – je mehr Bilder, desto besser. Mit etwa 40 Sekunden Video-Footage (~1000 Frames) lassen sich in diesem Beispiel bereits gute Ergebnisse erzielen.
Weitere Informationen zum Paper erhaltet Ihr hier.
