Nicht nur Entwickler und Forschungsteams, auch immer mehr 3D Artists beschäftigen sich inzwischen mit der Frage, inwiefern die neuen Fortschritte im Bereich AI die 3D Industrie verändern werden – darunter auch der von Blender Guru bekannte „Andrew Price“ mit seinem Talk auf der Blender Conference 2018. Nvidia hat zu dem Thema eine Zusammenfassung ihrer spannendsten Forschungsprojekte aus dem Jahr 2018 vorgestellt:
Interaktive 3D Welten
Bei der hier gezeigten Demo von Nvidia wird unter anderem auch die Unreal Engine 4 eingesetzt, um semantische Layouts zu erstellen – Maps, die eine farbliche Segmentierung von Objekten darstellen. Ein neuronales Netzwerk, das mit Videos aus der realen Welt trainiert wurde, erstellt anschließend die Details: Eine städtische Umgebung mit Gebäuden, Autos, Straßen und anderen Objekten.
Die Demo konnte dabei auf der NeurIPS Conference in Kanada auch interaktiv befahren werden. Schon in der Vergangenheit hatte Nvidia zuerst mit pix2pix und anschließend mit Vid2Vid auf sich aufmerksam gemacht. Mit der hier eingesetzten Technik, hat das Team nicht nur Städte, sondern auch Gesichter und Posen synthetisch erstellen lassen. Mehr Informationen zu dem Projekt finden Sie hier.
Super SloMo
Mit dem Ziel aus 30 fps Aufnahmen qualitativ hochwertige Slow Motion Videos zu erstellen, hat das Team ihr System mit 1132 Referenz-Videos (240 fps) von Alltags- und Sportaktivitäten trainiert. Das Paper beschreibt eine Multi-Frame-Video-Interpolation variabler Länge, um ein oder mehrere Frames zwischen zwei aufeinanderfolgenden Bildern zu erzeugen.
Das Ergebnis soll eine sowohl räumlich als auch zeitlich glaubwürdige Videosequenz ergeben. Anbei sehen Sie einige Beispiele, unter anderem kamen auch bereits verlangsamte Aufnahmen von „The Slow Mo Guys“ zum Einsatz. Weitere Infos zum Projekt finden Sie hier.
Weitere AI Forschungsprojekte von Nvidia
Bis die gezeigten Techniken ausgereift und ihren Weg in kommerzielle Software Tools finden werden, bemühen sich einige Leute um inoffizielle Implementierungen, wie zum Beispiel für das „Noise2Noise“ Projekt. Nvidia selbst veröffentlicht den jeweiligen Quellcode sowie weitere Informationen häufig, als nicht-kommerzielle Variante, auf dem offiziellen Nvidia Github Account.
