FMX 2019: Echtzeit-Raytracing für Final Frame Rendering

Es ist Mittwochnachmittag in der König Karl Halle im Haus der Wirtschaft. Der Saal ist abgedunkelt und gefüllt mit Menschen, die gespannt auf den Vortrag „Troll: Real Time Raytracing and The VFX Pipeline“ warten – und mit dabei ist die DP.

Der erste Redner ist Anton Palmqvist, Head of Real-Time bei Goodbye Kansas. Er beginnt den Vortrag über das Projekt „Troll“, das einerseits als Cinematic Trailer präsentiert wird und auf der anderen Seite als Tech Demo für die Echtzeit-Raytracing-Features der Unreal Engine dient. In dem halbstündigen Vortrag geht es um den Einsatz von Echtzeit-Raytracing in einer modernen VFX-Pipeline und darum, wie Game Tech mit einer klassischen VFX-Pipeline kombiniert werden kann. Anton Palmqvist stand der DP Rede und Antwort in einem Interview und ging auf weitere Details ein nebst möglichen Zukunftsaussichten der noch halb in den Startlöchern steckenden Technologie.

Das Demoprojekt

Wie ihr auf den Bildern des Artikels seht, dreht es sich eine junge Dame namens Bianca, die sich mit einer Krone inmitten eines Waldstücks befindet und dort an einem kleinen See sitzt. Frösche quaken, Wind lässt Blätter rauschen. Es zeigen sich drei Feen unterhalb der Wasseroberfläche. Sie kreisen zunächst, leuchten, erhellen den Bereich um sich und steigen aus dem Wasser empor. Sie fliegen tänzerisch herum, spielen, fliegen mit der Krone umher. Bald ertönen dumpfe Geräusche, Blätter rascheln. Die Kamera springt zurück in den Wald, eine dunkle Silhouette erhebt sich mit dumpfen Geräuschen. Erschreckt verschwinden die Feen, Biancas Gesicht voller Unmut, Dunkelheit setzt ein, die Krone fällt in die Hände der Prinzessin und ihr Blick richtet sich auf den dunklen Wald und die Silhouette – Schwarzblende. Das Publikum applaudiert.

Die zugrunde liegende Geschichte wurde von Björne Larson, Head of Studio von Deep Forest Films in Los Angeles gelenkt, mit musikalischer Untermalung von den Academy-Award-Gewinnern Ludwig Göransson and Joseph Shirley. Damit die Emotionen von Prinzessin Bianca genauso wie ihre Bewegungen überzeugen, wurde 3Lateral mit in das Projekt eingebunden. 3Lateral ist nun Teil von Epic Games und spezialisiert auf eine natürliche beziehungsweise realistische Darstellung von digitalen Wesen.

Game Tech in VFX

Knapp anderthalb Minuten filmisches Material zeigen die neuesten Echtzeit-Raytracing-Features der Unreal Engine Version 4.22 im Einsatz, und die Qualität wirkt sehr überzeugend. Die Unterschiede zu Final Frame Rendering mit ausgeklügelten Path Tracern sind für Profis erkennbar, doch aus der Perspektive der Echtzeit-Computergrafik war der Trailer ein visueller Genuss und durchaus zukunftsweisend. Vor allem, weil der Trailer mit einer Nvidia RTX 2080Ti konstant mit 24 fps abgespielt wurde. Die Krönung findet statt, wenn Palmqvist den Trailer pausiert und durch Heranzoomen an die jeweiligen Bereiche die Features aufzeigt.

„Troll“ ist ein Gemeinschaftsprojekt von Goodbye Kanses, Epic Games – ebenfalls 3Lateral – und Deep Forest Films. Das VFX-Studio Goodbye Kansas mit Hauptsitz in Stockholm ist bekannt für die Erstellung hochwertiger Game Trailer, Filme, TV Shows sowie Werbung. Palmqvist spricht davon, dass Goodbye Kansas beide Bereiche abdeckt, Games und Film. Das VFX-Studio besitzt einen Ableger in Los Angeles, der sich rein Realtime widmet. Dadurch hat das Studio Erfahrung in der Erstellung von Produkten aus beiden Bereichen, und es lag auf der Hand, ebenfalls Echtzeit-Raytracing genauer auf Produktionstauglichkeit zu prüfen.

Da Palmqvist im Bereich des Games zu Hause ist und sehr viel Vorwissen über die Unreal Engine mitbrachte, war er prädestiniert für die Rolle als Head of Real-Time, die er im April 2018 angetreten hat. Er hat am „Star Wars“-Franchise „Battlefront“ mitgewirkt sowie seine Fähigkeiten als 3D- und Lighting Artist im „Mirror‘s Edge Catalyst“ eingebracht. Das Projekt „Troll“ sollte das Potenzial der Unreal Engine ausloten und mit der klassischen VFX-Pipeline abgleichen, um mögliche Schnittpunkte zu eruieren. Laut Palmqvist war eine generelle Überprüfung angedacht, die Echtzeit-Raytracing-Features waren quasi die Kirsche auf dem Sahnehäubchen.

Game-Tech-Workflows unterscheiden sich, wie wir alle wissen, von Offline-Rendering-Workflows. Um einen Schnittpunkt zwischen beiden Welten herzustellen, wurde bereits während der Preview-Version von Unreal Engine 4.22 ein Augenmerk auf die Echtzeit-Raytracing-Features gelegt. Ein großer Vorteil laut Palmqvist ist die Unterstützung von Echtzeit-Reflexionen. Im Game Tech gibt es zwar Möglichkeiten, optisch ansprechende Reflexionen auf die eine oder andere Art zu realisieren, in der Regel durch spezielle Tricks oder Hacks. Dazu kommen noch gängige Features wie Planar Reflection und Screen Space Reflection. Letzteres erzeugt jedoch eine bestimmte Form von Artefakten, die das Gesamtbild beeinträchtigen, gerade weil die große Wasseroberfläche den Wald und alle Umgebungsobjekte, Bianca mit ihrer Krone und die Feen spiegelt. Gleiches gilt für die Krone – ein Asset prädestiniert für Echtzeit-Reflexion.

Gerade im Bezug zum Wasser im Trailer war es ebenfalls eine Erleichterung, dass Echtzeit-Transluzenz unterstützt wird. So erhielt der Shot, in dem die Feen sich unterhalb der Wasseroberfläche vor Bianca kreisförmig bewegen, eine ganz neue Dynamik. Lichtdurchlässige Objekte wie Wasser oder gläserne Oberflächen verhalten sich in erster Linie realistischer. In Verbindung mit den ebenfalls unterstützten Features im Bereich Lighting lehnt sich die Arbeitsweise im Game Tech langsam an die Offline-Rendering-VFX-Pipeline an.

Die Rede ist von Area Lights, die in der Unreal Engine genutzt werden können, um mehr Dynamik in die Kulissenbeleuchtung zu bringen und Soft Shadows zu erzeugen. Um das Beispiel mit Bildmaterial zu untermauern, zeigt Palmqvist immer wieder bestimmte Ausschnitte aus dem Trailer. Er drückt quasi den Pauseknopf und zoomt an bestimmte Stellen wie zum Beispiel Biancas Gesicht, das im Close-up gezeigt wird, während das Area Light sich bewegt. Die Echtzeit-Reflexion wird durch das Heranzoomen der Krone dargestellt, in der die Silhouetten der leuchtenden Feen zu sehen sind.

Global Illumination

Zusätzlich war es im Bereich des Lightings möglich, Echtzeit-Global-Illumination zu nutzen, was Artists einen komplett neuen Freiheitsgrad bietet. Palmqvist griff eine Standardarbeitsweise aus dem Game-Tech-Bereich auf, in der im Rahmen des Light-Bakings UV-Kanäle für sämtliche Umgebungsobjekte erstellt werden müssen mit sinnvollen UV-Anordnungen, damit beim Baking die jeweilige Light Map die ökonomischste Dimension erhält. Dann beginnt der Prozess des Light Bakings, der Zeit in Anspruch nimmt und je nach Auflösung an Zeiten des Offline-Renderings reicht. Die Arbeitsschritte würden quasi wegfallen und neuen Freiraum schaffen. Er fügte hinzu, dass es Areale geben mag, die nicht von Echtzeit-Raytracing profitieren und die ordnungsgemäß mit semi-automatischen Werkzeugen der Unreal Engine für das Light Baking einen Light-Map-Kanal erhalten können, um Samples nicht unnötig zu verschwenden. Nichtsdestotrotz sind die Echtzeit-Raytracing-Features im Bereich des Lightings ein weiterer Grund, Game Tech mit der klassischen VFX-Pipeline zu verbinden. Immerhin hätten Artists mit den Features die Möglichkeit, Atmosphären in Echtzeit anzupassen, ohne sich um Asset-technische Eigenschaften und Re-Baking zu kümmern. Die DP-Redaktion war neugierig und hinterfragte die reale Notwendigkeit von Echtzeit-Raytracing.

Palmqvist schmunzelte und sagte ganz offen, dass die Echtzeit-Teams von Goodbye Kansas in Stockholm und Los Angeles in der Lage gewesen wären, optisch ähnliche visuelle Effekte zu erzeugen, jedoch nur mit den zuvor erwähnten Tricks, Kniffen und Hacks, und das mit einem deutlich höheren Zeitaufwand im Vergleich zu den Echtzeit-Raytracing-Features der Unreal Engine 4.22. Und nicht nur der zeitliche Aufwand wäre ein Problem, sondern die Fülle an Schnittstellen, die noch implementiert werden müssten, um die klassische VFX-Pipeline am Game Tech anzudocken.

Palmqvist ging zudem noch kurz auf die Alembic-Unterstützung der Unreal Engine ein und lobte das Feature, da Goodbye Kansas als etabliertes VFX-Studio das Alembic-Format für alle Assets als Austauschformat nutze. In der Produktion des Trailers „Troll“ wurde zum Beispiel das Kleid der Prinzessin Bianca, das um die 100.000 Polygone besitzt, in Houdini simuliert und per Alembic Cache ohne Umwege in die Unreal Engine übertragen, was eine große Hilfe war. Unterstützung von Industriedatenformaten ist notwendig.

Um nun die Brücke von der Game Tech zur klassischen VFX-Pipeline zu schlagen, mussten weitere Tools für Artists in der Unreal Engine erstellt werden. Das erste Tool war ein Über-Material. Ein großer Shader Builder der Artists auf einfachem Wege erlaubt, eine Vielzahl an unterschiedlichen Oberflächen zu erzeugen ohne Software-technisches Geplänkel. Palmqvist führt an, dass es wichtig ist, das Materialsystem so nah an der klassischen VFX-Pipeline zu halten wie nur möglich, um auch neuen Artists die Arbeit mit Game Tech deutlich zu erleichtern und Lernkurven zu reduzieren. Daher haben die Teams großen Wert darauf gelegt, dass UDIM-Unterstützung vorhanden ist und Assets aus der Produktion direkt in die Unreal Engine importiert werden können.

Um Lighting und Look Development einheitlicher und intuitiver zu gestalten, wurde eine Szene für Look Dev entwickelt, die Artists nutzen können, um ihre Assets zu testen. Von großem Vorteil ist, dass die Licht- und Materialanpassungen live vorgenommen werden können. Zusätzlich kann ein Build von der Szene erzeugt und mit dem Kunden ausgetauscht werden. So kann der Kunde interaktiv die Assets begutachten und unterschiedliche Lichtkonditionen sowie Oberflächen austesten.

Ist Game Tech mit Echtzeit-Raytracing-Fähigkeiten für den Einsatz in einer klassischen VFX-Pipeline bereit?

Palmqvist bewertete die neuen Möglichkeiten als positiv und sprach von einem Umdenken in der Produktionsplanung: Das klassische VFX-Pipeline-Modell besitzt natürlich an der einen oder anderen Stelle Iterationszyklen, doch unter der Haube ist es ein lineares Produktionsmodell – auch wenn moderne Renderer mit interaktivem Rendering ausgestattet sind. In der Regel werden moderne Denoiser hinzugeschaltet, um eine Annäherung an eine bestimmte Pixelfarbe zu erhalten. Bei der Einbindung von moderner Game Tech in VFX-Pipelines wird das lineare Produktionsmodell durch ein parallel arbeitendes ersetzt. Beispielhaft führte er auf, dass Einstellungen seitens des Light Setups sehr früh in der Produktion vorgenommen werden können – feine Anpassungen und Nuancen sowie die Ausarbeitung filigraner Lichtdetails können bis kurz vor Produktionsende durchgeführt werden. Hierdurch ergibt sich eine neue Dynamik in der Produktion. Der Kunde kann im anfänglichen Look Dev mitwirken. Er ist vorne mit dabei.

Fazit

Es muss noch weiter untersucht werden, wo die Limitationen der neuen Features liegen. Die Tech Demo „Troll“ lief mit 24 fps und einer RTX 2080 Ti und es gab keinerlei Performance Lags, die das Projekt hätten gefährden können. Ebenso müsste geprüft werden, wie Studios mittels Game Tech USPs entwickeln könnten. Möchte der Kunde ein Projekt, für das klassisches VFX mit Offline Rendering zu kostspielig wird, so kann auf Game Tech umgemünzt werden. Aber auch studiointern müssen die Vorteile des Asset-Austauschs noch genauer untersucht werden. Gegebenenfalls muss eine Über-Pipeline entwickelt werden, die es erlaubt, einen rohen Datensatz mit wenigen Schritten in Offline oder Realtime Rendering einzubinden. Ähnlich ist es bereits mit der Character Pipeline bei Goodbye Kansas. Das volle Potenzial muss noch freigelegt werden, und das durch zahlreiche Tests, Versuche und weitere Projekte.

Kommentar schreiben

Please enter your comment!
Please enter your name here

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.