Virtuelle Reise ins Bewusstsein – Making-of „Conscious Existence“

Die Kategorie „Beste VR/AR/36O°-Produktion” war in diesem Jahr zum ersten Mal beim animago AWARD dabei. Realisator und Filmakademie-Absolvent Marc Zimmermann gehört seit vielen Jahren zum festen Nominierungsstamm des animagos. Auch sein neuestes Projekt, die VR-Experience „Conscious Existence”, erzielte eine Nominierung in dieser neuen Kategorie. DP berichtete, wie der VR-Film entstanden ist.
Die Polarlichter wurden mithilfe von volumetrischen Lichtern in Kombination mit Turbulenzen im Alpha-Kanal erstellt.
Die Polarlichter wurden mithilfe von volumetrischen Lichtern in Kombination mit Turbulenzen im Alpha-Kanal erstellt.

Seit seinem Abschluss an der Filmakademie vor drei Jahren mit dem Kurzfilm „Natural Attraction” (2015 nominiert in der animago-Kategorie „Beste Nachwuchsproduktion”), arbeitet Marc Zimmermann als Freelancer. Neben dem Tagesgeschäft realisiert er regelmäßig private Herzensprojekte wie „Conscious Existence”. Bei diesen geht es Marc darum, mithilfe digitaler Umgebungen Gefühle auszudrücken und beim Zuschauer zu wecken. „Dafür habe ich 360 Grad / VR als perfektes Medium für mich entdeckt, da es den Zuschauer direkt in meine Werke transportiert. So springt die Emotionalität potenziell direkt auf den Betrachter über, was ich als wichtigsten Aspekt meiner Arbeiten betrachte“, erklärt der Artist. Als Themen für seine Projekte bevorzugt Marc die Natur, Bewusstsein und Spiritualität, da diese ihn persönlich am meisten erfüllen: „Denn Kunst ist doch irgendwie auch immer Therapie für den Künstler selbst.“

Marc renderte die Lichter in 36O Grad vor und mappte sie auf eine Kugel, so kamen sie als Reflexion auf dem Eis und dem Wasser zum Einsatz.
Marc renderte die Lichter in 36O Grad vor und mappte sie auf eine Kugel, so kamen sie als Reflexion auf dem Eis und dem Wasser zum Einsatz.

Bei „Conscious Existence” geht es um die Wertschätzung des bewussten Geistes – für Marc ist er das wertvollste im Leben eines Menschen, denn er ermöglicht es uns, die grenzenlose Schönheit des Universums wahr- und in uns aufzunehmen und damit aus einer Quelle unendlicher Inspiration zu schöpfen. Gewidmet hat der Artist das Projekt seiner Partnerin, der Bodypainterin und Filmemacherin Julie Boehm, die er 2012 beim animago in Potsdam kennenlernte, als sie ihn dort zu seiner Nominierung interviewte. „Ihre Arbeit verkörpert für mich genau das, was der Film zum Audruck bringen soll: Mit einem offenen Geist können wir den Zauber in allen Dingen entdecken, daraus Energie für uns schöpfen und diese wiederum nutzen, um Neues zu kreieren und die Welt noch ein wenig bunter zu machen.“
Der Betrachter hört die Worte der Voice-­over-Stimme, die die Umwelt kindlich fragend wahrnimmt, und erlebt den mentalen Zustand mit einem hohen Immersionsgrad. Dieser wird durch eine maximale Trennung von der Betrachtungsumgebung, stereoskopischer Tiefeninformation, einem Playback mit High-Framerate, Spatial-Sound-Technologie und taktilem Bass-Feedback mit Subpac erzeugt. Dadurch kann der Experience-
Nutzer seinen Geist driften lassen und in den digitalen Szenen entspannen.

Die Kristalle erstellte der Artist mit Mo-Splines im Turtle-Modus, animiert wurden sie über Growth-Parameter.
Die Kristalle erstellte der Artist mit Mo-Splines im Turtle-Modus, animiert wurden sie über Growth-Parameter.

Mehr Ressourcen durch die Initiative VR NOW

Sowohl das Vorgängerprojekt „Longing for Wilderness” als auch „Conscious Existence” realisierte der 3D-Artist im Rahmen des Weiterbildungsprogramms VR NOW der Filmakademie. Diese VR-Initiative setzt das Animationsinstitut mit Unterstützung der MFG Filmförderung Baden-Württemberg um. Sie richtet sich an Absolventen der Baden-Württembergischen Hochschulen. VR NOW ermöglichte Marc, die Ressourcen des Animationsinstituts zu nutzen, was insbesondere für das Rendering, das Speichern und die Verarbeitung der knapp 40 Tbyte an Datenmenge hilfreich war. Im Gegenzug erhält die Filmakademie, wie auch bei den studentischen Projekten, bei Lizenzverkäufen der Experience einen prozentualen Anteil. Darüber hinaus ergab sich durch die Förderungsinitiative eine Zusammenarbeit mit Samsung und Evrbit, sodass der Artist die Möglichkeiten und Grenzen der Kombination von vorgerenderten und interaktiven Elementen in einem Multi-User-Umfeld testen konnte.

Für die Beleuchtung der Umgebung nutzte Marc Lichter im Ambient-Modus kombiniert mit physikalisch korrektem Falloff.
Für die Beleuchtung der Umgebung nutzte Marc Lichter im Ambient-Modus kombiniert mit physikalisch korrektem Falloff.

Lernen aus Best-Practice-Beispielen

Bei seinem vorherigen Film „Longing for Wilderness” lernte der Artist nützliche Best-Practice-­Beispiele für vorgerendertes 360-Grad-/VR-­Material kennen, welche zum Beispiel limitierte Bewegungsmöglichkeiten der Kamera, Erzählgeschwindigkeit, Story-Beats, Komposition und den Umgang mit sphärischem Bildformat in einem sehr Compositing-lastigen Workflow betreffen. “Beispielsweise ist es nicht sinnvoll, die Kamera bei einer Fahrt über eine kurvige Strecke tangential zum Pfad zu orientieren, also beispielsweise um die Y-Achse zu rotieren. Das verursacht mit großer Wahrscheinlichkeit Schwindelgefühle beim Zuschauer. Besser ist es, lediglich die Kameraposition zu animieren, der Betrachter richtet sich im Headset ganz automatisch zur Fahrtrichtung aus“, weiß der Artist. Auch seine Kompetenzen im Compositing von 360-Grad-Bildern baute er durch das Projekt aus: Er lernte, welche Effekte gut funktionieren und wie man diesbezüglich mit den Top-, Bottom- und Seam-Regionen am besten umgeht. Wie auch beim Vorgängerfilm dauerte bei „Conscious Existence“ die Compositing-Phase am längsten. Durch mehrfache Iterationen arbeitete Marc den Look immer weiter aus, fügte beispielsweise zusätzliche Render Passes hinzu und feilte so am Look. Erste Slap Comps legt Marc bereits immer mit den ersten Render-Tests an.

Setup der Crytals in C4D
Setup der Crytals in C4D

Der Umgang mit Stereo-Material war für Marc neu, weil „Longing for Wilderness“ nur ein 360-Grad-Projekt war: „Durch das Austauschen der jeweilgen Sequenzen konnte ich aber im Prinzip so gut wie alles von einem auf das andere Auge übertragen. Dabei war wichtig, nur weiche Masken und bei genauem Markierungsbedarf Objekt-Buffer in Kombination mit weichen Masken zu verwenden, sodass sich keine störenden Differenzen ergaben.“ Zusätzlich musste der Filter für das Antialiasing bei allen Bildern so scharf wie möglich gerendert werden. Dafür setzte Marc die Filter Width und Height des Antialiasings bei den Render Settings auf z.B. 0,5 px. Sonst wäre das Material im Headset immer leicht unscharf erschienen. „Auf jeden Fall hat sich bestätigt: Man sollte sich nie strikt an die Regeln halten, sondern erst einmal freiweg experimentieren. Beispielsweise habe ich an einigen Stellen Out-of-Focus sowie Motion Blur für bestimmte Effekte eingesetzt, auch wenn diese Elemente in VR üblicherweise vermieden werden sollen“, erklärt Marc und hat noch weitere Tipps: „Perspektive und Eye Distance sind mächtige Werkzeuge, und Partikel kommen in stereoskopischem VR-Video immer gut!“

Das richtige Timing

In den Prozess für „Conscious Existence” startete Marc mit der Aufnahme des Voice-over-Texts, den er als Preview selbst einsprach. Dieser lieferte die Referenz für das Timing der Animationen. Basierend darauf erstellte Marc eine grobe OpenGL-Vorschau aller Shots in 1K-Auflösung mit einer Front-Blickrichtung der Experience. Nachdem die Shots grob zusammengestückelt waren und Marc ein Gefühl für die Geschwindigkeit hatte, legte er eine erste Version des Films für Musik und Sound Design an. Danach wechselte er zwischen Bild und Ton im Schaffensprozess, iterierte beides und verbesserte die Qualität nach und nach. „Generell versuche ich immer so früh wie möglich im Prozess etwas Grobes zu generieren, das dem Gefühl des finalen Ergebnisses so nah wie möglich kommt“, sagt Marc, „so bleibt bei einem umfangreichen persönlichen Projekt die Motivation gewahrt.”

Pipeline

Die Entscheidung, mit Cinema 4D zu arbeiten, hatte keine VR-spezifischen Gründe. Für den Artist ist die Maxon-Software ein sehr stabiles und mächtiges Werkzeug, das er nun schon seit über 14 Jahren verwendet: „Das Sculpting-Tool, der Mograph und die C4D-Noises sind für mich mittlerweile wichtige Bestandteile bei der Umsetzung meiner Ideen.“
Aufgrund von Stabilität und tiefer Integration in C4D setzte Marc bei dem Projekt somit auf den Physical Renderer: „Für meine Arbeitsweise ist dieser oft schneller als viele unbiased Renderer, da ich kaum GI oder echte Out-of-Focus-Effekte nutze. Tricksen ist mit dem Physical Renderer in vielen Fällen besser möglich, wie zum Beispiel mit dem Backlight-Effekt, invertiertem Ambient Occlusion und vielem mehr.“ Darüber hinaus setzt der 3D-Artist beim Shading häufig auf native C4D-Noises, die viele Renderer nicht unterstützen.
Dennoch prüfte Marc auch andere Render Engines im Vorfeld für das Projekt: „Redshift war zu der Zeit noch in der Alpha-Phase und ohne Volume-Rendering-Support. Octane habe ich mir ebenfalls angeschaut, damals ließ sich allerdings unter anderem kein korrekter Z-Depth-Pass in 360 Grad ausgeben, was für mich ein No-Go war. Zudem war ich mit dem nativen Renderer deutlich unabhängiger von fehlenden Plug-in-Lizenzen auf der Renderfarm.“

Weil für „Conscious Existence” die C4D-Version R18 zum Einsatz kam, war das CV-VR-Cam-Plug-in für das Projekt wichtig. Mittlerweile ist in R19 das Rendern von 360-Grad-Bildern ohne Plug-ins möglich. Die Plug-ins X-Particles und TurbulenceFD sorgten für die abstrakten Elemente wie die Partikel- und Fluid-Simulationen. Dabei war vor allem die Zusammenarbeit beider Tools entscheidend, da sie sich gegenseitig beeinflussen können. Auch die naturalistischen Effekte in den Landschaften wie Rauch, Nebel und Niederschlag entstanden mithilfe der beiden Plug-ins. Für den Gebrauch von TurbulenceFD ist Cinemas nativer Renderer beziehungsweise der damit kommunizierende TurbulenceFD-Renderer gut und schnell, auch arbeitet TFD reibungslos mit dem CV-VR-Cam-Tool zusammen.
Gerendert wurden nach der 1K-­OpenGL-Vorschau grobe stereoskopische 360-Grad-Renderings in halber Auflösung, also 4.096 x 2.048 px, im Progressive-Modus des Physical Renderers. „War ich damit zufrieden, folgten die finalen Renderings getrennt für beide Augen mit 4K-Resolution pro Seite. Diese ließen sich im Compositing leichter verarbeiten.“ Im weiteren Schritt generierte Marc für das Zusammenführen der beiden Augen die Master-Auflösung für das Projekt in 4.096 x 4.096 px bei 60 fps, stereoskopisch over-under.

High-Quality-Encoding

Weil bei VR-Video alle Artefakte wie zum Beispiel Kompression und 8-Bit-Banding im Headset viel stärker sichtbar sind, ist hochqualitatives Encoding besonders wichtig. „FFmpeg bietet dabei die größte Flexibilität in den Einstellungen, auch wenn es mit einer höheren Lernkurve bei der Verwendung im Commandline-Modus und zahlreichen Encoding-Tests verbunden ist. Bei einer festgelegten Auflösung wird die wahrgenommene Bildschärfe nicht nur durch die Bitrate bestimmt, sondern auch durch bestimmte Encoding-Methoden, welche unter anderem die Intensität des De-Blockings, Motion-Estimation oder das Verhältnis von i-/b- und p-Frames bestimmen. Durch die gezielte Anpassung der Parameter auf mein Material konnte ich somit deutlich bessere Ergebnisse als beispielsweise mit dem Adobe Media Encoder erzielen“, weiß Marc. Besondere Herausforderungen waren dabei dunkle Szenen, langsame Übergänge in Kombination mit Verläufen und Glows, detaillierte Strukturen sowie schnelle Objektbewegungen oder Bildwechsel. Hinzu kommt, dass sich mit FFmpeg deutlich höher aufgelöste MP4-Dateien generieren lassen – die Grenzen bestehen dabei eher auf der Seite der Zielgeräte und Player. Nützlich ist auch, dass sich eine Soundspur nachträglich ohne erneutes Encoding hinzufügen lässt.
Für die grobe Vorschau bestimmter Blickrichtungen in Mono nutzte Marc den Skybox Viewer. Mit dem VR-Player für After Effects begutachtete der Artist die stereoskopischen Bilder im Headset. „Problematisch war dabei, dass sich die volle Auflösung nicht flüssig wiedergeben ließ und ich oft erst ein Encoding anwerfen musste, um einen sinnvollen Eindruck von der Animation zu bekommen“, erinnert sich der Filmakademie-Absolvent.

Der Zuschauer als Resonanzkörper

Das taktile Audiosystem Subpac überträgt tiefe Musikfrequenzen auf den Körper, im Prinzip wie eine Art tragbarer Subwoofer auf dem Rücken. Dies kann sehr effektiv sein, um den Zuschauer zusätzlich zu packen und ins visuelle Geschehen zu ziehen, was Marc an dem Subpac sehr schätzt: „Schon für ,Longing for Wilderness‘ habe ich mithilfe des Devices durch eine nicht-periodische Vibration ein Gefühl für die Fahrtgeschwindigkeit vermittelt. Bei ,Conscious Existence‘ habe ich damit dagegen die harmonischen Musikfrequenzen spürbar gemacht. Im besten Fall bekommt der Zuschauer dadurch im richtigen Moment eine Gänsehaut, wenn er zum Beispiel das Gefühl hat, der Resonanzkörper eines Cellos beim Spielen zu sein.“ Für den richtigen Effekt muss man die tiefen Frequenzen bei der Sound-Mischung im Griff haben. „Spielen dort zu viele Elemente mit, spürt der Nutzer im ungünstigsten Fall lediglich ein vibrierendes Durcheinander und bekommt eine mehr oder weniger angenehme Rückenmassage verpasst”, erklärt Marc.

Kristalle, Polarlichter und Farne

Der Artist versuchte aufgrund der hohen Komplexität der 360-Grad-Szenen meist mit einem High-Quality-Asset pro Shot auszukommen und dieses so vielfältig wie möglich wiederzuverwenden und zu instanzieren. „Bei den Kristallen habe ich die Mo-Spline im Turtle-Modus mit einer etwas angepassten Formel für die Generierung des L-Systems benutzt. Diese Spline habe ich über Growth-Parameter animiert und so wachsen lassen. Mit einem Spline-Wrap-Deformer und einem Low-Poly-Zylinder habe ich dem Ganzen eine Form gegeben“, so Marc. Für das Lighting verwendet Marc in solchen relativ simplen CG-Fällen gerne Lichter im Ambient-Modus kombiniert mit physikalisch korrektem Falloff, da diese sehr schnell rendern und oft als eine Art SSS-Fake dienen können.

Für die Farnpflanzen erzeugte Marc ein Hero- Asset, das sich vielfältig wiederverwenden ließ.
Für die Farnpflanzen erzeugte Marc ein Hero- Asset, das sich vielfältig wiederverwenden ließ.

Die Polarlichter entstanden mit verschiedenen Disks, denen Materialien zugewiesen wurden, welche im Alpha-Kanal Turbulenzen mit verschiedenen Settings besitzen. Durch diese schickte Marc das Licht von parallelen, runden Spotlights, mit aktiviertem volumetrischem Licht sowie einem farbigen Verlauf im Falloff. „Dieses Setup habe ich nach oben noch einmal gespiegelt, damit die Polarlichter sowohl oben als auch unten sanft auslaufen.“ Im nächsten Schritt renderte Marc diese in 360 Grad vor und mappte sie anschließend wieder auf eine Kugel, so kamen sie als Reflexion auf dem Eis und dem Wasser zum Einsatz. „Natürlich hätte ich die Himmelserscheinung auch direkt in der Szene mit der Landschaft rendern können, jedoch sind Reflexionen von volumetrischem Licht mit dem Physical Renderer sehr zeitintensiv“, ergänzt der Artist.

Comp des Farns
Comp des Farns

In einer Filmszene entfalten sich um den Zuschauer herum Farnpflanzen. Dafür erzeugte Marc ein Hero-Asset, das sich vielfältig wiederverwenden ließ. Besonders wichtig war hierbei, dass sich ein Time-Offset auf die verschiedenen Instanzen legen ließ. „Als Erstes habe ich für den Hauptstängel eine Bone-Kette bestehend aus circa 30 Bones angelegt. Über einen mit Xpresso erstellten Spline verband ich alle Bones. Markiert man dann alle Bones und verändert in den Objekteigenschaften die Rotation, erhält man einen Spline, der sich auf- und abrollen lässt. An diesen Spline habe ich mit einem Cloner die sekundären Blätter geheftet, welche sich wiederum mithilfe des gleichen Xpresso-­Setups – lediglich mit weniger Bones und ein paar zusätzlichen Deformern – zusammenrollen und animieren lassen“, so der Artist.

Gebaktes Asset des Farns
Gebaktes Asset des Farns

Marc wollte, dass sich nicht alle Blätter gleichmäßig auf einmal entfalten, sondern nacheinander von unten nach oben entlang des Stängels. Dazu erstellte er eine weitere Kopie des sekundären Blattes und blendete, gesteuert durch einen Verlauf, mithilfe eines Shader-Effektors zwischen einer geschlossenen und einer offenen Kopie des sekundären Blattes. „Das funktioniert nur, wenn der Shader-Effektor auf ,Modify Clone‘ gestellt ist und die beiden Objekte im Cloner exakt die gleiche Hierarchie mit denselben Deformern etc. besitzen. Das Setup mit Stängel und sekundären Blättern habe ich dann wiederum mit einem Cloner radial angeordnet, sodass ich eine vollständige Pflanze erhielt“, erläutert Marc.

Die Kamera in der Farn-Szenerie
Die Kamera in der Farn-Szenerie

Nun galt es noch, das Problem mit dem Time-Offset zu lösen, denn schon eine Instanz dieses gesamten Setups verlangsamte die Szene. Mehrere Kopien mit versetzter Animation waren daher nicht sinnvoll. Das Ganze ließ sich jedoch nicht so einfach als Alembic cachen – aufgrund der Verschachtelung von Deformern und Effektoren in Kombination mit Expressions fehlten immer Teile des Meshes oder der Animation. Aber Marc gelang eine Lösung des Problems: „Zuerst habe ich die Splines gecacht, anschließend alles einem Connect-Objekt untergeordnet und dieses einmal kopiert sowie konvertiert. Das unkonvertierte Connect-Objekt erhielt einen Correction-Deformer, welcher mit einem Point-Cache-Tag gecacht wurde. Das Tag zog ich anschließend auf die konvertierte Kopie und übertrug somit die PLA-Animation auf ein einziges Gesamt-Mesh. Im Prinzip hätte ich dieses nun im Environment platzieren und mit einem Offset im Point-Cache-Tag versehen können. Jedoch war das Abspielen dutzender Instanzen der gecachten Geometrie sehr viel flüssiger, wenn es vorher einmal als Alembic-Cache abgespeichert war. Außerdem wurde eine Szene mit mehreren Kopien eines Objektes mit dem gleichen Point-Cache-Tag mit jeder Kopie beim Speichern größer, selbst mit extern abgespeichertem Cache, was ggf. ein Bug war. Mit Alembic konnte ich die Szene dann aber flüssig und mit beliebigem Offset der einzelnen Instanzen gestalten und iterieren”, erinnert sich Marc.

Den Zuschauer ins Geschehen ziehen

Bei einer 360-Grad-Umgebung ist es wichtig, den Blick des Zuschauers zu lenken. Dies macht Marc durch dynamische Lichtführung und Bildkomposition sowie teilweise durch Objektbewegungen und Klänge: „Die Experience wechselt dabei sanft und fast unmerklich zwischen einer frontlastigen und einer in alle Richtungen ausgebreitete
Bespielung – immer jeweils so, dass die Story unterstützt wird.“ Aber Marcs Meinung nach sollten diese Kunstgriffe sehr bewusst eingesetzt werden: „Es ist nicht nötig, den Blick des Zuschauers ununterbrochen zu lenken. Vielmehr ist es sinnvoll, neben Momenten mit stark choreografierter Blicklenkung Phasen zu haben, in denen man dem Betrachter Raum und Zeit gibt, ganz frei und unforciert die Umgebung zu erkunden und sich dabei selbst sowie das eigene Befinden für einen Augenblick zu spüren. Bei meinen Werken ist dies besonders wichtig.”
Für ein maximal immersives Erlebnis sind viele Faktoren entscheidend: Natürlich die technischen wie die Abschottung von störenden Einflüssen der Umgebung, eine möglichst hohe Auflösung des Materials ohne Video-Artefakte, gute, unaufdringliche Stereoskopie, hohe Bildwiederholrate und räumlicher Klang. Darüber hinaus spielt das Wiedergabe-Equipment eine große Rolle: „Ein zu schweres oder schlecht sitzendes Headset, unscharfes Sehen, beschlagene Linsen, bescheidene Kopfhörer, zu kurze Kabel, niedrige Display-Auflösung, eingeschränktes Sichtfeld und vieles mehr sind Gründe, die das Erlebnis trüben können.“
Zudem tragen auf inhaltlicher Seite sanfte, optimalerweise unsichtbare Bildübergänge, bedachte Kamera-Animationen sowie die Vermeidung von Momenten mit absoluter Stille oder komplett schwarzem Bild dazu bei, den User nicht zu irritieren oder zu verlieren. „Effektiv ist auch, möglichst viele Sinne anzusprechen wie es z.B. in den Sensory Reality Pods von Sensiks der Fall ist, in denen ,Conscious Existence‘ bald mit Hitze, Wind und Gerüchen erlebbar sein wird“, verrät Marc. „Nicht zuletzt sollte natürlich die Story den Zuschauer in ihren Bann ziehen und für einen kurzen Moment in eine andere Gedankenwelt eintauchen lassen.”

Kommentar schreiben

Please enter your comment!
Please enter your name here

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.