Dieser Artikel erschien ursprünglich in der DP 06 : 2017.
Bei der VR-Experience von „Ghost in the Shell“ wird der Betrachter über das VR-Headset in Majors Welt versetzt. Mithilfe der Controller kann der Betrachter einen Glitch-Effekt erzeugen oder die Zeit verlangsamen. Man sieht Majors Kampf gegen Roboter-Geishas, erlebt einen Deep Dive und fällt von einem Hausdach. Die Experience hat das Studio REWIND aus England in Kooperation mit dem Produktionsstudio Here Be Dragons, Oculus, Paramount und Dreamworks realisiert. Wir haben die Experience auf der diesjährigen FMX getestet und uns danach mit REWIND-Founder und -CEO Solomon Rogers zum Interview getroffen.
REWIND wurde vor sechs Jahren als Animations- und VFX-Studio gegrün det, seit circa drei Jahren arbeitet das – Team fokussiert an Virtual- und Mixed-Reality- sowie 360-Grad-Projekten, realisiert aber als Content-Studio auch nach wie vor Postproduktionsaufträge aller Art. Die „Ghost in the Shell“-Experience wurde bei REWIND mit einem Team von 15 Mann umgesetzt, in einem sehr engen Zeitrahmen von 7 Wochen, in den auch Motion-Capture-Drehs fielen.
DP: Wie kam es zu der Ausrichtung von REWIND in den VR-Bereich?
Solomon Rogers: Mit VR-Projekten und -Experiences begannen wir kurz nach dem Launch der XBox One. Als dann das erste Oculus Rift DK1 auf dem Markt war, realisierten wir sehr schnell, dass wir diese Technologie für alle Arten von Projekten im Architektur-, Education- oder Entertainmentbereich verwenden können. Ab diesem Punkt konzentrierten wir uns auf VR-Produktionen.
DP: Wie sah eure Software-Pipeline für das VR-Projekt „Ghost in the Shell“ aus?
Solomon Rogers: Wir haben alles benutzt (lacht): 3ds Max und Maya kamen für das Modeling zum Einsatz, Houdini wurde für alle Partikeleffekte, die Fluid Dynamics und die Hologramme verwendet, hinzu kam noch ein bisschen ZBrush und Mudbox. Die Unreal Engine war das Core-Tool für die Delivery, Unity nutzten wir für die Gear-VR-Version.
DP: Warum kamen zwei verschiedene Engines zum Einsatz?
Solomon Rogers: Wir haben in den Tests festgestellt, dass die Unreal Engine auf dem Rift die besten Ergebnisse lieferte. Aber auf der Gear VR konnten wir keine RealtimeEngine laufen lassen, also mixten wir einen stereoskopischen 360-Grad-Render mit interaktiven Elementen on top. Das funktionierte für Unity sehr gut, weil das Material auf diese Weise ein richtiges Leichtgewicht war.
DP: Wie viele Assets habt ihr für die „Ghost in the Shell“-Experience erstellt?
Solomon Rogers: Ich kann keine exakte Anzahl nennen, aber es gibt vier Hauptcharaktere und drei Schlüsselszenen: die auf der Dachterrasse, dem Teeraum und die ShellSequenz am Ende.
DP: Musstet ihr die Assets von Null an aufbauen oder standen euch Modelle vom Film zur Weiterverarbeitung zur Verfügung?
Solomon Rogers: Wir erhielten zahlreiche Referenzen aus dem Trailer sowie die initiale Artwork, die eine gute Basis boten. Auch Film-Assets und 3D-Scan-Dateien bekamen wir von einigen VFX-Vendors, diese hatten aber eine viel zu hohe Auflösung, um damit in der Engine zu arbeiten, sodass diese auch nur als Referenz dienten.
DP: Es gibt diese riesige Stadtkulisse, die man von der Dachterrasse aus sieht. Wie habt ihr sie erstellt?
Solomon Rogers: Wir haben hierbei versucht, dem Look des Films so nah wie möglich zu kommen. Die nahen Gebäudemodelle bauten wir alle per Hand in Maya und Houdini, die weiter entfernten Stadtkulissen entstanden mit vielen Matte Paintings, das Compositing lief mit Nuke. Die Hologramm-Figuren zwischen den Gebäuden stammen aus dem Film, wir haben sie als Houdini-Dateien angeliefert bekommen. Aber bis wir sie in der geeigneten 3D-Form in der Unreal zum Laufen gebracht hatten, war es ein sehr komplizierter Prozess. Wir renderten sie als animierte Flipbooks aus Houdini heraus und nutzen danach die DepthDaten, um eine Displacement Map zu generieren, die wir in der Engine laufen ließen. Das 3D-Objekt ist also eigentlich nur eine Textur.
DP: Sehr interessant war das Erleben des Fallens vom Hausdach. Wie habt ihr das erreicht?
Solomon Rogers: Es ist eigentlich nur ein ganz kleiner Turn von 30 Grad. Sobald man in VR mit dem Horizont spielt, fühlen sich Menschen wackelig. Diesen Effekt haben wir in der Experience als narratives Tool genutzt. Wir haben mit Probanden Tests gemacht, wobei viele tatsächlich umfielen (lacht). Mithilfe der Realtime-Engine konnten wir jederzeit testen, was sich am besten anfühlt, und blieben bei 30 Grad, weil es in diesem Fall genug war, um sich etwas fallend zu fühlen, aber nicht zu sehr.
DP: Wie viel Freiheit hattet ihr in der Gestaltung, beispielsweise bei dem Zeitverlangsamungs- oder dem Glitch-Effekt?
Solomon Rogers: Die Gestaltung lief zwischen uns und HBD, deren Creative Directors und wir arbeiteten eng zusammen durch den ganzen Prozess hindurch. Sie waren sehr gut in der Leitung von tollen Ideen, sodass nicht viele Checks von den Produktionsfirmen nötig waren. Bei unserem Projekt mussten wir uns nicht allzu eng an die Vorstellungen des Films halten, weil es ein autonomer VRSchauplatz, also ein kleiner Teil an Phantasie des kompletten „Ghost in the Shell“-Universums ist, der für sich alleine steht.
DP: Euer ursprüngliches Konzept sah mehr Interaktivität vor. Was war geplant?
Solomon Rogers: Eigentlich sollte der Betrachter noch Waffen bekommen und sich seinen Weg durch die Szenerie freikämpfen. In den Timefreeze-Szenen hätte er sich überlegen können, wie er die Bösewichte am besten erledigt.
DP: Wie sah der Output für die verschiedenen Plattformen aus?
Solomon Rogers: Die Rift-Version besitzt eine härtere Minimum-Spezifikation, was Schwierigkeiten bereitete, weil die Experience auf der Unreal flüssig laufen sollte. Dennoch war die finale Version am Ende mit ein paar Gigabytes nicht allzu groß. Die Version für die Gear VR hatte eine UHD-Auflösung und war 600 Megabytes groß. Für Facebook erstellten wir ein 6K x 6K StereoVideo mit Spatial-Audio.
DP: Mit welchem Output kam das Material aus der Engine?
Solomon Rogers: Aus der Unreal haben wir die Experience mit 16K x 16K exportiert. Wir wählten diese Resolution, damit wir sie auf 8K und 4K für die Gear VR herunterrechnen konnten, und über die gewählte Größe ließ sich eine sehr hohe Qualität erzielen.
DP: Im Gegensatz zu anderen VR Experiences, die oft sehr unscharf und pixelig wirken, war bei der „Ghost in the Shell“- Experience dieses Problem nicht offensichtlich. Wie ist euch das gelungen?
Solomon Rogers: Durch die beiden Stereobilder im Headset wird das Bild leider oft etwas unscharf. Wir haben die Bilder deshalb in der Postproduktion leicht geschärft, hinzukommt, dass viele Szenen in der „Ghost in the Shell“-Experience sehr dunkel sind. So konnten wir uns vor allem auf eine höhere Qualität in den heller ausgeleuchteten Bereichen konzentrieren, gleichzeitig sind aber auch ein paar sehr schöne Dinge leider in der Dunkelheit versteckt.
DP: Was war insgesamt betrachtet die größte Herausforderung bei dem Projekt?
Solomon Rogers: Definitiv die Zeit. Darüber hinaus aber auch, das Motion Capturing auf so vielen Charakteren in einer Szene gleichzeitig funktionieren und flüssig wirken zu lassen. Bei diesem Projekt haben wir vieles über Motion Capturing im VR-Bereich gelernt.
DP: Was waren die Gründe dafür, dass die Projektzeit mit sieben Wochen so extrem kurz war?
Solomon Rogers: Ich wünschte, ich wüsste es. Zuerst lehnten wir das Projekt aufgrund der engen Deadline ab, weil unseres Erachtens nach die Menge der Aufgaben nicht zu stemmen war in diesem Zeitrahmen. Aber unser Team liebt „Ghost in the Shell“. Sie wollten das Projekt unbedingt machen und waren bereit, lange Arbeitstage dafür in Kauf zu nehmen. Also entschieden wir uns dann doch dafür, das Projekt anzunehmen, und riefen zurück.
DP: Welche Experience war komplizierter in der Realisation: „Ghost in the Shell“ oder der BBC-Spacewalk „Home“?
Solomon Rogers: „Ghost in the Shell“ war wegen des Zeitdrucks und des umfangreichen Motion Capturings anspruchsvoll. Aber es funktioniert linear, dem Betrachter wird lediglich eine Story gezeigt, das machte es hinsichtlich der Interaktivität einfacher als „Home“. Der BBC-Spacewalk war ein bahnbrechendes VR-Projekt, das zuvor in dieser Art noch nie jemand realisiert hat. In der Geschichte musste der Nutzer im Mittelpunkt stehen und ihm wird suggeriert, dass er frei in seinen Entscheidungen ist und die volle Kontrolle besitzt. Dabei mussten wir uns in der Grauzone zwischen reinem Storytelling und einem Game bewegen und damit spielen.
