Mit der Filmakademie im Weltraum

Angeschnallt in einem Cockpitstuhl mit VR-Brille, Kopfhörern und weiterem Zubehör konnten Teilnehmer in die Rolle eines Co-Piloten im Spaceshuttle schlüpfen. Zusammen mit dem virtuellen Piloten Charles Overmyer soll dabei das Shuttle an der ISS angedockt werden, doch die Mission verläuft anders als geplant … asperity-tec.com. Für das interaktive Projekt hat sich das Team viele Details einfallen lassen: Neben dem eigentlichen VR-Erlebnis ist zusätzlich ein fiktives Unternehmen namens Asperity Technologies Corporation kreiert worden – samt Corporate Design (sogar mit Postkarten), Webseite und Imagefilm. Auch der Messe­stand auf der FMX 2018 war aufwendig designt – und wer nicht dem FMX-Bieber in die Arme gelaufen ist, konnte die Selfie-Kaskade auch mit einem Astronauten von Asperity fortsetzen. Wir haben mit dem Team gesprochen, um Details zur Umsetzung in Unity, verwendete Tools, eingesetzte Workflows und mehr herauszufinden.

DP: Für alle die nicht die Möglichkeit hatten, euer Projekt auf der FMX auszuprobieren: Was erwartet die Nutzer in Asperity?

Lena Lohfink: Asperity ist ein interaktives, filmisches Virtual-Reality-Erlebnis, bei dem sich der Zuschauer auf eine abenteuerliche Weltraumreise begibt. An unserem Stand der Asperity Technologies Corporation kann der Nutzer nicht nur viel über das Unternehmen erfahren, sondern auch auf einer echten Nachbildung eines Cockpitstuhls Platz nehmen. Dann heißt es: VR-Brille und Kopfhörer aufsetzen, Controller-Handschuh anziehen, Joystick ergreifen und los geht‘s! Diese interaktive 360-Grad-Rauminstallation simuliert einen möglichst echten Raumflug, indem sie den Benutzer zusätzlich äußeren, physischen Impulsen aussetzt und ihn somit aktiv in das Erlebnis einbindet.

DP: Welche Ziele habt ihr euch für das Projekt gesetzt?

Sebastian Ingenfeld: Mich persönlich hat das Thema Raumfahrt schon immer interessiert – sowohl die wissenschaftliche als auch die fiktive Seite aus der Science-Fiction. Das ikonische Spaceshuttle war schon immer mein Liebling, und als ich 2016 in Florida vor der ausrangierten „Atlantis“ stand, war ich nicht mehr zu bremsen. Hauptziel war es immer zu unterhalten. Mir war dabei aber auch wichtig, den Spagat zwischen fesselndem Entertainment und einem glaubhaften, wissenschaftlichen Hintergrund zu schaffen. Am Ende sollte ein Stück VR-Entertainment stehen, welches ich als Zuschauer selbst gern erlebt hätte und bei dem sich nicht jeder Wissenschaftler am Kopf kratzen muss.

DP: Wie groß war euer Kernteam und mit welchen zusätzlichen Personen habt ihr zusammengearbeitet?

Lena Lohfink: Das Kernteam bestand aus Regie, Lead Technical Director und Producing. Insgesamt waren jedoch ca. 30 Personen an dem Projekt beteiligt, darunter US-amerikanische und kanadische Sprecher, deutsche und slowenische Schauspieler und viele großartige Artists (Programmierung, Animation, Sound Design, Musik etc.) aus der Umgebung Baden-Württembergs.

DP: Wieviel Erfahrung habt ihr im Vorfeld zum Thema VR & Interaktivität mitgebracht?

Sebastian Ingenfeld: Ich habe vor allem Erfahrung mit klassischen Kurzfilmen. Allerdings hatte ich bereits an einer interaktiven Installation der Filmakademie mitgewirkt und konnte mir die nötigen Grundlagen schnell aneignen. Allerdings musste ich mich bereits während der kreativen Preproduktion auf viele neue Workflows und Arbeitsweisen einstellen. Aber das hat auch extrem Spaß gemacht.

DP: Über welchen Zeitraum ist „Asperity“ entstanden?

Lena Lohfink: Die Pre- und Produktion von „Asperity“ begann im Oktober 2017 und endete mit dem Diplomabschluss im Mai 2018. Die Idee und das Drehbuch entstanden jedoch sehr viel früher, schon Ende 2016, und auch die ein oder andere Vorbereitung wurden bereits im Frühjahr 2017 getroffen.

DP: Wie sah euer Projektmanagement aus? Habt ihr spezielle Tools dafür verwendet?

Lena Lohfink: Da dies unser erstes VR-Projekt war, habe ich zu Anfang viele Informationen von / mit den Artists eingeholt und nach vergleichbaren Projekten gesucht. In dem daraus resultierenden Produktionsplan haben wir die sieben Monate Produktionszeit inklusive Preproduktion und Projektabschluss in fünf große Milestones unterteilt – in unserem Fall: User-Testings. Zu diesen Milestones mussten sich dementsprechend bestimmte Elemente des Films / Games in Produktion befinden, also ließen sich da­raus unsere wöchentlichen Ziele und Deadlines ableiten. Ganz nach den Methoden des agilen Projektmanagements haben wir die verschiedenen Aufgabenpakete von Woche zu Woche definiert, an die Verantwortlichen verteilt und bearbeitet. Der Produktionsplan, die wöchentlichen Protokolle mit Zielbestimmung etc. entstanden hauptsächlich in Excel, Google Spreadsheets und InDesign. Wir haben außerdem mit Game- und Flow-Charts gearbeitet, handgeschriebene To-do-Listen zum Tracken der Aufgabenpakete genutzt und versucht, über direkte Kommunikationswege Zeit einzusparen.

DP: Wie unterschied sich die Planung und Arbeit daran von bisherigen Projekten?

Lena Lohfink: Die Aufgabenpakete der bisherigen Projekte ließen sich im Vergleich sehr viel einfacher in nahezu lineare Abläufe gliedern, deren Einzelaufgaben voneinander abhängig und miteinander verbunden waren. Das heißt, ein bestimmter Task kann ohnehin erst starten, wenn andere Tasks an einem bestimmten Punkt angelangt oder komplett erledigt sind. Bei „Asperity“ waren die User-Testings der Dreh- und Angelpunkt nahezu aller Aufgabenpakete und -bereiche. Das heißt, dass es unglaublich viele individuelle, voneinander unabhängige Aufgabenbereiche und somit Baustellen zur selben Zeit gab. Die Überwachung der Arbeitsprozesse war daher sehr viel komplexer und die verschiedenen Game-Elemente mussten wöchentlich im Kontext der Engine-Kapazitäten und Resultate aus den User-Testings neu angepasst und evaluiert werden.

DP: Welche Hardware- und Software-Tools kamen in den jeweiligen Projektphasen hauptsächlich zum Einsatz? Wie sah dafür eure Pipeline aus?

Sebastian Ingenfeld: Ich arbeite hauptsächlich in Cinema 4D und habe dort auch die ersten Assets gemodelt oder zusammengesetzt – auch sämtliche UVs habe ich dort angelegt und überarbeitet. Generell besteht das Innere des Cockpits – das man ja fast während der gesamten Experience vor sich hat – aus sehr viel Geometrie. Die grundlegenden Texturen entstanden mit Substance Painter, wurden von mir dann aber meist in Photoshop überarbeitet, um den prozeduralen Look wieder aufzubrechen. Zusammengebaut haben wir die Experience in Unity 3D und sprechen mit dem SteamVR-Plug-in die HTC Vive an. Das Cockpit inklusive Displays, Astronaut, Effects und Sonnenlicht läuft in Realtime. Die Intercom- oder Videochatverbindung zu Mission Con­trol sowie die phänomenale Aussicht auf die Erde sind vorgerenderte Videotexturen – die laufen mittlerweile echt super in Unity.

DP: Mit welchen Dateiformaten habt ihr dabei gearbeitet?

Sebastian Ingenfeld: Im Grunde ist „Asperity“ ein Patchwork aus vielen Assets aus verschiedenen Quellen – verschiedene Artists haben für uns gemodelt und wir haben Assets hinzugekauft. Für den Import nach Unity muss ich sagen, dass sich .fbx für Modelle und Animationen wunderbar eignet. Unsere Videotexturen laufen solide als .mp4/ H.264. Wir nutzen sogar ein 360-Grad-Video, welches wir auf ein Kugelinneres mappen.

DP: Wie viele Assets habt ihr für das Projekt erstellt und welche Vorlagen hattet ihr?

Sebastian Ingenfeld: Allein das Cockpit als Set besteht aus unzähligen Komponenten mit Tausenden Schaltern. Besonders hilfreich ist, dass die NASA einen Großteil an Plänen und Zeichnungen frei zur Verfügung stellt; daran haben wir uns hauptsächlich gehalten und quasi abgepaust. Wir mussten allerdings das originale NASA-Spaceshuttle-Cockpit für unsere Geschichte im Design leicht abändern und hier und da ein wenig Science-Fiction einfließen lassen. Ansonsten war neben dem Piloten lediglich ein bisschen Weltraumschrott zu modeln sowie eine glaubwürdige Erde als bewegtes 2D-Matte-Painting zu bauen – schließlich fliegt das Shuttle in den Sonnenuntergang hinein. Dann gibt es noch unsere „Floating Props“ – im Grunde Objekte des Astronautenalltags: eine Taschenlampe, ein Boardbuch, Kaugummis. Diese Requisiten schweben durch das Cockpit und können vom User angefasst werden.

DP: Konnten bereits vorhandene Assets verwendet werden, z.B. Assets, die von der NASA online bereitgestellt werden?

Sebastian Ingenfeld: Es gibt seitens der NASA kostenfreie 3D-Modelle zum Download, welche es aber letztendlich nicht ins Game geschafft haben. Aus Zeitgründen haben wir das Modell der ISS hinzugekauft – die NASA hat hier auch ein fertiges Modell kostenlos im Angebot, hier wäre aber viel zusätzliche Zeit in eine Retopo geflossen, die wir uns sparen wollten. Philipp Maas hat für uns ein Unity-fähiges Asset abgeleitet und texturiert. Für unsere Matte Paintings nutzten wir natürlich bestehende Aufnahmen aus dem Orbit. Auch für unser Intro haben wir uns aus dem NASA-Archiv bedient und über klassische VFX-Workflows eigene Designs platziert.

DP: Wie sah die Umsetzung des Cockpits und des Piloten im Detail aus?

Sebastian Ingenfeld: Innerhalb der Preproduktion hatte ich früh ein CI / CD für unsere fiktive Firma Asperity Technologies Corporation entworfen. Unsere Kostümdesignerin Marika Moritz hat davon inspiriert anschließend den Astronautenanzug in Marvelous Designer erstellt und virtuell zusammengenäht – hier war nur ein bisschen Retopo nötig. Alexander Frey hat gleichzeitig den Helm in ZBrush gesculptet und danach in Maya game-ready gemodelt. Unser Technical Director Seyed Ahmad Housseini war hauptsächlich für eine saubere Character-Animation-Pipeline zuständig. Für den Astronauten hatten wir alle nötigen Bewegungen mittels Motion Capture grob aufgenommen, allerdings musste unsere Animatorin Maike Koller noch viele Details on top animieren. In Maya wurde am Ende das Mocap-Rig mit dem Ani­mation-Rig zu einem Game-Rig verschmolzen und anschließend per .fbx nach Unity gepusht – dort konnten wir mittels unseres Eventsystems von Take zu Take überblenden oder den Character in den Idle schicken.

DP: Welche Interaktionsmöglichkeiten hat der Nutzer in dem Cockpit? Wie ließen sich diese mit Unity realisieren?

Matthias Heim: Der Nutzer steuert über einen Handschuh mit Vive-Tracker seine Hand als Weltraumtourist im Cockpit, was mit Inverse Kinematic realisiert wurde. Damit kann er Schalter betätigen, um in der Story weiterzukommen. Zusätzlich schweben Gegenstände in der Schwerelosigkeit, mit denen der Spieler interagieren kann. Dafür wurden simulierte Rigid Bodies verwendet. Um an die ISS anzudocken, kann der Nutzer die Rotation des Shuttles mit einem realen Joystick kontrollieren, dessen Input Unity als normalen USB-Controller einlesen konnte.

DP: Welche Animationen mussten für das Ankoppeln an der ISS erstellt werden?

Matthias Heim: Für das Ankoppeln des Spaceshuttles wurde die Position von Hand animiert. Die Rotation kann der Spieler über einen Controller steuern. Zusätzlich reflektieren die Anzeigen im Cockpit die Position und Rotation des Shuttles, was in Abhängigkeit dieser Werte prozedural animiert wurde.

DP: Warum habt ihr euch für die Unity Engine entschieden?

Matthias Heim: Da Unity sehr verbreitet ist, hatten die meisten Projektmitarbeiter bereits Kontakt mit dieser Game Engine. Außerdem haben die beiden Programmierer bereits Erfahrung aus früheren Unity Projekten. Die Software bot uns die Möglichkeit, schnell angepasste Tools zu entwickeln, wie etwa ein Node-basiertes Event-System. Mit diesem konnten auch Nichtprogrammierer bequem Content erstellen und den Verlauf der Story bearbeiten. Auch wenn andere Programme wie etwa die Unreal Engine out of the box bessere Grafik bieten als Unity, ist dies nicht unbedingt ein Vorteil für VR-Anwendungen. Da alle Bilder doppelt und in sehr hoher Frequenz berechnet werden müssen, hat Unity da schon Schritte unternommen, um die Performance für diese Anwendungen zu verbessern.

DP: Wie liefen die Absprachen zum Austausch und der Integration des Sound Designs – welche Middleware kam hierfür in Unity zum Einsatz?

Pablo Knupfer: Vorab haben wir stark iterativ gearbeitet und wichtige Sound-Events im Vorfeld definiert. Hier entstand auch ein Großteil das Sound Designs – quasi in Snippets – und wurde dann in die Soundengine und somit in Unity integriert. Um ein möglichst immersives Erlebnis und eine besonders realistische Soundkulisse zu erzeugen, war binauraler Sound notwendig. Schließlich sollten Schallquellen ortbar sein. Dies wurde mittels der Soundengine Wwise zusammen mit dem Spatializer von Oculus umgesetzt.

DP: Wie habt ihr herkömmliche VFX-Elemente in die Realtime-Umgebung der Game Engine gebracht?

Sebastian Ingenfeld: Ich habe früher viel 2D-Compositing für Realfilm gemacht und fühle mich in klassischen VFX-Workflows zu Hause. Ursprünglich war also mein Plan, Elemente wie Explosionen, Einschläge oder den Weltraumschrott vorzurendern und als Videotexturen einzubinden. Als dann allerdings alle harten 3D-Assets und Videotexturen für die Hintergründe in der Unity-Szene integriert waren und die Performance und Framerate immer noch performant waren, haben wir diese Entscheidung noch mal überdacht. Für die meisten Effekte wie Feuer, Rauch und die sichtbaren Raketenbursts nutzen wir jetzt eine partikelbasierte Library. Unser Weltraumschrott wird vom Physiksystem von Unity angefeuert, welches auch unsere „Floating Props“ und sowas wie Glasscherben innerhalb des Cockpits steuert. Die letzten Überbleibsel an VFX findet man beim Ausblick auf die Erde – ein bewegtes Matte Painting aus echtem Footage vom Erdorbit. Außerdem haben wir für unser Intro – ein fiktiver Imagefilm der Asperity Technologies Corporation – viel lizenziertes Archivfootage retuschiert und eigene Schauspieler in unser Cockpit integriert.

DP: Welche weiteren Mittel habt ihr verwendet, um eine möglichst immersive Atmosphäre für den Nutzer zu erzeugen?

Sebastian Ingenfeld: Die Experience beginnt, noch bevor der User die VR-Brille aufsetzt. Man erlebt „Asperity“ ausschließlich auf einem Nachbau eines Spaceshuttle-Pilotenstuhls, wobei man zunächst eng angeschnallt wird. Mit einem Handschuh kann der User seine eigene Hand in der virtuellen Welt nicht nur sehen, sondern damit auch interagieren. Im Finale wird dann noch ein Joystick wichtig, welcher am Stuhl montiert ist. Innerhalb der Geschichte ist es sehr wichtig, dass die Reise des Users mit dem erfahrenen Piloten Charles Overmyer an dessen Seite beginnt – der Astronaut sitzt direkt neben dem Spieler und steuert selbstsicher das Shuttle.

Umso schockierender wirkt dann der Moment, in dem Charles Overmyer von jetzt auf gleich stirbt und den unerfahrenen User quasi allein zurücklässt. Gleichzeitig fällt auch das Licht im Cockpit aus, sämtliche Luft strömt aus dem Cockpit. Hier ändert sich die Licht- und Soundstimmung von einer Sekunde auf die nächste. Sehr früh in der Produktionsphase haben wir bereits mit der Beleuchtung der Instrumente und des Cockpits experimentiert, sodass sich die Lichter auch mit dem Verlauf der Story und der Stimmung anpassen. Außerhalb der Cockpitfenster sehen wir außerdem die Erde, welche sich langsam von der Sonnen- in die Schattenseite dreht. Auf der Soundebene verzichtet die Experience während der meisten Zeit komplett auf hörbare Musik. Pablo Knupfer lässt allerdings über einen Tiefenkanal den Sitz vibrieren und mischt eine stimmungsvolle Atmosphäre aus einer Variation von Raketen und Lüftungsgeräuschen, wie man sie innerhalb eines Shuttles finden könnte.

DP: Welche größeren technischen Probleme ergaben sich im Laufe des Projekts und wie habt ihr diese gelöst? Gab es Ideen, die ihr nicht umsetzen konntet?

Sebastian Ingenfeld: Es gab immer mal wieder kleine Schwierigkeiten beim Austausch von Assets, besonders mit unserem Piloten. Hier hatten wir eine komplexe Pipeline. Unser TD hatte noch viele weitere Ideen für technische Features, die wir leider nicht mehr geschafft haben. Wir haben beispielsweise mit der Idee gespielt, eine zusätzliche Kommunikation mit Mission Control per KI-gesteuerter Sprachsteuerung umzusetzen. Ich persönlich würde das Projekt jetzt gerne außerhalb von VR umsetzen – mit einem funktionierenden, haptischen Nachbau des Shuttlecockpits und mit stereoskopischen Projektionen außerhalb der Fenster. Das wäre ein Traum!

DP: Mit welchen Auflösungen habt ihr gearbeitet, um die entsprechende Schärfe und Bildqualität zu erreichen?

Sebastian Ingenfeld: Die Experience läuft mit 60 fps, Gleiches gilt für unsere Videotexturen. Problematisch ist wohl nach wie vor die Auflösung der VR-Brille – wir mussten Beschriftungen und sogar einige Displays innerhalb des Cockpits vergrößern, sodass man überhaupt die Buchstaben und Symbole entziffern konnte. Leider sind wir an die Hardware und deren Auflösung gebunden. Die Texturen des Cockpits sind in Flugrichtung entsprechend hochauflösend – würde man den Roomscale nutzen und vom Sitz aufstehen, würde man allerdings schnell bemerken, dass wir an unwichtigen Stellen viel Auflösung eingespart haben.

DP: Was hat euch besonders an dem Projekt gefallen?

Matthias Heim: „Asperity“ war mein erstes großes Projekt in Virtual Reality, eine Technologie, die mich sehr fasziniert.
Lena Lohfink: Sebastian Ingenfeld hat aus seinem Diplomprojekt „Asperity“ ein komplettes Erlebnis mit Hintergrundgeschichte entwickelt (fiktives Unternehmen, Imagefilm, Webseite, Messestand mit Raumschiff u.v.m.). „Asperity“ in seinem vollen Umfang zu produzieren war spannend, sehr abwechslungsreich und hat mich immer wieder vor neue Herausforderungen und Aufgaben gestellt, die all meine bisherigen Kompetenzen in Anspruch genommen haben, um etwas Neues zu erschaffen (mehrere Sprecheraufnahmen, Realfilm-Dreharbeiten mit Setbau, VFX-Produktion, binaurale Soundaufnahmen, Game- und App-Programmierung etc.). Daran bin ich gewachsen.
Sebastian Ingenfeld: Gefallen haben mir vor allem die Thematik und die Möglichkeit, aus der persönlichen Komfortzone des linearen Films ausbrechen zu können. 360 Grad kombiniert mit der Interaktion haben mich ziemlich gefordert. Das war toll!
Pablo Knupfer: Für mich war es toll, Erfahrungen in der Produktion von Sound Design für VR und Spatial Audio zu sammeln.

DP: Gibt es für Interessierte die Möglichkeit, „Asperity“ irgendwo auszuprobieren oder anzuschauen (in Zukunft z.B. auf der Webseite)?

Sebastian Ingenfeld: „Asperity“ ist als Installation angelegt und auch nur so in vollem Umfang zu genießen. Der Pilotenstuhl und unser gesamtes Setup sind mit der Expe­rience verwoben, daher wird es die Anwendung nicht online für den Enduser geben. Auf der FMX 2018 hatten wir unsere Premiere und waren jeden Messetag ausgebucht. Zurzeit sind wir mit verschiedenen Kunden im Gespräch, um „Asperity“ saisonal oder dauerhaft ausstellen zu können. Bis dahin kann man sich auf unserer Webseite informieren, wann und wo die Experience bis dahin kurzzeitig erlebbar sein wird.

DP: Was versprecht ihr euch von der Zukunft des Designs von VR-Erlebnissen? Welche technischen Probleme müssen eurer Meinung nach behoben werden?

Sebastian Ingenfeld: Für mich ist das größte Problem die Brille: die physische Auflösung und das eingeschränkte Sichtfeld. Bei unserer HTC Vive von 2017 ist noch sehr klar das Pixelraster erkennbar. Auch der Zwang, die Steam-VR-Software nutzen zu müssen, hat uns bei einigen Features eingeschränkt und ist – meiner Meinung nach – auch nicht sonderlich nutzerfreundlich. Ein dezenter Hintergrund-Client mit weniger Werbung, ohne Login- und Accountzwang und ohne Updatepanik wäre wesentlich angenehmer.

DP: Was steht bei euch nun nach dem Diplomprojekt an?

Lena Lohfink: Nachdem wir das Projekt nun abgeschlossen haben, beginnen wir mit der Verwertung und suchen einen Abnehmer für unser Produkt. Parallel dazu heißt es für mich, auf Jobsuche gehen und als Producer weiterhin so tolle Projekte produzieren, die die Menschen begeistern.
Sebastian Ingenfeld: Ich kümmere mich mit Lena nun um die Verwertung und eventuelle Weiterentwicklung von „Asperity“ – vielleicht ergibt sich bald eine Kooperation, mit der alle Beteiligten glücklich sind.