Zurück in die 70er – Cloud Atlas | Retro-Artikel

Rückblick: In der DP 02 : 2013 spürten wir der Mega-Produktion Cloud Atlas nach – mit Regie-Exportschlager Tom Tykwer und den Wachowski-Geschwistern auf den Regie-Stühlen. Wie wuppte Rise die wuchtigen Visual Effects des Drei-Stunden-Epos – und wie verwandelten die VFXler das heutige Glasgow in das San Francisco der 1970er?

Dieser Artikel von Rayk Schroeder erschien ursprünglich in der DP 02 : 2013. Beachtet dazu auch unser Interview zu Cloud Atlas von Mirja Fürst aus derselben Ausgabe.

„Cloud Atlas“ von Tom Tykwer und den Wachowski-Geschwistern zählt mit Produktionskosten von rund 100 Millionen Dollar derzeit zu einem der teuersten produzierten Independent-Filme. Die aufwendigen visuellen Effekte des fast dreistündigen Werkes, bei dem sechs verschiedene Zeitepochen realisiert werden mussten, sind beeindruckend gelungen. Über 100 Shots bearbeitete Rise | Visual Effects Studios für den Film und verwandelte unter anderem das heutige Glasgow in das San Francisco der 70er Jahre.

David Mitchell schrieb 2004 den Roman „Cloud Atlas“. Er erzählt sechs mitei- nander verbundene Geschichten über einen Zeitraum von 500 Jahren; angefangen auf einem Segelschiff 1849, über das Cambridge in den 1930er Jahren. Weiter geht es in San Francisco 1973, London 2012, Neo-Seoul 2144 bis hin zu einer postapokalyptischen Welt im Jahre 2346. Das Buch galt durch seine kompliziert miteinander verwobenen Geschichten als unverfilmbar. Doch die drei Top-Regisseure Tom Tykwer (Das Parfüm, Lola rennt) und Lana und Andy Wachowski (Matrix-Trilogie) schrieben ein Drehbuch und wagten sich an die Verfilmung des Romans. Heraus kam dabei der bisher teuerste deutsche Kinofilm, in dem dieselben Schauspieler in jeder Epoche unterschiedliche Altersstufen, Geschlechter und Rassen verkörpern. Der Film wartet mit einer großen Anzahl an Stars auf: Tom Hanks, Halle Berry, Hugo Weaving, Ben Wishaw, Susan Sarandon, Hugh Grant und viele mehr. So vielfältig wie die einzelnen Geschichten waren auch die zu bearbeitenden Visual Effects Shots. Rise | Visual Effects Studios bearbeitete davon insgesamt über 100 Shots aus fast allen Episoden. Im folgenden Artikel wird beschrieben, wie das heutige Glasgow in das San Francisco der 1970er Jahre verwandelt wurde. Dabei halfen die LIDAR-Scans vom Set nicht nur beim Matchmoving.

Aufgabenstellung

Die Luisa-Rey-Episode spielt sich im San Francisco der 1970er Jahre ab. Luisa Rey, gespielt von Halle Berry, ist eine Journalistin, die einem Atomkraft-Skandal auf die Schliche kommt und daraufhin von einem Auftragskiller gejagt wird. Die Geschichte wurde allerdings nicht in San Francisco, sondern unter anderem in Glasgow gedreht. Dazu wurden die Straßen weitestgehend umgestaltet; also mit typischen Briefkästen, Mülltonnen, Straßenschildern und anderen Details aus San Francisco ausgestattet. Da in Glasgow Linksverkehr und nicht wie in San Francisco Rechtsverkehr herrscht, mussten sämtliche Straßenmarkierungen geändert werden. Um den Retuscheaufwand zu reduzieren, wurden diese deshalb mit asphaltähnlicher Farbe abgedeckt. Somit waren sie in vielen Einstellungen gar nicht mehr sichtbar und mussten dort nicht wegretuschiert werden.

Um Glasgow in San Francisco zu verwandeln sollten die Straßen mit typischen Holzhäusern erweitert oder vorhandene Häuser ersetzt oder umgestaltet werden. Zudem mussten auch die typischen Telegrafenmasten integriert werden. Dazu existierten am Set teilweise passende Mastenstümpfe (umdekorierte Laternenmasten oder neu aufgestellte Masten). Neben diesen aufwendigen Set Extensions mussten auch noch vergleichbar einfache Arbeiten wie das Entfernen der noch sichtbaren Fahrbahnmarkierungen, von Überwachungskameras, das Hinzufügen von Muzzleflashes mit entsprechender Lichtinteraktion sowie der dazu passenden Einschusslöcher umgesetzt werden.

LIDAR-Scanning am Set

Pointcloud9, eine Tochterfirma von Rise | Visual Effects Studios, scannte sämtliche Sets und Fahrzeuge mit einem LIDAR-Scanner der Firma Faro ein. Die Punktwolken wurden gesäubert, in Meshes umgewandelt und je nach Bedarf den beteiligten VFX-Häusern zur Verfügung gestellt.

Zuerst eine kurze Erläuterung des LIDARScanning-Verfahrens: LIDAR ist die Abkürzung für Light Detection And Ranging. Ein LIDARScanner funktioniert mit einem meist infraroten Laserstrahl. Dieser wird mittels eines rotierenden Spiegels in verschiedene Richtungen gelenkt und zur Entfernungsmessung von getroffenen Objekten und Oberflächen benutzt. Dabei kann diese Laserabtastung in unterschiedlichen Qualitätsstufen/Auflösungen erfolgen, so dass man je nach zur Verfügung stehender Zeit beziehungsweise benötigter Qualität Details bis zu einem Bruchteil eines Millimeters in dem Scan erkennen kann. Aus diesen gemessenen Punkten ergibt sich eine Punktwolke, die die Umgebung repräsentiert und entsprechend weiterverarbeitet werden kann. Ein solcher Scan dauert nur wenige Minuten und ist auch schnell eingerichtet und vorbereitet. LIDAR-Scanner werden schon seit geraumer Zeit in geografischen als auch bautechnischen Bereichen eingesetzt. Seit einigen Jahren sind sie auch im Visual-EffectsBereich immer häufiger anzutreffen. Die hier vorgestellte Szene in San Francisco spielt sich hauptsächlich entlang eines kompletten Straßenzuges ab. Für die spätere Bearbeitung wurde der ganze Straßenzug mit dem LIDARScanner gescannt. Um alle Häuser der langen Straße zu erfassen, mussten insgesamt vier Scans durchgeführt werden. Um diese Scans später miteinander verbinden zu können, wurden spezielle Markierungskugeln aufgestellt. Diese stellten entsprechende Bezugspunkte für den Scanner dar. Der Scanner erfasste auch die Farbwerte der gemessenen Punkte, das vereinfachte die spätere Texturierung von Objekten. Die LIDAR-Scans ermöglichten eine maßgenaue Abbildung des kompletten Sets, bis auf den Millimeter genau.

Weiterverarbeitung der LIDAR-Scans

Im Berliner Büro mussten die Scans mit verschiedener proprietärer Software weiterverarbeitet werden. Als Erstes registrierten die Artists die zu einem Set zusammengehörenden Scans, das heißt anhand der Markierungskugeln wurden sie zu einer riesigen Punktwolke miteinander verbunden, ähnlich wie ein zusammengestitchtes Panoramafoto, nur eben in 3D. Diese Punktwolke bestand am Ende aus über 200 Millionen Punkten. Bereiche, die in einem einzelnen Scan nicht erfasst werden konnten, waren in den anderen Scans enthalten. So konnten auch teilweise verdeckte Objekte in der Punktwolke dargestellt werden. Beim Scannen wurden natürlich auch Bereiche mitgescannt, die für das eigentliche Set nicht notwendig waren. Um nur die nötigen Informationen in den Punktwolken zu behalten, wurden sie erst einmal gesäubert und alle unnötigen Punkte gelöscht. Gerade bei stark reflektierenden Oberflächen wie zum Beispiel Autolacken war es für den LIDARScanner schwierig, die genaue Entfernung der zu messenden Punkte zu erfassen. Dadurch passierte es, dass in der Punktwolke an Stelle der glatten Oberflächen sehr unterschiedliche, teils überhaupt nicht passende Punkte erfasst wurden, die dann manuell mit entsprechenden Tools gesmoothed und gefiltert werden mussten. Danach konnten die Meshes wesentlich leichter und genauer erstellt und für die unterschiedlichen Einsatzbereiche verschieden detaillierte Meshes exportiert werden.

Matchmoving mit Hilfe der LIDAR-Scans

Ein Einsatzgebiet der LIDAR-Scans war das Matchmoving mit PFTrack und Syntheyes. Gerade für die Straßenschluchten waren die exak ten Geometrien hilfreich, um schwierige Kamerabewegungen tracken und im richtigen Maßstab erstellen zu können. Durch die bereits vorhandenen räumlichen Informationen in der Geometrie mussten lediglich markante Punkte den passenden Stellen in den Shots zugeordnet werden und schon war das Matchmoven erheblich einfacher zu bewerkstelligen.

San Francisco aus Maya

Um die Straßen wie in San Francisco aussehen zu lassen, modellierte 3D-Artist David Salamon verschiedene typische Holzhäuser mit vielen Details wie heraushängende Kabel, Holzfugen, Gardinen in den Fenstern, Feuerleitern et cetera. Weiterhin erstellte er Telegrafenmasten mit Kabelwirrwarr oder Sicherungskästen. Mit Hilfe der LIDAR-Scans wurde so der komplette Straßenzug mit Häusern und Telegrafenmasten dekoriert. Von der Produktionsfirma erhielt Rise | Visual Effects Studios HDR-Bilder von verschiedenen Positionen auf den Straßen. Damit konnten Reflexionen auf den Fensterscheiben der Häuser simuliert werden, indem die HDR-Bilder anhand der LIDAR-Scans auf grobe Geometrien der umgebenden Gebäude projiziert wurden. Ebenso waren sie für die korrekte Beleuchtung der Szene wichtig. Die jeweiligen Shotkameras wurden in der Straße an den entsprechenden Stellen positioniert, die zum Set passten. Der Maya-Render-Submitter für den Rendermanager Renderpal wurde bereits für andere Projekte angepasst, so dass man mehrere Kameras gleichzeitig zum Rendern abschicken konnte. So war es auch für die San-Francisco-Shots möglich, alle Shot-Kameras auf einmal zum Rendern abzuschicken und der Submitter erzeugte für jede Kamera einen eigenen Renderjob. Am Ende hatte man für jeden Shot mehrere EXRSequenzen mit allen wichtigen Passes sowie IDs für die verschiedensten Gebäude- und Telegrafenmastenteile, damit man sie separat farblich anpassen konnte.

Compositing in Nuke

In Nuke wurden die verschiedenen Passes (Diffuse, Specular, Reflection, Refraction, Ambient Occlusion et cetera) zusammengefügt und die Häuser unter Zuhilfenahme der ID-Passes farblich an die Shot-Plates angepasst. In einigen Shots waren moderne Überwachungskameras zu sehen, die durch geschicktes Positionieren der Telegrafenmasten verdeckt wurden und somit nicht mehr wegretuschiert werden mussten.

Wo dies nicht möglich war, wurden sie herausretuschiert. Die Retuschen der Fahrbahnmarkierungen wurden ebenfalls durch die LIDAR-Scans vereinfacht: In der MayaSzene wurde aus dem LIDAR-Scan eine grobe Geometrie für die Straße erstellt und als OBJ zusammen mit der dazugehörenden Kamera exportiert. Damit war es möglich, entsprechende Patches zu projizieren bzw. die Stra- ße UV-unwrapped in Nuke zu rendern, auf der UV-Map die Markierungen zu entfernen und die Retusche wieder zurückzuprojizieren.

Vom kompletten Straßenzug mit allen Gebäuden und Verkehrsschildern wurde ein OBJ für Nuke exportiert, um leichter Roto-Shapes von Straßenschildern oder Gebäuden und Retuschen für die Überwachungskameras positionieren zu können. In der Szene wird unter anderem erzählt, wie ein Auto gegen einen Hydranten fährt, aus dem dann eine Wasserfontäne schießt. Da in einigen Shots auch hinter dieser Fontäne die Häuser respektive ein Matte Painting eingesetzt werden mussten, galt es, das Wasser wieder darüber zu legen und in den Shot korrekt zu integrieren. Hierfür kam Nukes Partikelsystem zum Einsatz. Es wurden Punkte emittiert, die durch entsprechende Motionblur-Einstellungen und Farbkorrekturen an die original motiongeblurrten Wassertropfen angepasst werden konnten. Da Halle Berry in mehreren Shots im Vordergrund zu sehen war, verdeckten ihre Haare oft die Bereiche, an denen die 3D-Häuser stehen sollten. In der Plate war dort aber oft nur ein ausgebrannter heller Himmel. Es galt also die Haare so weit wie möglich aus der Plate zu extrahieren und deren Farbe an die dunkleren Hintergrundhäuser anzupassen oder, falls nötig, entsprechende Haarpatches an ihren Kopf zu tracken. Neben den bereits beschriebenen Aufgaben musste das Team einige Shots um einen „krummen“ Faktor retimen. Oft lieferte dafür PFTrack die besten Ergebnisse, gerade wenn es um feine Details ging. Damit konnte das Retuschieren von Retiming-Artefakten auf ein Minimum reduziert, aber nicht vollständig eliminiert werden. Die Herausforderung bei der hier vorgestellten Sequenz bestand in dem shotübergreifenden einheitlichen Look der Set Extensions und der korrekten Integration als eher unauffälliges Hintergrundelement. Da aber alles auf einer einzigen, einmal eingerichteten Maya-Szene basierte, war von der 3D-Abteilung eine hervorragende Voraussetzung geschaffen, so dass der Hauptaufwand im Compositing darin bestand, die Renderings an die gedrehten Plates farblich anzupassen und eventuelle Vordergrundelemente zu rotoskopieren.

Der ganze Film wurde auf analogem 35-mm-Filmmaterial gedreht. Dadurch kam es bei einigen Einstellungen mit einer statischen Kamera zu folgendem Problem: Das Bild war in sich nicht stabil und waberte in den einzelnen Bereichen ganz unterschiedlich. Dies machte eine Integration der CG-Elemente äußerst schwierig, da ein einfaches (Planar-) Tracking nicht ausreichte. Eine Möglichkeit wäre gewesen, einzelne Tracker an einzelne Punkte eines Gridwarps zu linken und dadurch die 3D-Telegrafenmasten an das instabile Bild anzupassen. Diese Möglichkeit erwies sich als zu zeitaufwendig und unkomfortabel. Deshalb schrieben die Artists Gene Hammond-Lewis und Gonzalo Moyano Fernandez ein Triangulationsskript. Es funktioniert ähnlich wie eine Mischung aus CornerPin und GridWarp und verband automatisch alle Tracker so miteinander, dass sich ein Netz aus Dreiecken zwischen ihnen aufspannte. Somit war es möglich, viele verschiedene Punkte zu tracken und sich anhand dieser Tracker automatisch eine STMap generieren zu lassen. Diese verzerrte die Telegrafenmasten passend zur Plate. Die Luisa-Rey-Sequenz wurde fast komplett bei Rise bearbeitet. Nur einige kleinere Retuschen und Muzzleflashes wurden direkt bei der Produktionsfirma von deren Inhouse-Artists bearbeitet. Es gehörten noch weitere Shots außerhalb des beschriebenen Straßenzuges zu der Sequenz: Nachdem Luisa Rey ein Atomkraftwerk auf einer Insel besucht hat, wird sie bei ihrer Abreise von einem Auftragskiller von der Brücke gedrängt und geht mit ihrem Auto unter. Für mehrere Shots musste ein Matte Painting von dem Atomkraftwerk sowohl bei Tag als auch bei Nacht angefertigt werden. Die Originalbrücke stand in Schottland. Natürlich konnte Luisa Rey mit ihrem Auto nicht direkt von dieser Brücke ins Wasser gestoßen werden. Deshalb wurde ein Teil der Brücke eingescannt und die Straßenoberfläche auf dem Rollfeld des Tempelhofer Flughafens in Berlin nachgebaut. Elemente wie Brückengeländer, Laternen und umgebendes Wasser wurden alle später hinzugefügt und das Auto teilweise durch ein 3D-Modell ersetzt.

Für das untergehende Auto erstellten die Artists Simon Ohler und Andreas Giesen in Houdini realistische Luftblasen, die mit gedrehten Elementen kombiniert wurden. Durch den Wasserdruck sollten die Fensterscheiben des Autos mit der Zeit Risse bekommen. Diese Risse wurden entlang von Splines erzeugt und ihre Entstehung manuell durch Keyframes animiert, alles ebenfalls in Houdini.

Zusammenfassung

Insgesamt war Rise an fünf der sechs Episoden beteiligt. Durch die Vielseitigkeit der zu bewältigenden Aufgaben war die Arbeit an den über 100 Shots sehr abwechslungsreich und bot die verschiedensten Herausforderungen. Neben den erwähnten VFX-Shots wurden außerdem ein Flugzeug in die Luft gesprengt und weitere CG-Environments, beispielsweise eine Satellitenstation auf einem Berg. Nach der Fertigstellung von „Cloud Atlas” wurde bei Rise der interne LIDAR-Maya-Workflow weiter optimiert, um leicht mit Hilfe von auf gescannte Geometrie projizierten HDR-Bildern eine 3DSzene ausleuchten zu können. Ist erst einmal die gescannte Location gemesht und die HDRBilder aufbereitet, können jetzt in kürzester Zeit Creatures, Character, Fahrzeuge, oder was auch immer sich durch ein Set bewegen soll, automatisch beleuchtet werden.

Mit Hilfe von aufgenommenen Spiegelkugeln ist es ebenfalls möglich, Shot für Shot die Lichtsituation zu ändern, zum Beispiel wenn sich das 3D-Objekt einmal am Tag und einmal in der Nacht an derselben Location befinden soll. In der nächsten DP-Ausgabe werde ich über dieses Vorgehen ausführlicher berichtetn

Kommentar schreiben

Please enter your comment!
Please enter your name here

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.