The Matrix Reloaded: Jenseits von Zeit und Raum

Rückblick: In der DP 03 : 2003 hackten wir uns in den Quellcode von "Matrix Reloaded". Ready to go back to the Matrix?

Dieser Artikel erschien ursprünglich in der DP 03 : 2003.

Nach vier Jahren und dank „Virtual Cinematography“ und „Image Based Rendering“ wird erneut der Versuch unternommen, die ungelösten Rätsel der Matrix zu ergründen und ihre Erzeuger zu bekämpfen. Dieses Jahr gleich in verschiedenen Medien: Zwei Kinofilme, eine DVD und ein Videospiel erstürmen den Markt und das Begehren der Matrix-Fans.

Am Ende von The Matrix, dem ersten Teil der Trilogie, braust Neo (Keanu Reeves) himmelwärts und hinterlässt einen besiegten Agent Smith (Hugo Weaving). In The Matrix Reloaded kehren beide zurück. Während Neo durch die Initiation im ersten Teil reicher an Kraft und machtvoller Kampfesstrategie geworden ist, versteht sich Agent Smith vor allem auf eine neue Spezialität: Die Vervielfältigung der eigenen Erscheinung. Als mörderisches Virus hat Smith einen Weg gefunden, in der Matrix zu überleben und ist nun selbst ein Teil von ihr. Der zweite Teil der Trilogie erzählt daher nicht nur von Neos altem Gegner im neuen Gewand, sondern führt an den zahlreichen Kampfszenen mit ihm auch zugleich die Bildtechnologie der Zukunft vor.

Der Special Effects Supervisor John Gaeta griff für die besonderen Effekte der Trilogie nicht nur auf existierende Technik zurück, sondern erfand gleich neue.

The Matrix Reloaded: Das Matrix-Team schlägt erneut zu

Bullet-Time-Photography: von der Basis- zur Zukunftstechnik

Für The Matrix entwickelte Gaetas damalige Firma Manix die Bullet-Time-Photography, deren Ursprünge auf Entwicklungen basieren, die weit zurück liegen. Nämlich bis in die Mitte des 19. Jahrhunderts. In Frankreich führte der Geodäsieprofessor Aimé Laussedat erstmals die Photogrammetrie (griech. = Bildmessung) für die Herstellung von Landkarten ein. 1850 nahm er den Mont Valérien bei Suresnes am linken Seine-Ufer aus verschiedenen Perspektiven auf und fertigte aus dem Ergebnis eine Karte des 162 m hohen Hü- gels an. Der Eindruck einer der Wahrnehmung der Augen entsprechenden dreidimensionalen Tiefe war das Ziel dieser FotoTechnik.

140 Jahre später, im Jahre 1990, entdeckte Arnauld Lamorlette, R&D-Direktor des Studios Buf Compagnie in Paris (www.buf. fr), durch das Morphen von zwei Bildern einen 3D-Effekt. Hier setzt nun die Fortsetzung dieser Technik-Geschichte an, die John Gaeta mit der Bullet-Time-Photography für The Matrix schuf. Im ersten Matrix-Film wurden die entscheidenden Szenen zunächst mit den üblichen Kameras gedreht und das Material anschließend in einen Computer eingelesen. Mithilfe eines laser gesteuerten Tracking-Systems wählte man dann jene Kameraperspektiven, die für die endgültige Szene in Frage kamen. Im Studio erzielte man daraufhin durch eine Anordnung von 122 Nikon-Fotoapparaten eine Vervielfachung der gewonnenen Kamerapositionen. Per Fernauslöser schossen die Apparate zur gleichen Zeit jeweils ein Foto. Danach scannte man jedes Bild in den Computer, um eine Fotoserie zu erhalten – vergleichbar einem Comicstrip. Der Computer berechnete anhand der Fotos weitere Kamerapositionen und generierte auf diese Weise Übergänge von einem Bild zum nächsten.

Vor den Augen der Regisseure Andy und Larry Wachowski ließ sich das Endprodukt dann je nach Wunsch entweder schnell oder langsam abspielen. Zugleich war damit die gewünschte Kontrolle über die Kamerapositionen erreicht und ebenso der von den Brüdern begehrte visuelle Eindruck geschaffen. Joel Silver, Produzent der Sequels, verglich diese Technik mit japanischen Anime-Filmen wie „Ghost in the Shell“ oder „Akira“. Jedoch mit dem Unterschied, dass es sich in The Matrix gerade nicht um rein animierte Szenen handelte, sondern vielmehr um einen animierten ‚RealLife-Film’. Den Zuschauern im Kino offenbarte sich schließlich ein Slow-Motion-Ereignis, das aus 12.000 Bildern pro Sekunde erzeugt und dazu noch von einer dynamisch kreisenden Kamera in verschiedene Perspektiven versetzt wurde.

Neo: An Kräften reicher dank seiner Wiedergeburt und Initiation in die Regeln zur Bekämpfung der Matrix

Virtuelle Kameratechnologie: Überwindung von Zeit & Raum

1999 ging „The Matrix“ mit der Bullet-Time-Photography in die Kinogeschichte ein. Im Mai 2003 versuchen die Wachowskis erneut das Medium Kino zu erfinden. Wieder sind es die technischen Kunststücke eines John Gaeta, der für The Matrix Reloaded mit virtueller Kameratechnik aufwartet und die Zuschauer in die verstrickten Wege der Matrix führt. Für das neue Spektakel gründete Gaeta auch gleich eine neue Firma mit Namen ESC – zu Ehren der Esc-Taste auf dem Computer-Keyboard und vielleicht auch als Verweis auf die Matrix, der zu entkommen schließlich die Filmerzählung motiviert.

ESC, im kalifornischen Alameda ansässig, lieferte mit sechs weiteren Trickfirmen insgesamt 2.500 einzelne Effekte-Einstellungen. Damit sind die 412 digital erstellten Effekte für The Matrix weit übertroffen. An den neuen Effekten arbeiteten die Teams teilweise bis zu drei Jahren. Die virtuelle Kamera wird nach dem zweiten Matrix-Film „The Matrix Reloaded“ und dem dritten Film, „The Matrix Revolution“, einen festen Platz in der Geschichte der Postproduktion einnehmen und das Kinobild neu definieren. Das Verfahren koppelt real aufgenommene Bilder mit computer-generierten Bildern und verwischt die Grenzen. Zunächst wird jedes Objekt – Menschen, Räume, Fahrzeuge – aufgrund seiner realen Vorlage virtuell nachgebildet. Mit dem als „universal capture“, kurz Ucap, bezeichneten Verfahren werden die Aktionen der Schauspieler aufgenommen. Fünf hochauflösende digitale Kameras produzieren Bilder, die bis ins Detail sogar Hautporen aufnehmen. Computer speichern das Kameramaterial und berechnen über einen komplexen Algorithmus auch alle nicht erfassten Kamerawinkel und fügen diese hinzu. Am Ende liegt eine RundumAnsicht der Darstellungen der Schauspieler vor, die das EffekteTeam unbegrenzt einsetzen kann.

Burly Brawl: Zwischen Illusion und Wirklichkeit

Die im Computer aufgezeichneten Daten der Körper von Schauspielern vollziehen einerseits Kung-Fu-Kämpfe. Andererseits fliegen sie, wie etwa Neo in einer Szene, mit 3000 Stundenkilometern durch die Großstadt.

Der Regisseur erhält mit diesem digitalen Verfahren eine große Kontrolle über die Bewegungen der Schauspieler. Auf die Frage, wie er sich dabei fühle, antwortet Hauptdarsteller Keanu Reeves eher ausweichend: „Nun, es ist ein gewisses Maß an Ambivalenz gegeben.“ Dennoch, so scheint es, verbleibt der Zwiespalt allein beim Schauspieler, denn die „virtual cinematography“ verwischt den Unterschied zwischen Realität und Virtualität. Das Kinopublikum nimmt später die exakten Schnittstellen zwischen Real-Daten und digital animierten Elementen nicht wahr. Das Special-Effects-Team JohnGaeta und Kim Libreri baute für die spektakuläre Kampfszene, die sie Burly Brawl (heftige Rauferei) tauften, eine riesige Motion-Capture-Bühne. Acht bis elf Stuntmänner und Choreograph Yuen Wo-ping sorgten für den waghalsigen Teil der KampfChoreographie, die Neo und Agent Smith vollziehen. Ihre Bewegungen füllte die Speicherplätze in Form von Motion-Capture-Daten, die noch vervielfältigt wurden. Für den aufwändigen Prozess legte das Team um Gaeta eine wie er sagt ultimative „clip and paste library“ an. Mit dieser Bibliothek ließ sich die Menge an Daten in brauchbare Bewegungseinheiten gliedern, die schließlich um Neo, dem Zentrum des Kampfes kreisten.

Trinity beim Versuch einen der Twins auszuschalten, die in der Lage sind, sich jederzeit in Luft aufzulösen können

Die im Computer erzeugten Körper erhielten digitales Fleisch, Muskeln und Knochen. Natürlich sollte auch die Kleidung der simulierten Hauptakteure dem realen Outfit der Schauspieler entsprechen. Dafür sorgte die Firma Surface Optics (www.surfaceoptics. com) mit einem Spezialverfahren zur Messung von Lichtreflexionen. Die „bidirectional reflectance distribution function“ verlieh dem Anzug von Agent Smith und Neos Mantel die richtige stoffliche Oberfläche.

Niobe (Jada Pinkett-Smith) spielt in Reloaded den Captain der Logos und im Videogame neben Ghost die Hauptrolle

Eine ähnliche Präzision legten die Macher auf die animierten Gesichter von Reeves und Weaving. Zuerst umkreisten fünf Sony-900-HD-Kameras die kampfwütig grimmassierenden Gesichter der beiden Schauspieler, um den virtuellen Menschen ihre Züge zu verpassen. Bis ins kleinste Detail nahm die Kamera die Mimik und die Gesichtsfarbe der Schauspieler auf. Die unkomprimierten Daten der Kameras, die ein Gigabyte in der Sekunde aufnehmen, landeten schließlich auf den Speicherplätzen mehrerer High-End-PCs. Hier wurden die Bewegungsdaten der Köpfe von Algorithmen analysiert, die George Borshukov entwickelt hatte.

Gaeta lernte die Arbeit des Programmierers George Borshukov auf der Siggraph kennen, wo der Film „The Campanile Movie“ von Borshukov, Paul Debevec und Yizhou Yu zu sehen war. Allein aus Standbildern gemacht, zeigt der Film einen Flug über den Campus der Universität von Bekeley (Kalifornien). In einzelnen Arbeitsschritten wurden zuerst die Konturen von Gebäuden und Landschaften in ihren Eckdaten und Linien den Fotos entnommen. Auf Basis der daraus gewonnenen Messpunkte erstellte die Gruppe ein 3D-Modell und beklebte es mit den Fotos der Gebäude und Landschaften. Borshukov selbst entwarf das entscheidende Programm, um das gefilmte Modell im Computer zu rendern.

John Gaeta, überzeugt von der Arbeit, gewann George Borshukov für das Matrix-Team. Sein Rezept und Geheimnis liegt im Extrahieren von Informationen aus der realen Welt. Dadurch lässt sich, laut Borshukov, die Vielfalt, die Einfärbungen, die Unwiederholbarkeit und Subtilität bewahren. Es sind gerade jene Dinge, die für die Computergrafik so schwer zu verwirklichen und überaus teuer sind. Erst in zehn Jahren, so denkt er, lässt sich dieses Ziel allein im Computer erreichen.

Beim Kopieren der Mimik von Reeves und Weaving vereinfachten die winzigen Unregelmäßigkeiten im Ausdruck die Arbeit von Borshukov. Denn gerade dadurch ließen sich die grafischen Messpunkte im digitalen Raum besser zuordnen und bestimmen. Zusammen mit der Arbeit von Arius 3D (www.arius3d. com), eine Firma die hochauflö- sende Scanner von 25 Mikrometer Durchmesser entwickelt, gelang die erstaunliche Annäherung an die realen Züge von Reeves und Weaving. Für den gewünschten dreidimensionalen Eindruck und die Beweglichkeit in alle Richtungen und aus allen Perspektiven sorgte dann Universal Capture – die virtuelle Kamera. Von der Nahaufnahme bis in die Totale durchläuft virtual cinematography von Hunderten zuvor gemachten Real-Aufnahmen der Schauspieler jede erdenkliche Einstellung in einer bis zu 750 km/h Geschwindigkeit. Die Gesamtheit dieser verschiedenen Arbeitsprozesse landete schließlich auf den Rechnern von ESC, um mit der Academy Award prämierten Software Mental Ray gerendert zu werden.

Das Ergebnis bietet einen aussergewöhnlichen Kampf zwischen Neo und Agent Smith. Vor den Augen des Kinopublikums verwandelt sich der Agent in eine Schar von Hunderten Klonen. Aus allen Winkeln treten sie hervor, um Neo zu bezwingen.

Stuntwork: Carrie-Anne Moss und Randall Duk Kim riskieren ihr Leben für die Höllenjagd in der Freeway-Szene

Höllenjagd: Analoge Stunts gepaart mit digitalen Effekten

Einen besonderen Augen- und Ohrenschmaus bildet die Freeway-Szene in The Matrix Reloaded. Sie führt Visual- und SoundEffects-Technik in einer dynamischen Mischung zusammen. Auf einer ausgedienten Marine-Basis in Alameda/California war im Februar 2001 ein Bauteam damit beschäftigt, eine drei Kilometer lange Freeway-Strecke anzulegen. Für eine Million Dollar stattete das Team den Straßenabschnitt mit allem aus, was zur „Realität“ eines Freeways gehört: Straßenschilder, Mittelstreifen, eine Autobahnzufahrt und eine Brücke. Die Piste beruht auf einer Nachbildung des Freeways 110 in Los Angeles und ist mit hohen Seitenwänden ausgestattet, um tödliche Aktionen noch besser ins Licht zu setzen.

Die auf dem Freeway stattfindende Verfolgungsjagd gilt bereits jetzt als die „spannendste Autojagd der Filmgeschichte“ – so die US-amerikanische Zeitschrift „Newsweek“. Während Neo durch die Lüfte fliegt, versuchen Hunderte Fahrzeuge aller Art sowie Agenten und Polizisten den Topos der Verfolgungsjagd neu zu erfinden. Auf und in rasenden Fahrzeugen – der Rücksitz eines Cadillacs oder auf dem Dach eines Trucks – finden die für das Sequel typischen Kung-FuKämpfe statt.

Da die Hatz innerhalb der Matrix stattfindet, läuft nichts mehr nach den üblichen physikalischen Gesetzen. Es gelten die Regeln der Maschinen-Macht. Agenten visualisieren sich aus dem Nichts von allen Seiten und schlüpfen nach Belieben in die Körper der Menschen in den Fahrzeugen. Auf diese Weise versuchen sie das Steuer und die Kontrolle der wilden Jagd zu übernehmen. Effekte wie die Helikopter-Szene aus The Matrix, in der die Glasfassade eines Skyscrapers auf ungewöhnliche Weise in tausend Stücke zerbarst, werden in dieser Szene sowie verstärkt im dritten Teil, The Matrix Revolution, zu sehen sein. Dabei koppelte man reale Pyrotechnik mit künstlicher, so dass die Artists zum Beispiel über eine Explosion frei verfügen konnten. Gaeta spricht in diesem Zusammenhang über das Phänomen von Wasser oder Flammen, deren Eigenschaften einfach verkehrt werden, so dass am Ende Wasser reagiert wie Feuer und Feuer wie Wasser. Das Ergebnis des aus real und künstlich geklonten Materials zeigt absurde Effekte, die sich im filmischen Raum wie intelligente Wesen nach Gaetas eigenen Regeln bewegen. Neben Neo in der Luft sind auch Trinity (Carrie-Anne Moss) und die Figur des Keymaker (Randall Duk Kim) zusammen auf einer Ducati 996 an der Jagd beteiligt. Für die unbehelmte Fahrt auf dem „high- performance“ Motorrad trainierte Moss mehrere Monate zunächst auf kleineren Modellen und riskierte buchstäblich Kopf und Kragen. Vor dem Dreh der Sequenz wurde der präzise Ablauf per Computeranimation erstellt, die eine bestimmte Anordnung der Fahrzeuge und deren Geschwindigkeit entwarf. Eine Kombination aus realen Stunt-Einsätzen, gekoppelt mit digitaler Technologie bilden das Kernstück der ungewöhnlichen Freeway-Szene.

Burly Brawl oder Neo und die Klone: Die virtuelle Kamera läßt die Klone von Schauspieler Hugo Weaving aus allen Richtungen tanzen

Neumann Solution-D: Ein akustisches Mikroskop

Bis zu 150.000 Soundeffekte hat der Sound-Designer Dane Davis in den letzten 25 Jahren seiner Sound-Arbeit zusammengetragen. Für die beiden Sequels The Matrix Reloaded und The Matrix Revolution benutzte er zur Aufnahme von Rohmaterial das Mikrofon-System von Neumann Solution-D. In Davis Augen überragt Neumann Solution-D selbst den besten analogen „transducer“ (Wandler) an Qualität. Er und sein Team von Danetracks, der eigenen Firma von Davis, haben es für die Matrix-Trilogie mit einer Menge extremer Sounds zu tun. Darunter fallen zum Beispiel Schusswaffen oder kreischende und quietschende Fahrzeuge, aber ebenso viele leise, subtile Sounds. Für die Sound-Bibliothek und die beiden kommenden Sequels hat Davis metallische und kristalline sowie mit Wasser kombinierte Sounds aufgenommen. Zu den metallischen Sounds gesellen sich auf der visuellen Ebene Schwerter und schwertähnliche Kampfobjekte. Hier ging es besonders darum, den Ton von scharfen metallischen Klingen einzufangen.

Einen Gegensatz zum scharfen hochfrequentigen Klang von Metall bildet tieftönendes durch ein Rohr fließendes Wasser. Das Mikrofon-System von Neumann besitzt laut Sound-Designer Dane Davis den Vorteil, deutlich weniger Nebengeräusche zu transportieren. Oft werden bei weniger qualitativen Mikrofonsystemen thermale und elektronische Geräusche übertragen oder jene, die beim Umwandeln von analog zu digital auftreten. Dank der „high-definition sampling rate“ von Neumann Solution-D sei der Sound deutlich klarer, so Sound-Designer Davis. Es sei sogar bei verlangsamter Abspielrate möglich, Harmonien zu erhalten, die normalerweise untergehen oder für das Ohr nicht mehr wahrnehmbar sind.

Neu im Team ist Persephone (Monica Bellucci rechts) – sie ist von Maschinen erschaffen, um Morpheus zu verführen

Enter the Matrix: Ein Videospiel mit technischen Raffinessen

Mit „The Matrix Reloaded“ kommt das Videospiel „Enter the Matrix“ im Mai auf den Markt. Die Brüder Andy und Larry Wachowski, selbst begeisterte Spieler, schrieben dafür ein 244 Seiten langes Skript und filmten für das Spiel spezielles Material an den Sets ihrer Kinofilme. An die 60 Entwickler arbeiteten zwei Jahre lang an einer eigenen Technologie, um Enter the Matrix den besonderen „Look“ zu verpassen. Die Geschichte des Spiels läuft einerseits parallel zur Handlung der Filmtrilogie, soll aber andererseits mit einer Tür, die im Film verschlossen bleibt, eine weitere Ebene in die Tiefen der Matrix eröffnen.

Motion-Capture: An den Sets für The Matrix Reloaded und The Matrix Revolution in den USA und Australien zeichneten 32 Motion-Capture-Kameras die Bewegungen aller wichtigen Schauspieler auf. Zusätzlich waren 14 Infrarot-Kameras mit insgesamt 42 Referenzpunkten auf die Gesichter der Schauspieler gerichtet, um beim Sprechen Daten für die Interaktion zwischen Muskeln und Knochen zu erhalten. Schließlich wurde die Filmcrew noch „cyberscanned“, um für die Matrix taugliche 3D-Synthespians zu gewinnen. Der hier beschriebene Arbeitsprozess dauerte sechs Monate.

Bullet-Time: Natürlich darf in einem Videospiel über die Matrix auch die Bullet-Time-Photography nicht fehlen. Die Spieler können die Handlung beeinflussen, indem sie zum Beispiel feindliche Figuren herausgreifen und sich dazu aus einem Waffenarsenal das geeignete Tötungswerkzeug wählen. Dabei basiert die Waffentechnologie zum Teil auf realen Prototypen der nächsten Generation. Neben hochtechnisierten Waffen sind aber auch archaische Zweikämpfe möglich. Die BulletTime-Technologie lässt die Kampfszenen detailreich erscheinen – die Action wird verlangsamt und manche Kugel trifft erst auf Umwegen ihr Ziel. Bewegungsspielraum: Die Hauptakteure von „Enter the Matrix“ sind Niobe und Ghost. Normalerweise besitzen Figuren eines Videospiels ein Repertoire von 300 bis 600 programmierten Einzelbewegungen. Im Vergleich dazu besitzen hier beide Figuren einen Spielraum von über 3.500 Bewegungen, die sich aus den aufwändigen Motion-CaptureSitzungen herleiten. Wenn Niobe, gespielt von Jada Pinkett Smith, eine Kampfbewegung vollzieht, entspricht diese exakt der real aufgenommenen Einstellung mit der Schauspielerin. Die animierte Figur ist daher in der Lage, sämtliche Bewegungen – rennen, springen oder schießen – in allen erdenklichen Formationen auszuführen.

Alpha-Mapping: Eine Modelliertechnik mit der Bezeichnung „Alpha-Mapping“ sorgte in „Enter the Matrix“ für die richtige Frisur. Das Verfahren modellierte nicht nur jede Haarlocke, sondern verpasste auch Bärten und Wimpern das richtige Styling durch Glanz. Zudem entwickelte Shiny Entertainment ein Programm, um die virtuelle Haut der Figuren in Echtzeit zu dehnen. Auf diese Weise wirken Kniebeugen, ein Lächeln oder Bewegungen recht authentisch.

Zoom: Die Wachowski-Brüder waren für das Spiel an einem Gesamteindruck interessiert, der den Kinofilmen kaum nachstehen sollte – ein Hollywoodspektakel für die Game-Konsole. Dafür benötigte man einen fließenden Übergang von der einen Perspektive in die andere. Mit Hilfe eines von Shiny Entertainment entwickelten Echtzeit „Tessellation-System“ gelang der Wechsel der Perspektiven mit hoher Geschwindigkeit. Eine Polygon-Zahl von 400 für eine gängige Kampfszene lässt sich beim Zoomen auf ein Gesicht oder eine Hand auf 30.000 steigern. Der Spielfluss ergibt sich für die User durch eine integrierte Funktion, die automatisch Details hinzufügt oder abrückt. Mit 60 Bildern pro Sekunde läuft „Enter the Matrix“ mehr als doppelt so schnell wie ein Kinofilm.

Maschinenkult: Einen für den Unterhaltungswert wichtigen Aspekt liefern die fünf Computerprogramme, die erst das Spiel im Spiel übertragen. So ermöglicht etwa eine Maschine das Einhacken in die Matrix oder in jeden anderen Computer, den das Spiel bereit hält. Eine andere, den Matrix-Kennern vertraute, Maschine liefert das ausgefeilte KampfComputer-Programm. Es kämpfen diesmal nicht Neo gegen Morpheus, sondern unter anderen die ebenso grandiose Niobe. Die verschiedenen Spielfiguren eignen sich damit verschiedene KörperKampf-Techniken an, die vom Kung-Fu-Meister bis zum gewieften Straßenkämpfer reichen.

Morpheus bereit zum Kampf auf dem eine Millon teuren Freeway

DVD mit weiteren Geschichten: The Animatrix

Als Regisseure der neun Anime-Filme ließen sich bedeutende Anime-Filmemacher gewinnen. Auf der DVD, die im Juni weltweit veröffentlicht wird, befinden sich neun Animations-Filme. Die beiden Wachowski-Brüder haben von den neun Episoden vier Drehbücher selbst verfasst, darunter „The Final Flight of the Osiris“. Der neunminütige Film ist angelehnt an die ausgefallenen Action-Sequenzen und die besondere Erzählform von „The Matrix“ und entstand komplett im Computer. Gleichzeitig bildet die Animation den Auftakt zu „The Matrix Reloaded“ und läuft als Vorfilm zu dem Mystery-Thriller „Dreamcatcher“.

Kommentar schreiben

Please enter your comment!
Please enter your name here

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.