Dieser Artikel erschien ursprünglich in der DIGITAL PRODUCTION 06 : 2020.
Was macht man als große Rental Firma im Eventbereich, wenn plötzlich wegen der Pandemie sämtliche Messen und Eventaufträge wegfallen? Man tritt die Flucht nach vorne an und zieht ein schon lang geplantes Projekt konsequent durch. Als Hersteller und Verleiher der hochwertigen Led Panels von LEDitgo war bei RentEventTec glücklicherweise schon einiges an Material vorhanden. Also beschloss man, nach dem Vorbild des „Mandalorian“ Sets in Hollywood einen Raum aus Led Wänden zu bauen. Und das sogar mit noch höherer Auflösung.
Erste Erfahrungen mit Led Wänden in Filmsets konnte RentEventTec bereits bei der Produktion der Zug Szenen für die Netflixserie „Bio Hackers“ machen. Dafür wurden ein komplettes Zugabteil in die Bavaria Studios in München gebaut, welches auf beiden Seiten in voller Länge von 5 Meter hohen und 22,5 Meter langen Led Wänden mit einer Auflösung von jeweils 11.520 x 2.560 Pixeln flankiert wurde. Zweck war es, die vorbeiziehende Landschaft darauf darzustellen, anstatt unpraktischer Weise mit dem Zug durch die nicht immer passende Landschaft zu fahren. Anders als im Greenscreen Verfahren kommt hier das so genannte Image Based Lighting zum Tragen. Das gesamte Set wird dem LED-Inhalt entsprechend physikalisch korrekt ausgeleuchtet. Mehr noch erscheinen sämtliche Reflektionen und Refraktionen absolut realistisch und müssen nicht zeit- und kostenaufwendig in der Postproduction erstellt werden.
Basierend auf diesen Erfahrungen baute man in der Halle von RentEventTec in Mannheim einen LED-Raum aus 1346 Modulen mit einem Durchmesser von knapp 18 Metern, einer Höhe von 4 Metern und einer Tiefe von 9,5 Metern komplett aus LEDitgo rXone Modulen. Das verwendete LED-Material LEDitgo rXone hat mit seinem Pixelpitch von 1,9 mm und der versiegelten und glatten Oberfläche wesentlich bessere Eigenschaften für den seitlichen Einblickwinkel, Farbverfälschungen und den Moiré Effekt, als herkömmliches SMD-Material. Mit dem speziellen LED-Controller kann eine Farbtiefe von bis zu 22 bit realisiert werden.
Das Ganze hat den Namen „LedCave“ bekommen und steht im Studio L.O.U.P. (Lab Of Unlimited Possibilities) in Mannheim.
Ich konnte Frank Junghahn, der die Medienzuspielung im LedCave entwickelt und betreut, dazu gewinnen, einmal aus dem Nähkästchen zu plaudern.
DP: Frank, was habt ihr hier alles am Start, um den LedCave zu befeuern?
Frank Junghahn: Zur Zeit schicken wir zwölf 4K Ausgänge aus sechs synchronisierten Hochleistungsrechnern über eine Aquilon RS4 von Analog Way mit der höchsten Ausbaustufe. Die Aquilon macht nicht nur das EDID Management, wir können auch zusätzlich Live Bilder oder Live Streams auf der Wand verteilen. Außerdem haben wir so die Möglichkeit, auch unsere anderen Medienserver wie Ventuz, Pixera oder Touchdesigner in das Programm einzubinden.
Größtenteils nutzen wir aber die unglaubliche Vielseitigkeit der Unreal Engine, da es hier sehr komfortabel und kostengünstig möglich ist, immersive Umgebungen verzerrungsfrei in unserem LedCave darzustellen. Das Verfahren nennt sich nDisplay und ist eine Entwicklung des russischen Entwicklers Vitalii Boiko.
Mit dieser Technik ist es mit einer speziellen Konfigurationsdatei möglich, Echtzeit 3D Szenen im Unreal Engine auf eine Vielzahl von Displays zu verteilen. Wir konnten so schon einige Produktionen in unserem LedCave realisieren, bei dem wir u.a. auch zeigen konnten, wie flexibel wir mit einer iPad Oberfläche, programmiert von meinem Kollegen Julian Grimm, in Echtzeit auf ausgewählte Parameter in der Szene Einfluss nehmen konnten.
In der Standardversion von nDisplay ist es aber notwendig, eine der Realität entsprechenden Kopie der LED Flächen oder Monitore in der Unreal Szene zu integrieren. Für einfache Installationen mit wenigen Monitoren oder LED Flächen scheint diese Technik eine adäquate Lösung zu sein.
Wir haben aber leider die Erfahrung machen müssen, dass es bei einer unregelmäßigen Konstruktion, wie wir sie haben fast unmöglich ist, eine exakte Nachbildung der Realität im Unreal Engine nachzubilden. Außerdem muss diese nicht ganz triviale Programmierung in jede 3D Szene immer wieder neu integriert werden. Wir sind deswegen mit der Firma Domeprojection aus Magdeburg eine strategische Kooperation eingegangen.
DP: Wie konnten euch die Kollegen von Domeprojection weiterhelfen?
Frank Junghahn: Ich kenne Christian Steinmann schon lange und habe ihm von unserem Projekt LedCave und den damit verbundenen Herausforderungen erzählt. Er hatte die geniale Idee, unseren LedCave mit einem Lidar Scanner auszumessen, um so eine exakte Repräsentation in der Unreal Engine zur Berechnung der Verzerrung zu haben. Wir haben uns sehr gefreut, als die Kollegen von Domeprojection in der Lage waren, ein Plugin für Unreal Engine zu programmieren. Das Beste ist, dass man mit diesem Plugin (wird mit der Unreal Engine 4.26 ausgeliefert) überhaupt keine 3D Repräsentation der physikalischen LED Wände oder Monitore mehr haben muss. Die vom Lidar Scanner erzeugten 3D Daten werden in eigene Dateien geschrieben und einfach in das für nDisplay notwendige *.cfg File integriert.
DP: Bei unregelmäßigen LED-Anordnungen sieht man oft die klassischen Farb- und Helligkeitsunterschiede. Kann nDisplay da auch helfen?
Frank Junghahn: Leider nicht. Aber die Kollegen von Domeprojection können da Abhilfe schaffen. Sie haben mit einem Spektrometer die Charakteristik der LED-Panels ausgemessen. Mit diesen Daten und den Tracking Daten der Kamera ist es möglich, den Blickwinkel auf die LED auszurechnen und somit eine Echtzeit Farbkorrektur im Unreal Engine zu erzeugen. Dieses Plug-in ist noch in der Entwicklung aber ich glaube, das ist der „Game Changer“ schlechthin! Da immer mehr mit LED-Flächen in der TV,- Film und Werbeproduktion Anwendung finden, wird diese Technik auf ein weltweites Interesse treffen.
DP: Wie geht es jetzt weiter im LedCave?
Frank Junghahn: Wir werden demnächst einen Kameraroboter auf eine 5 Meter Schiene installieren, um auch das Thema Performance Tracking mit wiederholbaren Kamerafahrten und Motion Suit abdecken zu können. Wir haben außerdem in eine Insta 360 Titan investiert, um auch reale Umgebungen als Video oder Hintergrundbild darstellen zu können. Die 360° Kamera hat 8 Micro Four Thirds Sensoren und kann 11K Video in 10 bit Farbtiefe. Wir sehen uns mehr und mehr mit einer steigenden Nachfrage konfrontiert, weil nicht nur viele Produktionsfirmen oder Kunden aus der Industrie die vielfältigen Möglichkeiten dieser Technik begreifen. Realismus, Flexibilität, zeitliche und physikalische Freiheit sind eindeutige Argumente für eine Virtual Production. Ganz zu schweigen von den Vorteilen für Schauspieler und Regisseure. Auf jeden Fall ist es eine spannende Zeit. Wir haben die Gelegenheit der Krise genutzt, um aus der Not eine Tugend zu machen. Wir werden diese Technik immer weiter entwickeln und freuen uns auf die nächsten Herausforderungen. Wir planen bereits unseren LedCave 2.0, in welchem wir die Erfahrung der letzten Monate einfließen lassen, um die Technik immer weiter zu entwickeln und noch flexibler auf die Wünsche und Ideen unserer Kunden reagieren zu können.
Ein paar 360 Grad Fotos und einige Interviews, die ich mit Thilo Strack, Frank Junghahn und Simon Spielmann von der Filmakademie geführt habe, findet ihr auf meiner Postproduction-Tutorial Seite. Ich bin gespannt wie es mit diesem spannenden Projekt weitergeht. Die Crew von der Filmakademie hat ja schon gezeigt, dass hier auch unter Coronabedingungen sicher produziert werden kann. Das Interesse ist groß und ich treffe bei jedem Besuch auf neue interessante Leute und Projekte. Ich würde mich nicht wundern, wenn diese einzigartige Drehlocation bald ausgebucht wäre.
Interview mit Simon Spielmann
Simon Spielmann vom Animationsinstitut der Filmakademie Baden Württemberg in Ludwigsburg konnte uns einiges über die neuen Produktionsmethoden erzählen, die der LedCave möglich macht.
DP: Welche Erfahrungen habt ihr bei eurer studentischen Musikvideoproduktion mit der Band Neoshin im LedCave gemacht?
Simon Spielmann: Der Vorteil von so einem System ist, dass man sowohl Licht, als auch die Umgebung komplett virtuell kreieren und auch editieren kann. Die Postproduktion kann man sich im Regelfall größtenteils sparen, da alles in Camera passiert.
DP: Mit welchen Tools habt ihr den Content für den LedCave erstellt?
Simon Spielmann: Die komplette Umgebung ist in Cinema 4D entstanden und für die Unreal Game Engine exportiert worden. Die große Herausforderung ist dabei, die Datenmengen der Modelle und Umgebungen so zu reduzieren, dass man sie in Unreal schnell genug visualisieren kann. Es hat sich gelohnt, das auf diese Art zu machen, obwohl es noch viele Fallstricke gibt und jede Menge Pionierarbeit zu leisten ist. Aber es zeichnet sich ab, dass wir auch die anderen beiden Episoden auf diese Art und Weise produzieren können, was wahrscheinlich auf einem klassischen Weg – in den Volumina, die wir hier brauchen für die Clips – gar nicht möglich gewesen wäre. Alle weiteren Elemente seht ihr bald auf neoshin2073x.com.
