Hey, Monster! – Character Animaton mit Rokoko Smartsuit

Für einen neuen europäischen Musikpreis mit dem etwas sperrigen Namen „Music Moves Europe Talent Award“ (lieben Gruß an die Marketingspezialisten der EU) haben wir eine Late Night Show produziert.
Anzeige
Der Motion Capture- Smartsuit von Rokoko übersetzt Bewegungen mittels Sensoren direkt in MoCap-Daten.
Der Motion Capture- Smartsuit von Rokoko übersetzt Bewegungen mittels Sensoren direkt in MoCap-Daten.

Da jede Late Night Show einen Sidekick von Format braucht, haben wir einen digitalen und schlecht gelaunten Avatar gebaut und ihn mit dem Rokoko Smartsuit animiert. Und das ging so …

Kapitel 1 – Die Herausforderung

Unsere Geschichte spielt im Spätsommer 2018 und beginnt mit einem Anruf von Sascha.

„Habt ihr Lust, eine Late Night Show zu produzieren?“, fragte er.
Sascha ist Creative Producer u.a. für Optimist. Wir kennen uns lange.
Wir: „Klar. Erzähl mal.“
Sascha rief im Auftrag des Reeperbahnfestivals als Produzent an.
Sascha: „Es gibt kein Konzept, nur eine ungefähre Idee. Wir haben sechs Wochen ab jetzt und das Budget ist klein.“
Wir: „Ähh … ?“
Sascha kann sehr überzeugend sein.

Vor dem Motion Capture haben wir den illustrierten Charakter von Jim Avignon in Cinema 4D gemodelt und geriggt.
Vor dem Motion Capture haben wir den illustrierten Charakter von Jim Avignon in Cinema 4D gemodelt und geriggt.

Und wann bekommt man schon mal die Gelegenheit, eine nahezu weiße Leinwand bemalen zu dürfen. Dann also eine Late Night Show – auch für uns Neuland. Bereits in den ersten Brainstormings kam die Idee auf, der Moderatorin einen gehässigen und schlecht gelaunten Sidekick an die Seite zu stellen. Bei den ersten Konzepten war dafür noch Ray Cokes im Gespräch. Dem älteren Leser mag dieser noch als quirliger MTV-Moderator in Erinnerung sein. Doch die Zielgruppe der Sendung sind 14- bis 25-Jährige. Das nennt man dann wohl Zielgruppenkonflikt. Also haben wir Ray Cokes wieder durchgestrichen und eine digitale Alternative vorgeschlagen.
Damit war die Aufgabe klar: Neben der CI für die Show sollte ein digitaler Avatar entstehen, der immer wieder die Show unterbricht und Teile der Moderation übernimmt.
Nach ersten Entwürfen haben wir für das Layout unseres Charakters schließlich mit dem Illustrator und Künstler Jim Avignon zusammengearbeitet, der mit seinem Stil perfekt zur Zielgruppe passt. Nachdem der Look festlegt war, konnten wir mit der Produktion anfangen.

Kapitel 2 – Monster

Gute Geschichten brauchen Drama. Und was ergibt Zeitdruck plus Ressourcenmangel? Richtig. Drama. Oder Stress. Und den hatte erst mal 3D-Artist Julian Gummich, der innerhalb von drei Tagen aus den Entwürfen von Jim Avignon einen funktionierenden Charakter modeln und riggen musste.

Mit dem Adobe Character Animator haben wir die Audio-Takes analysiert und mit einer Xpresso-Schaltung daraus die Mundposen generiert.
Mit dem Adobe Character Animator haben wir die Audio-Takes analysiert und mit einer Xpresso-Schaltung daraus die Mundposen generiert.

Währenddessen fingen wir bereits an, mit dem Smartsuit von Rokoko erste Tests zu machen, und konnten feststellen, wo die Hürden lagen, worauf wir beim Modeln achten mussten und wie wir den Anzug am effizientesten einsetzen konnten. Schnell war klar: Da geht viel. Aber manches auch nicht.

Insgesamt 19 Sensoren am Anzug zeichnen alle Bewegungen auf. Über die Unreal Engine oder Unity lassen sich die Daten sogar live verwenden.
Insgesamt 19 Sensoren am Anzug zeichnen alle Bewegungen auf. Über die Unreal Engine oder Unity lassen sich die Daten sogar live verwenden.

Der Smartsuit funktioniert nach einem einfachen Prinzip: Über insgesamt neunzehn Sensoren, die an zentralen Punkten am Körper verteilt sind, sammelt er die Bewegungsdaten des Trägers. Über einen Sender am Rücken werden die Daten via W-Lan an den Computer übertragen und dort aufgezeichnet oder direkt live weiterverarbeitet. Der Vorteil: Man kann sich das aufwendige Tracken von einzelnen Punkten sparen und Bewegungen schnell auf digitale Modelle übertragen. Für einen Preis von 2.495 US-Dollar schon mal eine beachtliche Leistung.

Smartsuit Studio

Die Aufzeichnung der Daten übernimmt die mitgelieferte Software Smartsuit Studio, die inzwischen ein umfassendes Update erfahren hat und jetzt Rokoko Studio heißt.
Da wir in unserem Projekt auf Cinema 4D gesetzt haben, stand uns allerdings kein Plug-in zur Verfügung, das uns die Daten direkt in C4D angezeigt oder aufgezeichnet hat. Aber über den FBX-Export von Smartsuit Studio war es kein Problem, die Daten in C4D zu nutzen.
Unser größtes Problem war in jedem Fall die knappe Produktionszeit. Parallel zum Modeling und Rigging unseres Charakters konnten wir den Anzug nur wenige Stunden testen. Da gleichzeitig auch noch am Konzept gearbeitet wurde und das Casting für den Darsteller lief, mussten wir also damit rechnen, dass wir am Ende nur 2 bis 3 Tage zwischen Motion Capture und Finalisierung hatten. Uns war nach diesen ersten Tests sofort klar, dass wir niemals mehr als wenige Minuten Animation sauber und ohne Glitches produzieren würden können. Gefordert waren aber in etwa fünfzehn Minuten.
Und dabei arbeiteten wir nur mit zwei Artists an dem Projekt. Für einen ausgeklügelten Workflow mit Retargeting und Clean-up der Daten stand demnach einfach keine Zeit zur Verfügung. „It’s not a glitch – it’s a feature“ – uns war diese Problematik von Anfang an klar, und so haben wir im Designprozess darauf gesetzt, alles ein wenig rough und edgy zu gestalten.
Theoretisch ist es sogar möglich, mit dem Anzug über die Unreal Engine oder Unity den Avatar live zu steuern. Für diese Produktion haben wir uns allerdings bewusst gegen diesen Workflow entschieden, denn uns fehlte einfach die Zeit, den Prozess sinnvoll zu testen. Und zwar sowohl technisch als auch dramaturgisch. Denn bei allen technischen Herausforderungen wollten wir natürlich in erster Linie eine gute Show produzieren. Während wir also den Avatar zum Leben erweckten, haben wir parallel an seinem Charakter gefeilt. Also: Wie gibt er sich? Wie tickt er? Wir wollten einen grummeligen Miesepeter, der in unsere Show gestolpert kommt, alles schlecht macht und eigentlich nur nach Hause will. Sein Name? Monster.
Und je mehr wir Monster einen Charakter und eine Rolle gegeben haben, desto bewusster wurde uns: Monster muss sprechen können. Nur: Der Smartsuit ist nicht in der Lage, das Gesicht zu tracken, geschweige denn die Mundbewegungen.
Lead Artist und Motion Director Felix Koziol hatte schließlich die zündende Idee. Mithilfe von Adobe Charakter Animator und Cinema 4D bauten wir einen simplen Workflow, der uns die Möglichkeit gab, zahlreiche Sprachtakes schnellstmöglich als Lip Sync auf Monster anzuwenden. Mit Adobes Character Animator haben wir die Takes analysiert und auf verschiedene Graustufen gemappt. Im Anschluss haben wir dann nur einen kleinen Graustufen-Film exportiert, der uns in Cinema 4D mit dem Shader Effector die nötigen Werte lieferte. Mit einer einfachen Xpresso-
Schaltung haben wir im Anschluss die erzeugten Werte auf die unterschiedlichen Mundposen gemappt.
Und uns dann gefreut, dass wir einen so gut funktionierenden Workaround gefunden haben, mit dem wir in der Lage waren, die benötigten Takes praktisch automatisiert zu animieren.

Kapitel 3 – die Produktion

Der dritte Akt unseres Dramas konnte also beginnen – die eigentliche Produktion.
Während eines Castings haben wir uns zunächst für Jan David Rönfeldt als Sprecher entschieden. Seine Spielfreude und sein perfektes Englisch passten ideal zu unserem Charakter und haben Monster den notwendigen Twist verpasst. Fehlte aber immer noch die Bewegung.

Tanz, Monster! Nach der Aufzeichnung haben wir die MoCap Daten in Cinema 4D auf unseren Charakter übertragen.
Tanz, Monster! Nach der Aufzeichnung haben wir die MoCap Daten in Cinema 4D auf unseren Charakter übertragen.

Und dafür haben wir den professionellen Tänzer und Musiker Booz überzeugen können, für uns in den Smartsuit zu springen. Denn von vornherein war klar, dass wir jemanden brauchen, der Ausdruck hat und weiß, wie man sich bewegt und tanzt. Gerade weil der Charakter in seinen Möglichkeiten limitiert war, wollten wir hier den Fokus klar setzen.
In unserem Studio haben wir dann die einzelnen Takes, Bewegungsabläufe und Szenen aufgezeichnet. Beim Setup des Anzugs hilft die mitgelieferte Software Smartsuit Studio. Der dänische Hersteller bietet umfassende Tutorials für unerfahrene Nutzer, die leider manchmal etwas unübersichtlich sortiert sind. Man braucht also einige Zeit, um das passende Tutorial zu finden.
Sobald man aber die Grundfunktionen verstanden hat, kann es sehr schnell losgehen und man kommt schnell zu ersten Ergebnissen.

Sprich, Monster! Für die Mundposen haben wir einen Workflow mit Adobes Character Animator entwickelt.
Sprich, Monster! Für die Mundposen haben wir einen Workflow mit Adobes Character Animator entwickelt.

Schritt eins ist das Kalibrieren des Anzugs. Dafür begibt sich der Darsteller in die sogenannte Nullpose. Die Software erkennt die Position der Sensoren und stellt ein einfaches Modell in den virtuellen Raum. Nun sind Anzug und Avatar verbunden und Bewegungen werden in Echtzeit übertragen. Sieht erst mal alles fein aus.
Schaut man aber auf die Details, wird schnell klar: Die Posen des Darstellers werden zu ungenau übertragen. Zum Beispiel, wenn der Darsteller sich an den Kopf fasst, befindet sich die Hand des Avatars noch ca. 10 cm entfernt vom Kopf. An anderen Stellen kollidieren dann verschiedenen Körperteile.
Für diesen Fall schlägt Rokoko vor, den Darsteller von Hand zu vermessen und so der Software beizubringen, wie weit die einzelnen Sensoren real voneinander entfernt sind. Und tatsächlich: Danach funktionieren die Posen deutlich besser. Dennoch schafften wir es nicht, dass Hände und Knie sich berühren – da muss Rokoko nachbessern. Denn auch der freundliche und schnelle Support via E-Mail konnte uns schlussendlich hier nicht helfen.
Eine weitere Erkenntnis: Der Anzug muss dem Träger gut passen. Schlackert er am Körper, weil die Kleidergröße nicht zum Darsteller passt, lassen sich die aufgezeichneten Daten nicht wirklich verwenden.
Ein zusätzlicher Kritikpunkt ist, dass die Software auf unseren Macs insgesamt zu instabil lief und während unseres Produktionstages bestimmt fünfzehnmal crashte – zu oft.
Denn nach jedem Neustart muss der Anzug neu kalibriert werden. Das dauert zwar nie lange, stört aber jedes Mal den Fluss für Regie und Darsteller.
Auf Windows-Systemen lief die Software zwar stabiler, allerdings kann man Stabilität wohl überall verlangen. Hoffentlich hat Rokoko diese Probleme mit dem umfassenden Update in den Griff bekommen.
Für die teilweise unpräzise Übertragung der Bewegungsdaten haben wir dafür schnell einen Workaround gefunden und wussten bald, welche Posen gut aussehen. Außerdem hatten wir uns ja bereits im Vorfeld entschlossen, aus der Not eine Tugend zu machen und die Kollision von Körperteilen mit in das gestalterische Konzept zu übernehmen.
Glitches waren also okay. Passend dazu haben wir später auch noch die Hintergründe dekonstruiert, sodass es ein stimmiges Gesamtbild ergab.

Kapitel 4: Die Animation

Vier Tage vor Aufzeichnung hatten wir also schließlich Audiotakes und Motion Capture beisammen. Alles in allem gut 15 Minuten, die wir nun inklusive Rendering bis zur Aufzeichnung fertig haben mussten. Da uns das vorher bewusst war, hatten wir einen Workflow entwickelt, der uns in C4D die Option gab, die Motion Capture einfach als XRef in das Projekt zu laden. Dazu noch die Graustufen aus Adobes Character Animator, und nach kurzem Sync waren entweder 30 Sekunden oder auch 5 Minuten fertig. Jetzt mussten die Animationen nur noch passend in Szene gesetzt werden. In unseren ersten Layouts haben wir noch mit ebenfalls von Jim Avignon illustrierten Hintergründen und Elementen experimentiert und mussten schnell feststellen, dass der Look zu niedlich wurde. Wir fühlten uns zu sehr an Asterix erinnert – eine Richtung, die wir vermeiden wollten, denn dieser Stil passte nicht zum Gesamtkonzept.

Er tanzt und spricht. Der Rokoko Smartsuite hat Potenzial und erlaubt es, in ganz neuen Dimensionen zu denken.
Er tanzt und spricht. Der Rokoko Smartsuite hat Potenzial und erlaubt es, in ganz neuen Dimensionen zu denken.

Bei der Suche nach Alternativen hatten wir dann das Glück, auf Marc Broyer zu treffen einen Hamburger Fotografen und Art Director, der mit seinem ungewöhnlichen Blick auf die Hafenstadt genau die Bilder hatte, die wir uns vorstellten, und zum Glück bereit war, uns zu unterstützen. Damit war die perfekte Kulisse für unsere Campfire Show gefunden, die ja schließlich als Veranstaltung während des Reeperbahnfestivals eng mit Hamburg verbunden ist.
Die Fotos von Marc haben wir dazu in C4D mittels Camera Mapping auf einfache Geometrie gemappt, die sich dann animieren ließ. Wichtig war, dass immer eine Stage für Monster entstand, da wir ja immer noch nicht wussten, welche Bewegungen wir dort einsetzen mussten. Um hier flexibel reagieren zu können, bauten wir Szenen mit unterschiedlichen Bewegungsradien. Zentraler Punkt war dabei immer das Lagerfeuer, welches der Show ja schließlich ihren Titel gegeben hatte. Drumherum durften wir dann einfach spielen, und so konnte auch die Barkasse Hedi von einem Kraken im Hafenbecken in die Tiefe gezogen werden.

Monster auf der großen Bühne. Den digitalen Sidekick haben wir mit dem Rokoko Smartsuit und viel Hingabe realisiert.
Monster auf der großen Bühne. Den digitalen Sidekick haben wir mit dem Rokoko Smartsuit und viel Hingabe realisiert.

Das fehlenden Sound Design hat Not a machine für uns übernommen und damit den Szenen noch mal zusätzliches Leben geschenkt, sodass wir tatsächlich einen Tag vor der Aufzeichnung der Campfire Show mit den Animationen fertig waren. Punktlandung.

Kapitel 5: Die Zukunft

Zum Ende unserer Geschichte bleibt der Ausblick in die Zukunft. Der Smartsuit hat auf jeden Fall großes Potenzial in der Charakteranimation. Mit anderen Mitteln wäre es für uns unmöglich gewesen, auch nur annähernd so viel Szenen in der Länge zu animieren, wie wir es für die Campfire Show brauchten. Man merkt aber auch, dass das Produkt noch nicht zu Ende entwickelt ist. Schwachstellen sind in jedem Fall die Übertragung der Daten, die instabile Software und die teilweise unpräzise Positionierung der Sensoren zueinander. Trotzdem freuen wir uns schon auf den nächsten Einsatz. Denn dank des Smartsuit kann man nun auch gestalterisch in völlig neue Richtungen denken.

Kommentar schreiben

Please enter your comment!
Please enter your name here

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.