Tote zum Leben erwecken?
Klingt wie Zukunftsutopie. Im Februar 2017 begrüßte der französische Präsidentschaftskandidat Jean-Luc Mélenchon das Publikum bei einer Veranstaltung in Paris, obwohl er im fast 500 km entfernten Lyon war. Zwei Jahre zuvor erschien der 1996 verstorbene Rapper Tupac Shakur auf der Bühne des Coachella-Musikfestivals. Alle glaubten er lebe doch noch - was alle sahen war aber ein Hologramm. Durch ständige Neuentwicklung in der Hologramm- und CGI Technik, nutzt auch die Filmindustrie deren Vorteile.
Verwendung in der Filmindustrie
Die Fortschritte von CGI (Computer Generated Imagery) und Holografie nutzt auch die Filmindustrie. Eine Vielzahl von Filmstudios scannen zusehends die großen Stars ihrer Filme. Weder das Alter noch der Tod halten Schauspieler und Sänger davon ab, in Filmen mitzuwirken oder bei Konzerten aufzutreten.
Die Star Wars Franchise scannt mittlerweile alle ihre Schauspieler in führenden Rollen. Was für die Produktionsfirmen im Falle des plötzlichen Todes eines Schauspielers eine Art Versicherung ist, ist für die Schauspieler oft schnell und einfach verdientes Geld.
Mittels hunderter, in Kugelform angebrachter, LED-Lichter wird ein Gesicht aus jedem Winkel gescannt und versucht möglichst viele Mimiken und Gesichtszüge eines Schauspielers zu erfasse. Auch Bewegungsabläufe und Gehmuster werden gescannt. Die LED-Lichter sind zugleich in der Lage verschiedenste Outdoor-Wetterlagen zu simulieren. So können die Gesichtszüge bei Regenwetter aber auch bei strahlendem Sonnenschein möglichst realitätsnah abgebildet werden. Bis alles im Kasten ist, kann es bis zu zwei Tage dauern. In der Regel verbraucht dieser Prozess rund fünf bis zehn Terabyte an Daten und kann bis zu einer Million US-Dollar kosten. Zwischen 50 und 60 Menschen wurden von einem der führenden Unternehmen „Digital Domain“ bereits vollständig gescannt. Für die Schauspieler ist dies auch von Vorteil, da sie in der Lage sind auch ein jüngeres „Ich“ von sich anzubieten. Im kommenden „Captain Marvel“ Film wird Samuel L. Jackson dank CGI deutlich jünger wirken als er tatsächlich ist.
Ganz ausgereift ist die Technik natürlich noch nicht. Gerade an den Bewegungen der Mundwinkel erkennt man noch immer, dass kein realer Schauspieler eine Szene gedreht hat. Dennoch schreiten die Entwicklungen unaufhaltsam voran und schon bald wird es gar nicht mehr erkennbar sein, ob der Schauspieler tatsächlich die Rolle als lebender Akteur gespielt hat. Viele Experten sind sich sicher, dass die Zuschauer den Wandel gar nicht bemerken werden. Immerhin bemerken wir es heute schon kaum mehr, wenn ein Kopf eines berühmten Schauspielers auf den Körper eines Stunt-Doubles gesetzt wird. [2]
Damit die computergenerierten Doubles sich dann aber auch richtig bewegen können, kommt noch eine weitere Technik ins Spiel: das Motion Capturing.
Motion Capture
Die Figur Gollum aus "Herr der Ringe" ist da Paradebeispiel für die Technik des Motion Capture. Damit ist es möglich Bewegungen und Mimiken der echten Schauspiele aufzuzeichnen und auf ein computergeneriertes Modell oder Objekt zu übertragen. Wichtig ist dabei, dass die Schauspieler einen Anzug mit Sensoren, also vielen Referenzpunkten tragen. Die Punkte reflektieren Infrarotlicht, welches von einem speziellen Kamerasystem ausgestrahlt und wieder empfangen wird. Damit am Ende auch alles am richtigen Platz sitzt spielen die Schauspieler auf einem Koordinatengitter - am Ende landet alles im Computer und die Bewegungen des Darstellers werden auf das computergenerierte Modell übertragen.
Heute spricht man nicht nur mehr vom Motion Capture, sondern auch vom Performance Capture. Dabei werden wird nicht nur die Bewegung auf das Modell übertragen, sondern auch die Mimik des Schauspielers. Dazu werden auch Markierungspunkte im Gesicht und eine eigene Kamera, die an einem Ausleger am Kopf befestigt ist, benötigt. Andy Serkis, der Schauspieler der Gollum bewegt, verfeinert die Technik des Performance Capture immer mehr. Als Basis nahm er das "Facial Action Coding System", kurz FACS, das von zwei amerikanischen Psychologen entwickelt wurde und mit dem sich prinzipiell jeder denkbare Gesichtsausdruck zusammensetzen lässt. Es besteht aus einem Alphabet aus 64 einzelnen Gesichtsbewegungen. Für das Performance Capture bietet das FACS eine große Erleichterung, da Kamera und Software nicht jeden Quadratzentimeter Haut erfassen muss. Es reicht aus, wenn die zugrundeliegenden Action Units erkannt werden. Mithilfe einer entsprechenden Software können diese dann auf ein computergeneriertes Modell eines Kopfes übertragen werden, auch wenn diese völlig andere Proportionen als die des Schauspielers aufweist.
Das Motion Capturing hat aber nicht nur Vorteile: ungemütliche, steife Anzüge, teure und aufwendige Technik und bei heftigen Bewegungen besteht das Risiko, dass die Punkte verrutschen. Forscher am Max-Planck-Institut wollen Abhilfe schaffen und eine Lösung finden. Mithilfe eines mathematischen Verfahrens, sollen Bewegengen anhand farbiger Kleidung erkannt und auf ein Modell übertragen werden. Alles ohne teure, aufwendige Aufnahmetechnik.
Das digitale Modell besteht aus 64 Kugeln in unterschiedlichen Farben. Die Farben entsprechen der Kleidung des Schauspielers. Erkennt die Software zum Beispiel ein rotes T-Shirt, werden die Bewegungen auf die roten Kugeln übertragen, die den Torso, die Schulter und die Oberarme repräsentieren. Das Ganze fordert zwar mehr Rechenleistung aber der Aufwand am Set wird verringert und es funktioniert auch wenn sich der Schauspieler am Boden wälzt. Weiterentwicklungen sieht man in der Hinsicht, dass die Qualität der Rekonstruktion so stark erhöht wird, dass auch Kleidungsdeformationen aufgenommen werden können, wie beispielsweise die Falten eines Kleidungsstückes. [3][1][6]
Geht's noch ohne?
Die Antwort ist eher nein. Kein Blockbuster kommt mehr ohne CGI aus. Die computergenerierten Bilder sind mittlerweile viel günstiger als herkömmlich erzeugte Effekte.
Aber die Zuschauer haben sich längst an die künstlichen Bilder gewöhnt und lassen sich nicht mehr nur durch großartige Spezialeffekte vom Hocker reißen. Sie sind kritischer geworden - wollen überrascht und zum Stauen gebracht werden. Auch wenn es immer bessere Entwicklungen im CGI Bereich gibt, so reichen nicht nur diese Effekte, um uns zu überzeugen. Quentin Terentino verabscheut CGI - in seinem Filmen ist alles echt. Diesen radikalen Weg müssen natürlich nicht alle Filmemacher gehen, aber manchmal ist eindeutig weniger mehr.
Die KI macht die Arbeit?
Ein Entwicklerteam der University of California in Berkeley hat sich dies zur Aufgabe gemacht und es ist ihnen gelungen. Eine KI lernt nur durch wenige Beispiele sportliche Bewegungsmuster und macht daher mühsames Animieren per Hand überflüssig.
Ganz ohne Mensch geht das aber auch nicht: Zuerst einmal muss dem Computer mindestens einmal vorgeturnt werden. Doch ist das einmal geschehen, übernimmt der Computer und lernt mit Hilfe neuronaler Netze anhand des gefilmten Vorbildes die Quintessenz der Bewegung, um dann eine digitale Figur selbst zu steuern.
Um das Ganze umzusetzen nutzt das Team sogenanntes Bestärkendes Lernen (Reinforcement Learning). Dabei wird der Algorithmus belohnt, wenn ein vorgegebenes Ziel erreicht wird. Durch Zusatzaufgaben, wie ein beliebiges Ziel mit dem Fuß zu treffen, lernt der Computer eine zielorientierte Steuerung, die aber noch immer große Ähnlichkeit zur menschlichen Bewegung aufweist. Das funktioniert vor allem auch deshalb so gut, weil sich die Figuren in einer physikalisch korrekt simulierten Welt bewegen und mit passenden Parametern Gewicht und Körperbau betreffend, ausgestattet sind.
Derartige Verfahren könnten grundlegend die Art und Weise verändern, wie Animationen in der Film- und Spielewelt entstehen. Damit muss der Animationskünstler einzelne Bewegungsabläufe bis ins letzte Detail vorausplanen. Auch Bewegungsmuster einer Figur könnten auf einen ganz anderen Körperbau übertragen werden. Und steht einmal kein abgefilmtes Beispielmaterial zur Verfügung oder ein Schauspieler, der die Bewegungsabläufe vorgibt, so könnten auch per Hand animierte Sequenzen als Zielvorgabe für die KI ausreichen. So wäre es beispielsweise möglich einen Drache nur auf Basis händischer keyframe Animation spazieren zu lassen. [2][4][5]
Quellen:
[1]https://de.wikipedia.org/wiki/Motion_Capture
[2]https://derstandard.at/2000089941237/3D-Computergrafik-erlaubt-Schauspielern-eine-Karriere-nach-dem-Tod
[3]https://www.scienceworld.ca/blog/how-motion-capture-works
[4]https://xbpeng.github.io/projects/DeepMimic/index.html
[5]https://xbpeng.github.io/projects/DeepMimic/2018_TOG_DeepMimic.pdf
[6]https://www.heise.de/newsticker/meldung/Performance-Capture-Leichter-zum-Gollum-werden-1758436.html