Das ILM-Team besteht aus Hao Li, Jihun Yu, Yuting Ye und Chris Bregler, die auf der diesjährigen Siggraph ein Echtzeit-fähiges und kalibrierungsfreies Facial Performance Capture Framework präsentieren, das auf einem Video- und Depth-Input basiert.
Für dieses Framework wurde ein adaptives PCA-Model unter Verwendung von Shape Correctives entwickelt, die – einfach on the fly – die Gesichtsausdrücke des Schauspielers durch inkrementelles PCA-basiertes Lernen anpassen.
Dadurch, dass sich das Model während der Performance zunehmend selber verbessert, ist keine Exra-Caputre- oder Training-Session erforderlich, um das Model zu bauen.
Wie das Ganze in etwa aussehen wird, sieht man hier:
