Anatomically-Constrained Physics-Based Simulations For Facial Animations

Abstract

This cumulative thesis presents novel advancements in the field of facial animation through the integration of anatomically–constrained physics– based simulations at various stages of the animation workflow. The mo- tivation for this work stemmed from limitations of the currently most widely used animation technique linear blendshapes [56]. Although this ap- proach’s computational efficiency and intuitive design are appealing, blend- shape animations usually lack anatomical precision and can only partially reproduce nonlinear face characteristics. Among other things, they do not guarantee volume preservation, allow self–collisions, and are not able to in- corporate external influences such as gravity or wind. Since physics–based simulations can mitigate these shortcomings, albeit in a slow and intri- cate manner, our principle goal was to combine the advantages of both concepts while avoiding their respective disadvantages. Our work encompasses four publications, each addressing distinct anima- tion components and achieving this goal in diverse ways. SoftDECA [107] integrates physics–based anatomical corrections into linear blendshapes, maintaining their efficiency even on consumer hardware. SparseSoftDECA [111] extends SoftDECA but creates realistic facial animations from sparse- ly tracked facial landmarks. AnaConDaR [110] provides solutions for fa- cial retargeting, particularly an anatomical deformation transfer [105] to create more authentic and lifelike blendshapes. Finally, NePHIM [112] investigates real–time simulations of head–hand interactions, which are indispensable for conveying non–verbal communication cues. All of our contributions are presented and discussed in light of associated research questions and analyzed with regard to conceivable limitations. We also propose potential advancements in our approaches and assess fu- ture developments of facial animations in general. This thesis aims to offer readers a concise yet well–substantiated overview of our research results.

Diese kumulative Dissertation integriert Physiksimulationen an verschie- denen Stellen des Workflows zur Animation von Gesichtern. Die Moti- vation für unsere Arbeit ergab sich aus den Einschränkungen der aktu- ell am weitesten verbreiteten Animationstechnik linear blendshapes [56]. Obwohl die effiziente Laufzeit und das intuitive Design dieses Ansatzes ansprechend sind, mangelt es Blendshape–Animationen in der Regel an anatomischer Präzision und nichtlinearen Eigenschaften. Unter anderem können sie keine Volumenerhaltung garantieren, erlauben Selbstkollisionen und sind nicht in der Lage, externe Einflüsse wie Schwerkraft oder Wind zu berücksichtigen. Physiksimulationen können diese Probleme abmildern, sind jedoch langsam und komplex. Daher war unser Ziel, die Vorteile bei- der Konzepte zu kombinieren und ihre jeweiligen Nachteile zu vermeiden. Unsere Arbeit umfasst vier Veröffentlichungen, die sich jeweils mit un- terschiedlichen Aspekten befassen und dieses Ziel in vielerlei Hinsicht er- reichen. SoftDECA [107] fügt simulierte anatomische Korrekturen zu li- near blendshapes hinzu, wobei deren Effizienz auch auf günstiger Hard- ware erhalten bleibt. SparseSoftDECA [111] wendet ein ähnliches Kon- zept an, um realistische Gesichtsanimationen aus nur wenigen markanten Gesichtslandmarken zu erstellen. AnaConDaR [110] bietet Lösungen für das Übertragen von Gesichtsausdrücken an. Insbesondere einen volume- trischen deformation transfer [105], um authentischere Blendshapes zu erzeugen. Schließlich wird in NePHIM [112] eine Echtzeitsimulation von Kopf–Hand Interaktionen vorgestellt, die für die Übermittlung nonverba- ler Kommunikationshinweise unerlässlich ist. Alle unsere Publikationen stellen wir anhand von verbundenen Forschungs- fragen vor, diskutieren zugehörigen Resultate und zeigen denkbare Gren- zen auf. Außerdem ergründen wir mögliche Weiterentwicklungen und ge- ben einen denkbaren Ausblick auf die Zukunft von Gesichtsanimationen. Insgesamt soll diese Arbeit dem Leser einen kurzen, aber fundierten Über- blick über unsere Forschungsergebnisse geben.