Making of Resident Evil : les animations faciales

Pour la production des animations par ordinateur pour Resident Evil, le renommé jeu de Capcom reprenant vie sur la GameCube de Nintendo, nous avons utilisé le système FaceTracker de Eyematic Interfaces en plus du système de capture de mouvement Vicon8.

Capture des expressions faciales

En utilisant le système optique de capture de mouvements et des marqueurs sur le visage des acteurs, nous pouvons techniquement enregistrer les mouvements du visage et recréer les expressions faciales. Il est possible de créer des expressions faciales fluides et réalistes auparavant irréalisables. Le point le plus important pour l'expression faciale est le mouvement des yeux. Malheureusement, il est difficile de placer des marqueurs sur les globes oculaires des acteurs. Nous avons réglé ce problème et pu compléter la capture des expressions faciales pour Resident Evil grâce au système FaceTracker de Eyematic Interfaces en combinaison du système de capture de mouvement Vicon8 de VMS.

FaceTracker de Eyematic

Grâce à FaceTracker de Eyematic, basé sur la technique de reconnaissance d'image à partir d'une source vidéo, nous avons obtenu les données de capture de mouvement en temps réel, sans avoir à placer de marqueurs sur le visage des acteurs. FaceTracker ne peut cependant qu'analyser les images enregistrées directement face au visage. Dans les sessions de capture de mouvement, nous voulions que les acteurs puissent bouger leur tête librement en fonction de leurs actions.

Interface de FaceTracker par Eyematic

Afin de résoudre ce problème, nous avons fabriqué un support pour caméra installé sur la tête même des performeurs. Des DEL blanches furent ajoutées à la caméra dans le but d'éclairer le visage. Le tout devait être le plus petit possible afin de ne pas faire obstacle au système de capture des expressions faciales Vicon8. Ce point nous inquiétait mais, heureusement, aucune interférence n'est survenue.

Support de la caméra vidéo et marqueurs faciaux pour Vicon8
Facetracker a ressorti les points de contrôle (incluant les iris des yeux) depuis les images vidéo.

Contrôle de l'animation du visage

Habituellement, les données des expressions faciales recueillies sont adaptées directement sur le visage du personnage généré par ordinateur. Ce processus est très long et fastidieux, en plus de devoir être recommencé lorsque des changements sont apportés au modèle.

Un simple modèle intermédiaire entre les données originales et le modèle final fut créé afin de remédier à ce problème. Nous pouvions donc contrôler le modèle généré par ordinateur grâce à cet intermédiaire élémentaire sans avoir à nous soucier des changements apportés au design final.

Le modèle intermédiaire avec les points de contrôle (en orange : Vicon8, en vert : FaceTracker)

Animations faciales additionnelles

Malgré tous ces systèmes, les détails des expressions faciales, tels que le mouvement des paupières et les plis du front, demeurèrent impossibles à capter. Les plis furent donc créés en interprétant les informations des capteurs de position situés sur les muscles faciaux et le mouvement des paupières fut déterminé en juxtaposant deux expressions faciales différentes et en se guidant grâce aux marqueurs de position homologues.

L'image finale du visage avec les expressions additionnelles

Dans le domaine de l'animation par ordinateur, il est important de capter les expressions faciales naturelles en plus des mouvements des acteurs. Au moment de la session d'enregistrement pour Resident Evil, l'acteur pouvait tourner son corps et son visage dans un radius de 90°. Suite à nos développements, nous pouvons maintenant capter les information du visage dans un environnement de 360°.

Enregistrement des mouvement du torse et du visage simultanément.
Acteur pour la Motion Capture : Tetsuya Matsui (MATSUI Enterprise Co, LTD).