Jeux vidéo: l’expressivité en 3D

Les artistes capturent souvent les poses des personnages par le biais d'esquisses matricielles; ce processus est appelé en anglais storyboarding. Ils utilisent ensuite ces dessins comme référence pour intégrer un personnage en 3D et sa pose dans leur logiciel. Il s'agit d'un processus fastidieux qui nécessite une formation 3D spécialisée et un certain effort mental. Nous avons créé le premier logiciel capable de déduire automatiquement la pose d'un personnage en trois dimensions à partir d'un simple croquis matriciel en produisant des poses conformes à ce que le spectateur s'attend à voir.

Même si un être humain peut facilement imaginer la pose 3D dessinée sur un croquis, il est difficile de concevoir un algorithme en mesure de reproduire ce comportement et de «deviner» la bonne pose 3D. À l’échelon le plus basique, l'algorithme doit comporter certaines informations 3D – par exemple, quelle partie du corps se trouve devant une autre – tirées d'un dessin plat. C'est déjà difficile! Pour compliquer les choses, les croquis sont dessinés très rapidement et contiennent donc des proportions considérablement déformées. Par conséquent, il est difficile de dire si un bras qui semble court est dû à un raccourcissement intentionnel, à une erreur ou à un effet de style. Enfin, les poses utilisées dans les animations ou les jeux vidéo sont souvent complexes, de sorte que les croquis présentent souvent des parties du corps qui s'occultent.

Nous l’abordons en prédisant trois éléments clés d'un dessin qui sont nécessaires pour clarifier les poses dessinées: les tangentes osseuses 2D ‒ ou comment chaque partie du corps est orientée dans le croquis ‒, les autocontacts ‒ la main gauche touche-t-elle la tête? ‒ et le raccourcissement des os. Nous cherchons ensuite une pose 3D qui préserve exactement tous ces éléments par une optimisation. Nous validons notre méthode en montrant que la pose finale du personnage en 3D est celle qu'un observateur voit dans un croquis.

Tout à fait. Les esquisses sont parfois un moyen plus facile de capturer une pose expressive qu'un logiciel 3D, surtout pour les artistes de formation classique. Nous essayons de conserver cette expressivité et ce réalisme dans notre algorithme en équilibrant les indices visuels de la littérature artistique et en utilisant la recherche sur la perception visuelle, ce qui permet de compenser les proportions déformées des personnages générés. Nous validons notre méthode par des évaluations numériques, des études d'utilisateurs, des comparaisons avec des personnages dessinés manuellement et des travaux antérieurs, et nous démontrons la diversité des résultats.

Nous espérons qu'il pourra faire partie de la chaîne de production de l'animation et qu'il permettra de gagner beaucoup de temps. À partir d'un simple croquis matriciel  d'un personnage, notre algorithme permet à l'animateur d'appliquer automatiquement, sans aucune entrée supplémentaire, la pose 3D dessinée à un personnage 3D rigged et skinned. Cela signifie essentiellement que les animateurs peuvent désormais créer une première ébauche d'animation juste après avoir esquissé les images clés.

Nous espérons que le système sera utilisé à la fois dans le secteur de l'animation et dans celui des jeux vidéo, mais si nous parlons spécialement des jeux, pratiquement tous ceux qui comportent des personnages animés sont visés. Nous pensons que notre système peut être employé, si on le souhaite, avec l'animation basée sur la physique ou les technologies de capture de mouvement, qui sont populaires dans les jeux d'action. Nous aimerions que notre algorithme permette aux animateurs de consacrer plus de temps au processus de création.