Jeux vidéo: l’expressivité en 3D
- Salle de presse
Le 27 juillet 2022
- Jeff Heinrich
Un informaticien de l'UdeM et son doctorant ont conçu un outil permettant d'utiliser des croquis matriciels pour contrôler la façon dont un personnage se tient et bouge en trois dimensions.
Quelle est la meilleure façon de donner aux personnages en 3D des jeux vidéo un aspect réel et expressif? Deux informaticiens de l'Université de Montréal ont trouvé la réponse: en utilisant de simples croquis matriciels pour rendre leurs poses plus réalistes.
Le professeur adjoint Mikhail Bessmeltsev et son doctorant Kirill Brodt ont mis au point un outil d'animation qui recourt à des dessins pour contrôler la manière dont les personnages de jeux vidéo se tiennent et bougent en trois dimensions.
L'étude du duo est publiée le 22 juillet dans le journal scientifique ACM Transactions on Graphics. Nous leur avons demandé de nous en dire plus.
Quel a été le défi que vous avez dû relever pour mettre au point ce nouvel outil?
Les artistes capturent souvent les poses des personnages par le biais d'esquisses matricielles; ce processus est appelé en anglais storyboarding. Ils utilisent ensuite ces dessins comme référence pour intégrer un personnage en 3D et sa pose dans leur logiciel. Il s'agit d'un processus fastidieux qui nécessite une formation 3D spécialisée et un certain effort mental. Nous avons créé le premier logiciel capable de déduire automatiquement la pose d'un personnage en trois dimensions à partir d'un simple croquis matriciel en produisant des poses conformes à ce que le spectateur s'attend à voir.
Comment cela fonctionne-t-il?
Même si un être humain peut facilement imaginer la pose 3D dessinée sur un croquis, il est difficile de concevoir un algorithme en mesure de reproduire ce comportement et de «deviner» la bonne pose 3D. À l’échelon le plus basique, l'algorithme doit comporter certaines informations 3D – par exemple, quelle partie du corps se trouve devant une autre – tirées d'un dessin plat. C'est déjà difficile! Pour compliquer les choses, les croquis sont dessinés très rapidement et contiennent donc des proportions considérablement déformées. Par conséquent, il est difficile de dire si un bras qui semble court est dû à un raccourcissement intentionnel, à une erreur ou à un effet de style. Enfin, les poses utilisées dans les animations ou les jeux vidéo sont souvent complexes, de sorte que les croquis présentent souvent des parties du corps qui s'occultent.
Que faites-vous pour surmonter ce problème?
Nous l’abordons en prédisant trois éléments clés d'un dessin qui sont nécessaires pour clarifier les poses dessinées: les tangentes osseuses 2D ‒ ou comment chaque partie du corps est orientée dans le croquis ‒, les autocontacts ‒ la main gauche touche-t-elle la tête? ‒ et le raccourcissement des os. Nous cherchons ensuite une pose 3D qui préserve exactement tous ces éléments par une optimisation. Nous validons notre méthode en montrant que la pose finale du personnage en 3D est celle qu'un observateur voit dans un croquis.
Les poses semblent donc plus expressives et plus «réelles» de cette façon?
Tout à fait. Les esquisses sont parfois un moyen plus facile de capturer une pose expressive qu'un logiciel 3D, surtout pour les artistes de formation classique. Nous essayons de conserver cette expressivité et ce réalisme dans notre algorithme en équilibrant les indices visuels de la littérature artistique et en utilisant la recherche sur la perception visuelle, ce qui permet de compenser les proportions déformées des personnages générés. Nous validons notre méthode par des évaluations numériques, des études d'utilisateurs, des comparaisons avec des personnages dessinés manuellement et des travaux antérieurs, et nous démontrons la diversité des résultats.
Comment cet outil pourrait-il être utile aux animateurs?
Nous espérons qu'il pourra faire partie de la chaîne de production de l'animation et qu'il permettra de gagner beaucoup de temps. À partir d'un simple croquis matriciel d'un personnage, notre algorithme permet à l'animateur d'appliquer automatiquement, sans aucune entrée supplémentaire, la pose 3D dessinée à un personnage 3D rigged et skinned. Cela signifie essentiellement que les animateurs peuvent désormais créer une première ébauche d'animation juste après avoir esquissé les images clés.
Quels jeux vidéo ciblez-vous et pensez-vous que les consommateurs remarqueront l'amélioration?
Nous espérons que le système sera utilisé à la fois dans le secteur de l'animation et dans celui des jeux vidéo, mais si nous parlons spécialement des jeux, pratiquement tous ceux qui comportent des personnages animés sont visés. Nous pensons que notre système peut être employé, si on le souhaite, avec l'animation basée sur la physique ou les technologies de capture de mouvement, qui sont populaires dans les jeux d'action. Nous aimerions que notre algorithme permette aux animateurs de consacrer plus de temps au processus de création.
À propos de cette étude
L’étude «Sketch2Pose: estimating a 3D character pose from a bitmap sketch», par Kirill Brodt et Mikhail Bessmeltsev, a été publiée le 22 juillet 2022 dans ACM Transactions on Graphics.