«Pop’Balloons», le premier jeu vidéo sérieux en réalité mixte pour les enfants autistes

Alors que les demandes d’évaluation et d’intervention en santé mentale explosent, les services de soins sont malheureusement surchargés, centralisés et inaccessibles pour certains. C'est le cas notamment pour les enfants atteints d’un trouble du spectre de l’autisme (TSA). Pour pallier cette situation, des jeux vidéos sérieux commencent à faire leur apparition. Tel Pop’Balloons, un des premiers d’entre eux, qui permet à de jeunes autistes de développer leur motricité et qui a été conçu après plusieurs années de recherche fondamentale.  

Un projet qui a été dirigé par Guillaume Dumas, professeur de psychiatrie informatique à la Faculté de médecine de l’Université de Montréal et directeur du Laboratoire de psychiatrie de précision et de physiologie sociale du Centre de recherche du CHU Sainte-Justine. Guillaume Dumas est également titulaire de la Chaire IVADO en intelligence artificielle et en santé mentale et membre académique associé à Mila, l’Institut québécois d’intelligence artificielle. 

L’interaction sociale peu étudiée en imagerie médicale

Si l’on peut étudier l’activité cérébrale d’un individu dans un appareil d’imagerie médicale ou à l’aide d’électrodes et de l’encéphalogramme, comment faire pour observer l’activité cérébrale de cette personne lorsqu’elle est en interaction avec d’autres? Jusqu’à récemment, ne pouvant réunir plusieurs sujets dans un même endroit, les scientifiques en prenaient un seul et le plaçaient devant des situations d’interaction sociale enregistrées ou simulées. Ainsi, pour étudier des interactions sociales, les chercheurs en neurosciences observaient paradoxalement… des cerveaux de personnes isolées dans des laboratoires. 

La récente technique d’hyperbalayage a permis d’enregistrer simultanément l’activité cérébrale de plusieurs cerveaux et ainsi d’analyser des interactions sociales réelles. 

Découverte d’un nouveau paradigme

C’est en 2010, en étudiant l’imitation spontanée avec l’hyperbalayage, que le chercheur français découvre que les cerveaux de différentes personnes se synchronisent pendant des interactions sociales. Ses résultats révèlent alors que nous pouvons être littéralement sur la même longueur d’onde! 

Quatre ans plus tard, il poursuit ses recherches dans un postdoctorat aux États-Unis. «Nous avons élaboré un système pour enregistrer l’activité cérébrale d’une personne lorsqu’elle interagit avec un avatar. Cet avatar n’avait pas de comportement très défini, il réagissait en temps réel à ce que faisait la personne à la milliseconde près», explique Guillaume Dumas. 

Ce partenaire virtuel a passé le test de Turing et a réussi à être pris pour un humain! Guillaume Dumas a ainsi créé le Human Dynamic Clamp, un système d’interaction humain-machine inspiré des neurosciences cognitives, testé à l’époque par des sujets neurotypiques. Ce système pouvait s’adapter à différents comportements des utilisateurs, mais aussi leur faire adopter de nouveaux comportements en interagissant avec eux.

L’intelligence artificielle pour un diagnostic du TSA

Plusieurs études laissent penser que les différences sensorimotrices chez les personnes atteintes d’un trouble du spectre de l’autisme pourraient être la cause de leurs difficultés d’interaction. 

Or, le système d’interaction avec le partenaire virtuel créé par Guillaume Dumas a permis d’extraire des indices de coordination et de synchronisation interpersonnelle. Ainsi, le professeur-chercheur a inventé une nouvelle méthode d'évaluation neuropsychologique du TSA assistée par une machine. Elle a été testée en milieu clinique sur plus de 155 personnes et validée par les pairs.  

Puisque la machine avait démontré sa capacité à enseigner de nouveaux comportements, l’équipe de Guillaume Dumas a également travaillé sur une version qui permettrait aux individus autistes de développer leur motricité.  

Une nécessaire ludification

Guillaume Dumas a testé ce jeu à l’Hôpital universitaire Robert-Debré, en France, avec des enfants autistes. «Les enfants n’ont pas la langue dans leur poche et ils m’ont dit très directement que notre jeu vidéo était nul! raconte-t-il. C’est vrai que c’était un protocole de recherche et qu’il n’était pas visuellement très attrayant.» 

Avec des étudiants de l’École centrale de Paris, un prototype de jeu vidéo plus engageant a alors été créé. L’entreprise Act’image a ensuite collaboré avec l’Institut Pasteur pour une version 3D du jeu. Un partenariat avec Microsoft, concepteur des HoloLens, a permis de concevoir une version du jeu en réalité mixte: l’utilisateur reste dans le monde réel et y voit des objets se superposer en hologrammes.  

Ainsi, le jeu Pop’Balloons propose à de jeunes autistes de partir de façon sécuritaire à la découverte de leur propre environnement. Des hologrammes de ballons s’insèrent virtuellement dans une pièce et ils sont invités à les percer. Plus les ballons sont percés avec rapidité, plus le score sera élevé. Un enfant autiste peut ainsi explorer la pièce à son rythme et y retourner autant de fois que nécessaire.  

Une deuxième version a ensuite été développée en libre accès avec l’aide financière de la Fondation Orange, ce qui a permis à Guillaume Dumas de continuer à travailler sur ce jeu à Montréal lorsqu’il a été engagé comme professeur à l’UdeM. 

Vers une médecine de précision

Une collaboration avec le studio de jeu vidéo Eidos-Montréal a permis d’améliorer Pop’Balloons. L’affiliation à Mila a aussi permis d’élaborer des techniques d'apprentissage automatique plus poussées. L'équipe d'IVADO, l’institut de recherche et de transfert en intelligence artificielle, a quant à elle facilité l’établissement de liens entre l'UdeM et l'industrie du jeu vidéo, dont l'expertise est nécessaire à la conception de jeux vidéos sérieux plus engageants. 

«On a ainsi pu partir du jeu vidéo et aller jusqu'à de la stratification clinique, c'est-à-dire cibler des sous-groupes de participants pour faire de la médecine de précision en santé mentale. C’est le but de mon laboratoire: comprendre la physiologie et les bases de la socialité pour créer des approches en psychiatrie qui seraient adaptées à chaque personne», mentionne Guillaume Dumas. 

Les résultats préliminaires de stratification clinique à partir des données de Pop’Balloons feront l’objet d’une communication à NeurIPS, la conférence internationale la plus prestigieuse dans le domaine de l’apprentissage automatique et des neurosciences informatiques. 

Les défis de créer un jeu vidéo sérieux inclusif

Comment faire pour créer un jeu qui soit accessible à tous et favoriser ainsi l’accès à la neurodiversité? Et comment créer un jeu auquel tous les enfants autistes pourraient jouer sans qu’ils arrachent leur casque de réalité virtuelle? «La première étape est de valider les différents paramètres d’accessibilité. On parle d’une population qui a souvent une perception plus développée que les autres», indique Romain Trachel, spécialiste en apprentissage automatique à Eidos-Montréal, l’un des quelques studios ayant une division qui se concentre sur l’accessibilité. 

«Il faut d’abord s’assurer que les enfants autistes seront suffisamment à l’aise avec le dispositif du jeu. Auront-ils des difficultés à comprendre le concept? Est-ce qu’ils vont trouver cela engageant? Peut-être que jouer avec un ballon n’a pas forcément le même sens pour les enfants avec un développement atypique», ajoute Mariem Hafsia, étudiante de maîtrise à l’Université de Montréal. 

Ce premier jeu pourrait servir de modèle pour la réalisation de jeux vidéos plus inclusifs.

Le jeu vidéo sérieux en soutien au système médical engorgé

Le jeu vidéo Pop’Balloons pourrait servir dans le futur à faire des évaluations neuropsychologiques dans un milieu non médicalisé.  

«Il ne s’agirait pas nécessairement de poser un diagnostic qui nécessite un psychologue ou un médecin. On peut plutôt voir ça comme un soutien au système de santé engorgé, où les délais d'attente pour avoir des évaluations sont très longs. Cela permettrait aux professionnels de la santé de gagner du temps, car ils n’auraient pas besoin de passer des heures à faire une évaluation clinique», précise Guillaume Dumas. 

Ce jeu vidéo pourrait aussi favoriser la télémédecine personnalisée. «Il pourrait permettre d'avoir un tableau de bord où un clinicien suivrait le patient à travers les différentes sessions. Le patient n’aurait ainsi pas besoin de revenir à la clinique chaque fois. Il pourrait y avoir dans le jeu vidéo lui-même un moyen d'orienter le patient vers des niveaux de jeu adaptés à ce dont il a besoin pour s'améliorer. Il s’agirait d’un jeu vidéo adaptatif qui serait une intervention psychoéducative», conclut-il.