Une «folie à deux» numérique

En 5 secondes Les agents conversationnels intelligents peuvent donner à leurs utilisateurs des illusions de grandeur et les mener à une «psychose liée à l'IA», préviennent deux psychiatres de l'UdeM.
Des personnes plus vulnérables peuvent commencer à percevoir les agents conversationnels comme humains.

Votre agent conversationnel intelligent est-il d'accord avec vous sur tout, allant jusqu'à vous qualifier de génie?  Deux professeurs de psychiatrie de l'Université de Montréal mettent en garde contre la «psychose liée à l'intelligence artificielle» si vous ne faites pas preuve de vigilance.

Dans un article publié dans le JMIR Mental Health, Alexandre Hudon et Emmanuel Stip examinent un phénomène social: des personnes prédisposées à la psychose se laissent entraîner par les flatteries de ChatGPT et d'autres agents conversationnels basés sur de grands modèles de langage.

«Avec l'arrivée de nouveaux agents conversationnels, certains individus plus vulnérables peuvent commencer à percevoir ces systèmes comme humains», explique Alexandre Hudon, médecin psychiatre à l'Institut universitaire en santé mentale de Montréal, affilié à l'UdeM.

«Lorsque l'intelligence artificielle [IA] répond de manière trop convaincante, elle peut parfois amplifier des inquiétudes ou des croyances qui prennent alors une tournure délirante. Les médias ont récemment fait état de plusieurs cas problématiques, notamment des délires et des suicides», ajoute-t-il.

Ainsi, en septembre, un reportage de CBC a présenté le cas d’Anthony Tan, un jeune développeur d'applications de Toronto qui a sombré dans une paranoïa délirante après des mois d'échanges intenses avec ChatGPT d'OpenAI et qui a dû être hospitalisé.

Les médias ont aussi rapporté l’histoire d’Allan Brooks, un recruteur d'entreprise d'âge moyen de Cobourg, en Ontario, qui était persuadé d'avoir découvert une théorie mathématique révolutionnaire après que ChatGPT eut validé et amplifié ses idées à plusieurs reprises.

Ironiquement, c'est un autre agent conversationnel – Gemini AI de Google – qui a convaincu cet homme qu'il n’était pas victime de délires.

Allan Brooks fait partie des sept personnes nommées dans des poursuites intentées le mois dernier contre OpenAI aux États-Unis par le Tech Justice Law Project et le Social Media Victims Law Center, qui affirment que ChatGPT, utilisé par 800 millions de personnes, a entraîné des dépressions nerveuses et des suicides.

Un phénomène marginal pour l'instant

Les professeurs de l’UdeM conviennent que, lorsque les agents conversationnels valident les fausses croyances au lieu de les remettre en question, ils peuvent s’avérer dangereux. Il s’agit pour l’instant d’un phénomène marginal, reconnaissent-ils, mais qui, s'il n'est pas pris en compte, pourrait mener à une augmentation des cas de ce qu'ils appellent une «folie à deux» numérique.

«Les délires associés à l'IA sont plausibles chez les utilisateurs vulnérables et justifient des recherches ciblées», disent Alexandre Hudon et Emmanuel Stip dans leur article. Tous deux soulèvent la nécessité de conceptualiser la psychose liée à l'IA non seulement comme une curiosité technologique, mais aussi comme un phénomène psychiatrique et psychosocial émergeant au carrefour de la vulnérabilité cognitive, du stress environnemental et de l'interaction humain-machine.

En «le préservant de toute contradiction, argumentation ou confrontation avec la réalité, l'IA reflète les pensées de l’utilisateur au lieu de les remettre en question, notent les professeurs, adoptant par défaut un ton obséquieux lorsqu'un utilisateur tient un discours persécutoire, grandiloquent ou référentiel».

Pour aider les personnes qui ont souffert de délires liés à l'intelligence artificielle, il existe le Human Line Project, un groupe de soutien cofondé par un jeune Québécois, Étienne Brisson, qui a lui-même connu cette dérive.

Mais Alexandre Hudon et Emmanuel Stip affirment que des efforts supplémentaires sont nécessaires dans le milieu universitaire pour traiter le problème.

 

Cinq mesures à prendre

«La communauté scientifique se trouve à un tournant où des études systématiques sont indispensables pour aller au-delà des preuves anecdotiques», écrivent-ils. Ils formulent cinq recommandations:

  • Établir des programmes de recherche empirique pour tester l'hypothèse de la psychose liée à l'intelligence artificielle, notamment en mesurant les liens entre l'exposition à l'IA, la physiologie du stress et les symptômes psychotiques, et en utilisant des données de détection passive (comme la durée de connexion des utilisateurs avec les agents conversationnels et les perturbations ultérieures du sommeil) pour recenser les facteurs de stress associés au problème.
  • Intégrer la phénoménologie numérique dans la pratique de la psychiatrie clinique. «Les cliniciens pourraient systématiquement s'enquérir des interactions des patients avec les systèmes d'IA, indiquent les professeurs Hudon et Stip. À mesure que les agents conversationnels sont de plus en plus utilisés par les patients, la compréhension de leur rôle dans le façonnement de l'expérience interne sera aussi importante que l'évaluation de l'observance du traitement ou de la consommation de substances.»
  • Intégrer des mesures de protection dans les grands modèles de langage et les agents conversationnels, notamment «des messsages-guides qui normalisent l'incertitude et encouragent une interprétation pluraliste des expériences», et de redirection des utilisateurs vers un intervenant en cas de signes de détresse ou de propos délirants. «La mise au point d'algorithmes d'alerte numériques capables de détecter l'anthropomorphisme excessif, le discours autoréférentiel ou la conviction croissante pourrait renforcer la sécurité», selon Alexandre Hudon et Emmanuel Stip.
  • Établir des cadres éthiques et de gouvernance propres aux risques en santé mentale liés à l'intelligence artificielle. «Les conseils nationaux de recherche, les organismes de santé et les comités de rédaction des revues scientifiques devraient promouvoir la déclaration normalisée des incidents liés aux évènements psychiatriques associés à l'IA, à l'instar des registres de pharmacovigilance, plaident les professeurs. La recension transparente des résultats psychologiques négatifs, combinée avec la vérification de sécurité en accès libre, permettrait à la communauté de suivre et d'atténuer les risques en temps réel.»
  • Offrir des interventions cliniques et de santé publique aux personnes vulnérables aux distorsions cognitives produites par l'IA – et aider celles qui en ont déjà souffert. «Cette approche viserait à renforcer la capacité de l'individu à naviguer dans des environnements numériques de plus en plus immersifs par des activités structurées et ancrées dans la réalité», comme la participation en personne à des groupes d’utilisateurs, appuyés par une sensibilisation communautaire pour «renforcer la pensée critique, fortifier la résilience sociale et réduire les conditions psychosociales susceptibles de favoriser l’émergence d’interprétations délirantes du contenu de l’IA», disent les auteurs.

«Notre étude montre que la “psychose liée à l'IA” n'est pas une nouvelle maladie, mais l’expression moderne de difficultés psychologiques préexistantes, conclut Emmanuel Stip. Comprendre ce phénomène permet de mieux protéger les utilisateurs et d’établir les meilleures pratiques pour une utilisation sécuritaire de l'IA.»

Partager

Demandes médias

Université de Montréal
Tél. : 514 343-6111, poste : 67960