Un titre, un extrait ou une affirmation suffit. L’utilisateur soumet le contenu à Veracity, qui en évalue la fiabilité, explique son analyse en langage courant et présente les sources consultées.
Cette transparence distingue l’outil de plusieurs systèmes d’intelligence artificielle (IA) qui livrent une réponse sans toujours indiquer clairement comment ils y sont arrivés. Conçu par une équipe qu’a codirigée Jean-François Godbout, professeur au Département de science politique de l’Université de Montréal, Veracity vise ainsi à soutenir la vérification de l’information plutôt qu’à demander aux utilisateurs de lui faire confiance.
Mis au point dans le contexte des travaux du Regroupement de recherche IVADO sur la mise en œuvre et la gouvernance responsable de l’IA, l’outil a déjà obtenu une première reconnaissance institutionnelle. Au mois de mai, le Sénat du Canada l’a ajouté aux ressources mises à la disposition de ses membres et de leur personnel pour évaluer la fiabilité des affirmations qui leur sont soumises.
Un outil qui décrit sa démarche
Lorsqu’un contenu lui est soumis, Veracity interroge d’abord la mémoire paramétrique de son modèle, soit les connaissances acquises pendant son entraînement. Il consulte ensuite des sources externes, auxquelles il attribue un poids selon leur crédibilité. Les grands médias et les agences de presse, par exemple, obtiennent une meilleure évaluation qu’un site peu connu.
Au terme de cette démarche, l’outil donne un score de 0 à 100 %, une explication et la liste des sources consultées.
Veracity évite toutefois de déclarer qu’un énoncé est «complètement faux». Il indique plutôt que l’information n’a pu être vérifiée, que les sources disponibles sont peu fiables ou que l’affirmation est probablement inexacte.
«On a vraiment voulu pondérer le langage pour ne pas être trop écrasants parce qu’on veut encourager les gens à aller vérifier l’information eux-mêmes», mentionne Jean-François Godbout, également chercheur à IVADO – consortium de recherche et de transfert en intelligence artificielle – et membre académique associé de Mila, l’Institut québécois d’intelligence artificielle.
Cette prudence fait partie intégrante de l’approche retenue. «Quand on demande à Claude ou à ChatGPT de vérifier des faits, on ne sait pas trop quelles sources ont été consultées», souligne le professeur. Avec Veracity, les sources sont affichées, leur degré de crédibilité est expliqué et l’évaluation est justifiée. L’utilisateur peut donc examiner à sa guise les éléments sur lesquels repose le résultat.
Ce choix se fonde aussi sur les recherches de Jean-François Godbout, selon lesquelles les modèles de langage peuvent contribuer à corriger des croyances erronées en maintenant un ton patient et factuel. «Si vous discutez avec un ami, cette personne peut s’énerver», illustre-t-il. Le modèle, lui, peut présenter les faits de manière cohérente sans se laisser emporter.
Présenté par ses concepteurs comme un système à code source ouvert, Veracity peut également servir de point de départ à d’autres équipes qui souhaitent élaborer des outils semblables pour différents contextes électoraux ou linguistiques.
