Fausses nouvelles: et si les outils censés nous protéger comportaient des angles morts?

En 5 secondes Les outils d'IA contre la désinformation ont des angles morts importants, démontre une doctorante de l'UdeM qui propose des solutions plus équitables, transparentes et centrées sur les utilisateurs.
Lorsque les système d’IA actuels de détection des fausses nouvelles signalent un contenu comme faux, ils ne vérifient pas les faits: ils calculent des probabilités à partir des données avec lesquelles on l'a entraîné. C'est un malentendu fondamental, selon Dorsaf Sallami.

Un lien douteux partagé par un proche, une manchette trop spectaculaire pour être vraie, une vidéo qui semble truquée sans qu'on puisse en être certain… À l'heure où la désinformation en ligne prend des formes de plus en plus difficiles à détecter, les outils conçus pour nous aider à démêler le vrai du faux se multiplient. Mais sont-ils vraiment à la hauteur? 

Pas vraiment, selon Dorsaf Sallami, qui s'est penchée sur ces outils – et sur leurs limites – dans son doctorat réalisé au Département d'informatique et de recherche opérationnelle de l'Université de Montréal. 

Ses recherches l’ont menée à la conclusion que les systèmes d'intelligence artificielle (IA) conçus pour repérer la désinformation comportent des failles importantes que leurs performances techniques tendent à occulter. 

Elle en fait la démonstration dans un article publié dans les actes d’une conférence internationale sur l'intelligence artificielle, l'éthique et la société, qu’elle cosigne avec sa directrice de recherche Esma Aïmeur et le professeur Gilles Brassard. 

Un miroir, pas un détecteur de vérité 

«Les systèmes d’IA actuels de détection des fausses nouvelles reposent sur un malentendu fondamental, écrit-elle. Quand l’un d’eux signale un contenu comme faux, il ne vérifie pas les faits comme le ferait un ou une journaliste. Il calcule des probabilités à partir des données avec lesquelles on l'a entraîné.» 

Ainsi, ces systèmes de repérage ne font que refléter ce qu'on leur a montré – tel un miroir – avec les biais et les omissions que cela comporte. 

Pour Dorsaf Sallami, il est même paradoxal que les grands acteurs du numérique investissent massivement dans ce type de détection: Meta étiquette le contenu qui correspond à des vérifications existantes, Google a lancé un prototype basé sur son modèle Gemini et X déploie Grok pour analyser en temps réel ce qui circule sur sa plateforme. 

«L'artillerie est impressionnante, mais à quoi sert un système qui obtient 95 % de précision en laboratoire s’il ne fonctionne pas correctement dans des conditions réelles, surtout s'il viole la vie privée des utilisateurs et défavorise certains médias ou peut être détourné pour censurer l'opposition politique?» s’interroge-t-elle. 

De fait, dans les évaluations d’efficacité de détection, on compare les systèmes entre eux à l'aide d'indicateurs techniques mesurés dans des conditions contrôlées, un peu comme si l’on classait des voitures uniquement selon leur vitesse de pointe, sans se demander si elles sont sécuritaires, accessibles ou polluantes. 

Qui décide de ce qui est faux?

Il y a un autre problème tout aussi fondamental, selon Dorsaf Sallami. 

«Pour apprendre à un système à distinguer le vrai du faux, il faut d'abord lui fournir des milliers d'exemples étiquetés indiquant que ceci est vrai ou que cela est faux, illustre-t-elle. Dans une tâche simple, comme différencier un chat d'un chien sur une photo, les étiquettes ne prêtent pas à débat, mais, dans le cas des fausses nouvelles, les experts eux-mêmes peuvent être en désaccord.» 

C'est ce que Dorsaf Sallami appelle le «problème de la vérité de terrain».  

«Les systèmes d'IA sont entraînés à partir d'étiquettes fournies par des organismes de vérification, poursuit-elle. Or, les méthodes de ces organismes manquent souvent de transparence: certains fonctionnent même comme des entreprises à but lucratif, ce qui rend le processus encore plus opaque et fait reposer l'édifice technologique sur des fondations plus fragiles qu'il y paraît.» 

De plus, l'émergence des grands modèles de langage – les mêmes technologies derrière ChatGPT ou Gemini – permet désormais aux créateurs de fausses nouvelles d'imiter avec une aisance inédite le style des sources crédibles. 

Avec la conséquence que les systèmes entraînés – il y a quelques mois seulement – à reconnaître les stratégies de désinformation peuvent se retrouver aveugles devant celles d'aujourd'hui. 

Des préjugés cachés dans les algorithmes 

Dorsaf Sallami soulève aussi une autre faille: les préjugés intégrés dans les systèmes d’IA de détection des fausses nouvelles. 

Ses travaux montrent que certains modèles associent davantage les femmes à la désinformation lorsque des termes genrés figurent dans les textes analysés. D'autres défavorisent les médias non occidentaux ou reproduisent des biais politiques et géographiques. 

Selon elle, cet aspect est d'autant plus préoccupant qu'il passe largement inaperçu.  

«Pendant que l'industrie se concentre sur l'amélioration des taux de précision, peu de recherches ont porté sur les discriminations que ces mêmes systèmes peuvent engendrer, déplore-t-elle. L'équité n’est pas un aspect secondaire de la performance, elle doit en faire partie intégralement.» 

Sa thèse propose d'ailleurs des méthodes concrètes pour mesurer et corriger ces biais. La doctorante a notamment élaboré CoALFake, un cadre qui permet à un détecteur entraîné dans un domaine de s'adapter à un nouveau terrain, comme la désinformation scientifique ou commerciale, sans qu'il faille tout recommencer à zéro. 

Gagner la confiance, pas seulement réussir des tests

Pour structurer l'ensemble de ces questions, Dorsaf Sallami propose un cadre d'évaluation fondé sur la responsabilité sociale.  

«Plutôt que de juger un système uniquement sur sa précision, il faut tenir compte aussi de son équité, de sa transparence, de son respect de la vie privée et de son utilité réelle pour les gens», soutient-elle. 

Elle suggère également de nouvelles pistes pour la suite des choses, comme intégrer davantage la rétroaction des utilisateurs, collaborer avec des journalistes, des spécialistes en sciences sociales et des juristes, abandonner ce qu’elle décrit comme une «fausse dichotomie» entre exactitude et responsabilité sociale. 

Aletheia: un outil pour vérifier, s'informer et discuter 

Dans un autre article scientifique découlant de sa thèse de doctorat, Dorsaf Sallami soulève le fait que la plupart des recherches se limitent à la mise au point de modèles d’IA de détection, souvent réservés à des personnes disposant de compétences techniques spécialisées. Or, ces modèles, bien que nécessaires, restent insuffisants sans outils accessibles aux utilisateurs finaux. 

Loin de se contenter de relever ce problème, elle a donc conçu Aletheia, un outil pour aider les internautes à vérifier par eux-mêmes ce qu'ils lisent en ligne. 

Il s’agit d’une extension qu'on installe dans son navigateur Web et, en quelques clics, elle permet de vérifier la crédibilité d'une nouvelle, de consulter les vérifications déjà effectuées par des organismes reconnus et de discuter avec d'autres utilisateurs.  

Selon Dorsaf Sallami, Aletheia se distingue des autres détecteurs par sa philosophie: au lieu de seulement déclarer un contenu vrai ou faux, l’outil explique pourquoi en fournissant des éléments de preuve tirés de sources disponibles sur le Web. Les utilisateurs peuvent ainsi les vérifier eux-mêmes, sans se fier aveuglément au modèle sous-jacent. 

«L'extension repose sur trois modules, signale-t-elle. Le premier, VerifyIt, est le cœur du système. Il consulte automatiquement des sources externes et formule un verdict accompagné d'explications en langage courant permettant à l’utilisateur de comprendre ce qui rend un contenu suspect et sur quelles sources le système s'appuie.»  

Dorsaf Sallami a soumis VerifyIt à des tests à partir d'affirmations vérifiées par le site PolitiFact et il a obtenu un taux de fiabilité d'environ 85 %, ce qui dépasse plusieurs outils existants, selon elle. 

L'extension offre aussi un volet d'information en continu, qui regroupe les vérifications récentes, et un espace de discussion où les utilisateurs peuvent échanger leurs analyses et évaluer les contributions des autres. 

«Ce que nous avons exposé ici ne représente que la pointe de l'iceberg, conclut la diplômée de l’UdeM. L'IA doit gagner la confiance du public, pas seulement réussir des tests techniques. Les travaux futurs devront résister à la tentation des jugements de vérité entièrement automatisés et privilégier la conception de systèmes qui travaillent avec le jugement humain et contribuent à l’exercer.»

Partager

Demandes médias

Université de Montréal
Tél. : 514 343-6111, poste : 67960