L’épopée de deux articles scientifiques

Voici donc les études. Tout d'abord, celle en astrophysique.

«Vous travaillez en relations avec les médias pour une grande université», avons-nous commencé, en demandant à ChatGPT de s'imaginer à notre place.

«Super! a-t-il répondu joyeusement. Travailler en relations avec les médias pour une grande université implique une gamme de responsabilités et de compétences.» Et il en a énuméré 10, de l'élaboration d'une stratégie de communication à «être informé».

«Vous devez rédiger un article de vulgarisation scientifique d’une longueur de 750 mots à partir d’une étude scientifique complexe», avons-nous poursuivi.

C'est «une tâche difficile, mais gratifiante», a répondu ChatGPT en dressant une autre liste de 10 points allant de la nécessité de «comprendre l'étude» et de «cibler les éléments clés» à la conclusion du texte par «un message à retenir».

Jusqu'ici, tout va bien.

Ensuite, nous avons entré l'URL de l'étude d'astrophysique. (Contrairement aux versions antérieures gratuites, ChatGPT 4, qui coûte environ 25 $ par mois, accepte les URL, un raccourci utile pour entrer les données manuellement.)

La réponse a pris quelques secondes.

«L'étude scientifique intitulée Posterior samples of source galaxies in strong gravitational lenses with score-based priors vise à améliorer la précision de l'inférence d'informations à partir d'images de galaxies déformées par l'attraction gravitationnelle d'autres galaxies. Ce processus, connu sous le nom de lentille gravitationnelle forte, peut déformer de manière significative les images de galaxies lointaines, ce qui rend difficile la compréhension précise de leurs propriétés.»

Vient ensuite une liste, en cinq points seulement, détaillant les principaux aspects de l'étude et concluant qu'elle «représente une avancée significative dans le domaine de l'astrophysique».

Nous avons ensuite demandé à ChatGPT d'«affiner le texte en utilisant ce matériel source» et nous lui avons donné une nouvelle URL avec des informations supplémentaires provenant de l'étude. ChatGPT a alors récrit ses cinq premiers points et a terminé par une conclusion plus poussée: «Cette étude représente une étape importante dans l'inférence de données à haute dimension, améliorant notre compréhension de l'Univers grâce à des techniques avancées de reconstruction d'images en astrophysique.»

Bien, maintenant, il s’agit de «récrire le texte en utilisant une structure pyramidale inversée de type journal», avons-nous demandé. Ce à quoi ChatGPT a répondu en commençant par une formulation journalistique classique – «Dans une étude d’astrophysique révolutionnaire…» – et a poursuivi avec deux longs paragraphes. Nous lui avons demandé de continuer, ce qu'il a fait en rédigeant un autre long paragraphe, nous avons donc répété la commande et il s’est exécuté.

«Simplifiez pour un public de cinquième secondaire», avons-nous ensuite demandé, essayant de simplifier un peu les choses.

«Dans une étude récente, a répondu ChatGPT, des scientifiques ont développé une nouvelle manière de regarder des images de galaxies lointaines qui ont été déformées par la gravité d'autres galaxies intermédiaires. Cet effet de déformation est appelé lentille gravitationnelle forte. Les scientifiques ont utilisé un type spécial de mathématiques appelé modélisation basée sur les scores pour obtenir des images plus claires de ces galaxies lointaines. C'est important, car cela nous aide à comprendre des choses comme la matière noire et comment les galaxies se forment et se transforment. Leur méthode est bien meilleure que les précédentes et nous donne des images plus claires et plus précises. Cela pourrait conduire à de nouvelles découvertes dans le domaine des sciences spatiales!»

Peut-être un peu trop simple. Que diriez-vous de «récrire depuis le début, cette fois pour un public de premier cycle universitaire?» avons-nous suggéré.

Alors il a proposé ceci: «Dans une récente étude d'astrophysique, des chercheurs ont mis au point une méthode sophistiquée pour analyser les images de galaxies déformées par l'effet gravitationnel d'autres galaxies, un phénomène connu sous le nom de “lentille gravitationnelle forte”. Cette distorsion peut modifier considérablement notre perception de ces galaxies lointaines, ce qui complique l'étude de leurs véritables propriétés.»

«Pour résoudre ce problème, les chercheurs ont utilisé une technique appelée modélisation basée sur le score, qui fait appel à des mathématiques avancées et à des équations différentielles stochastiques. Cette méthode leur permet de créer des images plus précises et plus claires des galaxies déformées (et) représente une avancée significative, offrant un moyen plus fiable d'étudier et de comprendre les détails complexes des galaxies lointaines et les forces cosmiques qui agissent sur elles.»

Trois «Continuez…» plus tard, nous avons demandé à ChatGPT d'«insérer des citations des chercheurs principaux», mais ici l’agent conversationnel a hésité. «Je n'ai pas pu trouver de citations spécifiques, a-t-il répondu. Toutefois, si vous souhaitez approfondir l'étude ou obtenir des commentaires des chercheurs, je vous recommande de les contacter directement par l'intermédiaire de leurs établissements affiliés ou de rechercher les interviews et les présentations qu'ils ont pu faire sur ce sujet.» D’accord.

Puis, nous avons remarqué que la physicienne Laurence Perreault-Levasseur et ses coauteurs n'étaient mentionnés nulle part dans les réponses données par ChatGPT et nous lui avons donc demandé de récrire l'article en y incorporant leurs noms et leurs affiliations universitaires, ce qu'il a fait. Enfin, après avoir répondu à une longue série de demandes supplémentaires – trouver un meilleur titre, un sous-titre et un paragraphe principal; utiliser moins de jargon; intégrer certains éléments comme des citations directes des chercheurs (il a refusé) –, il nous a donné ceci:

Après plusieurs autres paragraphes du même type, il était temps de procéder à une réécriture par un être humain et c'est là que nous sommes intervenu. Voici le résultat:

Passons maintenant à la deuxième étude, celle sur les traumatismes cérébraux chez les enfants.

«Rédigez un article de 800 mots (titre, sous-titre, sauts de paragraphe, style pyramide inversée) à partir de l'étude ci-jointe», avons-nous demandé à ChatGPT en lui fournissant un document PDF de l'étude de Miriam Beauchamp.

La réponse a semblé prometteuse, même si elle a été un peu longue:

Et ainsi de suite. Pouvez-vous repérer les améliorations?

Nous avons contacté la professeure Perreault-Levasseur et nous nous attendions à ce que son point de vue ressemble à celui d’autres chercheuses et chercheurs confrontés à des versions «vulgarisées» de leurs travaux: l'article aurait été bien plus intéressant si la science n'avait pas été simplifiée à l'extrême.

Contrairement à ChatGPT, la réponse de l'astrophysicienne n'a pas été instantanée. «Vos courriels ont atterri dans mon dossier de pourriels», s'est-elle excusée, ajoutant qu'elle avait été très occupée par ses déplacements professionnels (un séminaire à Princeton, une conférence à Waterloo, une autre à New York).

Oui, dit-elle, elle a décelé quelques problèmes dans ce que nous lui avons envoyé.

D'une manière générale, il manque une impression de «vue d'ensemble… Nous, scientifiques, consacrons généralement la majeure partie de notre temps et de nos mots à expliquer cette perspective lorsque nous nous adressons au public».

En particulier, elle a ajouté ceci: «Bien que votre texte soit assez bon sur la base de ce que ChatGPT a produit, il y a une chose qui n'est pas tout à fait exacte: nous ne sommes pas vraiment en train de “déflouter” des images, nous “reconstruisons” plutôt des images non déformées de sources d’arrière-plan.»

Elle a ensuite expliqué en détail comment cela fonctionne en utilisant l'analogie suivante: «La lentille gravitationnelle, c'est comme regarder la flamme d'une bougie à travers le pied d'un verre à vin, c'est-à-dire qu'il y a une distorsion et qu'il faut la “défaire”.»

N'est-ce pas la même chose que «déflouter»? Pas tout à fait. Il s'agit plutôt de reconstruire ce à quoi ressemble la galaxie déformée en faisant appel à l'intelligence artificielle.

Dans son étude, Laurence Perreault-Levasseur explique: «Nous avons montré comment nous pouvons utiliser l'apprentissage automatique et l'apprentissage profond pour obtenir une représentation beaucoup plus complexe et réaliste des galaxies à partir d'autres images de galaxies non déformées, et ensuite les utiliser pour “remplir” les cases manquantes dans nos reconstructions.»

«Cela nous permet non seulement de réaliser des reconstructions qui sont bien meilleures que celles faites au moyen des méthodes existantes, mais aussi, et c'est beaucoup plus important, de quantifier les incertitudes de nos reconstructions… Il s'agit d'une étape indispensable dans l'utilisation de l'apprentissage automatique pour faire des découvertes scientifiques en astrophysique.»

Puis, le clou du spectacle:

«Ce qui est intéressant dans le recours à ChatGPT, un modèle d'apprentissage profond, pour produire un article de presse, c'est que tout l'intérêt de notre utilisation de l'apprentissage profond pour l'inférence scientifique n'a pas été pris en compte!»

Un point pour l'humain.

Après cette introduction, le texte comportait huit autres longs paragraphes, intitulés Résultats clés, Stress parental et fardeau familial, Analyse approfondie, Implications cliniques, Méthodologie, Limites et recherches futures, Conclusion et, enfin, une brève rubrique À propos des auteurs.

Deuxième essai: récrire le texte cette fois pour un public étudiant de premier cycle, mais «dans un langage simple», comme nous l'avions demandé. ChatGPT a commencé de belle façon, par un titre plus simple – Une nouvelle étude montre que les mères et les pères diffèrent dans l'évaluation du comportement de l'enfant après une lésion cérébrale –, et a continué de manière tout aussi «simple».

Prise 3: cette fois-ci, avec des instructions pour inclure des détails sur la taille de l'étude et les auteurs, ChatGPT a fourni un titre et un texte encore plus idiomatiques:

À la quatrième et dernière tentative, nous avons récapitulé nos demandes de la manière suivante: «Rédigez un article de 800 mots (titre, sous-titre, sauts de paragraphe, style pyramide inversée) à partir de l'étude ci-jointe. En anglais simple, s'il vous plaît, évitez le jargon et essayez d'utiliser la voix active. Le public est constitué de gens du premier cycle universitaire.»

Après quelques ajustements et révisions de notre part, voici la version définitive du texte:

Pas mal, non?

Mais qu'en ont pensé les chercheurs? Nous avons partagé le texte avec eux. Cinq jours plus tard, nous avons obtenu leurs réponses.

«Mon impression générale? Cet exercice peut être utile pour comprendre rapidement les principales conclusions d'une étude et ChatGPT semble généralement choisir le niveau de langage adapté à un public non expert, écrit Miriam Beauchamp.

«Cependant, à mon avis, il y a une grande confusion entre ce que disent les auteurs de l'étude – par exemple, leur interprétation et leurs conclusions dans la discussion de l'article – et ce qui provient de la littérature existante – comme ce qui est rapporté dans l'introduction, a-t-elle poursuivi. ChatGPT prend également la liberté d'attribuer aux auteurs des citations qui n'en sont pas, ce qui me semble problématique.»

(En fait, nous avons dû expliquer que ces citations ne venaient pas de ChatGPT, mais de nous. Erreur humaine? Pas tout à fait: elles auraient été soumises aux chercheurs pour validation avant publication et ils auraient eu la liberté de les modifier ou de les rejeter.)

Miriam Beauchamp résume l’expérience en nous faisant part de quelques avantages et inconvénients.

Avantages

• La conclusion générale de l'étude est juste et formulée de manière simple.
• Les détails méthodologiques (nombre de participants, groupes d'étude/population) sont rapportés et suffisamment détaillés pour que l'étude soit comprise. Il convient toutefois de noter que ces informations n'ont été incluses qu'après l'ajout d'une invitation à cet effet.
• Les «questions de suivi» sont intéressantes. Lorsqu'on lui demande de donner des exemples du questionnaire utilisé dans notre étude, ChatGPT explique qu'il ne peut pas le faire parce que le contenu du questionnaire n'est pas compris dans l'étude, qu'il n'est pas librement accessible dans le domaine public et qu'il est protégé par des droits d'auteur, ce qui est tout à fait vrai. J'ai été surprise par cette réponse, car dans d'autres domaines ChatGPT n'indique pas ses sources et ne fait pas attention à l'origine de l'information.

Inconvénients

• Le plus gros problème est qu'il y a une confusion entre ce qui est rapporté dans l'introduction et ce qui est rapporté dans la discussion. On a l'impression que les auteurs de l'article affirment certaines choses, alors qu'en réalité les conclusions proviennent d'études publiées précédemment par d'autres chercheurs. ChatGPT ne semble pas faire la différence entre les sources d'information: ce qui appartient à la littérature existante et ce qui est dit par les auteurs de l'article.
• Il ne mentionne pas les limites de l'étude, ce que nous prenons soin de souligner lorsque nous parlons de nos études dans les médias. Les chercheurs expliquent généralement les nuances de leur travail. Ce point n'est pas du tout abordé.
• Bien que le niveau de vulgarisation semble généralement adéquat, ChatGPT ne va pas plus loin dans l'explication de certains termes, ce que je ferais habituellement lorsque je m'adresse à un public non expert.

L'étudiante de doctorat supervisée par Miriam Beauchamp et première auteure de l'étude, Lara-Kim Huynh, a également donné son avis:

• Les citations rapportées par ChatGPT sont problématiques, car elles ne se trouvent pas dans le texte de l'étude. Miriam Beauchamp est citée: «Les différences parentales dans l'évaluation du comportement de leur enfant peuvent être informatives», alors que l'étude attribue ces propos à un autre auteur: «De Los Reyes (2013) a suggéré que les divergences parentales peuvent être informatives, plutôt que d'être interprétées comme une erreur de mesure.»
• ChatGPT fait du bon travail pour formuler la conclusion générale de l'article. Cependant, la structure du résumé ne respecte pas la structure des idées présentées dans le texte. En conséquence, il est difficile de saisir pourquoi les auteurs ont mené cette étude et quelles en sont les implications pour la recherche future. Au lieu de cela, ChatGPT semble rapporter des phrases choisies au hasard dans le texte. Il reformule plusieurs fois la conclusion de l'étude, entrecoupée d'informations sur la méthodologie, rendant difficile la compréhension.
• Certaines phrases sont en fait incorrectes, comme «Les recherches antérieures se concentraient souvent sur les rapports des mères et reflétaient leurs perceptions généralement négatives de l'état de leur enfant». ChatGPT semble avoir fusionné deux phrases pour créer de nouvelles informations: «De plus, la plupart des études documentant les changements comportementaux après un TCCL pédiatrique s'appuient sur un seul informateur […]» dans l'introduction et «Ensemble, les résultats montrent que des évaluations plus élevées des problèmes comportementaux par les mères par rapport aux pères sur le TCCL ne sont pas dues à une perception généralement plus négative du fonctionnement de leur enfant […]» dans la discussion.
• Le titre «Les mères et les pères diffèrent sur la façon dont une lésion cérébrale modifie le comportement de leur enfant» est très mal formulé et ne reflète pas le contenu de l'article.

ChatGPT et nous qui le commandons pourrions-nous faire mieux la prochaine fois? Certainement, nous a expliqué notre guide, Yann Fortier, après avoir examiné de près comment se sont déroulés nos «échanges» avec l’agent conversationnel.

«J'aime vraiment votre séquence de demandes, qui vont du macro- au micro-», a-t-il répondu.

Ensuite, il a fait quelques suggestions importantes, susceptibles de changer la donne:

«Demandez-lui quelle serait la meilleure approche pour produire un article de 750 mots, en spécifiant le contexte entre autres, pour lui faciliter la tâche. Lui dire continuellement de “continuer” est certainement efficace, cependant, je vois un risque d'optimisation.

«À mon avis, ChatGPT ne sait pas à l'avance qu'il doit “continuer”. Il a donc tendance à adopter une “volonté de conclure” et à le faire à la fin de chacune de ses réponses plutôt qu'à la toute fin du texte.

«C'est pourquoi, par exemple, je préfère une approche comme “Résumez le contenu X en 10 sections principales, numérotées et listées de 1 à 10. L'étape 1 devrait être l'introduction, l'étape 10 la conclusion. Chaque section doit s'enchaîner logiquement et continuellement”.

«Une fois les résultats affichés, demandez-lui d'écrire un texte de 75 mots pour l'étape 1. Ensuite, dites “Continuez en écrivant un texte de 75 mots pour l'étape 2”. Lorsque vous l'obtenez, dites “Idem pour l'étape 3”. Et ainsi de suite jusqu'aux étapes 4, 5 et 6.

«C'est comme s’il tirait profit d’un miniapprentissage progressif. Et je vois deux avantages à procéder ainsi: vous atteindrez votre objectif de 750 mots de manière plus directe au lieu de tourner autour du pot et ChatGPT commencera à “comprendre” chaque étape et ainsi à suivre un arc narratif plus logique, et il évitera de chercher une «phrase-choc» pour terminer chacun des segments.

«Je vous invite à faire le test pour voir si les réponses peuvent s'avérer plus précises», a conclu Yann Fortier.

Et c'est bien ce que nous pourrions faire. Comme ChatGPT lui-même, notre utilisation de celui-ci ne fait que commencer.