Plaidoyer pour la nuance

«On veut changer les pratiques au nom de la qualité des sciences sociales et humaines», souhaite Sébastien Béland, professeur à la Faculté des sciences de l’éducation de l'Université de Montréal. Dans sa mire, la valeur p (ou p-value), un indicateur statistique important en science, mais qui reste mal compris autant par la communauté universitaire que par le grand public et les médias. «Une grande partie de la science – en sciences sociales, humaines et en santé – repose sur cette valeur. Mais ça fait des années que les chercheurs et chercheuses appellent à la prudence; on ne peut pas affirmer qu’il y a découverte, ou pas, uniquement sur cette base», poursuit-il.
Durant la pandémie, l’accélération de la recherche et, surtout, de sa diffusion a eu des effets pervers. «Il y a eu des dérapages qui ont été assez importants. On a erronément surinterprété les résultats, ça a donné de mauvaises politiques publiques», raconte Sébastien Béland, qui a ainsi commencé à s’intéresser à la valeur p.
Avec Michael Cantinotti (Université du Québec à Trois-Rivières) et Denis Cousineau (Université d’Ottawa), Sébastien Béland publie un article en français sur la question dans la revue Psychologie canadienne. Vingt-quatre cosignataires de facultés et départements divers y ont joint leur voix, dont plusieurs de l’UdeM (Christian Bourassa et Christophe Chénier, de la Faculté des sciences de l’éducation; Stéphanie Forté et Quoc Dinh Nguyen, de la Faculté de médecine; Éric Lacourse, du Département de sociologie; et Floris van Vugt, du Département de psychologie).
«Nous voulions exprimer une prise de position claire et écrire un article coup-de-poing», affirme-t-il. Rajoutant à ce plaidoyer, les auteurs se sont fait un point d’honneur de publier en français, alors que les articles de méthodologie sont souvent dans la langue de Shakespeare. Pourtant, «c’est important de publier en français. Il a été montré qu’apprendre un sujet compliqué est plus facile dans sa langue maternelle», rappelle-t-il.
Les dérapages de la valeur p

La valeur p repose sur le principe de l’hypothèse nulle, soit l’absence d’effets entre des variables à l’étude. En deçà d’un certain seuil (la valeur p), on considère que les résultats sont «statistiquement significatifs» et que l’effet n’est pas dû au hasard.
Or, ce seuil, en sciences sociales, a été défini plutôt arbitrairement. «Ronald Fisher, un des pères de la statistique contemporaine, a présenté l’idée de la valeur de 0,05 [ou 5 %], disant qu’on ne se trompait pas trop avec ce seuil. Mais c’est devenu une valeur standard hyper rigide pour l’interprétation des résultats, pour établir si les résultats sont statistiquement significatifs ou pas. Mais les statistiques, c’est un monde rempli de nuances et de zones grises», explique Sébastien Béland.
Dans plusieurs disciplines, les scientifiques cherchent donc à obtenir une valeur p inférieure à 0,05 pour affirmer avoir fait une découverte scientifique; «mais ce n’est pas du tout ce que nous raconte le 0,05. Il faut recadrer les choses sur cette interprétation, et comprendre en profondeur ce qu'on fait», croit le chercheur.
Lui redonner sa place
Doit-on maintenant abandonner complètement la valeur p en sciences sociales? Le chercheur appelle plutôt à plus de nuance. «Ça ne raconte pas tout, c’est une partie du travail scientifique», souligne Sébastien Béland. Il souhaite également que la communauté scientifique dans les disciplines hors des statistiques cultive davantage sa pensée critique à l'égard de la méthodologie. «C’est devenu une espèce de coutume. Mais des résultats supérieurs à 0,05 peuvent aussi être intéressants», précise-t-il.
Sébastien Béland aimerait par ailleurs utiliser cet article dans ses cours pour sensibiliser les étudiants et étudiantes. Le chercheur caresse aussi le projet d’écrire un livre sur la façon de mieux lire et rapporter les statistiques parce que les statistiques sont bien souvent mécomprises et mal rapportées dans les médias. «Les journalistes sont peu formés, mais sont aussi parfois mal accompagnés par les scientifiques. Ça crée une inflation interprétative», note-t-il.
«Je ne dis pas d’abandonner la valeur p, mais plutôt de lui redonner sa vraie place. C’est important, mais ce n’est pas la figure d’autorité suprême», estime-t-il. Question d’éviter d’autres catastrophes méthodologiques comme celles qu’on a vues durant la pandémie.