L'influence des Nature, Science et JAMA décline

  • Forum
  • Le 5 novembre 2012

  • Dominique Nancy

Le numérique a modifié la façon dont les chercheurs prennent connaissance des textes scientifiques, observe le chercheur Vincent Larivière, dont l'échantillonnage était constitué de plusieurs millions d'articles et de citations.Tous les chercheurs rêvent de publier dans Cell, Nature, Science et The Journal of the American Medical Association (JAMA). Normal. Ces revues sont parmi les plus prestigieuses du monde. Mais ont-elles autant d'influence qu'avant?

 

Non, répond Vincent Larivière. Le professeur de l'École de bibliothéconomie et des sciences de l'information de l'Université de Montréal remet en question la relation entre le «facteur d'impact» des revues et le nombre de citations. «En 1990, 45 % des articles parmi les 5 % les plus cités étaient publiés dans les 5% des revues à plus haut facteur d'impact. En 2009, ce taux n'est plus que de 36 %», indique-t-il.

C'est donc dire que les articles les plus cités sont de moins en moins publiés exclusivement dans les revues à haut facteur d'impact, ajoute le professeur Larivière. La proportion de ces articles parus dans les publications savantes d'importance est en chute libre depuis une vingtaine d'années. C'est ce qui ressort de sa récente étude publiée dans le Journal of the American Society for Information Science and Technology.

Plus de 25 millions d'articles parus entre 1902 et 2009 et 820 millions de citations ont composé l'échantillonnage du chercheur. Dans un premier temps, il a évalué, pour chacune des années, la force de la relation entre les citations des articles dans les deux années suivant leur parution et le facteur d'impact des revues. Ensuite, il s'est penché sur la proportion des articles les plus cités qui étaient publiés dans les revues ayant les plus hauts facteurs d'impact. «L'objectif était de voir, à l'aide de mesures différentes, si le pouvoir “prédictif” du facteur d'impact sur les citations reçues par les articles a évolué au fil des années», précise M. Larivière, qui a mené son étude en collaboration avec deux collègues de l'Observatoire des sciences et des technologies de l'UQAM, George Lozano et Yves Gingras.

«De 1902 à 1990, les grandes découvertes étaient rapportées par les périodiques les plus en vue», affirme Vincent Larivière. Mais de nos jours, cette relation est de moins en moins vraie.

C'est la première fois qu'une recherche de ce genre établit une corrélation annuelle entre le facteur d'impact et le nombre de citations sur une période aussi longue, soit près de 100 ans.

Le mythe du facteur d'impact

Du même coup, M. Larivière et ses collègues ont découvert que le déclin des revues avec un haut facteur d'impact s'est amorcé au début des années 90. À l'époque où le Web connaissait un essor au sein de la communauté scientifique. «Le numérique a modifié la façon dont les chercheurs prennent connaissance des textes scientifiques. Historiquement, on était tous abonnés à des revues papier. Le périodique était un support pour obtenir les articles et on n'allait pas nécessairement chercher à l'extérieur des grandes revues, signale Vincent Larivière. Depuis la venue de Google Scholar, par exemple, le processus de recherche d'information a complètement changé. Les moteurs de recherche permettent d'accéder à tous les articles, qu'ils soient publiés ou non dans une revue de prestige.»

Soulignons que le facteur d'impact est une mesure de la répercussion des revues élaborée dans les années 60 par Eugène Garfield, un des pères de la bibliométrie. «Il s'agit en gros de la moyenne du nombre de fois que les articles d'une revue sont cités sur une période de deux ans», explique Vincent Larivière. Au départ, cet indicateur était utilisé pour aider les bibliothèques à choisir les revues auxquelles elles voulaient s'abonner. Mais au fil du temps, on a commencé à l'employer pour évaluer les chercheurs et déterminer la valeur de leurs publications, déplore le professeur.

L'importance du facteur d'impact est, de nos jours, tellement inscrite dans les croyances collectives universitaires que les chercheurs eux-mêmes se servent du facteur d'impact pour décider à quelle revue ils vont soumettre leurs articles.

Divers spécialistes en bibliométrie ont critiqué l'usage du facteur d'impact comme mesure de la visibilité d'un périodique scientifique. Une des critiques répandue est liée au fait que l'indicateur comprend une erreur de calcul. «On compte les citations de tous les types de documents publiés par la revue, remarque M. Larivière, mais on divise seulement par le nombre des articles et les notes de recherche. On surestime ainsi le facteur d'impact des revues qui publient beaucoup d'éditoriaux, de lettres à l'éditeur ou de nouvelles scientifiques, telles que Science et Nature.»

Une autre critique avancée veut que la fenêtre de temps pendant laquelle on compte les citations lors du calcul du facteur d'impact soit trop courte. «Il y a, dit Vincent Larivière, des domaines de recherche où la diffusion des connaissances est plus rapide que dans d'autres. On ne peut pas, à titre d'exemple, espérer obtenir un facteur d'impact comparable en génie et en sciences biomédicales.» Or, le facteur d'impact des revues est établi au cours des deux années suivant la publication de l'article quelle que soit la discipline.

Évaluation par les pairs

Les résultats de ses recherches révèlent des choses très intéressantes. D'une part, la revue est un prédicteur de moins en moins juste du nombre de citations qu'un article peut espérer recevoir. «Non seulement le pouvoir prédictif du facteur d'impact décline, mais son utilisation n'est pas appropriée à l'évaluation de la recherche», fait-il valoir.

À son avis, si l'on veut évaluer les chercheurs et leurs travaux, il est préférable d'avoir recours aux citations, mesure de l'influence réelle des articles. «Cet indicateur est plus précis. Ce n'est pas une estimation basée sur la hiérarchie des revues.»

Ses travaux confirment d'autre part que la dynamique des revues savantes est en mutation, notamment avec le libre accès aux connaissances que facilite le Web. «Quelle est alors la fonction actuelle de la revue savante? s'interroge Vincent Larivière. Il en reste une: l'évaluation par les pairs.»

Dominique Nancy

 

Sur le Web