You are here

Bibliométrie

Généralités

Définition

Le mot «bibliométrie» est utilisé pour désigner un ensemble de méthodes quantitatives d'analyse des publications scientifiques. Chaque aspect d'une publication qui est quantifiable peut faire l'objet d'une étude bibliométrique: le nombre de mots dans une publication, le délai entre la soumission et la publication, etc. Alors que les données quantitatives concernant une publication  spécifique peuvent manquer d'intérêt, elles prennent un caractère plus intéressant lorsqu'il s'agit de comparer différentes publications ou de réaliser une étude statistique d'un grand ensemble de publications.

La bibliométrie et l'évaluation de la recherche

Durant les dernières décennies les méthodes bibliométriques sont devenues très à la mode pour évaluer la recherche scientifique et les chercheurs pris individuellement. Les mesures bibliométriques les plus fréquemment utilisées sont les suivantes:

  • Le nombre d'articles publiés par un chercheur ou par un groupe de chercheurs, comme indicateur de sa productivité.
  • La fréquence avec laquelle un document publié est cité ultérieurement dans des publications par d'autres chercheurs, comme indicatrice de l'intérêt soulevé par ce document.
  • La fréquence avec laquelle une publication disponible électroniquement est téléchargée par les lecteurs, comme indiction de son importance.
  • La fréquence moyenne avec laquelle les articles dans une revue donnée sont cités dans un laps de temps donné après publication, comme une indication de la qualité scientifique de la revue ou de la rigueur de son examen par les pairs.

Avantages et inconvénients des méthodes bibliométriques

Les avantages des méthodes bibliométriques pour les évaluations scientifiques sont assez évidentes:

  • Les méthodes sont directes, puisque basées sur un simple comptage. De nombreuses techniques sont devenues particulièrement simples à l'ère numérique, parce que leur application peut être automatisée.
  • À première vue, elles sont objectives et impartiales.

Dans le même temps, il existe des inconvénients évidents liés à ces méthodes:

  • En tant que méthodes quantitatives elles peuvent s'avérer inadéquates pour une évaluation qualitative.
  • Elles peuvent être manipulées (par exemple, des citations superflues par des collègues).
  • Le nombre de citations dépend davantage du nombre de personnes travaillant dans le même domaine, plutôt que de la qualité intrinsèque ou de l'originalité des résultats publiés.
  • Depuis que le nombre de citations est devenu incontournable pour évaluer les chercheurs au cours de l'évolution de leur carrière, ils auront tendance à privilégier une «recherche dans l'air du temps" dans des domaines où de nombreux autres chercheurs sont actifs et où des fonds scientifiques peuvent plus facilement être obtenus. Le résultat peut favoriser une banalisation des sujets de recherche au détriment d'une recherche visant à cibler des idées originales.
  • En pratique, ceci a conduit à un biais anglo-saxon et à un renforcement des grands acteurs dans le secteur de la publication, au détriment des petits éditeurs, des pays du Sud et, par exemple, des publications en langues espagnole, japonaise, chinoise, russe, arabe et française.

Cela signifie que l'on doit rester très prudent en tirant des conclusions à partir de méthodes bibliométriques. Elles ne sont au mieux que des méthodes statistiques, et donc également sujettes à de grossières erreurs lorsqu'elles sont appliquées à des cas individuels. Même si l'on pouvait prouver qu'il existe une forte corrélation entre le nombre de citations et la qualité scientifique d'une publication, il serait très dangereux de conclure qu'un papier sans citations est nécessairement de valeur scientifique faible.

Applications pratiques

  • L'instrument bibliométrique le plus largement utilisé est formé par les bases de données de Thomson Reuters (anciennement ISI) avec son Web of Knowledge, contenant des indices de citation depuis 1900 et couvrant 23 000 revues et le Journal of Citation Reports qui en est dérivé avec des données statistiques telles que les paramètres d'impact pour plus de 10.000 journaux. Nous discutons ceci plus en détail ci-dessous. L'accès à ces bases de données, cependant, est soumis à l'acquisition d'un abonnement très coûteux.
  • SCOPUS est une base de données de citations alternative d'Elsevier, couvrant 19 500 revues, également accessible par abonnement.
  • Google Scholar offre une bonne alternative gratuite. En cherchant, par exemple, avec le nom de l'auteur, non seulement vous obtenez une liste de ses publications, mais pour chacune d'elles, vous avez en plus le nombre de citations ainsi que la référence de tous les articles qui la citent. Google Scholar s'avère être une excellente alternative pour les Sciences Sociales.
  • CiteSeerX propose une base de données de citations, indépendante et gratuite, pour l'informatique et les sciences de l'information.
  • MESUR (MEtrics from Scholar Usage of Resources) est un grand projet dans lequel l'accès aux revues électroniques a été connecté à un grand nombre de campus universitaires nord-américains, et a été combiné avec les données bibliométriques mentionnées ci-dessus. Une de leurs conclusions, rapportées dans J. Bollen et al. (2009) est que le facteur d'impact des revues n'a en fait qu'une importance marginale et doit donc être utilisé avec prudence.
     

Les bases de données de Thomson Reuters

Etant donné que  les bases de données de Thomson Reuters y compris leurs indices et paramètres sont les plus largement utilisées par les universités occidentales et par les agences de financement de la recherche, nous les décrirons ici de manière plus détaillée.

Histoire

L'histoire de ces bases de données remonte aux indices de citation (format papier) publiés par l'Institute of Scientific Information (ISI) depuis 1955, Eugene Garfield étant à l'origine de cette publication. L'intention initiale n'était pas d'évaluer la recherche mais d'offrir un instrument grâce auquel les chercheurs pourraient retrouver par sujet les publications les plus récentes. On  réalisa rapidement que les citations pouvaient en outre aider à trouver les documents pertinents pour des sujets spécialisés, et la première version de l'indice de citation a été publiée en 1964 en tant que Science Citation Index (SCI). Deux ans plus tard,  il était disponible sur bande magnétique, plus tard sur CD-Rom et maintenant - beaucoup plus étendu avec les données des Sciences Sociales - sur Internet.

  La Toile de la Connaissance ( « Web of knowledge »)

Le cœur du système est encore une grande base de données indexées  remontant jusqu'à 1955, dans laquelle tous les articles de plus de 13. 000 revues sont enregistrés avec leurs  métadonnées et leur listes de citations. Des recherches sous tout format peuvent être effectuées à partir du  titre, du sujet, de l'auteur, de la revue, de l'adresse de l'auteur et plus encore. Ainsi, ce système remplit encore son rôle initial d'être un instrument d'indexation. Pour chacune des recherches, on obtiendra non seulement les métadonnées complètes,  mais aussi la liste des références citées, ainsi que la liste des articles ultérieurs dans lesquels l'article a été cité. Sur base des références, la base de données est complétée avec des données provenant de revues non comprises parmi les 13.000 revues analysées, notamment des articles datant d'avant 1955 (remontant parfois à 1900). En mars 2012, le système se réclamait de disposer de 87 millions d'éléments générateurs d'information, avec 700 millions de références citées.
Pour l'évaluation des chercheurs individuels et des équipes de recherche, l'aspect important ici est le nombre de citations reçues pour chaque article.

Compte-rendu du Journal des Citations (Journal Citation Reports)

A partir des données disponibles dans cette grande base de données,  est publié annuellement un rapport spécial comprenant une analyse détaillée des citations par revue pour l'année écoulée, classées par grandes catégories de sujets. En voici quelques exemples :

  • Le nombre total d'articles publiés dans la revue au cours de l'année concernée.
  • Le nombre total de citations pour chaque revue durant l'année concernée.
  • Le facteur d'impact: le nombre de citations au cours de l'année concernée pour les articles parus dans ce journal au cours des deux années précédentes, divisé par le nombre d'articles parus dans ce journal pendant ces deux années. (par exemple: le facteur d'impact de la revue X pour 2011 est le nombre de citations au cours de 2011 pour des articles parus dans la revue X en 2009 et 2010, divisé par le nombre d'articles publiés dans le journal X durant ces deux mêmes années.) Le facteur d'impact exprime donc le nombre moyen de fois qu'un article (publié durant les deux années précédentes) a été cité au cours de l'année concernée.
  • Le « 5-year impact factor » : même calcul que ci-dessus, mais pour 5 ans au lieu de 2. (Ceci est important pour l'éventail de sujets qui évoluent plus lentement.)
  • L' «immediacy index»: nombre de citations durant l'année précédente d' articles publiés dans ce journal au cours de la même année, divisé par le nombre d'articles publiés durant l'année en cours.
  • «Journal cited half-life»: pour calculer cette demi-vie toutes les citations au cours de l'année concernée sont comptées par année de publication pour l'article cité, et le temps de demi-vie est le laps de temps durant lequel on aura observé autant de citations qu'après ce laps de temps. (Une demi-vie courte indique qu'en moyenne, les références à l'article peuvent être nombreuses au début mais que ce nombre diminue rapidement).

  Utilisation abusive du facteur d'impact

À l'heure actuelle, les facteurs d'impact des revues (JIF) jouent un rôle très important dans les procédures d'évaluation de la recherche dans les pays occidentaux, en dépit du fait qu'ils sont largement soupçonnés d'être surestimés. En raison des JIF, de nombreux chercheurs continuent à publier dans des revues commerciales excessivement coûteuses et négligent souvent des canaux de publication en libre accès  plus appropriés . Quels sont les inconvénients des facteurs d'impact ?

  • En termes absolus, un JIF reflète pour une grande partie le nombre de personnes qui travaillent dans un domaine donné. Le plus haut JIF attribué en 2010 à un journal en oncologie était de 94,3, alors que le plus élevé en ornithologie était de 2,3. En conclure que la qualité de la recherche en ornithologie est tellement plus faible que la recherche sur le cancer serait absurde: il y a clairement plus de personnes actives dans ce dernier domaine. Pour cette raison, les listes de classement des revues par catégorie sont plus importantes que les valeurs JIF individuels.
  • De la même manière, il est plus facile d'obtenir un JIF élevé pour un journal dans un domaine en pleine expansion que dans un domaine où l'évolution scientifique a atteint un stade de maturité.  Cela ne devrait pas décourager les chercheurs à travailler dans ce domaine moins plus tranquille, mais dans lequel un travail scientifique important peut encore être réalisé, même si cela  ne conduit pas à un grand nombre de citations.
  • Par définition, un JIF est une valeur moyenne pour tous les articles publiés pendant 2 (ou 5) ans dans le journal donné, et ne garantit pas la qualité d'un article individuel.

Nous vous reportons aux Références pour susciter d'autres réflexions à propos de la valeur des paramètres d'évaluation bibliométrique cités ou non ci-dessus. Il devrait être clair qu'ils doivent être pris avec précaution: ils peuvent être acceptables comme informations supplémentaires, mais ils ne peuvent jamais remplacer une bonne évaluation qualitative du travail effectué par un chercheur ou un groupe de chercheurs (Georges Stoops, 2009).

Références