Bibliométrie

La bibliométrie peut être définie comme « l’application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication » (Pritchard, 1969^[1]). Une définition plus contemporaine, associant bibliométrie, scientométrie d'outputs et infométrie, serait en termes d'"analyse quantitative de l'activité et des réseaux scientifiques". Cette discipline, qui s'appuie sur l'analyse statistique des données et des réseaux, a un volet cognitif, en interaction avec les champs se donnant les sciences et les communautés scientifiques comme objet (économie de la connaissance, sociologie des sciences, épistémologie, histoire des sciences, etc.) et avec les sciences de l'information. Elle a un volet opérationnel, en liaison avec l'évaluation, le positionnement des acteurs et le management scientifique. Dans ce dernier cas, les études bibliométriques permettent de quantifier la communication d'un individu ou d'un groupe, non seulement en termes de volume, mais également de visibilité, d'influence, de partenariats, d'insertion dans les réseaux.

Les courants sociologiques les plus contrastés, du fonctionnalisme de R.K. Merton aux courants radicaux de la sociologie des années 80 dans leur application aux "acteurs" de recherche (programme fort, science studies, sociologie de de la traduction devenue théorie de l'acteur-réseau, ANT), s'accordent sur une chose, le rôle central de la publication dans la vie scientifique. C'est l'hypothèse fondatrice de la scientométrie que de reconnaître dans les traces bibliométriques (publications, citations) et les réseaux associés un miroir de l'activité scientifique. Au delà de ce fond commun, une grande diversité de pratiques de publication et de citation se manifeste selon les disciplines ou les types de recherche.

Les méthodes bibliométriques sont transposables mutatis mutandis à toute sortie codifiée du système d'enseignement et de recherche (thèses ; contrats de recherche comme les projets européens des programmes cadres). Pour d'autres dimensions de l'activité de recherche (alimentation de bases d'observation ; littérature dite grise ; travaux d'expertise…), l'accès aux données et/ou leur faible degré de codification rendent la tâche difficile.

Histoire de la discipline

Les premiers travaux de bibliométrie et de scientométrie remontent au début du XXe siècle. Alfred Lotka, Samuel Bradford ou George Kingsley Zipf, énoncent leur lois entre 1926 et 1935. Mais ce n’est qu'à partir de 1950 que Derek John de Solla Price fonde véritablement la discipline en théorisant et mettant en pratique l’utilisation des articles scientifiques comme indicateurs quantitatifs de l’activité de recherche^[2]. Dans la même période, Eugene Garfield développe l’idée d’utiliser les citations présentes dans les articles scientifiques, c’est-à-dire les renvois faits à d’autres articles, pour lier les articles entre eux^[3]. Le premier volume du Science Citation Index voit le jour en 1963.

Les principaux indicateurs

Les indicateurs décrits ci-dessous peuvent s’appliquer à différentes échelles : micro (un chercheur, un groupe), meso (un département, une université) ou macro (une région, un pays, un continent). Ces différentes catégories sont comprises sous l’appellation « unité ».

Les indicateurs de production

Dans la plupart des sciences dites "dures", les chercheurs communiquent les résultats de leur travail par des articles dans des journaux scientifiques et certains y voient « le but essentiel de leur activité »^[4]. La mesure du nombre d’articles publiés constitue donc souvent le premier indice de production. Si l'article est un moyen de communication central dans les sciences dures, d'autres disciplines privilégient d'autres modes de production : les communications en conférence (proceedings) en informatique, les ouvrages ou chapitres d'ouvrage dans plusieurs disciplines des sciences humaines et sociales. Enfin, en technologie et développement, le marqueur d'invention qu'est le brevet, à la fois titre juridique, outil stratégique et support d'information, présente de nombreuses analogies formelles avec l'article scientifique, permettant, avec prudence, la transposition des outils bibliométriques^[5]. Aux niveaux meso et macro, le nombre de doctorats délivrés est également une mesure intéressante de l’activité des institutions.

Ces différents types de publications (outputs) sont toutefois plus ou moins accessibles et faciles à traiter. Si les articles publiés dans de nombreuses revues scientifiques sont systématiquement référencés dans les bases de données Web of Science ou Scopus, le référencement des livres pose plus de difficultés. Des progrès sont en cours autant pour les ouvrages que pour les communications de conférence, sur fond de processus de numérisation des fonds académique et de concurrence entre fournisseurs de données.

De même, il est nécessaire de définir en pratique ce qui relève de la production scientifique, ce qui comporte toujours une part d’arbitraire. Contrairement aux brevets d'invention par exemple, il n'existe pas de définition formelle de ce qu'est un périodique ou un article "scientifique". L'analyse bibliométrique est confrontée en permanence au calibrage des bases de données, aux questions de classement des revues, à la définition de périmètres de corpus satisfaisants à défaut d'être optimaux, en fonction des objectifs (recherche d'une couverture exhaustive ou comparaison internationale impliquant comparabilité et sélectivité, etc.).

Le dénombrement d'outputs pour un type de production donné et dans un périmètre donné suppose des règles pour les articles en co-signature d'une part, pour les articles ou journaux en multi-assignation disciplinaire d'autre part (selon la structure des bases de données). Il existe une grande variété de modes de comptage, dont les plus usuels sont le compte de présence et le compte fractionnaire, qui peuvent conduire, en particulier à l'échelle "micro", à des différences sensibles. Il n'y a pas de "meilleure solution", le choix dépendant des propriétés recherchées et des points de vue adoptés. Il faut être attentif au choix de producteurs d'indicateurs qui présentent parfois des produits avec des systèmes de comptage peu satisfaisants, notamment la sélection d'une institution unique dans une ligne d'affiliation.

Les indicateurs classiques sont les mesures de volume, de "parts de marché" sur une référence donnée (nationale, mondiale…). Pour les acteurs institutionnels ou territoriaux, la production, mesure de puissance brute, doit être complétée par des mesures rapportées à l'article (citations par article ou impact), ou par des mesures de "productivité", rapportant la production aux entrées, les ressources humaines ou économiques. Mais la productivité scientifique est extrêmement délicate à estimer, en raison notamment des difficultés méthodologiques, à toutes les échelles, pour mesurer les entrées^[6] .

Pour les unités à forte diversité, par exemple les grandes institutions de recherche ou les universités, la répartition de la production entre domaines d'activité est un aspect important, mesurable par des indices classiques de spécialisation par thème ou de concentration de l'activité. Ces caractéristiques du spectre d'activité à diverses échelles permettent des analyses de comparaison spécialisation-visibilité, de complémentarité entre acteurs, etc.

Les indicateurs d'impact

Les indicateurs d’impact se fondent essentiellement sur les citations entre articles. Cette idée se base notamment sur la sociologie structuro-fonctionnaliste de Merton, pour qui la science se caractérise par son universalisme, sa justice et son auto-régulation. Dans ce champ et cette communauté, les scientifiques « qui ont le mieux rempli leur rôle » sont récompensés (reward system) en étant reconnus par leurs pairs. Cette reconnaissance passe notamment par les citations que les chercheurs font du travail de leurs pairs, signes d’une dette intellectuelle mue par l’auto-régulation de la communauté.

Cette vision du rôle clef des citations se retrouve aussi, avec une interprétation opposée, chez le sociologue des sciences Bruno Latour, qui met l’accent sur les stratégies rhétoriques de l’écriture scientifique et le rôle central des citations venant appuyer et confirmer le discours :

La présence ou l’absence de références, de citations et de notes de bas de page est un signe si sûr du sérieux d’un texte que l’on peut en partie transformer un fait en fiction ou une fiction en fait simplement en retranchant ou en ajoutant des références^[7].

Dans ces deux visions, mais aussi dans la vision communément admise de la science, celle-ci fonctionne en réseau, lequel passe par les citations et références qui permettent de relier les articles entre eux et par là, les chercheurs, les programmes, les institutions.

Ces explications viennent légitimer le constat du fondateur du Science Citation Index Eugene Garfield :

Presque tous les articles, notes, revues, corrections et correspondances publiés dans les journaux scientifiques contiennent des citations. Ils citent (généralement par titre, auteur, date et lieu de publication) les documents qui soutiennent, précèdent, illustrent ou élaborent ce que l’auteur a à dire^[8].

Les indicateurs fondés sur les citations reçues, mesuré au niveau micro, meso ou macro, sont importants en scientométrie. Convenablement normalisés, ils permettent d’estimer l’impact ou l’influence académique d'une unité. Les tenir pour une mesure de qualité est une sur-interprétation manifeste, en raison de multiples biais (pratiques de signature, langue de publication, effets disciplinaires, etc.).

L'analyse de citations entre journaux^[9] a également inspiré l’algorithme du moteur de recherche Google, le PageRank (basé sur les liens hypertextes reliant les pages web), lequel sert aujourd’hui à des classements d’impact des institutions de recherche sur internet comme le Ranking Web of World Universities.

Aujourd’hui, d’autres indicateurs d’influence se développent à partir de l’usage qui est fait des articles (nombre de consultations ou de téléchargements). Cette notion d’usage (en réalité manifestation d'intérêt) est sensiblement différente de celle d’impact ou d’influence qui est aujourd'hui au centre de l’attention. La notion de reconnaissance émerge également comme alternative^[10].

Toute mesure de citation suppose des choix méthodologiques :

- le cadre temporel de calcul : décompte par année citante, année citée, période synchrone ; fenêtre temporelle de citation : longueur de la période où l'on dénombre les citations après la parution de l'article - avec des compromis inévitables entre l'intérêt d'une fenêtre maximale, notamment pour les disciplines lentes, et les impératifs d'une mesure raisonnablement rapide.

- le mode de comptage pour les citations aux publications en co-signatures, avec des choix analogues à ceux rencontrés pour le dénombrement des publications.

- la normalisation (par discipline, par exemple) des indicateurs dérivés.

Le facteur d'impact

Le facteur d’impact est une mesure d’impact à l’échelle d’une revue : il quantifie le nombre moyen de citations reçues par un article de cette revue dans les deux ans suivant sa publication. Cet indicateur est la propriété de Thomson Reuters, qui le calcule chaque année depuis plusieurs décennies pour plus de 5 000 revues scientifiques de la base Science Citation Index, allant de l’astronomie à la géologie en passant par les mathématiques et la recherche médicale. Les sciences humaines sont concernées par deux autres bases de données du même éditeur, le Arts and Humanities Citation Index et le Social Sciences Citation Index. Celles-ci sont pourtant beaucoup moins utilisées en bibliométrie parce que leur couverture est plus discutable et parce que dans ces disciplines, les articles scientifiques jouent un rôle moins prépondérant que dans les sciences dites dures.

Le facteur d'impact, jalon historique de la scientométrie, est aussi l'arbre qui cache la forêt des indicateurs de citation.

Quelques indicateurs de citation

Quelques indicateurs classiques sont :

- les volumes et parts de citation sur un espace donné (par exemple parts mondiales)

- les statistiques fondées sur une valeur centrale (p.ex. moyenne des citations par article)

- les impacts relatifs (normalisés typiquement par la moyenne du champ disciplinaire)

- la décomposition de l'impact en visibilité espérée (analogue à un facteur d'impact de l'unité considérée, reflétant la concurrence pour l'accès aux journaux) et en visibilité relative par journal (ratio de citation relative) reflétant la concurrence à l'intérieur des journaux

- les mesures sur profils de citation à toutes les échelles, analysant les distributions relatives pour un acteur et une référence

- la famille récente et prolifique des indices composites

- les mesures de dépendance ou d'influence scientifique

Ces indicateurs ont des propriétés très différentes, par exemple leur sensibilité aux queues de distribution ou le type de normalisation pratiqué. La diversité des disciplines ou des types de recherche oblige à rechercher, dans toute la mesure du possible, les conditions d'une comparabilité entre données de citation issues de contextes différents. La question de la normalisation/standardisation par champ ou pratique de recherche est centrale. La normalisation des impacts par champ est donc une préoccupation apparue dans le sillage des premiers indicateurs de citation, dans les années 70, par exemple chez Murugesan et Moravcsik^[11]. On distingue aujourd'hui trois types d'approche pour rendre les mesures plus comparables entre champs de recherche :

L'approche classique consiste à normaliser ex post une mesure de citation, par des méthodes cardinales (ratio à une valeur centrale comme la moyenne du champ, standardisation) ou ordinales (percentiles définis par champ). Il existe une littérature considérable sur le sujet, qu'il s'agisse du niveau journal (facteurs d'impact normalisés) ou du niveau acteurs. En général, ces mesures sont dépendantes de nomenclatures disciplinaires, par exemple les "subject categories" du Web of Science, ou de plans de classement. Les préoccupations de normalisation sont présentes dans les textes classiques de bibliométrie (Narin, 1976, Braun 1985, voir bibliographie ; Schubert et Braun 1996^[12]), avec de nombreuses applications au niveau journal (un des premiers facteurs d'impact normalisés : Sen 1992^[13]).

Certains types de "mesures d'influence" qui renouvellent le travail pionnier précité de Pinski et Narin, par exemple l'Eigen Factor des journaux développé par Bergstrom^[14], intègrent un autre type de normalisation, du côté des citations émises (référencement) et non des citations reçues. Cette normalisation est mêlée, dans ce cas, aux pondérations en chaîne des journaux émetteurs en fonction de leur propre visibilité.

Analysant la dépendance par rapport au niveau de généralité des ensembles pris comme référence, d'autres auteurs^[15] ont suggéré l'intérêt d'une pondération côté citant, sans introduire de chaînes d'influence, ce qui a abouti au développement expérimental d'un facteur d'impact pondéré, le "facteur d'audience"^[16]. Cet indicateur égalise dans une large mesure les niveaux entre spécialités ou disciplines et inclut une correction pour l'immédiateté des citations. Dans ce sillon, le SNIP (Source Normalized Impact per Paper)^[17] a été implémenté par Scopus. Cette mesure, comme le facteur d'audience, est indépendante du découpage disciplinaire. Le principe de normalisation côté citant peut être étendu, comme les mesures d'influence, à l'ensemble des techniques de citation.

Les indicateurs composites

L'indice h

En 2005, Jorge Hirsch, un physicien, a proposé l’indice h comme indicateur composite de la production scientifique et de la visibilité. Un chercheur aura un h-index égal à N s’il a publié au moins N articles cités au moins N fois. Cette définition donne un faible indice aux chercheurs qui publient énormément d’articles mais ne sont presque jamais cités ainsi qu’aux chercheurs qui ont publié de manière exceptionnelle un article extrêmement cité. En conséquence, l’indice h d’un chercheur ne peut jamais diminuer, même si sa production a chuté ou s’est arrêtée.

Selon Yves Gingras, l’indice h a peu d’utilité au niveau individuel car « il est en fait fortement corrélé au nombre total d’articles et est ainsi redondant »^[18]. Il note toutefois que son utilisation de plus en plus courante est avant tout le fait des chercheurs eux-mêmes.

L'indice présente l'avantage, contrairement aux impacts moyens, d'être insensible aux articles peu cités dans la production d'un auteur. D'autres indices de la famille (g-index, e-index) conservent cette caractéristique du h-index tout en introduisant une sensibilité au score de citation des articles les plus visibles. Un inconvénient de ces mesures est leur normalisation disciplinaire délicate, aussi bien en pratique que dans le principe même, étant donné le caractère quelque peu numérologique de l'approche.

Usages de la bibliométrie

La bibliométrie gagne de l’importance sous l’effet de plusieurs facteurs : la disponibilité de base de données de plus en plus complètes, l’utilisation accrue des outils de management dans l’administration de la recherche, la mondialisation du « marché » de l’enseignement supérieur.

Évaluation de la recherche

Elle est utilisée par les organismes finançant la recherche comme outil d’évaluation et comme aide à la décision en ce qui concerne les politiques de recherche.

Gouvernance de l'enseignement supérieur

La bibliométrie est utilisé par les universités ou les gouvernements pour déterminer leurs forces et faiblesses dans le domaine de la recherche et orienter ainsi leurs actions.

Les liens que tissent la statistique avec la politique sont multiples. Ils vont de la compréhension des phénomènes sur lesquels on veut intervenir (théorique) à l'évaluation des actions gouvernementales (pratique), sans oublier la promotion des efforts nationaux (symbolique)^[19].

Les classements d'universités

L'Université Jiao-tong de Shanghai, l'une des institutions dressant des classements universitaires

S’appuyant sur un ou plusieurs des indicateurs énoncés auparavant, les classements d’universités sont sans doute l’application la plus visible de la bibliométrie. Les deux classements internationaux les plus célèbres sont :

• le classement académique des universités mondiales par l'université Jiao Tong de Shanghai, dit classement de Shangai,
• le classement du journal Times Higher Education.

La sociologie des sciences

La bibliométrie est utilisée par les sociologues des sciences pour étudier l’activité des scientifiques, l’apparition et l’autonomisation de disciplines, l’importance temporelle de certains champs ou encore les liens que différentes disciplines tissent entre elles.

L'évaluation individuelle des chercheurs

La bibliométrie est parfois utilisée pour l'évaluation individuelle des chercheurs. Cet usage est très controversé (cf. ci-dessous) compte tenu de l'imperfection des indicateurs et des enjeux d'un tel exercice. L'académie des Sciences française a émis un certain nombre de recommandations à cet effet^[20] :

Recommandation n° 1 : L’utilisation des indicateurs bibliométriques pour l’évaluation individuelle n’a de valeur que si l’on respecte certaines conditions majeures : L’évaluation doit porter sur les articles et non sur les revues ; La qualité des données, la normalisation, la significativité des écarts et la robustesse des indicateurs doivent être validées ; L’évaluation bibliométrique doit ne comparer entre elles que des personnes de la même communauté disciplinaire, pendant tout leur parcours ; Les utilisateurs de la bibliométrie doivent être capables de s'en expliquer […]
Recommandation n° 2 : La bibliométrie ne peut pas se résumer à des nombres, mais doit être accompagnée d’un examen approfondi des données bibliométriques et bibliographiques, et si possible des articles eux-mêmes.
Recommandation n° 3 : Les indices bibliométriques ne peuvent pas être utilisés de la même façon selon l’objet de l’évaluation: recrutements, promotions, contrats, distinctions, etc.
Recommandation n° 4 : Il faut tenir le plus grand compte, lorsque cela est possible, de la place et de la contribution de l’auteur dans l’article considéré.
Recommandation n° 5 : L’évaluation bibliométrique doit être l’objet de recherche pour en améliorer la valeur. La France doit participer à cette réflexion.

Les acteurs

Les bases de données

Les trois principales bases de données bibliométriques sont la propriété d’acteurs privés : Thomson Reuters, Elsevier et Google. Les deux premiers, ainsi que des tiers, ont développé plusieurs outils d’analyse autour de ces bases de données^[21]

Thomson Reuters (ISI Web of Science)

L’Institute for Scientific Information (ISI) créé en 1960 par Eugene Garfield a été acquis par Thomson Scientific & Healthcare en 1992 et a porté le nom de Thomson ISI. Suite à la fusion avec Reuters en 2008, la compagnie fait maintenant partie de la Thomson Reuters Corporation.

L’ISI a développé son activité autour de sept bases de données de publications scientifiques et de leurs citations. Les trois premières recensent les articles et leurs citations : Science Citation Index (SCI), Social Sciences Citation Index (SSCI) et Arts and Humanities Citation Index (A&HCI). Ensemble, ce sont plus de 9 700 journaux qui sont entièrement couverts, dont 70% dans les sciences naturelles, et autant qui sont partiellement couverts^[22]. Les citations remontent à 1900. Les critères de sélections des revues sont assez restrictifs et se basent sur le nombre de citations reçus. De par ses critères de sélection, ces bases de données ont un fort biais anglophone.

Les actes de conférences sont couverts par deux bases de données : Conference Proceedings Citation Index - Science (CPCI-S) et Conference Proceedings Citation Index - Social Sciences & Humanities (CPCI-SSH). Enfin, deux bases de données sont consacrées à la chimie : Index Chemicus (IC), Current Chemical Reactions (CCR-Expanded).

ISI a développé de nombreux produits destinés à l’exploitation de ses bases de données :

• Web of Science : interface web qui permet d’analyser les citations d’une personne, d’un groupe, d’un article ou d’un journal,
• Journal Citation Report : classement des journaux par facteur d'impact, différentes métriques sur les journaux,
• Essential Science Indicators et ScienceWatch : classements d’institutions, d’auteurs, de pays ou de journaux, liste des articles les plus cités, liste des sujets les plus « chauds », etc.
• InCites : outils de benchmarking à l’usage des institutions,
• ResearcherID : un numéro unique par auteur, pour distinguer les travaux de personnes ayant une homonymie ou pour suivre le travail d’une personne ayant changé de nom.

Elsevier (Scopus)

L’éditeur Elsevier a lancé, en 2004, une base de donnée concurrente à celles d’ISI, sous le nom de Scopus. Celle-ci a rapidement rattrapé son retard et référence maintenant 16 500 journaux scientifiques (y compris plus d’un millier en accès libre), 600 publications industrielles, 350 collections d’ouvrages, ainsi que plusieurs millions d'actes de conférences^[23]. Les citations remontent à 1996 seulement pour la moitié des articles référencés. Par rapport à ses compétiteurs, Scopus offre une plus grande couverture des Sciences Humaines et Sociales et des journaux non anglophones^[24].

Elsevier a développé deux produits destinés à l’exploitation de ses bases de données :

• Scopus.com : interface web qui permet d’analyser les citations d’une personne, d’un groupe, d’un article ou d’un journal;
• SciVal Spotlight : outils de benchmarking (analyse comparative) à l’usage des institutions.

Par ailleurs, en se basant sur Scopus, Scimago ou eigenfactor.org sont des sites web libres d’accès qui permettent de classer des journaux ou des pays.

Google (Google Scholar)

Filiale du géant Google, et basé sur le même principe, Google Scholar a été lancé en version beta fin 2004 et référence les articles scientifiques. D’accès libre, Google scholar semble plus complet que ses compétiteurs mais il est actuellement impossible de savoir ce qui est inclus ou non dans cette base de données. De nombreuses erreurs ou doublons ont été relevés.

À partir de Google Scholar, le logiciel Publish or Perish permet de calculer quelques indicateurs bibliométriques par auteur, journal ou article. Il existe également un extension au navigateur Firefox qui a des fonctions relativement identiques : Tenurometer.

Autres

D’autres bases de données^[25], souvent financées par de l’argent public et libre d'accès, sont souvent utilisées dans des domaines spécialisés :

• SPIRES pour la physique,
• MEDLINE pour les sciences de la vie et les sciences biomédicales,
• CiteSeerX pour l’informatique et les sciences de l'information.

Les acteurs publics

Les articles scientifiques ne constituent pas le canal de diffusion principal dans les Sciences Humaines et Sociales (SHS) où les monographies par exemple prennent une importance beaucoup plus grande que dans les sciences naturelles. Les méthodes bibliométriques actuelles sont donc peu adaptées à ces disciplines. La volonté d’évaluer les performances des acteurs de la recherche en SHS a donc conduit des organismes publics à chercher des alternatives à la bibliométrie.

La fondation européenne de la science

Crée en 1977, La fondation européenne de la science (en anglais European science foundation, ESF) est une association regroupant 77 organisations scientifiques de 30 pays européens. Son objectif est de promouvoir la recherche scientifique et d’améliorer la coopération européenne dans ce domaine, d’émettre des avis sur des questions scientifiques stratégiques, d’encourager la mobilité des chercheurs, d’améliorer la mutualisation des moyens.

Dans ce cadre, l’ESF a mis en place en 2007 un classement des revues dans le domaine des humanités^[26]. Appelé « European Reference Index for the Humanities » (ERIH), ce classement est établi par un panel d’experts. Il classe les revues en trois catégories en fonction de leur importance perçue.

Devant la menace de 61 comités de publication de revues de sciences humaines et sociales, la fondation a décidé, en janvier 2009, de retirer les lettres (A, B et C) de son classement. Celles-ci seront remplacées par des descriptions écrites^[27].

La critique des indicateurs quantitatifs

Certaines des personnes qui élaborent les indicateurs décrits ci-dessus en soulignent les limites. Par exemple, les auteurs du classement de Shanghai concèdent l’existence d’un biais en faveur des pays anglophones et des institutions de grande taille, ainsi que les difficultés à définir des indicateurs adéquats pour classer les universités spécialisées dans les sciences sociales^[28]. Le rapport de l’Institut national de recherche en informatique et en automatique (INRIA) sur le sujet considère que les critères bibliométriques, quantitatifs, ne sauraient remplacer l’évaluation par les pairs, qualitative, et souligne un certain nombre d’effets pervers de ceux-ci dès lors qu’on leur accorde trop d'importance :

Si les indicateurs peuvent donner des tendances sur un nombre réduit d’aspects de la vie scientifique, il convient d’être très circonspect dans leur usage en raison de la possibilité d’interprétations erronées, des erreurs de mesure (souvent considérables) et des biais dont ils sont affectés. Un usage abusif des indicateurs est facilité par la nature chiffrée du résultat qui introduit la possibilité d’établir dans l’urgence toutes sortes de statistiques, sans se préoccuper d’en analyser la qualité et le contenu, et en occultant l’examen d’autres éléments de la vie scientifique comme, par exemple, l’innovation et le transfert intellectuel et industriel. Les constatations et les recommandations les plus importantes sont les suivantes :

1. on pourra constater que les erreurs de mesure dans la recherche de citations sont très importantes (…). Nous recommandons donc fortement de multiplier les sources, de faire une analyse critique des résultats (en particulier en faisant appel à des experts des domaines) et de s’attacher, au plus, aux ordres de grandeur des indicateurs.
2. nous recommandons d’utiliser la littérature bibliométrique pour cerner la signification réelle des indicateurs et leur biais.
3. les indicateurs ne donnent qu’une vue partielle et biaisée de certains aspects de la vie scientifique, sans en recouvrir l’ensemble. Ils doivent donc être complétés, corrigés et commentés par des spécialistes du domaine scientifique et interprétés s’ils sont utilisés dans le cadre d’une évaluation ou d’une prise de décision.
4. nous recommandons de ne jamais utiliser des indicateurs pour effectuer des comparaisons entre domaines scientifiques différents.
5. le principe des indicateurs reposant sur une analyse des citations est peu favorable à la prise de risques scientifiques et à l’innovation. Une utilisation abusive (voire pire, automatisée) serait un frein majeur à l’innovation.
6. les indicateurs chiffrés sont très facilement manipulables par les individus, les institutions et d’autres acteurs de la vie scientifique (comme les journaux). Le nombre de manipulations augmentent, ce que l’on peut corréler à l’effet croissant de l’influence des indicateurs » ^[29]

Critique de l'évaluation individuelle des chercheurs par la bibliométrie

De plus en plus utilisés pour évaluer les chercheurs, en contradiction avec la pensée du père fondateur Derek de Solla Price qui insistait sur le caractère statistique de ces approches, les indicateurs quantitatifs se heurtent à une forte critique due à leur manque de cohérence lorsqu’ils sont appliqués au niveau individuel. Le fait qu’un même chercheur puisse recevoir des mesures d’impact différentes selon les indicateurs et les bases de données bibliographiques utilisés^[35] pose de nombreux problèmes quant à leur utilisation et à la définition d’une norme de qualité.

Une des critiques les plus paradoxales vient peut-être de Laurence Coutrot, qui rappelle les processus de filtrage successifs nécessaires avant la publication d’un article, processus de filtrage qui passent par l’évaluation par les pairs (comités de revues, etc.): « une fraction variable de ces manuscrits arrive à publication, un sur dix ou un sur vingt, parfois moins. Enfin, un article publié peut, par une série de processus sociaux que l’on connaît fort mal, parvenir à être cité. La citation est une mesure raisonnable de la visibilité d’un résultat scientifique. Quand bien même l’on voudrait départager les chercheurs qui travaillent de ceux qui « ne travaillent pas » (à supposer que cette expression ait un sens), le critère de citation est une mesure bien rustique. Sous des parures d’objectivité, cet indicateur réintroduit en fait ce qu’il prétendait éliminer ; c’est-à-dire, le jugement par les pairs. » ^[35]

En réalité, la bonne pratique en bibliométrie/scientométrie ne conteste en aucune manière le jugement par les pairs. Elle assume le rôle de miroir de la bibliométrie, qui reflète l'agrégation des micro-décisions de jugement entre pairs (celle de citer est un acte important), mais ne prétend nullement faire de cette agrégation une approche exclusive. Inversement, le jugement par les pairs au sens conventionnel, dans ses multiples formes, est influencé par les informations bibliométriques (à commencer par le facteur d'impact…) surtout à l'ère des bases bibliographiques/bibliométriques en ligne. Le jugement par les pairs n'est naturellement pas à l'abri de dérives, notamment en situation d'évaluation ou d'expertise par jurys ou commissions (biais de spécialisation, effets de groupe, conflits d'intérêts…). Il y a donc une porosité entre les deux mondes, chacun présentant des forces et des faiblesses, et une évidente complémentarité.

Par ailleurs, la bibliométrie ne peut prétendre qu’à l’analyse d’une des facettes du métier de chercheur. Elle laisse de côté l’enseignement, la vulgarisation, les services à la cité, la valorisation ou encore les services à la communauté (participation à des jurys, à des comités de lecture, etc.). De nombreux facteurs peuvent donc expliquer un faible nombre de publications. Par exemple, un chercheur qui travaille beaucoup dans le cadre de contrats en relation avec des industriels peut avoir du mal à publier autant qu’il le souhaiterait pour des raisons de confidentialité.

« Publier ou mourir »

La bibliométrie incite les chercheurs à publier plus, selon le principe publish or perish. Le risque est ici que les chercheurs se préoccupent plus d’étoffer leur palmarès de publications (qui détermine leur carrière : possibilités de promotion, mais aussi, dans certains cas, paye ou continuité de leur emploi) que de réaliser des travaux scientifiquement intéressants.

On constate alors diverses dérives dues au désir d’augmenter le nombre de publications, par exemple:

• le psittacisme : le chercheur publie la même idée dans plusieurs « papiers », profitant du fait que les évaluateurs des différentes publications n’ont pas lu leurs travaux précédents;
• le saucissonnage (salami effect) : la même idée est découpée en plusieurs tranches, chacune publiée séparément^[35],[29],
• l’auto-citation malicieuse^[29],
• le frein à la prise de risque et la pénalisation de la recherche de pointe^[29],[36].

Comme toute technique de mesure, la bibliométrie devient sujette à manipulation, d’autant plus facilement que son fonctionnement est connu.

Variabilité du nombre de publications chez les scientifiques célèbres

Les critiques de la bibliométrie mettent parfois en avant une grande variabilité du nombre de publications chez les scientifiques réputés. Des scientifiques de premier plan comme Albert Einstein ou Louis de Broglie n’auraient, dans l’ensemble, que peu publié, malgré leur influence considérable sur la science. Ceci viendrait démontrer le peu de fiabilité des indicateurs bibliométriques. Malheureusement, ces critiques s’appuient rarement sur des chiffres pourtant vérifiables : concernant Einstein, « voici ce que dit le ISI web of knowledge : Environ 160 articles, h-index = 49, nombre de citations proche des 20 000.»^[37]. La bonne pratique en scientométrie suppose la connaissance des propriétés de chaque mesure et ne s'appuie pas sur un seul indicateur, aussi composite qu'il soit.

La situation est évidemment plus compliquée dans les sciences humaines et sociales. Par exemple, selon le philosophe Olivier Boulnois, « sur les quatre tomes des Dits et Écrits de Michel Foucault, il n’y a peut-être pas cinq articles publiés dans des revues classées A… »^[38]. Cette critique montre que la mesure de la science doit suivre au plus près les pratiques de recherche et publications scientifiques et évoluer avec elles (les exemples donnés ici appartiennent en effet à un contexte scientifique différent de celui d’aujourd'hui).

Critique du « facteur d'impact » ?

L’usage du « facteur d’impact » des journaux pour l’évaluation de la qualité des articles et des chercheurs est très sujet à caution.

Si le facteur d’impact est censé mesurer l’importance d’un journal pour la communauté scientifique, il est erroné de conclure qu’un article publié dans un journal à fort facteur d’impact est forcément de meilleure qualité qu’un papier dans un journal à facteur d’impact plus faible. Étant donné la distribution très asymétrique des citations, le facteur d’impact (qui est une valeur moyenne) d’un journal est un mauvais prédicteur du nombre de citations que recevra un article publié dans ce journal.

D’autre part, le facteur d’impact, comme tout indicateur basé sur les citations, dépend énormément des habitudes de référencement. La dépendance à la taille du champ n'est pas mécanique, au moins pour la valeur moyenne de l'impact. L'immédiateté des citations joue aussi un grand rôle : la longue demi-vie des citations en mathématiques désavantage fortement les journaux de cette discipline par rapport à d’autres où les citations se font beaucoup plus rapidement. Des normalisations adaptées permettent de compenser, ou de réduire, ces effets. Le facteur d'impact proprement dit est typique des journaux, et n'est pas accessible pour d'autres supports. En informatique, les compte-rendus de conférence prennent une grande importance. Dans le champ des sciences humaines et sociales, les articles recensant des ouvrages font l’objet d'un plus grand nombre de citations référencées que les ouvrages eux-mêmes.

Par ailleurs, la politique éditoriale de certains journaux renommés (comme Science ou Nature) met en jeu des critères extra-scientifiques, comme le côté « sensationnel » d’une publication. L’usage du nombre de citations favorise les publications « dans l’air du temps ». D’une manière générale, un journal dédié à des sujets originaux ou émergents mais qui ne seraient pas « à la mode » est défavorisé par la fenêtre de mesure de deux ans^[36]. Thomson Reuters met désormais à disposition une mesure sur une fenêtre plus longue.

Enfin, de nombreuses revues ont été accusées de gonfler artificiellement leur facteur d’impact, en augmentant le nombre de recensions ou encore en incitant fortement leurs auteurs à citer d’autres articles de la même revue.

Notons que l'apparition d'autres mesures de notoriété des journaux (mesures d'influence, facteur d'audience/ SNIP), même si elles restent assez corrélées au facteur d'impact et au facteur d'impact normalisé par champ, montre des différences suffisantes pour en relativiser le dogme. La littérature spécialisée présente des analyses approfondies des facteurs d'impact^[39],[40]. Surtout, il n'est plus possible, dans une approche moderne de la bibliométrie, de se limiter aux mesures d'impact dans les applications évaluatives.

Le coût

Le coût d’accès aux outils payants est élevé et varie d’une institution à l’autre en fonction du nombre d’utilisateurs ou du nombre d’articles référencés. On ne connaît pas le coût du contrat passé entre le CNRS et des organismes subsidiaires avec Thomson Reuters^[35]. L’INRIA (Institut national de recherche en informatique et en automatique) dépense 7 000 euros par an pour pouvoir avoir accès au Science Citation Index Expanded (jusqu’aux articles de 1991) et au Journal of Citation Report ^[29]. Le rapport de l’INRIA conclut donc, à ce sujet, que « L’accès aux sources payantes est donc relativement onéreux alors que nous avons vu que le taux de couverture imparfait de ces outils devrait amener à multiplier les sources pour établir de manière raisonnable les indicateurs demandés et/ou pour contrôler les biais méthodologiques des calculs des indicateurs. De plus pour le cas particulier de l’INRIA l’étude préliminaire […] montre que les résultats obtenus via les sources payantes sont bien plus médiocres que ceux obtenus à l’aide des outils gratuits. Dans un autre domaine il serait a fortiori pernicieux que les indicateurs soient utilisés pour guider les choix des abonnements dans les centres de documentation. »^[29]

En France

Loi organique relative aux lois de finances

En France, les indicateurs bibliométriques occupent une place importante dans la Loi organique relative aux lois de finances (LOLF) ^[36]

L'AERES

L’agence nationale d’évaluation de l’enseignement supérieur et de la recherche (AERES) est une autorité administrative indépendante (AAI) française, chargée de l’évaluation de l’enseignement supérieur et de la recherche publique, créée par la loi de programme pour la recherche de 2006.

Prenant en partie appui sur le modèle de l’ERIH (European Reference Index for Humanities) développé pour les humanités et sur les listes établies par le CNRS en 2004, l’AERES a procédé à sa propre classification en l’étendant aux sciences sociales. Elle a produit une première liste de revues ordonnées (A,B,C) de 6305 revues, qui a été rendue publique en juillet 2008 et a suscité une vive critique (voir infra). L'Agence a réagi en produisant des listes disciplinaires non ordonnées, appliquant un "périmètre de scientificité" entre 2009 et 2011^[41].

Critique des listes de revues de l'AERES et de l'ESF

En France, le classement bibliométrique des revues mis en place par l’AERES, a suscité des critiques de la part de chercheurs d’horizons divers^[38]. Ainsi, le médiéviste Olivier Boulnois affirme qu’on « confond la qualité d’une revue avec sa diffusion, et la qualité d’un article avec la qualité d’une revue » ^[38]. La philosophe Barbara Cassin est aussi extrêmement critique vis-à-vis de l’indice h et du classement des revues^[42].

Le classement de l’AERES favorise en outre les revues généralistes (auxquelles on attribue le rang A) au détriment des revues spécialisées (rang B voire C) - ce qui conduit à une sous-évaluation de la valeur des articles publiés dans des revues spécialisées, jugés de moindre importance du fait du lieu de leur publication^[43].

En matière de sciences politiques, l’European Reference Index for Humanities utilisé par la Fondation européenne de la science n’a pas été utilisé par les « experts » chargés par l’AERES de classer les revues de sciences politiques (qui n’étaient pas présentes dans le classement de l’AERES de juillet 2008), « pour la raison principale que très peu de revues françaises pourraient être classées selon ces derniers critères [de visibilité internationale] et qu’il serait alors impossible de réaliser une évaluation raisonnable de la production scientifique effective des politistes français. » ^[43]

Les différents classements possibles utilisés par l’AERES sont ainsi critiqués pour leur absence de bases solides^[44].

Voir aussi

• loi de Bradford
• Palmarès universitaires
• Indice h
• Evaluation de la recherche
• Scientométrie

Références

Bibliographie

• Braun T., A. Schubert, W. Glanzel Scientometric Indicators: A Thirty-Two Country Comparative Evaluation of Publishing Performance and Citation Impact, World Scientific Publishing Company, 250 p. 1985 (pour la méthodologie)
• Egghe L., Rousseau R., Introduction to informetrics. Quantitative methods in library, documentation and information science, Elsevier, 430 p., 1990
• Garfield E., Citation indexing: its theory and applications in science, technology and humanities, préface de R.K. Merton, John Wiley, 1979
• Godin B., La science sous observation : cent ans de mesure sur les scientifiques, 1906-2006, Presses de l’Université Laval, 2005.
• Godin B., Measurement and Statistics on Science and Technology: 1920 to the Present, Routledge, 2005
• Godin B., On the Origins of Bibliometrics, Project on the History and Sociology of S&T Statistics, Canadian Science and Innovation Indicators Consortium (CSIIC), Working Paper n^o 33, 2006.
• Lafouge T., Le Coadic Y.F., Michel C., Eléments de statistique et de mathématiques de l'information: infométrie, bibliométrie, médiamétrie, scientométrie, muséométrie, Presses de l'Enssib, 306 p., 2002
• Moed H.F., Glänzel W., Schmoch U., Ed., Handbook of quantitative science and technology research: the use of publications and patent statistics in studies of S&T systems, Kluwer, 800 p., 2004
• Moed, H. F., Citation Analysis In Research Evaluation, Springer, 364 p., 2005
• Narin F. Evaluative bibliometrics: the use of publication and citation analysis in the evaluation of scientific activity, 459 p. Computer Horizons (NSF C-627), 1976
• Price, D.J. Little science, big science, Columbia Un. Press, 118 p., 1965 - Trad. française Science et suprascience, 124 p., 1972, Fayard, 1972

Lien externe

• Aux sources de la scientométrie (1995)
• Site d'information et d'évaluation sur la bibliométrie en SHS
• Observatoire des sciences et des techniques (Fra)
• Science, technologie et innovation (Can)
• Résultats et comparaisons des classements universitaires (universityrankings.ch)
• Okubo, Y. (1997), Indicateurs bibliométriques et analyse des systèmes de recherche : Méthodes et exemples, Documents de travail sur la science, la technologie et l'industrie, 1997/1, Éditions OCDE. DOI:10.1787/233811774611

• Portail des sciences de l’information et des bibliothèques
• Portail de la sociologie