Je mesure donc je publie ...

Publish or perish. On parle beaucoup ces derniers temps de scientométrie et d'évaluation de la recherche.
Concernant la réforme des universités tout d'abord. Le dernier rapport de l'AERES met les labos de recherche des universités en ébullition : chacun compte ses publis et les publis de ses collègues et autant vous dire que si l'effet recherché par cette grille de lecture était de déclencher une saine émulation, c'est parfaitement raté ...
Même au CNRS (où les gens ont le temps de publier ... ce qui est hélas de moins en moins le cas à l'université, tâches administratives et d'enseignement obligent), l'heure est à la fronde. Voilà pour l'agitation "politique" autour de l'évaluation. Côté scientifique, plusieurs articles et rapports permettent d'avoir une vue plus claire de la situation :

• "The first mover advantage in scientific publication", publié au début du mois sur ArXiv, montre que quel que soit le champ scientifique concerné, les modèles mathématiques sous-jacents à l'évaluation du facteur d'impact offrent une très nette prime au premier entrant. Un article publié au début d'une thématique scientifique recevra, de toute façon, un nombre significativement plus élevé de citations que les autres. Prime à l'antériorité donc, qui n'est pas nécessairement synonyme de qualité.
• "Characteristics of Open Access Web Citation Network: A Multidisciplinary Study, presented at COLLNET 2008 (Berlin, July 28-August 1, 2008)"(.pdf) s'intéresse à la manière dont sont cités les publications des journaux en Open Access. Voir le compte rendu de Gabriel sur Urfist Info.
• La VRS (Vie de la recherche scientifique) publie un numéro dont le dossier central est consacré aux questions d'évaluation : n⁰374 (.pdf). Voir aussi le compte-rendu qu'en fait l'un des auteurs sur son blog.
• Un numéro entier de la revue Ethics in Science and Environmental Politics est là encore consacré à l'évaluation et aux indicateurs. L'ensemble des articles de ce numéro sont disponibles en accès libre. J'en retiens principalement 3. Primo : "Challenges for scientometric indicators: data demining, knowledge flows measurements and diversity issues" (.pdf) qui plaide pour un "déminage" des données bibliométriques (jolie référence au "data mining") et une ouverture à de nouveaux indicateurs rendant compte de la dynamique actuelle et des nouveaux modes de publications. Deuxio : "Google Scholar as a new source for citation analysis" (.pdf) qui montre la relative priximité des métriques issues de l'ISI (facteur d'impact) et le service offert par Google Scholar (en écho, on pourra relire mes propres considérations sur le sujet). Tertio : "Validating research performance metrics against peer rankings" (.pdf), de Stevan Harnad. Il y revient sur les "promising new online
  metrics such as download counts, hub/authority scores and growth/decay chronometrics" et revient sur l'opportunité offerte par le "UK Research Assessment Exercise 2008" (évaluation nationale de la recherche au Royaume-Uni), programme dans lequel "a full spectrum of metrics can be jointly tested, field by field, against peer rankings."

Et puis si vous n'avez pas le temps pour toutes ces lectures, alors n'en faites qu'une seule : "Du mauvais usage de faux-indicateurs" (.pdf) : une note de recherche passionnante de Yves Gingras dont je vous livre quelques extraits de la conclusion :

Et plus loin :

(Temps de rédaction de ce billet : 1h15)

Comments

[Rédigé par: Enro]

Je me permets de mettre en parallèle le premier lien et le dernier : Yves Gingras défend la bibliométrie saine et raisonnée, laquelle veut notamment que le facteur d'impact soit une mesure... d'impact ! C'est-à-dire que le nombre de citations reçues indique la visibilité d'un travail, nullement sa qualité (j'en parlais brièvement dans ce billet http://www.enroweb.com/blogsciences/index.php?2007/06/22/181-les-acadmiciens-discutent-de-l-accs-libre ). Vu sous cet angle, il paraît moins absurde qu'un pionnier soit abondammment cité car son travail ne sera pas passé inaperçu. C'est un point important pour faire un usage intelligent des indicateurs bibliométriques, aussi bien du côté des évaluateurs... que des chercheurs eux-mêmes, lesquels ont tendance à y projeter leur pires fantasmes !