AERES : les chercheurs malpubliants vus par des malvoyants.

Jusqu'ici, le petit monde de la recherche était composé d'enseignants-chercheurs (maîtres de conférences, professeurs), et de chercheurs (appartenant généralement à de grands organismes de recherche et sans charge d'enseignement "régulière").
Désormais, il se compose comme suit :

• chercheurs publiants
• chercheurs non-publiants
• enseignants-chercheurs publiants
• enseignants-chercheurs non-publiants

On doit ce petit chef-d'oeuvre à la nouvelle et docile AERES, qui vient de publier un rapport document bâclé de 3 pages (.pdf) sur ce sujet, tout ça pour pondre la critériologie ci-dessus (lequel document n'est d'ailleurs accessible dans aucune des rubriques du site de l'AERES, il faut insister sur leur moteur de recherche pour le retrouver ... bref et comme disait l'autre, "ce qui se conçoit bien s'énonce clairement", et ce qui est mal conçu se cache promptement ...).
Ce document (qui n'est pas daté mais dont "l'esprit" et l'essentiel du contenu circulent depuis déjà plusieurs semaines chez les directeurs de labos et responsables d'équipes de recherche), ce document disais-je, est intitulé "Critères d'identification des chercheurs et enseignants-chercheurs publiants." et il a le mérite de la concision : 3 pages au total ... dont la page de titre ! Ce qui sur un tel sujet atteste bien de la profondeur de l'analyse ...
L'heureuse brièveté de l'analyse ne compense pourtant en rien sa sidérale vacuité méthodologique. On nous y explique benoîtement que sur les quadriennaux (contrats de 4 ans "cadrant" la politique de recherche des universités), il faudra désormais remplir les conditions suivantes (les chiffres du tableau indiquent le nombre de "publications").

Quant à savoir pourquoi 2 et pas 4 et d'où sortent ces chiffres ... et ben, à vous de deviner, mais ne comptez pas sur la prestigieuse AERES pour vous permettre de reconstituer le cheminement du cerveau torturé qui les a produits. Dans un domaine - celui de l'évaluation de la recherche - ou la bibliométrie est constituée en tant que science depuis une bonne quarantaine d'années, une telle pifométrie dans l'approche, les critères et l'analyse de l'agence en charge de l'évaluation de la recherche ne peut que forcer le respect. Reste seulement à espérer qu'Eugène Garfield ne tombe par dessus par hasard ... l'inventeur de la bibliométrie aurait du mal à comprendre qu'un pays aussi avancé de la France n'ait toujours pas eu connaissance de ses travaux, 40 ans après leur reconnaissance par la communauté scientifique mondiale. Respect, total respect vous dis-je.

Juste en dessus du tableau, en gros et en rouge on peut lire en guise d'avertissement :

• "Le poids relatif des différents types de "publication" est propre à chaque discipline. Les appréciations de chaque support de publication scientifique et des formes de contribution à la recherche sont différenciées en fonction des pratiques de chaque communauté disciplinaire."

Ah ben oui, sauf que les 5 lignes du tableau correspondent au classement des grands domaines disciplinaires, chacun d'entre eux comportant un nombre élevé de disciplines au sein desquelles les types de "publications" sont là encore très très très différenciées. Donc ? Donc le tour de passe-passe consiste à contraindre de facto ces ilôts disciplinaires à se confirmer à cette critériologie imbécile, ou à disparaître. Dit autrement, c'est ne tenir aucun compte de la richesse du tissu disciplinaire et interdisciplinaire qui constitue la recherche française (et internationale), et là encore, venant de l'Agence officiellement en charge de ces problématiques ... Respect !
Mais je vous ai gardé le meilleur pour la fin. Dans le même rapport on peut lire :

• "Il est clair que la participation à des colloques est un indice de l’activité scientifique mais la très grande variabilité qualitative de l’évaluation des actes des colloques ne permet pas de les retenir comme élément pertinent d’appréciation."

Ce qui confirme mon assertion précédente. Traduisez : il existe des critères d'évaluation disciplinaires incontournables (participation à des colloques), mais comme ils ne nous arrangent pas, et ben on ne va pas les retenir, en expliquant que cela ne pourrait pas s'appliquer partout parce que ... parce que ... attendez un peu ... ah oui ça y est, "Parce que je connais le beau-frère d'un gars qui m'a dit qu'une fois il avait connu un chercheur qui avait organisé un colloque tout pourri rien qu'en invitant ses amis. Si, si. C'est bien la preuve hein qu'on peut pas appliquer ce critère à tout le monde hein ?."

Tout le monde rentre dans le rang. Je ne veux voir qu'une seule tête.
De tout cela il ressort (merci et total respect à l'AERES) qu'il y a des enseignants-chercheurs qui publient beaucoup, et d'autres qui publient moins. Ce qui donne, sous l'éclairage du manichéisme mâtiné de pragmatisme décomplexé qui caractérise notre époque : ceux qui publient beaucoup sont les bons, et les autres sont des gros nuls. Corrolaire : on fait quoi des gros nuls une fois qu'on les a repérés ? Déclassés ? Mutés ? Réorientés ? Lapidés ? Moqués par la morgue d'un Bernard Belloc déclarant récemment dans les colonnes du Figaro que la plupart des enseignants chercheurs en SHS (sciences humaines et sociales) n'ont "rien publié de leur vie", "même pas un article dans la Dépêche" ?

Que penser de tout cela ???
Cette nouvelle distinction entre "publiant" et "non-publiant" ne surprendra - hélas - pas grand monde. Elle était dans l'air depuis déjà quelques temps. Et elle n'est qu'une déclinaison supplémentaire de l'amour immodéré des chiffres de nos actuels gouvernants. Il faut compter. Car contrairement aux idées reçues, rien n'est plus docile qu'un chiffre, rien n'est plus malléable qu'un comptage. Mais il faut aller plus loin.

Des malpubliants, aux malcherchants
Je propose à l'AERES d'intégrer une nouvelle notion évaluative à son corpus : après les malpubliants, les malcherchants. Ben oui, vous savez, tous ces chercheurs qui cherchent mal, tous ces chercheurs qui ne trouvent pas, tous ces chercheurs qui ne cherchent pas où on leur dit de chercher, tous ces chercheurs qui ne trouvent pas parce qu'ils ne cherchent pas où on leur dit de chercher, tous ces chercheurs qui trouvent des trucs qui servent à rien, ou qui ne peuvent pas servir tout de suite, tous ces chercheurs qui trouvent des trucs qui peuvent pas se vendre. Tous ces malcherchants.
Si l'AERES est en manque de critères, qu'ils n'hésitent surtout pas à me contacter. Je me sens l'âme d'un consultant en critériologie.

Alors quoi ?
Alors le gouvernement, pour faire de la recherche "son" joujou, pour l'orienter à sa guise vers les secteurs les plus rentables de l'innovation à court-terme, le gouvernement devait trouver un moyen de sortir de ce système de l'évaluation entre pairs, si imperméable au pouvoir politique. Trouver un moyen de mettre entre les mains d'experts nommés par lui, une critériologie leur permettant d'asseoir leur incompétence visionnaire sur un argumentaire emportant l'adhésion (et les deux neurones restant) du spectateur de base des émissions de Cauet. Argument qui est le suivant : "Les chercheurs, ça publie. C'est même payé pour ça non ? Donc si y publient pas, c'est que c'est pas des bons chercheurs hein ?" Et surtout, surtout, suuuuuuuurtout pas de considérations scientifiques. Trop compliqué pour notre électorat décomplexé. Il fallait trouver un moyen efficace et sûr de déposséder les acteurs du monde de la recherche de la conduite de leur propre recherche. Et surtout, s-u-r-t-o-u-t, trouver un moyen d'apparaître cohérent avec le discours consistant à affirmer un retrait du ministère et de l'état au profit de l'autonomie des universités, tout en s'assurant qu'une agence fantoche à la solde du même ministère de ce même état (l'AERES donc) pourrait enfin décider "qui cherche quoi".
Ce moyen, c'est la critériologie ubuesque (pour les optimistes) ou kafkaîenne (pour les pessimistes) décrite ci-dessus. Oh bien sûr il n'y aura pas de rupture franche, de fracture nette. Le monde universitaire est un habitué des collèges invisibles. La transition que va permettre d'opérer cette critériologie d'opérette, sera elle aussi invisible, ou en tout cas insidieuse. Rendez-vous dans 10 ans. Pour s'apercevoir que l'on en a perdu 20.

Et pourtant ...
Difficile pourtant de supposer que ces gens là n'aient rien compris au fonctionnement de la recherche. A regarder leurs titres et fonctions, quelques-uns d'entre eux au moins semblent avoir de ce monde une grande expérience. Il n'y a donc qu'une explication possible : on leur a lavé le cerveau en leur passant en boucle le dernier disque de Carla, et depuis cette terrible expérience ils ont l'air de croire qu'il est possible de définir la valeur, la qualité d'un chercheur ou d'un enseignant-chercheur à l'aune du nombre de ses publications. Ce qui n'a tout simplement aucun sens. Ce qui équivaut à regarder le paysage éditorial scientifique actuel, à regarder la configuration actuelle des champs scientifiques, avec les yeux de Oui-Oui affublés de Ray-Ban présidentielles. C'est être bien plus que simplement imprévoyant. C'est être très malvoyant.

Comments

[Rédigé par : mistertbook]

Petite recherche rapidos dans Econlit à l'entrée "Belloc, Bernard" : 5 articles entre 1986 et 1996... No comment !

[Rédigé par : JM Salaun]

Salut Olivier,

À mon avis, tu montes au créneau beaucoup trop vite. Le document est beaucoup plus nuancé que tu ne le dis. Sa concision est plutôt une qualité qu'un défaut, car elle laisse une large place à l'interprétation, tout en envoyant un premier signal.

Une critique trop systématique ouvre la porte au refus global de toute évaluation, qui est bien pire. Il est difficile de ne pas voir qu'il y a quelques problèmes dans ce domaine en France (je ne parle évidemment que des disciplines que je connais un peu). La recherche est par nature un domaine d'excellence, souvent de compétition forte.. mais aussi parfois un refuge pour certains.

[Rédigé par : blop]

@ JM > J'étais tombé sur ce document il y a quelques semaines. Allez, il est un tooout petit peu plus nuancé que ce que dit Olivier. Mais il a entierement raison dans sa condamnation : le document ne prend pas du tout en compte les differentes pratiques dans les sous-disciplines. Un seul exemple suffit a disqualifier l'ensemble. En physique des particules TOUS les membres d'une collaboration (experience) signent TOUS les articles de cette collaboration, par ordre alphabetique. Tout le monde se retrouve donc avec une centaine d'articles pour le plan quadriennal et il est impossible, sur ce seul critere, de distinguer la contribution de chacun...

[Rédigé par : JM Salaun]

@ Blop

Toutes les disciplines ont leur spécificités, on peut prendre des centaines d'exemple. Comme le signale Olivier, mais pour le disqualifier immédiatement, le document indique en rouge et en gras la nécessité de prendre en compte les spécificités. Le rouge et le gras signifient généralement l'importance, il y a quelque mauvaise foi à prétendre le contraire.

De plus, l'allusion à E. Garfield n'est pas forcément la mieux venue. Il y a beaucoup à dire et redire, et Olivier le sait bien, sur le Facteur d'impact.

Il serait plus constructif, à mon avis, de prendre ce document comme base de départ et de proposer des critères précis et appropriés pour les disciplines plutôt que de le rejeter d'un bloc en l'assimilant à un vaste complot sarkosien.

On trouvera très facilement des supporters pour refuser les évaluations, ce ne sont pas toujours les plus légitimes. Inversement, construire un outil efficace et en imposer l'usage est chose délicate.

Disqualifier aussi violemment un texte, de mon point de vue aussi anodin, sur des procès d'intention n'est pas un pas dans le bon sens. Mais je vois tout cela d'un peu loin.

[Rédigé par : Reginald Crabapel]

Mieux que l'Aeres, l'Agence Mondiale :
http://www.savants.com/index.php?texte=92

[Rédigé par : Olivier Ertzscheid]

Jean-Michel> Naturellement je caricature, naturellement je force le trait, naturellement je donne dans l'anti-sarkozysme primaire, naturellement la compétition est présente et (dans une certaine mesure) saine pour la recherche, naturellement certains y trouvent un refuge confortable, naturellement l'évaluation en France en est encore dans certaines disciplines à l'âge de pierre mais ...
Primo : c'est le billet du vendredi soir ...
Deuxio : ce genre d'approche ne résoudra rien. Elle ne permet en aucune manière de prendre en compte les questions de l'évaluation et de la formation dans une logique de concertation et d'accompagnement. Elle se contente de "poser une pierre" et cela, je maintiens, uniquement dans une perspective comptable. Je continue également d'interpréter la concision du texte comme une grave lacune plutôt qu'un espace laissé à l'interprétation. Quand on fera le bilan de tout cela je suis prêt à prendre avec toi les parie que l'interprétation que tu appelles de tes voeux n'aura pas eu lieu. La comptabilité elle, sera en place. Je continue également de croire qu'il s'agit bien là d'une manoeuvre politicienne destinée à moyen terme à mettre en place des indicateurs de pilotage très peu négociables, arbitraires et entièrement inadaptés aux actuelles logiques disciplinaires et au paysage éditorial en train d'émerger. Si je fais un tel procès d'intention à l'AERES, c'est précisément parce qu'une chance lui était donnée de proposer des outils de pilotage et des indicateurs qui puissent être fertiles et nécessaires. Cette copie rendue hâtivement, sans concertation avec personne, qui dit tout en ne disant rien ("on va compter les publications mais on ne peut pas compter les publications parce que les pratiques sont trop différentes selon les champs"), cette copie qui masque son intention véritable (= faire un peu de ménage chez les chercheurs non-publiants), me semble dramatiquement en deçà de la hauteur des enjeux actuels. Et son contenu, sa concision, sa manière de ne pas poser un problème en imposant une décision sans l'accompagner de son mode opératoire, me semble en outre caractéristique des logiques qui sont derrière la loi LRU et dont les premiers dégâts commencent déjà à être visibles dans le climat déléthère de nombreux CA d'universités.
J'espère sincèrement me tromper, mais au delà de la forme outrancière de mon billet, je suis également parfaitement sincère dans ma désillusion.
En d'autres termes, c'est une manière de régler le problème par le bas, en renforçant les crispations. Et ce n'est vraiment pas de ce genre d'approche dont a besoin la recherche française en ce moment (en tout cas pour les champs disciplinaires que je fréquente).

[Rédigé par : Olivier Ertzscheid]

Jean-Michel> une dernière chose encore sur ton second commentaire en réponse à Blop : naturellement Garfield et le facteur d'impact ne sont pas parfaits et j'ai moi-même relayé et commenté de nombreuses fois sur ce blog les études démontrant les dérives de ce mode d'évaluation.
Tu écris : "Il serait plus constructif, à mon avis, de prendre ce document comme base de départ et de proposer des critères précis et appropriés pour les disciplines plutôt que de le rejeter d'un bloc en l'assimilant à un vaste complot sarkosien." Tu sais aussi bien que moi que des critères précis et appropriés existent. Ils sont même légion et la bibliographie sur ce sujet est particulièrement fournie. La bonne approche eût consisté à confier à l'AERES le soin d'expertise ces approches et d'en proposer une synthèse à la communauté scientifique afin que celle-ci puisse s'y retrouver, hors des actuelles frontières et spécificités disciplinaires. Cela aurait en outre peut-être permis à certains champs scientifiques (dont les sciences de l'information et de la communication) de se pencher un peu sérieusement sur le problème. Je te renvoie ici sur la liste des revues "de rang A" en infocom (http://cnu71.free.fr/33-revues.html) : 17 revues, toutes francophones (= si tu publies un article dans JASIS ça compte pas ???), aucune en accès ouvert, toutes pour l'essentiel "trustées" par des collèges invisibles qui ne laissent quasiment aucune chance aux "jeunes chercheurs" de publier plus d'un article tous les 4 ans dans l'une d'entre elles, et fonctionnant pour la majorité par de vrai-faux appels à communication pour lesquels les principaux auteurs sont co-optés. Mais là j'avoue, Sarkozy n'y est pour rien ;-)
Aors oui, si l'AERES n'est pas capable de se saisir "es qualite" d'un tel dossier (en proposant une expertise des approches existantes et en en proposant une synthèse), je maintiens qu'elle n'est que la voix de son maître.
Et que c'est bien un complot sarkosien.

[Rédigé par : blop]

Pour prolonger. L'INSERM a mis en place des critères un peu plus "objectifs", en tout cas plus adaptés aux habitudes de publications en santé/médecine/bio. Chaque article publié est multiplié par le facteur d'impact de la revue et divisé par la position du chercheur dans la liste des auteurs. Ou bien encore, une membre d'une comission de recrutement INSERM a fièrement reconnu qu'ils ne regardaient même pas les dossiers des candidats n'ayant pas au moins un papier dans une revue à IF>15.

Quand je raconte ça ici, aux Etats-Unis, les gens (je veux dire les chercheurs) me regardent avec des yeux en soucoupes volantes et rigolent ou compatissent, c'est selon, sur le thème "mais vous n'avez pas en Europe suffisamment de gens compétents pour évaluer vos recherches ??"

[Rédigé par : LF]

Personne ne semble s'étonner ici de cette individualisation des critères. On dirait une assemblée de premiers de la classe, qui n'imagineraient pas que leur géniale valeur ne soit pas le seul motif légitime d'évaluation.
Seulement voilà, la recherche c'est aussi une organisation, incluant quelques rares génies, mais qui ne font pas tout. Pour un papier à 5 ou 6 auteurs, qui fait quoi ? Un tel aura maitrisé une technique, tel autre aura amené une idée, tel autre encore l'aura rédigé, fait les manips, etc ... sans parler de tout l'environnement - non auteur - qui aura permis que cela soit possible.

Voilà comment le milieu est en train de se faire niquer : en s'appuyant sur l'ego démesuré des chercheurs, habitués à s'entendre dire depuis le berceau qu'ils sont les meilleurs, pour mieux les désolidariser.

Vous avez dit compétition ? Comme si cela était le fait de la seule recherche ! Adossé à cet ego, le sentiment trop répandu de faire partie d'un milieu à part. Mais cette compétition, on vous la sert dans tous les milieux professionnels, et pour les mêmes buts : mieux exploiter chacun d'entre nous, dresser les uns contre les autres.

Mmes et Mrs les chercheurs : vous n'êtes pas différents; vous êtes même tristement banals.

[Rédigé par : Serge Torres]

Bonjour,

En plus de tous les travers que vous dénoncez il y a finalement une grande absurdité dans tout cela.

Reprenons. Un bon chercheur est un "publiant". Donc un "non publiant" n'est pas un bon chercheur (erreur logique de base). Donc on fait toutes sortes de contorsion pour que d'autres activités puissent valoir comme des publications.

A la suite d'une énumération à la Prévert, on en arrive, à la limite, à ce qu'un chercheur peut être "publiant" sans rien publier réellement, pourvu qu'il exerce une ou plusieurs des multiples fonctions jugées équivalentes (et qu'il soit dans la « bonne » discipline).

A l'arrivée, cela ne change pas ni le volume, ni la qualité des publications mais on a davantage de "publiants". Donc moins de labos avec des "non-publiants", donc plus de bons labos. Ouf !

Le problème qui se pose, en filigrane, est celui des multiples facettes du métier de chercheur et il est absurde, par des assimilations acrobatiques, de tout vouloir ramener à des publications (nouvel étalon-or de l'activité scientifique ?).

Bonne chance à ceux qui auront à convertir les créations d'entreprises en nombre de publications de « rang A » et meilleure chance encore à ceux qui devront passer dans ce genre de moulinette.

[Rédigé par : TM]

Je fais partie de cette catégorie de mauvais chercheurs car mauvais publiants. J'ai fait le choix de faire de la recherche et d'essayer de faire au mieux mes 192h/eq TD d'enseignement. J'ai au cours des ans pris des responsabilités et je gère maintenant un Master 2 Pro et les projets tutorés de 200 étudiants d'IUT. Malheureusement, ce dernier point n'a aucun intérêt pour mon laboratoire et ne fait jamais partie de mon évaluation. J'avoue que maintenant, je suis démotivé et je vis mal ma convocation tous les ans devant une commission chargée de me rappeler combien je suis mauvais.

[Rédigé par : DM]

"Parce que je connais le beau-frère d'un gars qui m'a dit qu'une fois il avait connu un chercheur qui avait organisé un colloque tout pourri rien qu'en invitant ses amis. Si, si. C'est bien la preuve hein qu'on peut pas appliquer ce critère à tout le monde hein ?."

Ce genre de réflexions, je l'ai entendue moult fois. Du style "je connais quelqu'un au CNRS, il ne branle rien".

Sauf qu'en général les personnes qui racontent ce genre de choses sont incapables de préciser où, dans quel laboratoire, dans quel domaine, travaille la personne en question.

[Rédigé par : Alex]

Bonjour je viens de lire attentivement votre article. Je suis jeune Doctorant en InfoCom et je réalise ma thèse en entreprise via une cifre.
Jusqu'à présent j'essaye de publier dans des revues Open Access pour plusieurs raisons :

1. Indirectement c'est bon pour l'entreprise car mes actions sont visibles aux yeux de tous.
2. Le choix et la plupart des revues sont plus digestes que les articles de 35 pages disponibles dans des revues payantes et le temps de rédaction est donc souvent plus léger et donc plus compatible avec une activité salarié ...
3. Enfin , je suis pour une recherche accessible à tous et non liée aux moyens d'une université qui pourrait fournir plus ou moins de services d'accès à des bases payantes de revues scientifiques ...

Mais voilà qu'après une discussion avec mon Dir. de Thèse, il s'avère qu'il m'incite fortement à publier dans les revues proposées par l'AERES et d'éviter les open access qui sont non reconnues pour être considéré comme chercheur publiant en France.

Après analyse du listing de l'AERES j'ai identifié quasiment aucunes revues open access (sauf erreur de ma part), pouvez vous m'indiquer les risques de ne pas publier dans ces revues ?
Personnellement mon entreprise me laisse libre choix de mes revues mais faut-il vraiment que je me force à publier dans des revues AERES ?

Il y a des revues formidables comme ISDM, webology, qui me permette de publier sur mon sujet, j'arrive pas à comprendre que celles-ci ne soient pas plus reconnues. En sélectionnant les revues, j'ai peur que les open access ne perdurent pas ...

Au regard du blog et de vos présentations (http://www.slideshare.net/olivier/marketing-archives-ouvertes?type=presentation), je pense que vous êtes la bonne personne qui peut me répondre objectivement.

Merci d'avance