La revue par les pairs expliquée à mes enfants

Après la guerre de l'édition expliquée à mes enfants, voici donc la revue par les pairs expliquée à mes enfants ... je crois que je tiens là une nouvelle série de billets ;-) Bon, j'y vais.

"Il était une fois un papa qui faisait de la recherche. Il était chercheur. Un jour, le téléphone de papa sonne : c'est une dame qui lui demande s'il serait d'accord pour écrire un article sur les moteurs de recherche pour une revue très connue et très renommée. Normalement, les revues n'envoient pas des dames mais plutôt un message à tous les chercheurs sur Internet pour leur demander s'ils veulent ou non écrire un article, ce qui est plus démocratique. Mais il y a aussi plein de revues qui préfèrent téléphoner directement aux chercheurs qu'elles connaissent pour le leur proposer. C'est moins démocratique, mais c'est plus pratique. Et puis il y a aussi des revues qui font les deux (des dames ET sur internet)
Donc papa est content et il accepte d'écrire un article. Comme papa est aussi un peu fainéant et qu'il préfère bosser à plusieurs plutôt que tout seul, il téléphone à deux autres de ses copains chercheurs pour leur proposer d'écrire l'article avec lui, ce que ses copains acceptent. Et papa et ses deux copains se mettent au boulot.
Quelques mois plus tard (bé oui, c'est long d'écrire un article), papa et ses copains envoient l'article à la dame qui le leur avait demandé. Et là ... des messieurs et des dames invisibles (on ne sait pas qui c'est, on sait juste qu'ils sont deux et que ce sont des chercheurs comme papa), relisent l'article de papa et de ses copains pour dire s'il est intéressant ou non.
Quelques mois plus tard (bé oui, c'est long à relire des articles, et en plus ils n'ont pas que celui de papa et de ses copains à relire), quelques mois plus tard donc, les deux messieurs invisibles disent à la dame qui a demandé l'article a papa, si l'article est bien ou non. Si les deux le trouvent bien, ça va. Si les deux le trouvent nul, ça va aussi (papa sera un peu déçu mais pas trop quand même).
Mais très souvent, il arrive que les deux messieurs invisibles ne soient pas d'accord entre eux :

• Monsieur 1 trouve l'article de papa et de ses copains super-intéressant, très clair et avec plein d'idées dedans ...
• mais Monsieur 2 trouve qu'il n'est pas clair, qu'il n'est pas intéressant et qu'il n'y a pas d'idées dedans.

De toute façon, Monsieur 1 et Monsieur 2 sont censés dire à Papa et à ses copains pourquoi ils ont aimé (ou détesté) leur article, et aussi leur demander de changer des choses ou des idées dans l'article. Mais le problème, c'est que souvent Monsieur 1 et Monsieur 2 ne sont pas invisibles que pour papa et ses copains. Ils sont aussi invisibles ... entre eux !!! Et du coup Monsieur 1 ne sait pas ce que Monsieur 2 a demandé de changer à Papa dans son article, et pareil pour Monsieur 2 qui ignore tout des remarques de Monsieur 1. Alors il arrive que Monsieur 1 demande à papa d'écrire avec des mots plus simples parce que l'article est trop compliqué, et que Monsieur 2 demande à Papa d'écrire avec des mots plus compliqués parce que l'article est trop simple ...
Du coup, Papa et ses copains ne savent plus trop quoi faire ni s'ils doivent écouter les conseils de Monsieur 1 ou ceux de Monsieur 2. Mais comme papa et ses copains sont de gentils chercheurs, comme la dame qui leur a demandé d'écrire cet article était gentille, et comme la revue dans laquelle l'article sera peut-être publiée est super-connue (plus que Titeuf par exemple), papa et ses copains se remettent au travail comme ils peuvent, en essayant de se débrouiller pour que Monsieur 1 ET Monsieur 2 soient contents.
Quelques mois plus tard (bé oui c'est long de réécrire un article surtout que, souvenez-vous, Monsieur 1 et Monsieur 2 ont demandé à papa et à ses copains des choses contradictoires), quelques mois plus tard, l'article est fini et papa et ses copains le renvoient à la dame, qui le renvoie à Monsieur 1 et Monsieur 2. Monsieur 1 qui était content quand il avait reçu le premier article de papa et de ses copains, est toujours content. Mais Monsieur 2 lui, ne l'est toujours pas, et il recommence à faire plein de remarques à Papa (enfin à la Dame, qui ira les rapporter à papa, vu que, souvenez-vous, Monsieur 2 est toujours invisible pour papa et ses copains). Du coup, la Dame qui avait demandé l'article à Papa va aller dire à Papa que comme Monsieur 2 n'est toujours pas content, son article ne pourra finalement pas être publié dans la revue (et papa ne sera jamais aussi célèbre que Titeuf, mais ça c'est pas grave).
Quand papa et ses copains regardent la lettre que leur a fait passer la Dame, et dans laquelle Monsieur 2 explique pourquoi il n'est pas d'accord avec Papa et avec ses copains, Papa et ses copains aimeraient bien téléphoner ou rencontrer ou même envoyer un message à Monsieur 2 pour pouvoir discuter avec lui et essayer, la prochaine fois, de faire un meilleur article. Mais voilà ... Monsieur 2 n'est pas seulement invisible, il est aussi ... impalpable. Ca veut dire qu'on ne peut pas le voir et qu'on ne peut pas non plus le toucher (alors que Harry Potter, même sous sa cape d'invisibilité, on peut le toucher). Bien sur, Papa et ses copains pourraient écrire une lettre pour Monsieur 2, et demander à la Dame de la lui remettre, mais la Dame n'a pas que ça à faire. Elle est très occupée, et d'ailleurs Papa et ses copains aussi."
FIN.
J'espère que ça vous avez aimé ...
Voilà pourquoi je trouve que le processus de revue par les pairs, y compris et peut-être même surtout celui dit en double aveugle, demanderait non pas à être éradiqué de la surface de la terre (ce qui ferait trop plaisir à certains), mais à tout le moins repensé, et que dans certains champs notamment, l'anonymat des relecteurs est, avant toute chose, une vaste hypocrisie.
Das la vraie vie, l'histoire ci-dessus ressemble assez au mail que je viens d'envoyer à une Dame, et que je vous recopie pour le fun (et aussi pour que des adultes continuent de lire ce blog :-) :
"Chère collègue,
Merci de votre message que nous attendions impatiemment avec mes coauteurs. Naturellement la déception l'emporte eu égard à la qualité de la revue pour laquelle vous aviez eu l'amabilité de nous solliciter, et également au travail de réécriture que nous avions fourni, travail d'autant plus délicat que sur au moins deux points importants, les remarques initiales des deux rapporteurs étaient en totale contradiction.
A toutes fins utiles je me permets donc de vous indiquer, uniquement pour que vous puissiez transmettre ces remarques au rapporteur indiquant "Sur le sujet abordé, il est surprenant que l’auteur fasse état d’une
étude conduite plus de quatre ans auparavant (2002).", que l'étude de Broder de 2002 visant à proposer une typologie des recherches fait pour le moins autorité et qu'elle est en outre l'une des plus citées comme pourra le lui confirmer l'interrogation de n'importe quelle bonne base bibliographique. D'autre part, je ne sache pas qu'en la matière - celle d'une publication scientifique - l'ancienneté (relative) d'une publication eu égard à son taux de citation très élevé puisse être d'une manière ou d'une autre "préjudiciable", d'autant que ce même rapporteur dans sa première expertise nous incitait à remettre l'article en perspective en remontant jusqu'aux travaux d'Otlet (1934 ......).
Concernant sa seconde remarque à propos de la sérendipité ("travaux d'auteurs de disciplines diverses"), je comprends là encore mal ce que peuvent avoir de préjudiciable des références pluridisciplinaires, d'autant que le "théorisation" de la sérendipité est notablement plus avancée dans d'autres champs disciplinaires que les SIC, stricto sensu.
Concernant sa troisième remarque, la "théorie des facettes" est bel et bien explicitée dans l'article (il est vrai au travers d'un exemple) dès le paragraphe qui suit la mention de ce terme.
Je m'étonne enfin grandement de l'ante-pénultième remarque du même rapporteur sur "les difficultés de son application dans la recherche d'information", nombre de systèmes documentaires et plus globalement de systèmes de gestion de l'information faisant un usage tout à fait courant de cette approche. S'il reste vrai, comme cela figurait dans la première expertise du même rapporteur que "les langages à facette ont été largement critiqués pour leur subjectivité", ils n'en demeurent pas moins des références établies dans le champ et constituent par ailleurs l'une des pistes de recherche actuellement les plus explorées par les moteurs de recherche et les outils de fouille de données déployés en entreprise (notamment grâce à l'avancée des méthodes de visualisation permettant de simplifier la navigation au coeur de ces facettes).
Je précise ici que ces remarques ne sont que de mon fait, n'ayant pas encore eu le temps d'en discuter avec mes co-auteurs, et qu'elles n'ont pour but que de poursuivre la discussion de fond engagée par les remarques dudit rapporteur, discussion scientifique qui me semble constituer l'intérêt principal du processus de revue par les pairs, et discussion hélas trop souvent avortée du fait de l'anomymat de l'expertise.
Bien cordialement, patati patata ..."
A suivre ... j'ignore si la Dame transmettra ces remarques au rapporteur (elle le fera probablement, via le comité de rédacton de la revue), et j'ignore surtout si le rapporteur acceptera ou non de "sortir de l'anonymat" pour reprendre le fil d'une discussion qui s'annoncerait pourtant intéressante, et hors laquelle l'acte même de soumission d'un article à une revue en est réduit à une simple soumission, stricto sensu. Naturellement, si Monsieur ou Madame 2 le souhaite, les commentaires lui sont ouverts ainsi que ma ligne téléphonique, ma maison, mon mail ......

Comments

[Rédigé par : joel ronez]

Bon en attendant tu le publies ici ton article ou bien ?

[Rédigé par : olivier]

Joel> Je n'attends plus que le feu vert de mes deux partenaires, et je mets tout ça en ligne :-)

[Rédigé par : Bucky]

Je ne suis pas du tout dans votre domaine, mais j'apprécie toujours l'éclairage critique que vous portez sur le fonctionnement très particulier de l'université et de ses chercheurs ..
J'en sors de ma réserve.
Cet article est excellent !

Un non-pair.

[Rédigé par : marlène]

Euh, c'est pas forcément toujours des dames qui font ce travail, des fois ce sont des messieurs... et il n'y a pas que des reviewers hommes, il y a aussi des dames...

Celà dit vous êtes si nombreux que ça à travailler sur ce sujet dans la discipline ? Je croyais qu'on finissait toujours par reconnaître ses "peers" ;-) , non ?

[Rédigé par : olivier]

Bucky> Merci. Et le bonjour chez HP grenoble ;-)
Marlène> J'ai essayé en inversant les Dames et les Messieurs mais ça passait nettement moins bien auprès des enfants. Va savoir pourquoi ...
Pour le reste, moi et mes collègues sommes effectivement parfaitement transparents pour nos pairs. Mais la réciproque n'est pas nécessairement vraie, les revues faisant fréquemment appel à des reviewers "pigistes" et étrangers. Là par exemple, on sait que Monsieur 1 nous vient de la belle province. Pour Monsieur 2, il se pourrait bien que ce soit une dame :-)

[Rédigé par : marlène]

en tout cas le monde est petit : ton coauteur le + grand :-)) m'a enseigné les rudiments de dbase3+ dans les années 90...

[Rédigé par : GG]

des critères de taille maintenant...bravo ;-)