En écho plus qu'en réponse au débat entamé ici avec Jean-Michel Salaun et d'autres, ce site vous permet d'interroger "en aveugle" les trois grands (Google, Yahoo et Microsoft) pour évaluer lequel est le plus pertinent (sur la base des trois premiers résultats affichés). Les résultats sont pour l'instant sans appel, Google raflant 42% des voix, contre 32% et 26% à respectivement Yahoo! et MSN. Pour participer au blind-test c'est par là (seule votre première évaluation sera comptabilisée mais vous pouvez vous "amuser" aussi longtemps que vous le souhaitez)
Se retrouver en situation "d'évaluateur de pertinence" est, sauf à parvenir à faire totalement abstraction de toute subjectivité, relativement complexe sur le plan cognitif, et sujet à nombre de biais. Je m'explique via un exemple sur le requête "document numérique" :
- Le moteur X me renvoie en premier une page "blanche", suivie d'une page effectivement pertinente (manifestation scientifique sur le thème du document numérique), et d'une page d'Affordance contenant une rubrique idoine, mais qui - au-delà de la satisfaction personnelle de son auteur (moi ;-) de se voir ainsi "classé", n'est cependant pas des plus "pertinentes", d'autant que ...
- le moteur Y me renvoie lui vers un article de Mickael Buckland, éminent universitaire et théoricien (entre autres) du document numérique. TRES pertinent donc. Mais (et j'avais omis de le signaler), le blind test offre la possibilité d'indiquer que l'on souhaite faire une recherche sur des termes non-anglophones (ce que j'ai fait). Dans ce cas, et bien que les résultats 1 et 3 du moteur Y soient pertinents dans l'absolu, ils n'en sont pas moins "à côté de la plaque" si je suis un lecteur non-anglophone (ou pourra chipoter sur le fait que l'un des deux termes de ma requête est bilingue : 'document'). Classer comme le plus pertinent un moteur qui fait fi de mes critères de recherche est tout de même problématique.
- Le moteur Z quant à lui me renvoie effectivement vers deux sites pertinents, mais offre un doublon sur trois résultats. Ce qui n'est pas très pertinent, d'autant que le premier résultat est celui doublonné et renvoie vers la page (pas pertinente) des 'instructions aux auteurs' de la revue 'Document numérique' (pertinente).
Alors pour qui ai-je voté ???
- pour le moteur X si je suis un peu égocentrique et laisse mon ego se satisfaire d'une citation de "mon" site juste derrière le très pertinent site de la SDN (semaine du document numérique) et bien qu'1 résultat sur 3 pointe vers une page "blanche".
- pour le moteur Y si j'accepte d'oublier les paramètres (linguistiques) de ma requête et me satisfais de résultats anglophones pertinents là où j'étais parti en quête de résultats francophones.
- pour le moteur Z si je laisse mon ego de côté, me conforme aux paramètres linguistiques, et me satisfais d'un inutile doublon.
On le voit, la pertinence que l'on est invité à valider via ce blind-test est donc toute subjective et relative (et donc nécessairement biaisée même si elle permet de faire émerger une "tendance" permettant de classer les moteurs). De fait, et à l'inverse des mesures statistiques fiables que sont le taux de rappel (rapport entre le nombre de documents pertinents affichés et le nombre de documents pertinents existant) et le taux de pertinence (rapport entre le nombre de documents pertinents extraits et le nombre total de documents extraits), la pertinence absolue n'existe pas car elle est fonction de mon propre niveau de connaissance (=ce qui est pertinent pour moi ne l'est pas forcément pour mon voisin) et de plus, elle évolue dans le temps (=ce qui est pertinent aujourd'hui ne le sera pas nécessairement demain). "L'idéal" de pertinence ou le "PPCM" (Plus Petit écart entre un Chercheur et un Moteur) de la pertinence serait donc :
- le meilleur rapport entre des taux de rappel et de pertinence eux-mêmes optimums (Google)
- la possibilité (via un curseur ?) de personnaliser les résultats selon mes préférences et mes propres centres de recherche (Yahoo! et Google - en bêta-)
- une clusterisation contextuelle à la volée (Exalead et en beaucoup beaucoup moins bien, MSN)
Pour ce qui est de l'impertinence des moteurs, ou leur irrévérence c'est encore et toujours une question de point de vue ;-) ...
Et puis dans la série "méditons sur la pertinence", pour la requête "nazi", et entre une page du site d'un musée d'histoire affichée en premier sur l'interface Google.de ou celle du parti nazi américain, également affichée en premier mais sur cette fois Google US, quelle est la plus pertinente ???
(via Abondance)
Les commentaires récents