1. Les moteurs de recherche nous rendent-ils idiots ?
En 2008, le moteur de recherche Google vient de fêter ses 10 ans et Nicholas Carr publie dans The Atlantic, un texte qui va faire le tour des internets en quelques heures et pour quelques années : "Is Google Making Us Stupid ?" (traduction française disponible grâce à Penguin, Olivier et Don Rico sur le Framablog) Il y défend la thèse selon laquelle une "pensée profonde" nécessite une capacité de lecture et d'attention également "profondes", que Google et le fonctionnement du web rendraient impossibles à force de fragmentation et de liens nous invitant à cliquer en permanence.
Depuis presque 15 ans, la thèse de Nicholas Carr continue périodiquement à revenir sur le devant de la scène médiatique. Je passe sur les écrits affirmant que les "écrans" seraient la source de tous nos maux, mais pour le grand public, je renvoie notamment aux derniers ouvrages de Bruno Patino ("La civilisation du poisson rouge") qui ne font que recycler en permanence les idées de Nicholas Carr en les 'affinant' à l'aune de ce que les réseaux sociaux font ou feraient à nos capacités attentionnelles ainsi qu'au débat public.
La littérature scientifique sur ces sujets est bien plus circonspecte et nuancée que la focale médiatique ne pourrait le laisser croire. Le seul consensus scientifique éclairé se fait autour des risques d'une exposition précoce et excessive. Pour le reste ... les écrans ne sont "que" des écrans, les outils ne sont "que" des outils, et il n'est pas plus dangereux au 21ème siècle de laisser un enfant toute la journée devant Tik-Tok qu'il ne l'était de le laisser un enfant toute la journée devant la télé au 20ème siècle. Dans ce siècle comme dans le précédent, à de rares exceptions près, chacun s'accorde d'ailleurs sur le fait qu'il ne faut pas laisser un enfant toute la journée devant TikTok ou devant la télé. Encore faut-il qu'il ait la possibilité de faire autre chose, encore faut-il que la société laisse aux parents le temps de faire autre chose avec lui, encore faut-il qu'ils aient les moyens financiers et les infrastructures culturelles et éducatives à portée de transport (public) pour pouvoir et savoir faire autre chose, encore faut-il qu'une éducation aux écrans puisse être bâtie en cohérence de l'école primaire au lycée. A chaque fois que l'on tient un discours culpabilisant ou même parfois criminogène sur "le numérique" ou "les écrans", on oublie de s'interroger sur la faillite d'une politique éducative, sociale et familiale où chaque réflexion autour du "temps de travail" peine à masquer le refus d'imaginer et d'accompagner un temps de non-travail, un temps de loisirs capable de resserrer les liens familiaux plutôt que de les éclater ou de les mettre en nourrice technologique.
Cela ne veut pas dire qu'il n'existe aucun effet des technologies sur nos capacités mémorielles, attentionnelles, ni bien sûr que rien ne se jouerait au niveau neuronal et même biochimique, mais simplement que nos environnements médiatiques, culturels, informationnels, sont multiples, perméables et inter-reliés, et que pour encore probablement au moins quelques années, le web, la télé, la radio et la presse sont amenés à co-construire et à co-définir, nos capacités attentionnelles et nos appétences informationnelles. Bref.
L'intelligence de Nicholas Carr, sur la fin de son texte, est de relativiser un peu son angoisse et son scepticisme en rappelant la critique Platonicienne de "l'écriture" qui, déjà, signait la fin de la mémoire et annonçait mille maux :
"Et il en va de même pour les discours [logographies]. On pourrait croire qu'ils parlent pour exprimer quelque réflexion ; mais, si on les interroge, parce qu'on souhaite comprendre ce qu'ils disent, c'est une seule chose qu'ils se contentent de signifier, toujours la même. Autre chose : quand, une fois pour toutes, il a été écrit, chaque discours va rouler de droite et de gauche et passe indifféremment auprès de ceux qui s'y connaissent, comme auprès de ceux dont ce n'est point l'affaire ; de plus, il ne sait pas quels sont ceux à qui il doit ou non s'adresser. (...)
[L'écriture] ne produira que l’oubli dans l’esprit de ceux qui apprennent, en leur faisant négliger la mémoire. En effet, ils laisseront à ces caractères étrangers le soin de leur rappeler ce qu’ils auront confié à l’écriture, et n’en garderont eux-mêmes aucun souvenir. Tu [Thot] n’as donc point trouvé un moyen pour la mémoire, mais pour la simple réminiscence, et tu n’offres à tes disciples que le nom de la science sans la réalité ; car, lorsqu’ils auront lu beaucoup de choses sans maîtres, ils se croiront de nombreuses connaissances, tout ignorants qu’ils seront pour la plupart, et la fausse opinion qu’ils auront de leur science les rendra insupportables dans le commerce de la vie."
(Socrate dans Phèdre)
Idem pour l'invention de l'imprimerie et pour chaque grande révolution des technologies intellectuelles. Là où le texte de Carr est intéressant en termes de prospective c'est qu'il est, en 2008, l'un des premiers à acter que ce que l'on nommera ensuite le "solutionnisme technologique" est au coeur d'une logique attentionnelle entièrement dépendante d'un modèle d'affaire parfaitement cartésien, réfléchi, pensé, documenté et instrumenté (je souligne) :
"Pourtant, leur hypothèse simpliste voulant que nous nous “porterions mieux” si nos cerveaux étaient assistés ou même remplacés par une intelligence artificielle, est inquiétante. Cela suggère que d’après eux l’intelligence résulte d’un processus mécanique, d’une suite d’étapes discrètes qui peuvent être isolés, mesurés et optimisés. Dans le monde de Google, le monde dans lequel nous entrons lorsque nous allons en ligne, il y a peu de place pour le flou de la réflexion. L’ambiguïté n’est pas un préliminaire à la réflexion mais un bogue à corriger. Le cerveau humain n’est qu’un ordinateur dépassé qui a besoin d’un processeur plus rapide et d’un plus gros disque dur.
L’idée que nos esprits doivent fonctionner comme des machines traitant des données à haute vitesse n’est pas seulement inscrite dans les rouages d’Internet, c’est également le business-model qui domine le réseau. Plus vous surfez rapidement sur le Web, plus vous cliquez sur des liens et visitez de pages, plus Google et les autres compagnies ont d’occasions de recueillir des informations sur vous et de vous nourrir avec de la publicité. La plupart des propriétaires de sites commerciaux ont un enjeu financier à collecter les miettes de données que nous laissons derrière nous lorsque nous voletons de lien en lien : plus y a de miettes, mieux c’est. Une lecture tranquille ou une réflexion lente et concentrée sont bien les dernières choses que ces compagnies désirent. C’est dans leur intérêt commercial de nous distraire."
Les technologies intellectuelles sont autant de "pharmakon", elles sont à la fois remède et poison. Google ne nous rend pas stupides. Ni idiots. Ni incapables d'attention ou de lecture soutenue. Mais il est de l'intérêt de Google, cela participe de son modèle économique, que nous préférions cliquer sur des liens commerciaux plutôt qu'organiques, sur des liens qui ont quelque chose à nous vendre plutôt que quelque chose à nous apprendre. Les deux "OO" du moteur : le "O" d'une ouverture toujours possible, et le "O" d'une occlusion toujours présente. Et l'importance de ces affordances que l'éducation construit et qu'elle peut apprendre à déconstruire ...
Le rêve de Vannevar Bush, en 1945, d'un dispositif capable de singer le fonctionnement associatif de l'esprit humain pour en stimuler les capacités mémorielles et en bâtir qui lui soient externes, ce rêve là dans lequel c'est "le chemin qui comptait plus que le lien" s'est en quelque sorte renversé et incarné presqu'uniquement dans la capacité de calcul des liens créés pour en contrôler la supervision globale et l'accès massif, formant alors des autorités n'ayant plus que le seul goût de la popularité. La curiosité du chemin laissant la place à la cupidité des liens. Et le capitalisme linguistique fit le reste. Google ne nous a pas rendu stupides mais ... cupides.
En quelques années, l"interrogation de Carr a été remplacée par plusieurs autres. Il ne s'agit plus uniquement de répondre à la question "Google nous rend-il idiots ?" mais de s'interroger sur "les algorithmes sont-ils idiots ?" ou même "les algorithmes sont-ils justes ?" et enfin et peut-être surtout, "les algorithmes (idiots ou non) nous brutalisent-ils ?" Je commence par cette dernière question car elle est la plus facile à trancher aujourd'hui.
2. Les algorithmes nous brutalisent-ils ?
Oui. Trois fois oui. En tout cas l'utilisation des algorithmes par la puissance publique, au profit et au service d'une dématérialisation qui vaut démantèlement des services publics, est une brutalité et une violence. Une "maltraitance institutionnelle" comme le rappelle l'édito de Serge Halimi dans le Monde diplomatique du mois de Mars, et comme le documente surtout le rapport sur la "dématérialisation des services publics"de Claire Hédon, la défenseure des droits.
L'amie Louise Merzeau expliquait il y a déjà 10 ans que le numérique était un milieu beaucoup plus qu'un outil. Et les milieux sociaux les plus modestes, n'ont d'autre choix que de le vivre comme une double peine, comme un nouvel empêchement, une stigmatisation de plus, une discrimination de trop.
Rien ne s'automatise mieux que l'accroissement des inégalités. Et il n'est d'inégalités plus flagrantes que dans le système éducatif et le système de soins qui n'ont jamais été autant mis sous coupe algorithmique réglée à grands coups de métriques qui valent autant de coups de triques.
"Stiegler et Alla montrent que ce que nous avons vu disparaître en 2 ans, c’est une politique de santé publique démocratique, compensatrice et attentive aux gens. Nous avons vu apparaître un nouvel acteur du système de santé, et qui risque demain d’être convoqué partout. Le démantèlement des systèmes de soin reposent sur un “individu connecté directement aux systèmes d’informations des autorités sanitaires, dont elles attendent une compliance et un autocontrôle permanent dans le respect des mesures et dans la production des données”. C’est le même individu qui est désormais convoqué dans Parcoursup ou dans les services publics, comme Pole Emploi ou la CAF. C’est un individu qui produit lui-même les données que vont utiliser ces systèmes à son encontre. “Ici, la santé n’est jamais appréhendée comme un fait social, dépendant de ce que la santé publique nomme les “déterminants structurels” en santé. Elle devient un ensemble de données ou de data, coproduites par les autorités sanitaires et les individus érigés en patients acteurs, qui intériorisent sans résistance toutes les normes qu’elles leur prescrivent”. Dans cette chaîne de production de données, les soignants sont réduits à l’état de simples prestataires, privés de l’expérience clinique de la maladie, tout comme les agents des systèmes sociaux ou les professeurs sont privés de leur capacité de conseil pour devenir de simples contrôleurs. Quant aux réalités sociales qui fondent les inégalités structurelles, elles sont niées, comme sont niées les différences sociales des élèves devant l’orientation ou devant la compréhension des modalités de sélection. Les populations les plus vulnérables sont stigmatisées. Éloignés des services et des systèmes numériques, les plus vulnérables sont désignés comme responsables de la crise hospitalière, comme les chômeurs et les gens au RSA sont responsables de leur situation ou les moins bons élèves accusés de bloquer Parcoursup !" (Hubert Guillaud lisant "Santé publique : année zéro" de Barbara Stiegler et François Alla)
Bien. Donc Google (et les moteurs de recherche) nous rendent davantage cupides que stupides, ou pour le dire différemment, s'il nous arrive par leur entremise, d'être pris en flagrant délit de stupidité, c'est principalement la faute de leur cupidité. Et les algorithmes nous brutalisent. Parce qu'ils sont trop "intelligents" alors que notre "liberté" (de navigation, de choix) passe par le retour à un internet bête, à une infrastructure qui ne s'auto-promeut pas en système intelligent. Un internet bête c'est un réseau capable de mettre en relation des gens, sans nécessairement inférer quelque chose de cette mise en relation sur un autre plan que la mise en relation elle-même (c'est à dire ne pas tenter d'inférer que si j'accepte telle mise en relation c'est pour telle raison qui fait que par ailleurs je vais accepter de partager telle autre recommandation elle-même subordonnée à tel enjeu commercial ou attentionnel, etc.).
Google nous rend cupides. Et les algorithmes nous brutalisent car ils sont trop "intelligents" en ambitionnant de créer des liens dont ils sont responsables (ce qui est l'étymologie de l'intelligence) alors qu'ils ne devraient que contrôler des situations dont nous sommes responsables.
Prenons un exemple simple et fameux : celui de la désambiguisation. Par exemple lorsque je tape le mot "jaguar" dans un moteur de recherche, il ne sait pas s'il doit me proposer des informations en lien avec l'animal ou avec la marque de voiture. Et pourtant il ne se trompe que rarement car il s'appuie sur notre historique de recherche, de navigation, nos "données personnelles", nos intérêts déclarés sur les réseaux sociaux où nous sommes présents et qu'il indexe, etc. Et nous trouvons d'ailleurs très pratique que Google "sache" si nous cherchons des informations sur l'animal ou sur la voiture sans que nous ayons à le lui préciser. C'est cela, le web et un moteur de recherche "intelligent". Mais cette intelligence n'est pas tant celle qui crée des liens que celle qui crée des chaînes de déterminismes de plus en plus inextricables. Car si Google sait qu'en tapant "jaguar" c'est aux voitures que je m'intéresse et non aux animaux, et s'il le sait autrement que statistiquement, alors il est déjà trop tard.
Je veux maintenant poser une troisième question.
3. Les algorithmes sont-ils complètement cons ?
Je viens de vous expliquer que les algorithmes et internet étaient "trop intelligents" et voici que je vous propose maintenant d'envisager le fait qu'ils soient aussi totalement cons. Les deux ne sont en effet pas exclusifs. On connaît tous des gens très intelligents qui sont socialement, relationnellement ou matériellement totalement cons. Voici mon propos.
On savait déjà que l'ordinateur, que les ordinateurs étaient complètement cons. Et ce n'est pas moi mais Gérard Berry, professeur au collège de France, qui le dit et l'explique depuis longtemps :
"Fondamentalement, l’ordinateur et l’homme sont les deux opposés les plus intégraux qui existent. L’homme est lent, peu rigoureux et très intuitif. L’ordinateur est super rapide, très rigoureux et complètement con."
On avait donc de forts soupçons concernant "les algorithmes". Mais comme l'on sait également que "il n'y a pas d'algorithmes, seulement la décision de quelqu'un d'autre", nous voilà ramenés à la possibilité non nulle d'envisager l'autre comme un con, ou de postuler et c'est mon hypothèse de travail suivant le texte fondateur de Lessig, "Code Is Law", que les déterminismes sociaux, culturels, religieux, économiques, politiques de celles et ceux (mais surtout ceux) qui développent "les algorithmes" permettent d'éclairer la manière dont leurs décisions algorithmiques sont opaques et parfois dangereuses.
Pour le dire trivialement, les algorithmes sont donc toujours au moins aussi cons que celles et ceux qui les développent et les déploient (ou de celles et ceux qui leur ordonnent de le faire), dans un rapport qui tient bien davantage de la causalité que de la corrélation.
J'ajoute que l'autre question déterminante des données (Big Data), des jeux de données et des modèles de langage désormais "trop gros" vient encore rendre plus tangible l'hypothèse d'algorithmes produisant des effets sidérants tant ils finissent par être totalement cons ou dangereux.
Et miser sur l'intelligence artificielle pour corriger les biais algorithmiques est à peu près aussi pertinent que de miser sur la capacité d'empathie d'Eric Zemmour pour atténuer les dérives xénophobes de la société.
"l’IA n’est ni intelligente ni artificielle. Elle n’est qu’une industrie du calcul intensive et extractive qui sert les intérêts dominants. Une technologie de pouvoir qui « à la fois reflète et produit les relations sociales et la compréhension du monde. »" Kate Crawford in "Atlas de l'IA" (lu par l'indispensable Hubert Guillaud).
Résumons un peu. Google nous rend cupides. Les algorithmes nous brutalisent (en tout cas les plus faibles ou les plus exposés ou les plus jeunes d'entre nous). On rêverait qu'ils se contentent d'être essentiellement bêtes mais ils sont le plus souvent ontologiquement cons.
J'en viens maintenant à l'actualité qui a suscité l'envie de rédiger cet article (il est temps ...) ainsi qu'à ma dernière question.
4. Facebook nous prend-il pour des cons ?
Prenons donc la plateforme technologique aujourd'hui centrale dans l'ensemble de nos usages connectés (au travers de tout son écosystème de services : Facebook, WhatsApp, Instagram, Messenger notamment). Plateforme à qui l'on adresse, souvent d'ailleurs de bon droit, le reproche que Nicholas Carr adressait jadis à Google, celui de nous rendre idiots. Plateforme qui n'est pas non plus étrangères à l'émergence de formes inédites de brutalité, aussi bien dans la dimension interpersonnelle (harcèlement, stalking ...) qu'à l'échelle politique (élections) et géo-stratégique (dans l'invasion de l'Ukraine mais aussi dans le génocide des Rohingyas). Et plateforme qui assume comme projet de devenir une "infrastructure sociale" planétaire.
Pendant plus de 6 mois, depuis le mois d'Octobre 2021, "l'algorithme" de Facebook n'a pas "déclassé" (downranking) et diminué les vues et l'audience de publications contenant des fausses informations identifiées, y compris lorsque leurs auteurs étaient récidivistes, mais il a tout au contraire augmenté leur nombre de vues d'au moins 30%. Les ingénieurs qui ont repéré cela parlent d'une "défaillance massive du classement" qui aurait exposé "jusqu'à la moitié de toutes les vues du fil d'actualité à des "risques d'intégrité" potentiels au cours des six derniers mois". L'article de The Verge qui s'est procuré le rapport d'incident interne est accablant et alarmant.
"Les ingénieurs ont remarqué le problème pour la première fois en octobre dernier, lorsqu'une vague soudaine de fausses informations a commencé à affluer dans le fil d'actualité (...). Au lieu de supprimer les messages des auteurs de désinformation récidivistes qui avaient été examinés par le réseau de vérificateurs de faits externes de l'entreprise, le fil d'actualité distribuait plutôt les messages, augmentant les vues de 30 % au niveau mondial. Incapables de trouver la cause profonde de ce problème, les ingénieurs ont vu la hausse s'atténuer quelques semaines plus tard, puis se reproduire à plusieurs reprises jusqu'à ce que le problème de classement soit résolu le 11 mars."
L'élection présidentielle en France a eu lieu ce dimanche avec les scores que l'on connaît. Depuis plus d'un mois une guerre se déroule en Ukraine. Partout dans le monde des échéances politiques, climatiques et géo-stratégiques majeures s'annoncent. Et pendant les 6 derniers mois un "bug" de la plateforme aux presque 3 milliards d'utilisateurs a surexposé d'au moins 30% des contenus de désinformation pourtant identifiés comme tels au lieu de parvenir à les déclasser. C'est tout à fait vertigineux.
Une "défaillance massive du classement". Une défaillance pendant plus de 6 mois observée, constatée, documentée (à l'interne uniquement) mais une défaillance ... incorrigible. Il semble que nous en soyons très exactement au point que décrivait Frederick Pohl lorsqu'il expliquait que "une bonne histoire de science-fiction doit pouvoir prédire l’embouteillage et non l’automobile." Mais il ne s'agit plus de science-fiction.
"Défaillance massive du classement". Il faut imaginer ce que cette "défaillance massive du classement" pourrait donner si elle advenait dans un moteur de recherche, dans un système de tri des patients à l'hôpital, dans un système d'admission post-baccalauréat régulant l'entrée dans les études supérieures de l'ensemble d'une classe d'âge. La question est vertigineuse convenez-en. Comme sont vertigineuses ces autres questions à ce jour sans réponses :
- qui (ou qu'est-ce qui) est à l'origine de cette "défaillance massive du classement" ?
- pourquoi cette "défaillance massive du classement" a-t-elle été observée sans être rendue publique pendant 6 mois ?
- comment (et par qui et par quels moyens) cette "défaillance massive du classement" a-t-elle été finalement corrigée (et comment être sûrs qu'elle l'a bien été) ?
Pour rappel Bostrom et Yudowsky (deux théoriciens de l'intelligence artificielle), expliquaient en 2011 dans leur article "The Ethics of Artificial Intelligence" :
"Les algorithmes de plus en plus complexes de prise de décision sont à la fois souhaitables et inévitables, tant qu'ils restent transparents à l'inspection, prévisibles pour ceux qu'ils gouvernent, et robustes contre toute manipulation." ("increasingly complex decision-making algorithms are both inevitable and desirable – so long as they remain transparent to inspection, predictable to those they govern, and robust against manipulation")
Concernant Facebook mais également d'autres champs sociaux à forte couverture algorithmique, j'ai l'impression que depuis que ces constats sont faits, on s'éloigne chaque fois davantage de ces trois objectifs de transparence, de prévisibilité, et de robustesse.
La question n'est pas celle, longtemps fantasmée et documentée dans divers récits de S-F d'une "intelligence artificielle" qui accèderait à la conscience ou prendrait le contrôle de nos destinées ; mais la question, plus triviale et plus banalement tragique aussi, d'un système technique totalement saturé de données et suffisamment massif dans l'ensemble de son architecture technique, de ses flux et de ses volumétries (nombres d'utilisateurs, de contenus, d'interactions) pour ne plus pouvoir répondre à aucune autre sollicitation ou supervision rationnelle que celle d'une stochastique de l'emballement intrinsèque.
Un système devenu totalement con. Banalement con. Tragiquement con. Un con système consistant.
A moins bien sûr, l'hypothèse n'est pas à exclure totalement, que Facebook ne nous prenne pour des cons. Elle n'est d'ailleurs ni à exclure, ni incompatible avec la précédente.
Too Big To Fail (Economically). Too Fat To Succeed (Ethically).
Quand la Chine nous réveillera ?
"Hahaha", "lol", "xptdr" me direz-vous. Car oui la Chine c'est "the great firewall", c'est aussi le crédit social, bref ce n'est pas vraiment un parangon d'émancipation algorithmique. Peu de chances donc que la lumière vienne de là. Et pourtant ... et pourtant la nouvelle qui suit n'en est que plus ... étonnante. D'abord quelques rappels.
A commencer par la dimension éminemment prévisible de nos comportements sociaux, qui rend d'autant plus forts et plus efficaces les déterminismes algorithmiques qui viennent l'instrumentaliser. Il y a déjà longtemps de cela, je vous avais proposé le néologisme de "dysalgorithmie" pour désigner un "trouble de résistance algorithmique où le sujet fait preuve d'un comportement ou d'opinions non-calculables".
Pour éviter que les moteurs de recherche ne nous rendent idiots, pour éviter que les algorithmes ne nous brutalisent, pour comprendre pourquoi les algorithmes sont complètement cons et pour éviter queFacebook (ou d'autres) ne continuent de nous prendre pour des cons, il n'est qu'un seul moyen : la transparence algorithmique (pour laquelle je plaide depuis ... très longtemps) :
"Grâce à leurs CGU (et leurs algorithmes), Facebook, Twitter, Google ou Apple ont édicté un nouvel ordre documentaire du monde qu’ils sont seuls à maîtriser dans la plus complète opacité. Il est vain de réclamer la dissolution de Google ou d’un autre acteur majeur comme il est vain d’espérer un jour voir ces acteurs «ouvrir» complètement leurs algorithmes. Mais il devient essentiel d’inscrire enfin clairement, dans l’agenda politique, la question du rendu public de fonctionnements algorithmiques directement assimilables à des formes classiques d’éditorialisation. Or après que les algorithmes se sont rendus maîtres de l’essentiel du «rendu public» de nos productions documentaires, les plateformes sont en train de reléguer dans d’obscures alcôves l’autre processus de rendu public démocratique : celui de la délibération sur ce qui a légitimité - ou non - à s’inscrire dans l’espace public. Il ne sera pas éternellement possible de s’abriter derrière le fait que ces plateformes ne sont précisément ni des espaces réellement publics ni des espaces entièrement privés. A l’ordre documentaire qu’elles ont institué, elles ajoutent lentement mais sûrement un «ordre moral réglementaire» sur lequel il nous sera très difficile de revenir si nous n’en débattons pas dès maintenant."
La transparence donc, mais aussi (et peut-être surtout aujourd'hui) la redevabilité :
"Ce devoir [de rendre des comptes] inclut deux composantes : le respect de règles, notamment juridiques ou éthiques, d’une part ; la nécessité de rendre intelligible la logique sous-jacente au traitement, d’autre part. Il se décline de différentes manières selon les publics visés. Pour le citoyen sans compétence technique particulière, il peut s’agir de comprendre les critères déterminants qui ont conduit à un résultat qui le concerne (classement d’information, recommandation, envoi de publicité ciblée, etc.) ou la justification d’une décision particulière (affectation dans une université, refus de prêt, etc.). Un expert pourra être intéressé par des mesures plus globales, comme des explications sous forme d’arbres de décision ou d’autres représentations graphiques mettant en lumière les données prises en compte par l’algorithme et leur influence sur les résultats. Un organisme de certification peut se voir confier une mission de vérification qu’un algorithme satisfait certains critères de qualité (non-discrimination, correction, etc.), sans pour autant que celui-ci ne soit rendu public."
En France, cette "transparence" concerne seulement et hélas encore bien imparfaitement les algorithmes publics et a été intégrée dans la loi pour une République numérique (loi Lemaire) de 2016 adoptée en 2017.
"Ce principe de transparence des algorithmes publics (...) selon laquelle « toute décision individuelle prise sur le fondement d'un traitement algorithmique » doit comporter une « mention explicite » pour en informer le public. La loi dit alors que les règles définissant ce traitement ainsi que les principales caractéristiques de sa mise en œuvre doivent également être communiquées par l'administration à l'intéressé s'il en fait la demande. Plus précisément, l'administration doit être en mesure de communiquer quatre informations : dans un premier temps, « le degré et le mode de contribution du traitement algorithmique à la prise de décision » ; ensuite les « données traitées et leurs sources » ainsi que « les paramètres de traitement et, le cas échéant, leur pondération, appliqués à la situation de l'intéressé », et enfin « les opérations effectuées par le traitement »."
De plus cette loi déjà très imparfaite (même si elle marque nonobstant une avancée majeure) comporte un certain nombre de limitations et des freins intrinsèques ("seules les décisions à 100 % automatisées seront en mesure d'être contestées et considérées le cas échéant comme nulles, si l'administration est en incapacité de documenter l'algorithme utilisé" via ZDnet) mais également ... structurels :
"les obligations de transparence issues de la loi Numérique demeurent largement ignorées des acteurs publics, et témoigne au passage d'une insuffisance parfois notoire des moyens humains et financiers pour mener à bien cette charge supplémentaire pour les administrations. D'autant plus que les interlocuteurs interrogés dans le cadre du rapport ont « mis en avant des définitions très variées de ce qui constituait un algorithme » qui mériteraient d'être harmonisées." (toujours via ZDnet)
La problème de la transparence comme de la redevabilité, même en se limitant aux algorithmes publics, c'est qu'un "algorithme" est un fait calculatoire et décisionnel qui ne peut être isolé de faits sociaux qui en déterminent les causes et les effets. Un algorithme est développé par des gens, qui obéissent à d'autres gens, et qui sont tous pris dans des déterminismes et des contraintes économiques, professionnelles, politiques, sociales, etc. Penser que l'ouverture et et la redevabilité des algorithmes suffira à régler l'ensemble des problèmes qu'ils posent n'a pas davantage de sens que penser que l'étiquetage des denrées alimentaires résoudra les problèmes de malbouffe, d'obésité et de surproduction agricole.
Mais il faut bien commencer par quelque chose. Et comme nous sommes encore très très loin (même pour les algorithmes publics) de la transparence et de la redevabilité, alors continuons de militer et d'agir pour que ces notions soient mises en place et surtout pour qu'elles le soient avec les moyens nécessaires.
Et maintenant la Chine. Oui. La Chine. La Chine dispose d'une sorte de grand ministère de l'administration du cyberespace, le CAC (Cyberspace Administration of China), qui jouit à la fois de pouvoirs de régulation et de censure. Le 27 Août 2021, ce CAC a publié sous forme d'appel à commentaires (sic) une série de trente "Dispositions relatives à l'administration des recommandations d'algorithmes pour les services d'information sur Internet."
Ces dispositions s'adressent à l'ensemble des acteurs, publics comme privés, mais surtout privés (on est en Chine, donc les acteurs publics sont ... déjà suffisamment "régulés" ...). Comme cela fut souligné à l'époque par un certain nombre d'analystes :
"Ces lignes directrices s'inscrivent dans le cadre d'une répression plus large à l'encontre des grandes entreprises technologiques chinoises et devraient toucher particulièrement des sociétés telles qu'Alibaba Group, Didi Global et ByteDance, propriétaire de TikTok, qui utilisent de tels algorithmes pour prédire les préférences des utilisateurs et faire des recommandations, et qui faisaient déjà l'objet d'un examen minutieux de la part des autorités de l'État chinois sur diverses questions."
Définitivement publiées et entrées en vigueur depuis le mois de Janvier 2022 et disponible en ligne sur le site de la CAC :
"Ces règles devraient permettre de préserver la sécurité nationale et les intérêts publics sociaux, de protéger les droits et intérêts légitimes des citoyens et de promouvoir le développement sain des services d'information sur Internet.
Le règlement exige des fournisseurs de services de recommandation d'algorithmes qu'ils respectent les droits des utilisateurs, y compris le droit de connaître l'algorithme, qui exige des fournisseurs qu'ils rendent publics les principes de base, les objectifs et les mécanismes de fonctionnement des algorithmes. Le règlement recommande également que les utilisateurs aient le droit de choisir des options qui ne sont pas spécifiques à leurs caractéristiques personnelles et de désactiver le service de recommandation de l'algorithme."
On pourra également trouver une traduction anglaise appropriée de ces 35 règles prenant effet au 1er Mars 2022. Dont voici quelques extraits (traduits de l'anglais via DeepL) :
"Article 4 : La fourniture de services de recommandation algorithmique doit se conformer aux lois et règlements, observer la morale et l'éthique sociales, respecter l'éthique commerciale et l'éthique professionnelle, et respecter les principes d'équité et de justice, d'ouverture et de transparence, de science et de raison, de sincérité et de fiabilité.
Article 5 : Les organisations sectorielles concernées sont encouragées à renforcer l'autodiscipline sectorielle, à établir et à compléter les normes sectorielles, les normes sectorielles et les structures de gestion de l'autodiscipline, à superviser et à guider les fournisseurs de services de recommandation algorithmique dans la formulation et le perfectionnement des normes de service, la fourniture de services conformément à la loi et l'acceptation de la supervision sociale.
Article 6 (mon préféré ;-) : Les fournisseurs de services de recommandation algorithmique doivent respecter les orientations de valeur générales, optimiser les mécanismes de services de recommandation algorithmique, diffuser vigoureusement une énergie positive et faire progresser l'utilisation des algorithmes vers le haut et dans le sens du bien (sic).
Article 8 : Les fournisseurs de services de recommandation algorithmique doivent régulièrement examiner, vérifier, évaluer et contrôler les mécanismes algorithmiques, les modèles, les données et les résultats des applications, etc., et ne peuvent pas mettre en place des modèles algorithmiques qui violent les lois et règlements ou l'éthique et la morale, par exemple en conduisant les utilisateurs à la dépendance ou à la consommation excessive.
Article 10 : Les fournisseurs de services de recommandation algorithmique doivent renforcer la gestion des modèles d'utilisateur et des balises d'utilisateur et perfectionner les normes d'enregistrement des intérêts dans les modèles d'utilisateur et les normes de gestion des balises d'utilisateur. Ils ne peuvent pas saisir d'informations illégales ou nuisibles en tant que mots-clés dans les intérêts des utilisateurs ou les transformer en balises d'utilisateur afin de les utiliser comme base pour recommander des contenus d'information.
Article 12 : Les fournisseurs de services de recommandation algorithmique sont encouragés à utiliser de manière exhaustive des tactiques telles que la dé-pondération du contenu, les interventions sur la diffusion ("scattering interventions"), etc., et à optimiser la transparence et la compréhensibilité de la recherche, du classement, de la sélection, des notifications push, de l'affichage et d'autres normes de ce type, afin d'éviter de créer une influence néfaste sur les utilisateurs, et de prévenir ou de réduire les controverses ou les litiges.
Article 13 : Lorsque les prestataires de services de recommandation algorithmique fournissent des services d'information sur Internet, ils doivent obtenir un permis de service d'information sur Internet conformément à la loi et normaliser leur déploiement de services de collecte, d'édition et de diffusion d'informations sur Internet, de services de partage et de services de plateforme de diffusion. Ils ne peuvent pas générer ou synthétiser de fausses informations, et ne peuvent pas diffuser des informations non publiées par des unités de travail dans le cadre déterminé par l'État. (ah bah oui on est en Chine hein, donc une "fake news" en Chine c'est une information dont la source n'est pas le parti communiste chinois ;-)
Mais la partie la plus intéressante c'est probablement le "Chapitre 3" qui concerne la "protection des droits des utilisateurs".
Article 16 : Les fournisseurs de services de recommandation algorithmique doivent informer les utilisateurs de manière claire sur la situation des services de recommandation algorithmique qu'ils fournissent, et publier de manière appropriée les principes de base, les objectifs et les motifs, les principaux mécanismes opérationnels, etc. des services de recommandation algorithmique.
On est ici sur une sorte de RGPD étendu au-delà des données elles-mêmes.
Article 17 : Les fournisseurs de services de recommandation algorithmique doivent offrir aux utilisateurs le choix de ne pas cibler leurs caractéristiques individuelles, ou offrir aux utilisateurs une option pratique pour désactiver les services de recommandation algorithmique. Lorsque les utilisateurs choisissent de désactiver les services de recommandation algorithmique, le fournisseur de services de recommandation algorithmique doit immédiatement cesser de fournir les services correspondants. Les fournisseurs de services de recommandation algorithmique offrent aux utilisateurs des fonctions leur permettant de choisir ou de supprimer les balises d'utilisateur utilisées pour les services de recommandation algorithmique visant leurs caractéristiques personnelles. Lorsque les fournisseurs de services de recommandation algorithmique utilisent des algorithmes d'une manière qui crée une influence majeure sur les droits et les intérêts des utilisateurs, ils doivent fournir une explication et assumer la responsabilité correspondante conformément à la loi.
J'arrête ici la reprise de cet inventaire et vous renvoie à la traduction anglaise exhaustive originale effectuée par le groupe DigiChina de l'université de Stanford.
Alors certes, cette loi est "sans précédent". Mais l'idée d'une régulation forte, "à la Chinoise", portant sur le contrôle des acteurs privés d'un internet pourtant déjà plus que nulle part ailleurs sous contrôle ou sous surveillance de l'état et du parti communiste chinois, et qui cible spécifiquement les questions dites des algorithmes "de recommandation", doit nous amener à réfléchir.
Projet "Signs of the Times" des artistes Scott Kelly et Ben Polkinghorne.
Réfléchir autour de ces questions "d'algorithmes de recommandation" qui pour nous, occidentaux, constituent factuellement une opportunité marchande non seulement acceptée mais également présentée comme non-régulable ou non-négociable (sauf cas particuliers d'incitation à la haine), et qui, pour le gouvernement chinois, sont identifiés comme un risque majeur sur deux plans : celui d'une ingérence toujours possible d'acteurs privés dans l'accès et le contrôle de l'information, et celui d'une "rééducation" de la population qu'il s'agit de maintenir à distance d'une certaine forme de technologie présentée comme "addictive" et dangereuse par le régime en place.
Le paradoxe en résumé est le suivant : c'est l'état le plus autoritaire et le moins démocratique qui propose une feuille de route "intéressante" et en tout cas fortement contraignante pour parvenir à réglementer, à rendre publics et à désactiver les algorithmes de recommandation que les états les plus démocratiques et les plus libéraux sont incapables (ou refusent) de mettre en oeuvre. La Chine le fait dans une logique de contrôle total sur l'accès à l'information et sur l'environnement cognitif de son peuple ; les états démocratiques et libéraux occidentaux refusent ou sont incapables de le faire au prétexte de ne pas s'immiscer dans la gestion de l'accès (dérégulé) à l'information et de ne pas se voir accusés d'ingérence ou d'influence dans l'environnement cognitif de leurs populations.
Ce paradoxe, à vrai dire n'est en pas un. Les états autoritaires ou totalitaires ont toujours été de bien meilleurs "régulateurs" que les états libéraux. "Et alors ?" me direz-vous. Et alors l'enseignement de tout cela, c'est qu'en Chine comme en France, aux Etats-Unis comme en Russie, bien plus qu'une décision, bien plus qu'une itération, un algorithme (de recommandation ou d'autre chose) est au moins autant un fait social qu'un artefact technique calculatoire. Et qu'il ne peut être compris, régulé, rendu "transparent à l'inspection, prévisible pour ceux qu'ils gouvernent, et robuste contre toute manipulation" qu'au regard du régime politique dans lequel et pour lequel il est déployé et dans lequel il peut aussi être dévoyé.
Quand j'écris qu'un algorithme est un fait social, j'entends l'expression au sens ou Durkheim la définit :
"toute manière de faire, fixée ou non, susceptible d'exercer sur l'individu une contrainte extérieure; ou bien encore, qui est générale dans l'étendue d'une société donnée tout en ayant une existence propre, indépendante de ses diverses manifestations au niveau individuel." (Les règles de la méthode sociologique)
Et je pourrais même ajouter que les plateformes qui à la fois "portent" mais aussi "se résument" aux algorithmes qui les traversent sont, chacune, un fait social total au sens où Marcel Mauss le définit :
"c’est-à-dire qu’ils mettent en branle dans certains cas la totalité de la société et de ses institutions (potlatch, clans affrontés, tribus se visitant, etc.) et dans d’autres cas seulement un très grand nombre d’institutions, en particulier lorsque ces échanges et ces contrats concernent plutôt des individus."
Kate Crawford écrivait de l'IA qu'elle était fondamentalement "une industrie du calcul intensive et extractive qui sert les intérêts dominants." Les algorithmes ne sont pas autre chose. Si la Chine décide de réguler fortement et drastiquement les algorithmes (privés) de recommandation c'est parce qu'elle y voit une concurrence dans ses intérêts dominants qui sont ceux d'être en capacité de discipliner les corps dans l'espace social (numérique ou non). A l'inverse, si les états occidentaux avancent si peu et si mal dans la régulation de ces mêmes algorithmes de recommandation c'est parce que laisser les plateformes qui les portent et les déploient intervenir en concurrence des états est, du point de vue de ces mêmes états, un projet politique parfaitement cohérent et qui sert les desseins du libéralisme, c'est à dire d'une diminution de la part de l'état dans la puissance publique et le fait de faire de l'individu isolé, le seul standard et le seul idéal.