Cycle numérique | Le grand jeu des biais : 3 questions à Peggy Pierrot
PointCulture : Que signifie l’expression « boite noire » rapportée au calcul algorithmique ? Par quel mécanisme un déficit de données peut-il générer autant d’erreurs que des données biaisées ?
Peggy Pierrot : Une boite noire, c’est un système social ou technique dont les mécanismes de fonctionnement sont inaccessibles, dont le système est verrouillé de façon à ce qu’il soit difficile d’y accéder pour comprendre ce qu’il fait, comment, et ce sur quoi il agit. Je préfère d’ailleurs parler de boite opaque car l’expression met l’accent sur le caractère intentionnel de la dissimulation des modalités de fonctionnement d’un système.
« — Les algorithmes sont des suites de séquences d’opération, comme par exemple les suites de mouvements pour résoudre un Rubik’s cube. — »
Peggy Pierrot, portrait en ASCII
On associe l’expression boite noire et algorithmes quand on parle de systèmes cumulant tellement de suites de séquences d’opérations cachées et inexpliquées, que l’on n’est humainement plus à même de comprendre ce que font ces suites, quelles données elles manipulent, à quelles fins.
La plupart des algorithmes ne nous intéressent pas vraiment. Par exemple, c’est un algorithme qui va décider combien de mémoire vive il faut libérer pour que votre ordinateur puisse exécuter le programme informatique que vous souhaitez utiliser. Peu de gens s’intéressent au fonctionnement d’une telle série algorithmique, tant que tout fonctionne, tout au moins. Les systèmes d’exploitation de nos ordinateurs et de nos ordiphones sont pleins de ces algorithmes qui sont le plus souvent opaques, sauf peut-être dans les logiciels libres, si on s’y attelle sérieusement en allant regarder ce qu’ils font et comment. Lorsque l’on utilise la ligne de commande, c’est un peu différent : l’algorithme de base d’un shell est assez transparent et consiste en quelques étapes identifiables.
Là où la question des algorithmes commence à nous intéresser collectivement beaucoup plus, c’est quand nous percevons les effets de ces opérations informatiques, notamment sur nos données personnelles. Par exemple, l’algorithme qui va déterminer si un prêt vous est accordé ou non, cela nous intéresse, même si nous n’avons pas accès à sa boite opaque, c’est-à-dire que nous ne savons pas grand-chose des critères internes retenus par les banques pour nous accorder ou non de l’argent, ou n’avons aucune idée des calculs qui sont effectués pour savoir si nous sommes susceptibles de rembourser un prêt ou non.
Depuis quelques années, lorsque l’on parle d’algorithmes, on parle surtout des suites de séquences opaques liées au traitement massif de données personnelles.
- Dans « Algorithmes, la bombe à retardement », un essai rédigé par la mathématicienne américaine Cathy O’Neil, on peut lire ceci : « Les processus reposant sur le Big Data n’inventent pas le futur, ils codifient le passé. Il faut pour cela une imagination morale que les humains sont seuls en capacité de fournir. Nous devons expressément intégrer à nos algorithmes de meilleures valeurs, en créant pour le Big Data des modèles conformes à nos visées éthiques. »
Toujours selon cette essayiste, une manière de réguler les modèles serait, en amont, de s’assurer de la probité des modélisateurs, par exemple en imposant un code de déontologie. Et, en aval, d’auditer les algorithmes pour contrôler les résultats. Dans ces solutions proposées, on comprend que l’intervention humaine doit rester centrale. En retour, certains n’hésitent pas à brandir, comme argument en faveur du calcul algorithmique, que par les phénomènes d’accentuation qu’il provoque, il joue le rôle d’un révélateur, mettant au jour des discriminations déjà effectives dans l’espace social. Au final, n’y a-t-il pas une erreur grossière à opposer l’un à l’autre, calcul algorithmique vs gouvernement humain, un antagonisme de façade qui servirait à dissimuler quels mêmes intérêts sont véritablement à l’œuvre derrière l’un et l’autre ?
- Alors sur la première partie de la question, je suis assez d’accord. Les algorithmes codifient le passé et ils révèlent les systèmes sociaux qui conditionnent leur production. Quant à la suite de votre question et concernant les remarques de Cathy O’Neil, je suis plus mesurée. Je pense qu’il ne s’agit pas de croire à des instances de régulation, qui, on le voit dans d’autres domaines, sont toujours en retard par rapport aux industries qu’elles sont censées réguler. Les instances de régulation sont toujours les dernières roues du carrosse en termes d’allocation de moyens mais aussi de capacité d’influencer, que ce soit à un niveau industriel ou politique . En ce qui concerne nos boites opaques algorithmiques, ce dont on va discuter la semaine prochaine tourne autour, disons, de la naïveté scientiste qui sous-tend tout le discours sur les algorithmes à grande échelle. Les algorithmes traitant le big data, ou agissant derrière le design émotionnel des interfaces, devraient être meilleurs que nous. Pourtant, dans le processus de leur production, tout montre que leur objectif n’est pas l’amélioration de nos capacités, mais c’est de les renforcer, ou de les utiliser en l’état, ou de les exploiter. C’est pour ça que j’ai donné ce titre à mon intervention, Le Grand jeu des biais.
« — Les biais algorithmiques font partie d’un écosystème socio-économico-technique biaisé, qui se nourrit de nos propres biais cognitifs, de nos préjugés sociaux, à des fins mercantiles. Et malgré les mobilisations et les dénonciations, il faut reconnaître qu’on ne leur demande rien d’autre au final. — »
C’est le cas par exemple des algorithmes qui servent à conseiller les avocats de la défense aux États-Unis : leur but n’est pas de mieux assurer la défense de leurs clients de manière absolue dans un monde de justice « juste » qui n’existe pas, mais d’analyser massivement la jurisprudence, à savoir les cas déjà jugés, pour que l’angle de plaidoirie permette à l’accusé d’obtenir la durée de peine la moins lourde.
- Quand on sait que la discrimination algorithmique est en grande partie un problème systémique et a priori non-intentionnel, sur quoi faut-il agir pour réinsuffler de l’équité dans le processus ?
Là encore, je ne dirais pas que la discrimination algorithmique est à priori non intentionnelle. Il s’agit de comprendre qu’il n’y a pas que le code d’analyse qui pose problème, il y a aussi les données de référence, leur construction. Difficile, par exemple dans le cas de la reconnaissance faciale, de ne pas évoquer les conditions de travail qui permettent de produire les bases de données de référence, comme l’a montré Nicolas Malevé. Alors, que faire ? Est-ce que réinsuffler de l’équité est une démarche suffisante ? Je crois que ces démarches sont des cautères sur des jambes de bois. On verra comment les démarches, notamment identitaires, vis-à-vis des moteurs de recherche ne touchent que la surface du problème.
« — Les résultats des moteurs de recherche peuvent être choquants parce que nos représentations et nos recherches le sont. — »
Pour un problème qui affleure et semble se régler à grands coups de mea culpa des acteurs du secteur, le fond, n’est en fait pas remis en cause du tout. Prenons par exemple le marketing ethnique sur facebook. Il pose beaucoup de problèmes éthiques et politiques, mais n’est pas vraiment vu comme un problème puisqu’il permet de cibler des clientèles potentielles pour des sociétés qui paient des publicitaires et des équipes diversité justement pour pouvoir atteindre des groupes sociaux particuliers. Il n’y a probablement pas une solution mais des solutions, tant au niveau individuel que collectif, tant nos libertés et nos attentions sont attaquées de toutes parts.
Peggy Pierrot est activiste, journaliste et développeuse. Elle enseigne la théorie des médias et de la communication à l’Erg. Elle a travaillé sur les liens entre racisme et production d'algorithmes, et, plus récemment, analyse l’utilisation des biais cognitifs dans les interfaces numériques.