•  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

Racistes, les algorithmes?

Les algorithmes opèrent un ensemble de calculs informatiques.

Les algorithmes opèrent un ensemble de calculs informatiques.

Photo : iStock

Martin Lessard
Prenez note que cet article publié en 2016 pourrait contenir des informations qui ne sont plus à jour.

Il existe des programmes « d'aide à la décision » pour guider les juges américains lorsque ceux-ci ont à donner aux petits criminels soit une remise en liberté sous caution, soit une condamnation. Selon les antécédents judiciaires du prévenu, le programme détermine quelle est la probabilité qu'il commette (ou non) un autre acte criminel. Le tout est basé sur des calculs savants et des données statistiques sur tous les criminels de la région et du pays. Malheureusement, le programme perpétue les biais humains, sous couvert de « neutralité algorithmique »...

Il y a quelques mois, les journalistes de Pro Republica ont passé au crible les résultats du logiciel Compas, de la société Northpointe, très utilisé par les juges américains.

Ils ont comparé l'indice de risque de 7000 personnes arrêtées dans un comté de la Floride en 2013 et en 2014, et ont analysé combien d'entre eux ont été de nouveau arrêtés pour crimes violents dans les deux années suivantes.

Résultat accablant

Seulement 20 % des gens qui étaient « à haut risque de commettre un crime violent » ont réellement commis un nouveau crime.

Plus troublant encore, selon l'étude, les Afro-Américains se voyaient attribuer deux fois plus souvent que les Blancs un risque de récidive moyen ou élevé.

En effet, le programme :

  • surévaluait largement le risque de récidive des Noirs
  • sous-estimait le risque de récidive des Blancs

Ces résultats montrent que les algorithmes ne sont pas « neutres ». Ils reflètent les biais des concepteurs et ceux contenus dans les données de base.

Ces algorithmes qui discriminent

On soupçonne que des algorithmes publicitaires opèrent une discrimination pour éviter que des messages concernant des logements à louer ou des emplois soient vus par certaines catégories de personnes (les minorités visibles et les femmes).

Une étude de l'Université Carnegie Mellon a montré l'an passé que ces pratiques sont répandues aux États-Unis.

Comment un Noir peut-il changer de quartier s'il ne sait pas qu'un logement est libre dans un meilleur quartier? Comment une femme peut-elle décrocher un emploi mieux rémunéré si elle ne sait pas qu'un poste existe?

Les données sont ainsi faussées dès le départ. Quand ces statistiques sont ensuite traitées par les algorithmes, les données viennent corroborer les à prioris de départ. Les Noirs vivent dans les quartiers à ne pas fréquenter et les femmes sont peu qualifiées, car elles occupent toujours dans des emplois moins bien payés.

Ce printemps, Amazon a été pointé du doigt pour ne pas avoir offert de service de livraison rapide dans les quartiers occupés principalement par des Afro-Américains.

Les données viennent renforcer les biais, car elles reflètent déjà comment la société est divisée.

Rendre transparents les algorithmes

Malheureusement, il est très difficile de prouver que ces discriminations sont pratiquées sans accéder au code de l'algorithme lui-même.

Des chercheurs veulent créer de faux comptes en ligne pour recueillir des statistiques afin de prouver (ou d'infirmer) si, en effet, les algorithmes publicitaires peuvent être racistes.

Avec la montée des algorithmes dans nos vies, nous sommes de plus en plus confrontés à ce type de discrimination basée sur nos caractéristiques sociodémographiques.

C'est une chose de ne pas se faire présenter des publicités de jupes quand on est un homme, mais ça en est une autre que de ne pas voir des offres d'emplois parce que, selon les algorithmes, on vous soupçonne de ne pas avoir la « bonne » couleur de peau.

Les biais ne sont pas systématiquement introduits de mauvaise foi dans les programmes, mais les programmeurs doivent reconnaître que les algorithmes qu'ils programment reflètent des choix et des à prioris sur la façon de découper le monde, de sélectionner les données et d'assembler les résultats.

Pourtant, pour le grand public, ces algorithmes viennent avec une aura de neutralité qui donne l'impression qu'aucune trace de subjectivité ne subsiste. On idéalise ces algorithmes en pensant qu'ils sont moins subjectifs que leurs créateurs.

Fred Benenson, de Kickstarter, propose l'expression « mathwashing » pour décrire l'impression qui nous est donnée que le travail de la machine rend les résultats neutres.

Il est temps de cesser de se faire des illusions et de traiter ces programmes pour ce qu'ils sont : des produits d'humains faillibles.

Vos commentaires

Veuillez noter que Radio-Canada ne cautionne pas les opinions exprimées. Vos commentaires seront modérés, et publiés s’ils respectent la nétiquette. Bonne discussion !