Une nouvelle plateforme pour contrer les erreurs et la discrimination de l’IA

On a notamment pu voir un robot conversationnel médical français suggérer que quelqu'un se suicide, un compte Twitter géré par un robot de Microsoft relayer une théorie du complot sur le 11 Septembre, et un outil de recrutement d'Amazon déclasser les CV dont les références étaient des femmes.

Karthik Ramakrishnan est toutefois convaincu que ces dérives peuvent être atténuées et que de nombreux problèmes liés à l'IA, une technologie qui s'appuie sur des machines qui apprennent à partir de données, peuvent être évités.

C'est pourquoi il a cofondé, avec Dan Adamson et Rahm Hafiz, la société Armilla AI, lancée jeudi avec un investissement de 1,5 million de dollars, dont celui du parrain de l'intelligence artificielle Yoshua Bengio et du fonds Two Small Fish Ventures, géré par Alan et Eva Lau de Wattpad.

Yoshua Bengio, directeur scientifique de Mila et professeur au Département d’informatique à l’Université de Montréal

Photo : Radio-Canada

Un outil pour détecter les IA défectueuses

Armilla est à l'origine d'une nouvelle plateforme d'assurance qualité qui analyse les systèmes pour détecter si une IA est défectueuse et prédire ses conséquences avant que des problèmes ne surviennent.

Aucun système n'est parfait, mais notre objectif est de les rendre aussi parfaits que possible, a expliqué M. Ramakrishnan, chef des affaires commerciales d'Armilla.

La plateforme d'Armilla explore les systèmes créés par la clientèle, les données qui ont entraîné leur logiciel, ainsi que leur modélisation et leurs résultats pour effectuer environ 50 tests pour repérer des problèmes de conformité, des préjugés liés au genre ou à l'éthique et d'autres conséquences imprévues.

Par exemple, Armilla a utilisé sa plateforme avec un ensemble de données publiques contenant des informations sur les prêts de crédit en Allemagne.

Éviter la discrimination

La banque à l'origine de la base de données ne voulait pas que son IA discrimine les nouvelles personnes immigrantes, alors elle a supprimé une ligne de données dévoilant les statuts d'immigration.

Armilla a toutefois découvert que le système était, malgré cela, discriminatoire à l'égard des personnes immigrantes, puisque la banque comprenait des informations sur le logement. Le fait d'habiter dans des appartements à locataires multiples était si fortement corrélé avec le statut d'immigration que cela causait un biais.

C'est de cette façon que les défauts se glissent dans les systèmes, pas intentionnellement, mais il y a des conséquences inattendues avec la façon dont nous gérons nos systèmes et les corrélations de second ordre que nous ne voyons pas sont le genre de choses que la plateforme d'Armilla est conçue pour déceler, a expliqué M. Ramakrishnan.

Karthik Ramakrishnan, le cofondateur de l'entreprise torontoise Armilla Al

Photo : The Canadian Press / HO

L'ensemble du processus permet de gagner du temps, selon lui, parce que même si les grandes entreprises sophistiquées ont de grandes équipes juste pour faire exécuter un nombre de scénarios croissants à leurs systèmes, ces tâches sont souvent effectuées manuellement et sporadiquement ou selon un calendrier fixe.

Le secteur bancaire fait des modèles depuis plus de 20 ans, a-t-il souligné. Mais ce processus effectué manuellement prend de six mois à un an pour un seul modèle, et une banque de taille moyenne compte environ 400 modèles et plus, et ce nombre ne cesse de croître.

Des systèmes pas aussi neutres que les données

La plateforme d'Armilla peut rapidement apprendre les sensibilités et les parties les plus risquées de n'importe quel système, afin qu'une entreprise puisse exécuter ses tests à plusieurs reprises et découvrir tout angle mort non intégré aux modèles traditionnels.

Sauf que le but n'est vraiment pas la rapidité; c'est la sécurité et l'éthique.

Ces deux éléments sont devenus des problèmes urgents en cette époque où les organisations de tous les secteurs se tournent vers la technologie, selon un rapport de de la Rotman School of Management de l'Université de Toronto, publié en septembre.

La technologie et les systèmes d'IA ne sont ni neutres ni objectifs, mais existent dans un contexte social et historique qui peut marginaliser certains groupes, notamment les femmes, les communautés racialisées et celles à faible revenu, indique le rapport.

Le document note que les systèmes basés sur l'IA sont une épée à double tranchant, puisqu'ils aident souvent, mais ne sont pas aussi neutres que les données et les algorithmes sur lesquels leur technologie est basée.

Par exemple, le document évoque une situation dans laquelle un système d'IA pour détecter les lésions cutanées cancéreuses était moins susceptible de détecter des cancers chez les personnes à la peau foncée, car il avait été développé à partir d'une base de données composée principalement de populations à la peau claire.

Armilla espère exposer ces problèmes et éviter des erreurs catastrophiques. Il y a tellement de choses qui peuvent arriver dans un système complexe, a indiqué M. Ramakrishnan. Nous voulons nous assurer que nous pouvons attraper les gros problèmes autant que possible.