211service.com
Une nouvelle recherche vise à résoudre le problème du biais de l'IA dans les algorithmes de boîte noire
Siobhan Gallagher
De la sélection des actions à l'examen des radiographies, l'intelligence artificielle est de plus en plus utilisée pour prendre des décisions qui appartenaient auparavant aux humains. Mais l'IA n'est aussi bonne que les données sur lesquelles elle est formée, et dans de nombreux cas, nous finissons par intégrer nos biais trop humains dans des algorithmes qui ont le potentiel d'avoir un impact énorme sur la vie des gens.
Dans un nouvel article publié sur l'arXiv , les chercheurs disent qu'ils ont peut-être trouvé un moyen d'atténuer le problème pour les algorithmes difficiles à examiner pour les étrangers - les systèmes dits de boîte noire.
Un domaine particulièrement troublant où les biais se manifestent est la modélisation de l'évaluation des risques, qui peut décider, par exemple, des chances d'une personne d'obtenir une caution ou d'être approuvée pour un prêt. Il est généralement illégal de prendre en compte des facteurs tels que la race dans de tels cas, mais les algorithmes peuvent apprendre à reconnaître et à exploiter le fait que le niveau d'éducation ou l'adresse du domicile d'une personne peuvent être en corrélation avec d'autres informations démographiques, ce qui peut effectivement les imprégner de préjugés raciaux et autres.
Ce qui rend ce problème encore plus délicat, c'est que bon nombre des IA utilisées pour faire ces choix sont des boîtes noires - soit elles sont trop compliquées pour être facilement comprises, soit ce sont des algorithmes propriétaires que les entreprises refusent d'expliquer. Les chercheurs ont travaillé sur des outils pour avoir un aperçu de ce qui se passe sous la capuche , mais le problème est répandu et croissant (voir Biased Algorithms Are Everywhere, and No One Semms to Care ).
Dans l'article, Sarah Tan (qui travaillait chez Microsoft à l'époque) et ses collègues ont essayé leur méthode sur deux modèles d'évaluation des risques de type boîte noire : l'un sur les risques de prêt et les taux de défaut de la société peer-to-peer LendingClub, et l'autre de Northpointe. , une entreprise qui fournit des services basés sur des algorithmes aux tribunaux du pays, prédisant le risque de récidive pour les accusés.
Les chercheurs ont utilisé une approche à deux volets pour faire la lumière sur le fonctionnement de ces algorithmes potentiellement biaisés. Tout d'abord, ils ont créé un modèle qui imite l'algorithme de la boîte noire en cours d'examen et propose un score de risque basé sur un ensemble initial de données, tout comme le feraient LendingClub et Northpointe. Ensuite, ils ont construit un deuxième modèle qu'ils ont formé sur les résultats du monde réel, en l'utilisant pour déterminer quelles variables de l'ensemble de données initial étaient importantes dans les résultats finaux.
Dans le cas de LendingClub, les chercheurs ont analysé des données sur un certain nombre de prêts arrivés à échéance de 2007 à 2011. La base de données de LendingClub contenait de nombreux champs différents, mais les chercheurs ont découvert que le modèle de prêt de l'entreprise ignorait probablement à la fois le revenu annuel du demandeur et l'objet du prêt. . Il peut être judicieux d'ignorer le revenu, car il est autodéclaré et peut être truqué. Mais l'objectif du prêt est fortement corrélé au risque - les prêts aux petites entreprises sont beaucoup plus risqués que ceux utilisés pour payer les mariages, par exemple. LendingClub semblait donc ignorer une variable importante.
Northpointe, quant à elle, affirme que son algorithme COMPAS n'inclut pas la race comme variable lors de la formulation de recommandations sur la détermination de la peine. Cependant, dans une enquête menée par ProPublica , les journalistes ont recueilli des informations raciales sur les accusés qui ont été condamnés avec l'aide de COMPAS et ont trouvé des preuves de préjugés raciaux. Dans leur modèle mimique, les chercheurs ont utilisé les données recueillies par ProPublica ainsi que des informations sur l'âge, le sexe, le degré d'accusation, le nombre de condamnations antérieures et la durée de tout séjour en prison antérieur. La méthode concordait avec les conclusions de ProPublica, suggérant que COMPAS était probablement biaisé pour certains groupes d'âge et raciaux.
Les critiques peuvent souligner que ce ne sont pas des répliques exactes - par nécessité, les chercheurs ont fait beaucoup de suppositions éclairées. Mais si l'entreprise derrière un algorithme n'est pas disposée à divulguer des informations sur le fonctionnement de son système, des modèles d'approximation comme ceux de cette recherche sont un moyen raisonnable d'obtenir des informations, déclare Brendan O'Connor, professeur adjoint à l'Université du Massachusetts. , Amherst, qui a publié un article sur les biais dans le traitement du langage naturel .
Nous devons être conscients que cela se produit, et ne pas fermer les yeux et agir comme si cela ne se produisait pas, dit O’Connor.