Les algorithmes biaisés sont partout et personne ne semble s'en soucier

Kate Crawford, s'exprimant lors de la conférence AI Now au MIT cette semaine. John Maeda (@johnmaeda)

Des modèles mathématiques opaques et potentiellement biaisés refaçonnent nos vies – et ni les entreprises responsables de leur développement ni le gouvernement ne sont intéressés à résoudre le problème.

Cette semaine, un groupe de chercheurs, en collaboration avec l'American Civil Liberties Union, a lancé un effort pour identifier et mettre en évidence les biais algorithmiques. le Initiative AI Now a été annoncé lors d'un événement organisé au MIT pour discuter de ce que de nombreux experts considèrent comme un défi croissant.

Le biais algorithmique s'annonce comme un problème de société majeur à un moment critique de l'évolution de l'apprentissage automatique et de l'IA. Si le biais qui se cache dans les algorithmes qui prennent des décisions de plus en plus importantes n'est pas reconnu et n'est pas contrôlé, cela pourrait avoir de graves conséquences négatives, en particulier pour les communautés et les minorités les plus pauvres. Le tollé éventuel pourrait également entraver les progrès d'une technologie incroyablement utile (voir Inspecting Algorithms for Bias ).

Des algorithmes susceptibles de dissimuler des biais cachés sont déjà couramment utilisés pour prendre des décisions financières et juridiques vitales. Des algorithmes propriétaires sont utilisés pour décider, par exemple, qui obtient un entretien d'embauche, qui obtient une libération conditionnelle et qui obtient un prêt .

Les fondateurs de la nouvelle initiative AI Now, Kate Crawford , chercheuse chez Microsoft, et Meredith Whittaker, chercheuse chez Google, affirment que des biais peuvent exister dans toutes sortes de services et de produits.

Il est encore tôt pour comprendre les biais algorithmiques, ont déclaré Crawford et Whittaker dans un e-mail. Cette année seulement, nous avons vu plus de systèmes qui ont des problèmes, et ce ne sont que ceux qui ont été étudiés.

Les exemples de biais algorithmiques qui ont été révélés récemment, disent-ils, incluent des erreurs et des représentations erronées systèmes utilisés pour classer les enseignants , et des modèles sexistes pour le traitement du langage naturel .

Cathy O'Neil, mathématicienne et auteure de Armes de destruction mathématique , un livre qui met en évidence le risque de biais algorithmique dans de nombreux contextes, indique que les gens sont souvent trop disposés à faire confiance aux modèles mathématiques, car ils pensent que cela supprimera les biais humains. [Les algorithmes] remplacent les processus humains, mais ils ne sont pas soumis aux mêmes normes, dit-elle. Les gens leur font trop confiance.

Un défi majeur, selon ces chercheurs et d'autres, est que les parties prenantes cruciales, y compris les entreprises qui développent et appliquent des systèmes d'apprentissage automatique et les régulateurs gouvernementaux, montrent peu d'intérêt pour la surveillance et la limitation des biais algorithmiques. Les entreprises financières et technologiques utilisent toutes sortes de modèles mathématiques et ne sont pas transparentes sur leur fonctionnement. O'Neil dit, par exemple, qu'elle est préoccupée par le fonctionnement des algorithmes derrière le nouveau service de recherche d'emploi de Google.

Histoire connexe

Histoire connexe Sans conseillers scientifiques et technologiques à la Maison Blanche, le président Trump pourrait avoir du mal à répondre aux crises.

O'Neil a précédemment travaillé comme professeur au Barnard College de New York et analyste quantitatif au sein de la société D. E. Shaw. Elle est aujourd'hui à la tête de Conseil en ligne sur les risques et audit algorithmique , une société créée pour aider les entreprises à identifier et corriger les biais dans les algorithmes qu'elles utilisent. Mais O’Neil dit que même ceux qui savent que leurs algorithmes sont à risque de biais sont plus intéressés par le résultat net que par l’éradication des biais. Je vais être honnête avec vous, dit-elle. Je n'ai pas de clients en ce moment.

O'Neil, Crawford et Whittaker avertissent également que le manque d'intérêt de l'administration Trump pour l'IA - et pour la science en général - signifie qu'il n'y a pas de mouvement réglementaire pour résoudre le problème (voir The Gaping, Dangerous Hold in the Trump Administration ).

Le Bureau de la politique scientifique et technologique n'est plus activement engagé dans la politique de l'IA - ou quoi que ce soit selon leur site Web, écrivent Crawford et Whittaker. Le travail politique doit maintenant être fait ailleurs.

cacher