211service.com
C'est ainsi que se produit réellement le biais de l'IA - et pourquoi il est si difficile à corriger
Mme Tech ; Photo : PIXOLOGICSTUDIO/BIBLIOTHÈQUE DE PHOTOS SCIENTIFIQUES
Au cours des derniers mois, nous avons documenté comment la grande majorité des applications d'IA d'aujourd'hui sont basées sur la catégorie d'algorithmes connue sous le nom d'apprentissage en profondeur, et comment les algorithmes d'apprentissage en profondeur trouvent des modèles dans les données. Nous avons également expliqué comment ces technologies affectent la vie des gens : comment elles peuvent perpétuer l'injustice en matière d'embauche, de vente au détail et de sécurité et peuvent déjà le faire dans le système judiciaire pénal .
Mais il ne suffit pas de savoir que ce biais existe. Si nous voulons être en mesure de le réparer, nous devons d'abord comprendre les mécanismes de son apparition.
Comment se produit le biais de l'IA
Nous raccourcissons souvent notre explication du biais de l'IA en le blâmant sur des données de formation biaisées. La réalité est plus nuancée : les préjugés peuvent s'insinuer bien avant les données est collecté ainsi qu'à beaucoup d'autres étapes du processus d'apprentissage en profondeur. Pour les besoins de cette discussion, nous nous concentrerons sur trois étapes clés.
Cadrage du problème. La première chose que font les informaticiens lorsqu'ils créent un modèle d'apprentissage en profondeur est de décider ce qu'ils veulent réellement qu'il réalise. Une société de cartes de crédit, par exemple, peut vouloir prédire la solvabilité d'un client, mais la solvabilité est un concept plutôt nébuleux. Afin de le traduire en quelque chose qui peut être calculé, l'entreprise doit décider si elle veut, par exemple, maximiser ses marges bénéficiaires ou maximiser le nombre de prêts remboursés. Il pourrait alors définir la solvabilité dans le contexte de cet objectif. Le problème est que ces décisions sont prises pour diverses raisons commerciales autres que l'équité ou la discrimination, explique Solon Barocas, professeur adjoint à l'Université Cornell, spécialisé dans l'équité dans l'apprentissage automatique. Si l'algorithme découvrait que l'octroi de prêts subprime était un moyen efficace de maximiser les profits, il finirait par adopter un comportement prédateur même si ce n'était pas l'intention de l'entreprise.
Collecte des données. Les biais apparaissent dans les données de formation de deux manières principales : soit les données que vous collectez ne sont pas représentatives de la réalité, soit elles reflètent des préjugés existants. Le premier cas peut se produire, par exemple, si un algorithme d'apprentissage en profondeur reçoit plus de photos de visages à peau claire que de visages à peau foncée. Le système de reconnaissance faciale qui en résulterait serait inévitablement moins performant pour reconnaître les visages à la peau plus foncée. Le deuxième cas est précisément celui qui s'est produit lorsqu'Amazon a découvert que son outil de recrutement interne était écarter les candidatures féminines . Parce qu'il a été formé sur les décisions d'embauche historiques, qui favorisaient les hommes par rapport aux femmes, il a appris à faire de même.
Préparation des données. Enfin, il est possible d'introduire un biais lors de la phase de préparation des données, qui consiste à sélectionner les attributs que l'algorithme doit prendre en compte. (Cela ne doit pas être confondu avec l'étape de cadrage du problème. Vous pouvez utiliser les mêmes attributs pour former un modèle pour des objectifs très différents ou utiliser des attributs très différents pour former un modèle pour le même objectif.) Dans le cas de la modélisation de la solvabilité, un attribut peut être l'âge du client, son revenu ou le nombre de prêts remboursés. Dans le cas de l'outil de recrutement d'Amazon, un attribut peut être le sexe, le niveau d'éducation ou les années d'expérience du candidat. C'est ce que les gens appellent souvent l'art de l'apprentissage en profondeur : le choix des attributs à prendre en compte ou à ignorer peut influencer de manière significative la précision des prédictions de votre modèle. Mais si son impact sur la précision est facile à mesurer, son impact sur le biais du modèle ne l'est pas.
Pourquoi le biais de l'IA est difficile à corriger
Dans ce contexte, certains des défis liés à l'atténuation des préjugés peuvent déjà vous être apparents. Nous en soulignons ici quatre principaux.
Inconnues inconnues. L’introduction de biais n’est pas toujours évidente lors de la construction d’un modèle car vous ne vous rendez peut-être compte des impacts en aval de vos données et de vos choix que bien plus tard. Une fois que vous l'avez fait, il est difficile d'identifier rétroactivement d'où vient ce biais, puis de déterminer comment s'en débarrasser. Dans le cas d'Amazon, lorsque les ingénieurs ont initialement découvert que son outil pénalisait les candidates, ils l'ont reprogrammé pour ignorer les mots explicitement sexués comme celui des femmes. Ils ont vite découvert que le système révisé reprenait toujours implicitement mots genrés – des verbes qui étaient fortement corrélés aux hommes par rapport aux femmes, comme exécuté et capturé – et l'utilisaient pour prendre ses décisions.
Processus imparfaits. Premièrement, de nombreuses pratiques standard d'apprentissage en profondeur ne sont pas conçues avec la détection des biais à l'esprit. Les modèles d'apprentissage en profondeur sont testés pour leurs performances avant d'être déployés, créant ce qui semble être une opportunité parfaite pour détecter les biais. Mais en pratique, les tests ressemblent généralement à ceci : les informaticiens divisent leurs données au hasard avant de formation en un groupe qui est réellement utilisé pour la formation et un autre qui est réservé à la validation une fois la formation terminée. Cela signifie que les données que vous utilisez pour tester les performances de votre modèle ont les mêmes biais que les données que vous avez utilisées pour l'entraîner. Ainsi, il ne parviendra pas à signaler les résultats biaisés ou biaisés.
Manque de contexte social. De même, la manière dont les informaticiens apprennent à cadrer les problèmes n'est souvent pas compatible avec la meilleure façon de penser les problèmes sociaux. Par exemple, dans un nouveau papier , Andrew Selbst, postdoctorant au Data & Society Research Institute, identifie ce qu'il appelle le piège de la portabilité. En informatique, il est considéré comme une bonne pratique de concevoir un système qui peut être utilisé pour différentes tâches dans différents contextes. Mais cela ne fait qu'ignorer une grande partie du contexte social, dit Selbst. Vous ne pouvez pas avoir un système conçu dans l'Utah puis appliqué directement dans le Kentucky, car différentes communautés ont différentes versions de l'équité. Ou vous ne pouvez pas avoir un système qui vous demande des résultats de justice pénale «équitables» puis appliqués à l'emploi. La façon dont nous pensons à l'équité dans ces contextes est tout simplement totalement différente.
Les définitions de l'équité. On ne sait pas non plus à quoi devrait ressembler l'absence de biais. Ce n'est pas seulement vrai en informatique - cette question a une longue histoire de débat en philosophie, en sciences sociales et en droit. Ce qui est différent en informatique, c'est que le concept d'équité doit être défini en termes mathématiques, comme équilibrer les taux de faux positifs et de faux négatifs d'un système de prédiction. Mais comme les chercheurs l'ont découvert, il existe de nombreuses définitions mathématiques différentes de l'équité qui s'excluent mutuellement. L'équité signifie-t-elle, par exemple, que le même proportion des individus noirs et blancs devraient obtenir des scores d'évaluation des risques élevés ? Ou que le même niveau de risque devrait aboutir au même score quelle que soit la race ? Il est impossible de répondre aux deux définitions en même temps ( voici un examen plus approfondi du pourquoi), donc à un moment donné, vous devez en choisir un. Mais alors que dans d'autres domaines, cette décision est comprise comme quelque chose qui peut changer avec le temps, le domaine de l'informatique a une notion selon laquelle elle devrait être fixe. En corrigeant la réponse, vous résolvez un problème qui semble très différent de la façon dont la société a tendance à penser à ces problèmes, dit Selbst.
Où allons-nous d'ici
Si vous êtes sous le choc de notre visite éclair de toute l'étendue du problème de biais de l'IA, moi aussi. Mais heureusement, un fort contingent de chercheurs en IA travaille dur pour résoudre le problème. Ils ont adopté une variété d'approches : des algorithmes qui aident détecter et atténuer biais cachés dans les données de formation ou qui atténuent Les préjugés appris par le modèle quelle que soit la qualité des données ; processus qui détiennent des sociétés redevable aux résultats les plus justes et discussion qui hachent les différentes définitions de l'équité.
'Réparer' la discrimination dans les systèmes algorithmiques n'est pas quelque chose qui peut être résolu facilement, dit Selbst. C'est un processus en cours, tout comme la discrimination dans tout autre aspect de la société.
Ceci est apparu à l'origine dans notre newsletter AI The Algorithm. Pour le recevoir directement dans votre boîte de réception, inscrivez-vous ici gratuitement.