211service.com
Pouvez-vous créer une IA qui ne soit pas capacitiste ?
Doug Maloney/Unsplash
L'intelligence artificielle a un problème de biais bien connu, en particulier en ce qui concerne la race et le sexe. Vous avez peut-être vu certains des gros titres : les systèmes de reconnaissance faciale qui ne pas reconnaître les femmes noires , ou des outils de recrutement automatisés qui ignorer les candidates .
Mais alors que les chercheurs se sont efforcés de résoudre certains des problèmes les plus flagrants, il y a un groupe de personnes qu'ils ont négligé : les personnes handicapées. Prenez les voitures autonomes. Leurs algorithmes s'appuient sur des données d'entraînement pour savoir à quoi ressemblent les piétons afin que les véhicules ne les écrasent pas. Si les données de formation n'incluent pas les personnes en fauteuil roulant, la technologie pourrait mettre ces personnes en danger de mort.
Pour Shari Trewin, chercheuse au sein de l'équipe de direction de l'accessibilité d'IBM, c'est inacceptable. Dans le cadre d'un nouvelle initiative , elle est maintenant explorant de nouveaux processus de conception et de nouvelles méthodes techniques pour atténuer les préjugés des machines contre les personnes handicapées. Elle nous a parlé de certains des défis, ainsi que de certaines solutions possibles.
Ce qui suit a été modifié pour plus de longueur et de clarté.
Pourquoi l'équité envers les personnes handicapées est-elle un problème différent de l'équité concernant d'autres attributs protégés comme la race et le sexe ?
Le statut d'invalidité est beaucoup plus diversifié et complexe dans la façon dont il affecte les gens. De nombreux systèmes modéliseront la race ou le sexe comme une simple variable avec un petit nombre de valeurs possibles. Mais lorsqu'il s'agit d'invalidité, il existe tellement de formes différentes et de niveaux de gravité différents. Certains d'entre eux sont permanents, certains sont temporaires. N'importe lequel d'entre nous peut rejoindre ou quitter cette catégorie à tout moment de sa vie. C'est quelque chose de dynamique.
Environ une personne sur cinq aux États-Unis a actuellement un handicap quelconque. C'est donc très répandu mais difficile à cerner dans une simple variable avec un petit nombre de valeurs possibles. Il pourrait y avoir un système qui discrimine les aveugles mais pas les sourds. Ainsi, tester l'équité devient beaucoup plus difficile.
Les informations sur le handicap sont également très sensibles. Les gens sont beaucoup plus réticents à les révéler que les informations sur le sexe, l'âge ou la race, et dans certaines situations, il est même illégal de demander ces informations. Donc, souvent, dans les données, vous êtes beaucoup moins susceptible de savoir quoi que ce soit sur les handicaps qu'une personne peut avoir ou non. Cela rend également beaucoup plus difficile de savoir si vous avez un système équitable.
Je voulais vous poser une question à ce sujet. En tant qu'êtres humains, nous avons décidé que la meilleure façon d'éviter la discrimination liée au handicap est de ne pas révéler le statut de handicap. Pourquoi cela ne serait-il pas vrai pour les systèmes d'apprentissage automatique ?
Shari Trewin, chercheuse au sein de l'équipe Accessibility Leadership d'IBM, avec l'aimable autorisation d'IBM
Oui, c'est la première chose à laquelle les gens pensent : si le système ne sait rien du statut d'invalidité des individus, ce sera sûrement juste. Mais le problème est que le handicap a souvent un impact sur d'autres informations qui sont introduites dans le modèle. Par exemple, disons que je suis une personne qui utilise un lecteur d'écran pour accéder au Web et que je fais un test en ligne pour une candidature à un emploi. Si ce programme de test n'est pas bien conçu et accessible à mon lecteur d'écran, il me faudra plus de temps pour naviguer sur la page avant de pouvoir répondre à la question. Si ce temps n'est pas pris en compte pour m'évaluer, alors toute personne qui utilise le même outil avec un handicap similaire est systématiquement désavantagée, même si le système ne sait pas que je suis aveugle.
Donc, s'il y a tant de nuances différentes dans le handicap, est-il réellement possible d'atteindre l'équité ?
Je pense que le défi le plus général pour la communauté de l'IA est de savoir comment gérer les valeurs aberrantes, car les systèmes d'apprentissage automatique apprennent les normes, n'est-ce pas ? Ils optimisent les normes et ne traitent pas les valeurs aberrantes de manière particulière. Mais souvent, les personnes handicapées ne correspondent pas à la norme. La façon dont l'apprentissage automatique juge les gens en fonction de ceux auxquels il pense qu'ils sont similaires, même s'il n'a jamais vu quelqu'un de semblable à vous, est une limitation fondamentale en termes de traitement équitable pour les personnes handicapées.
Ce qui fonctionnerait beaucoup mieux serait une méthode qui combine l'apprentissage automatique avec une solution supplémentaire, comme des règles logiques qui sont implémentées dans une couche au-dessus. Il existe également certaines situations où une plus grande attention à la collecte d'un ensemble de données plus diversifié serait certainement utile. Certaines personnes expérimentent des techniques où vous extrayez le cœur des données et essayez de vous entraîner pour les valeurs aberrantes. D'autres expérimentent différentes techniques d'apprentissage qui pourraient mieux optimiser les valeurs aberrantes plutôt que la norme.
Je pense que ce n'est que lorsque vous commencez à penser au handicap que vous commencez à penser à la diversité des individus et à l'importance des valeurs aberrantes. Si vous n'avez pas suffisamment de diversité de genre dans votre ensemble de données, vous pouvez résoudre ce problème. Il n'est pas si facile de régler la diversité des handicaps.
Comment surmontez-vous le problème des gens qui sont privés de leur statut d'invalidité ?
Oui, pour tester l'équité d'un système, vous avez besoin de données. Et les personnes handicapées qui fournissent ces données sont un bien social, mais c'est un risque personnel. Les personnes handicapées sont souvent facilement identifiables, même dans des données anonymes, simplement parce qu'elles sont si uniques. Alors, comment atténuons-nous cela? Nous sommes toujours en train de le découvrir.
Quelles sont vos principales préoccupations concernant ce problème ?
Souvent, les systèmes d'IA optimisent quelque chose qui n'est pas le bien-être des personnes concernées par les décisions. Cet impact doit avoir beaucoup plus d'importance dans le processus de conception, afin que nous ne nous contentions pas d'introduire un système qui examine combien d'argent nous économisons ou avec quelle efficacité nous traitons les gens. Nous avons besoin de nouvelles façons de mesurer les systèmes qui intègrent l'aspect de l'impact sur les utilisateurs finaux, surtout s'il s'agit d'un groupe défavorisé.
Comment ferions-nous cela?
Tester l'équité est une façon de mesurer cet impact. Inclure le groupe défavorisé dans le processus de conception et entendre leurs préoccupations en est une autre. Même en incluant explicitement une mesure de la satisfaction des parties prenantes que vous pourriez mesurer au moyen d'entretiens ou d'enquêtes, ce genre de chose.
Quelles sont les choses qui vous passionnent dans ce domaine de recherche ?
Les technologies d'intelligence artificielle changent déjà le monde pour les personnes handicapées en leur offrant de nouvelles fonctionnalités, comme des applications qui vous indiquent ce qui se trouve dans votre champ de vision lorsque vous pointez votre téléphone.
Je pense que si nous le faisons correctement, il y a une réelle opportunité pour les systèmes d'IA d'améliorer les systèmes précédents réservés aux humains. Il y a beaucoup de discrimination, de préjugés et d'incompréhension à l'égard des personnes handicapées dans la société d'aujourd'hui. Si nous pouvons trouver un moyen de produire des systèmes d'IA qui éliminent ce type de biais, nous pouvons alors commencer à changer le traitement des personnes handicapées et réduire la discrimination.