211service.com
Les programmes d'IA apprennent à exclure certaines voix afro-américaines
Les interfaces vocales, les chatbots et autres systèmes discriminent certains dialectes minoritaires. 16 août 2017
Trop souvent, les gens font des jugements rapides en fonction de la façon dont vous parlez. Certains systèmes d'IA apprennent également à avoir des préjugés contre certains dialectes. Et à mesure que les systèmes d'IA basés sur le langage deviennent de plus en plus courants, certaines minorités peuvent automatiquement être discriminées par les machines, avertissent les chercheurs qui étudient la question.
Toute personne ayant un accent fort ou inhabituel peut savoir ce que c'est que d'avoir du mal à se faire comprendre par Siri ou Alexa. En effet, les systèmes de reconnaissance vocale utilisent la technologie du langage naturel pour analyser le contenu de la parole et reposent souvent sur des algorithmes formés avec des exemples de données. S'il n'y a pas assez d'exemples d'un accent particulier ou d'une langue vernaculaire, ces systèmes peuvent tout simplement ne pas vous comprendre (voir le problème de langue d'AI).
Le problème peut être plus répandu et plus pernicieux que la plupart des gens ne le pensent. La technologie du langage naturel alimente désormais les interactions automatisées avec les clients, via des systèmes téléphoniques automatisés ou des chatbots. Il est utilisé pour sonder l'opinion publique sur le Web et les réseaux sociaux, et pour parcourir des documents écrits à la recherche d'informations utiles. Cela signifie que les services et les produits construits au-dessus des systèmes linguistiques peuvent déjà être injustement discriminatoires à l'égard de certains groupes.
Brendan O'Connor , professeur adjoint à l'Université du Massachusetts, Amherst, et l'un de ses étudiants diplômés, Su Lin Blodgett , s'est penché sur l'utilisation du langage sur Twitter. En utilisant le filtrage démographique, les chercheurs ont collecté 59,2 millions de tweets avec une forte probabilité de contenir de l'argot ou de la langue vernaculaire afro-américaine. Ils ont ensuite testé plusieurs outils de traitement du langage naturel sur cet ensemble de données pour voir comment ils traiteraient ces déclarations. Ils ont constaté qu'un outil populaire classait ces messages comme danois avec un niveau de confiance élevé.
Si vous analysez Twitter pour connaître les opinions des gens sur un politicien et que vous ne tenez même pas compte de ce que disent les Afro-Américains ou les jeunes adultes, cela semble problématique, dit O’Connor.
La paire a également testé plusieurs API populaires basées sur l'apprentissage automatique qui analysent le sens et le sentiment du texte, et ils ont constaté que ces systèmes avaient également des difficultés. Si vous achetez un analyseur de sentiments auprès d'une entreprise, vous ne savez même pas quels biais il contient, dit O'Connor. Nous n'avons pas beaucoup d'audit ou de connaissances sur ces choses.
Il dit que le problème s'étend à tout système qui utilise le langage, y compris les moteurs de recherche.
La question de l'injustice découlant de l'utilisation d'algorithmes d'IA retient l'attention dans certains milieux, car ces algorithmes sont plus largement utilisés. Un exemple controversé de partialité possible est un algorithme propriétaire appelé Compass, qui est utilisé pour décider si les détenus doivent bénéficier d'une libération conditionnelle. Le fonctionnement de l'algorithme est inconnu, mais rechercher suggère qu'il est biaisé contre les détenus noirs.
Certains experts, cependant, disent que le problème peut être plus grave que beaucoup de gens ne le pensent, affectant un nombre croissant de décisions en matière de finances, de soins de santé et d'éducation (voir Les algorithmes biaisés sont partout et personne ne semble s'en soucier).
Les chercheurs de l'UMass ont présenté leurs travaux lors d'un atelier consacré à l'exploration de la question des biais en IA. L'événement, Fairness and Transparency in Machine Learning, faisait partie d'une plus grande conférence sur la science des données cette année, mais il deviendra lui-même une conférence autonome en 2018. Solon baroques , professeur adjoint à Cornell et cofondateur de l'événement, affirme que le domaine se développe, avec de plus en plus de chercheurs explorant la question des biais dans les systèmes d'IA.
Goel partagé , professeur adjoint à l'Université de Stanford qui étudie l'équité algorithmique et les politiques publiques, affirme que la question n'est pas toujours simple. Il note qu'il peut être trop simpliste d'appeler des algorithmes biaisés, en ce sens qu'ils peuvent fonctionner entièrement comme prévu, faire des prédictions précises et refléter simplement des préjugés sociaux plus larges. Il est préférable de décrire ce que fait un algorithme, la raison pour laquelle il le fait, puis de décider si c'est ce que nous voulons qu'il fasse, dit Goel.