Une IA a vu une photo recadrée d'AOC. Il l'a complétée automatiquement en bikini.

Mme Tech | Getty

Les algorithmes de génération de langage sont connus pour intégrer des idées racistes et sexistes. Ils sont formés au langage d'Internet, y compris les coins sombres de Reddit et Twitter qui peuvent inclure des discours de haine et de la désinformation. Quelles que soient les idées nuisibles présentes dans ces forums, elles sont normalisées dans le cadre de leur apprentissage.

Des chercheurs ont maintenant démontré que la même chose peut être vraie pour les algorithmes de génération d'images. Donnez à quelqu'un une photo d'un homme recadré juste en dessous de son cou, et 43 % du temps, il le complétera automatiquement en costume. Donnez à la même personne une photo recadrée d'une femme, même d'une femme célèbre comme la représentante américaine Alexandria Ocasio-Cortez, et 53 % du temps, elle la complétera automatiquement en portant un haut décolleté ou un bikini. Cela a des implications non seulement pour la génération d'images, mais pour toutes les applications de vision par ordinateur, y compris algorithmes d'évaluation des candidats basés sur la vidéo , reconnaissance faciale et surveillance.

Ryan Steed, doctorant à l'Université Carnegie Mellon, et Aylin Caliskan, professeur adjoint à l'Université George Washington, ont examiné deux algorithmes : iGPT d'OpenAI (une version de GPT-2 qui est entraînée sur des pixels au lieu de mots) et SimCLR de Google . Bien que chaque algorithme aborde différemment l'apprentissage des images, ils partagent une caractéristique importante : ils utilisent tous les deux complètement apprentissage non supervisé , ce qui signifie qu'ils n'ont pas besoin d'humains pour étiqueter les images.

Il s'agit d'une innovation relativement nouvelle à partir de 2020. Les algorithmes de vision par ordinateur précédents principalement utilisés supervisé l'apprentissage, qui consiste à les nourrir manuellement d'images étiquetées : photos de chat avec le tag chat et photos de bébé avec le tag bébé. Mais en 2019, la chercheuse Kate Crawford et l'artiste Trevor Paglen ont découvert que ces étiquettes créées par l'homme dans ImageNet, l'ensemble de données d'image le plus fondamental pour la formation de modèles de vision par ordinateur, contiennent parfois un langage dérangeant , comme salope pour les femmes et insultes raciales pour les minorités.

Le dernier article démontre une source de toxicité encore plus profonde. Même sans ces étiquettes humaines, les images elles-mêmes encodent des motifs indésirables. Le problème est parallèle à ce que la communauté du traitement du langage naturel (NLP) a déjà découvert. Les énormes ensembles de données compilés pour alimenter ces algorithmes gourmands en données capturent tout sur Internet. Et Internet a une surreprésentation des femmes légèrement vêtues et d'autres stéréotypes souvent nuisibles.

Pour mener leur étude, Steed et Caliskan ont intelligemment adapté une technique que Caliskan utilisait auparavant pour examiner les biais dans les modèles de PNL non supervisés. Ces modèles apprennent à manipuler et à générer du langage à l'aide d'incorporations de mots, une représentation mathématique du langage qui regroupe les mots couramment utilisés ensemble et sépare les mots couramment trouvés à part. Dans un article de 2017 publié dans La science , Caliskan a mesuré les distances entre les différentes paires de mots que les psychologues utilisaient pour mesurer les biais humains dans le test d'association implicite (IAT) . Elle a constaté que ces distances recréaient presque parfaitement les résultats de l'IAT. Les couples de mots stéréotypés comme homme et carrière ou femme et famille étaient proches, tandis que les couples opposés comme homme et famille ou femme et carrière étaient éloignés.

iGPT est également basé sur les incorporations : il regroupe ou sépare les pixels en fonction de la fréquence à laquelle ils se produisent simultanément dans ses images d'entraînement. Ces incorporations de pixels peuvent ensuite être utilisées pour comparer la proximité ou la distance entre deux images dans l'espace mathématique.

Histoire connexe

Les vrais dangers de l'IA sont plus proches qu'on ne le pense

Oubliez l'IA super intelligente : les algorithmes créent déjà de réels dommages. La bonne nouvelle : la riposte a commencé.

Dans leur étude, Steed et Caliskan ont une fois de plus découvert que ces distances reflètent les résultats de l'IAT. Les photos d'hommes, de cravates et de costumes apparaissent rapprochées, tandis que les photos de femmes apparaissent plus éloignées. Les chercheurs ont obtenu les mêmes résultats avec SimCLR, malgré l'utilisation d'une méthode différente pour dériver les intégrations à partir d'images.

Ces résultats ont des implications préoccupantes pour la génération d'images. D'autres algorithmes de génération d'images, comme réseaux antagonistes génératifs , ont conduit à une explosion de pornographie deepfake cette cible presque exclusivement les femmes . iGPT en particulier ajoute encore une autre façon pour les gens de générer des photos sexualisées de femmes.

Mais les effets potentiels en aval sont beaucoup plus importants. Dans le domaine du TAL, les modèles non supervisés sont devenus l'épine dorsale de toutes sortes d'applications. Les chercheurs commencent avec un modèle non supervisé existant comme BERT ou GPT-2 et utilisent un ensemble de données sur mesure pour l'affiner dans un but spécifique. Cette approche semi-supervisée, une combinaison d'apprentissage non supervisé et supervisé, est devenue un standard de facto.

De même, le domaine de la vision par ordinateur commence à voir la même tendance. Steed et Caliskan s'inquiètent de ce que ces biais intégrés pourraient signifier lorsque les algorithmes sont utilisés pour des applications sensibles telles que la police ou l'embauche, où les modèles analysent déjà les enregistrements vidéo des candidats pour décider s'ils conviennent au poste. Ce sont des applications très dangereuses qui prennent des décisions conséquentes, dit Caliskan.

Deborah Raji , une collègue de Mozilla qui a co-écrit une étude influente révélant les biais de la reconnaissance faciale, affirme que l'étude devrait servir de signal d'alarme au domaine de la vision par ordinateur. Pendant longtemps, une grande partie de la critique sur les préjugés concernait la façon dont nous étiquetons nos images, dit-elle. Maintenant, cet article dit que la composition réelle de l'ensemble de données entraîne ces biais. Nous devons rendre des comptes sur la manière dont nous organisons ces ensembles de données et collectons ces informations.

Steed et Caliskan demandent une plus grande transparence de la part des entreprises qui développent ces modèles pour les ouvrir et laisser la communauté universitaire poursuivre ses investigations. Ils encouragent également leurs collègues chercheurs à effectuer davantage de tests avant de déployer un modèle de vision, par exemple en utilisant les méthodes qu'ils ont développées pour cet article. Et enfin, ils espèrent que le domaine développera des moyens plus responsables de compiler et de documenter ce qui est inclus dans les ensembles de données de formation.

Caliskan dit que l'objectif est en fin de compte d'acquérir une plus grande sensibilisation et un meilleur contrôle lors de l'application de la vision par ordinateur. Nous devons faire très attention à la façon dont nous les utilisons, dit-elle, mais en même temps, maintenant que nous avons ces méthodes, nous pouvons essayer de les utiliser pour le bien social.

cacher