J'ai demandé à une IA de me dire à quel point je suis belle

Les ordinateurs classent l'apparence des gens et les résultats influencent ce que nous faisons, les publications que nous voyons et notre façon de penser.

Joan Wang

par

• Tate Ryan Mosley page d'archives

5 mars 2021

J'ai découvert Qoves Studio pour la première fois via sa chaîne YouTube populaire, qui propose des vidéos raffinées comme La coiffure fait-elle un joli visage ?, Qu'est-ce qui rend Timothée Chalamet attirant ? , et Comment l'alignement de la mâchoire influence les perceptions sociales à des millions de téléspectateurs.

Qoves a commencé comme un studio qui aérographiait des images pour les agences de mannequins; maintenant, c'est un cabinet de conseil en esthétique faciale qui promet des réponses à la question séculaire de ce qui rend un visage attrayant. Son site Internet , qui présente des croquis à la craie de Parisiennes portant du rouge à lèvres et des chapeaux colorés, propose une gamme de services liés à son activité de conseil en chirurgie plastique : des conseils sur les produits de beauté, par exemple, et des astuces pour améliorer les images à l'aide de votre ordinateur. Mais sa caractéristique la plus convaincante est l'outil d'évaluation faciale : un système basé sur l'IA qui promet de regarder des images de votre visage pour vous dire à quel point vous êtes beau ou pas, puis vous dire ce que vous pouvez faire à ce sujet.

La semaine dernière, j'ai décidé de l'essayer. En suivant les instructions du site, j'ai lavé le peu de maquillage que je portais et j'ai trouvé un mur neutre éclairé par une petite fenêtre. J'ai demandé à mon petit ami de prendre des photos en gros plan de mon visage au niveau des yeux. J'ai essayé de ne pas sourire. C'était le contraire de glamour.

J'ai téléchargé la photo la plus supportable et, en quelques millisecondes, Qoves a renvoyé un bulletin des 10 défauts prédits sur mon visage. En tête de liste se trouvait une probabilité de 0,7 de plis nasogéniens, suivie d'une probabilité de 0,69 de dépression du contour sous les yeux et d'une probabilité de 0,66 de décoloration périoculaire. En d'autres termes, il soupçonnait (à juste titre) que j'avais des poches sous les yeux et des rides du sourire, qui s'enregistrent toutes deux comme problématiques avec l'IA.

Mes résultats de l'outil d'évaluation faciale Qoves

Le rapport a utilement renvoyé des recommandations que je pourrais prendre pour corriger mes défauts. Tout d'abord, un article suggéré sur les rides du sourire m'a informé qu'elles pourraient nécessiter une intervention injectable ou chirurgicale. Si je le souhaitais, je pourrais passer à un rapport plus complet de recommandations chirurgicales, rédigé par des médecins, à des niveaux de 75 $, 150 $ et 250 $. Il a également suggéré cinq sérums que je pourrais essayer en premier, chacun contenant un ingrédient de soin de la peau différent : rétinol, neuropeptides, acide hyaluronique, EGF et TNS. Je n'avais entendu parler que du rétinol. Avant de me coucher ce soir-là, j'ai regardé les ingrédients de ma crème hydratante pour voir ce qu'elle contenait.

J'étais intrigué. L'outil avait décomposé mon apparence en une liste de petits problèmes - un laser formé sur ce qui, selon lui, n'allait pas avec mon apparence.

Qoves, cependant, n'est qu'une petite startup avec 20 employés dans un océan d'entreprises et de services d'analyse faciale. Il existe une industrie croissante d'outils d'analyse faciale pilotés par l'IA, chacun prétendant analyser une image pour des caractéristiques telles que les émotions, l'âge ou l'attractivité. Les entreprises travaillant sur ces technologies sont les chouchous du capital-risque, et ces algorithmes sont utilisés dans tout, des ventes de cosmétiques en ligne aux applications de rencontres. Ces outils de notation de la beauté, facilement disponibles à l'achat en ligne, utilisent l'analyse du visage et la vision par ordinateur pour évaluer des éléments tels que la symétrie, la taille des yeux et la forme du nez afin de trier et de classer des millions de contenus visuels et de mettre en évidence les personnes les plus attirantes.

Ces algorithmes forment une sorte de regard de machine sur les photographies et les vidéos, crachant des valeurs numériques apparentées aux cotes de crédit, où les scores les plus élevés peuvent débloquer les meilleures opportunités en ligne pour les goûts, les vues et les correspondances. Si cette perspective n'est pas suffisamment préoccupante, la technologie exacerbe également d'autres problèmes, disent les experts. La plupart des algorithmes de notation de la beauté sont jonchés d'inexactitudes, d'âgisme et de racisme - et la nature exclusive de bon nombre de ces systèmes signifie qu'il est impossible d'avoir un aperçu de leur fonctionnement réel, de leur utilisation ou de la manière dont ils affectent les utilisateurs.

Qoves a recommandé certaines actions pour corriger mes 'défauts prévus'

Miroir miroir sur le mur …

Des tests comme ceux disponibles sur Qoves sont partout sur Internet. L'un est géré par la plus grande plate-forme ouverte de reconnaissance faciale au monde, Visage++ . Son système de notation de la beauté a été développé par la société d'imagerie chinoise Megvii et, comme Qoves, utilise l'IA pour examiner votre visage. Mais au lieu de détailler ce qu'il voit dans le langage clinique, il résume ses conclusions en un pourcentage d'attractivité probable. En fait, il renvoie deux résultats : un score qui prédit comment les hommes pourraient réagir à une image, et l'autre qui représente une perspective féminine. En utilisant la démo gratuite du service et la même photo peu glamour, j'ai rapidement obtenu mes résultats. Les hommes pensent généralement que cette personne est plus belle que 69,62% des personnes et les femmes pensent généralement que cette personne est plus belle que 73,877%.

C'était décevant, mais mieux que ce à quoi je m'attendais. Un an après le début de la pandémie, je peux voir l'impact du stress, du poids et des salons de coiffure fermés sur mon apparence. J'ai retesté l'outil avec deux autres photos de moi d'Avant, qui m'ont toutes les deux plu. Mes scores se sont améliorés, me poussant près du 25e centile supérieur.

La beauté est souvent subjective et personnelle : nos proches nous paraissent attirants lorsqu'ils sont en bonne santé et heureux, et même lorsqu'ils sont tristes. D'autres fois, c'est un jugement collectif : les systèmes de classement comme les concours de beauté ou les listes de magazines des plus belles personnes montrent à quel point nous traitons l'attractivité comme un prix. Cette évaluation peut aussi être laide et inconfortable : quand j'étais adolescente, les garçons de mon lycée criaient des chiffres de 1 à 10 aux filles qui passaient dans le couloir. Mais il y a quelque chose d'étrange à propos d'une machine qui évalue la beauté du visage de quelqu'un - c'est tout aussi désagréable que des cris à l'école, mais les mathématiques de cela semblent étrangement non humaines.

Mon score de beauté résulte de Face++

Sous la capuche

Bien que le concept de classement de l'attractivité des personnes ne soit pas nouveau, le fonctionnement de ces systèmes particuliers est un développement relativement récent : Face++ a publié sa fonction de notation de la beauté en 2017.

Lorsqu'on lui a demandé des détails sur le fonctionnement de l'algorithme, un porte-parole de Megvii a simplement répondu qu'il avait été développé il y a environ trois ans en réponse à l'intérêt du marché local pour les applications liées au divertissement. Le site Web de la société indique que des visages chinois et sud-asiatiques ont été utilisés pour former le système, qui a attiré 300 000 développeurs peu après son lancement, mais il existe peu d'autres informations.

Un porte-parole de Megvii a déclaré que Face++ est une plate-forme open source et qu'elle ne peut pas contrôler la manière dont les développeurs pourraient l'utiliser, mais le site Web suggère la vente de cosmétiques et le matchmaking comme deux applications potentielles.

Les clients connus de l'entreprise comprennent le système de surveillance du gouvernement chinois , qui couvre le pays de caméras de vidéosurveillance, ainsi qu'Alibaba et Lenovo. Megvii a récemment déposé une demande d'introduction en bourse et est actuellement évalué à 4 milliards de dollars. Selon des informations du New York Times, il s'agit de l'une des trois sociétés de reconnaissance faciale qui ont aidé le gouvernement chinois pour identifier les citoyens susceptibles d'appartenir à la minorité ethnique ouïghoure.

Comment fonctionnent les réseaux de neurones convolutifs

• Les réseaux de neurones convolutifs examinent les images et les vidéos pour analyser et catégoriser les objets qu'ils représentent à plusieurs niveaux d'analyse. Une couche du réseau pourrait identifier, par exemple, les bords d'une main humaine ; un autre pourrait trouver des doigts, un autre des mains, un autre des bras et un autre peuple.

• D'autres couches répondent à des niveaux d'abstraction plus élevés : s'il s'agit d'un arbre, qu'est-ce que le réseau a appris sur les arbres ? Si c'est une rue, quelles sont les choses dans une rue qu'il devrait s'attendre à voir ? Par exemple, un réseau neuronal convolutif pourrait évaluer une image d'un visage avec une mâchoire pointue comme très susceptible d'être attrayante, car il a déterminé que la netteté de la mâchoire était un indicateur particulièrement fort du score de beauté humaine qu'il a été entraîné à reproduire.

Qoves, quant à lui, a été plus ouvert sur le fonctionnement de son analyse de visage. La société, basée en Australie, a été fondée en tant qu'entreprise de retouche photo en 2019, mais est passée à une combinaison d'analyse basée sur l'IA et de chirurgie plastique en 2020. Son système utilise une technique commune d'apprentissage en profondeur connue sous le nom de réseau de neurones convolutifs , ou CNN. Les CNN utilisés pour évaluer l'attractivité s'entraînent généralement sur un ensemble de données de centaines de milliers d'images qui ont déjà été notées manuellement pour l'attractivité par les gens. En examinant les images et les évaluations existantes, le système déduit les facteurs que les gens considèrent comme attrayants afin de pouvoir faire des prédictions lorsqu'il affiche de nouvelles images.

D'autres grandes entreprises ont investi dans les IA de beauté ces dernières années. Parmi eux, le distributeur américain de cosmétiques Ulta Beauty, valorisé 18 milliards de dollars, qui a développé un outil d'analyse de la peau . Nvidia et Microsoft ont soutenu un concours de beauté robotique en 2016, qui mettait les participants au défi de développer la meilleure IA pour déterminer l'attractivité.

Selon Evan Nisselson, associé chez LDV Capital, la technologie de la vision en est encore à ses débuts, ce qui crée 'des opportunités d'investissement importantes et des avantages'. LDV estime qu'il y aura 45 milliards de caméras dans le monde d'ici l'année prochaine, sans compter celles utilisées pour la fabrication ou la logistique, et affirme que les données visuelles seront la principale source de données pour les systèmes d'IA dans un avenir proche. Nisselson dit que l'analyse faciale est 'un énorme marché' qui, au fil du temps, impliquera 'la réinvention de la pile technologique pour obtenir le même ou plus près ou même mieux que l'œil d'un humain'.

Le fondateur de Qoves, Shafee Hassan, affirme que la notation de la beauté pourrait être encore plus répandue. Il dit que les applications et les plateformes de médias sociaux utilisent souvent des systèmes qui scannent les visages des gens, les notent pour leur attractivité et accordent plus d'attention à ceux qui se classent plus haut. Ce que nous faisons, c'est quelque chose de similaire à Snapchat, Instagram et TikTok, dit-il. mais nous le rendons plus transparent.

Il ajoute : Ils utilisent le même réseau de neurones et ils utilisent les mêmes techniques, mais ils ne vous disent pas qu'[ils ont] identifié que votre visage a ces sillons nasogéniens, il a un fin vermillon, il a toutes ces choses, donc [ils] vont vous pénaliser comme étant une personne moins attirante.

J'ai contacté un certain nombre d'entreprises, y compris des services de rencontres et des plateformes de médias sociaux, et j'ai demandé si la notation de la beauté faisait partie de leurs algorithmes de recommandation. Instagram et Facebook ont ​​nié avoir utilisé de tels algorithmes. TikTok et Snapchat ont refusé de commenter le dossier.

JEANNE WONG

Grandes boîtes noires

Les progrès récents de l'apprentissage en profondeur ont considérablement modifié la précision des IA de beauté. Avant l'apprentissage en profondeur, l'analyse faciale reposait sur l'ingénierie des caractéristiques, où une compréhension scientifique des traits du visage guiderait l'IA. La formule pour un visage attrayant, par exemple, peut être définie pour récompenser les yeux larges et une mâchoire pointue. Imaginez regarder un visage humain et voir une représentation à la Léonard de Vinci de toutes les proportions et de l'espacement entre les yeux et ce genre de choses, explique Serge Belongie, professeur de vision par ordinateur à l'Université Cornell. Avec l'avènement de l'apprentissage en profondeur, tout est devenu une question de mégadonnées et de grandes boîtes noires de calcul de réseaux neuronaux qui ne faisaient que croquer d'énormes quantités de données étiquetées, dit-il. Et en fin de compte, cela fonctionne mieux que tous les autres trucs sur lesquels nous avons peiné pendant des décennies.

Mais il y a un hic. Nous ne savons toujours pas exactement comment cela fonctionne, dit Belongie. L'industrie est heureuse, mais le milieu universitaire est un peu perplexe. Parce que la beauté est hautement subjective, le mieux qu'une IA beauté d'apprentissage en profondeur puisse faire est de régurgiter avec précision les préférences des données d'entraînement utilisées pour l'enseigner. Même si certains systèmes d'IA évaluent désormais l'attractivité aussi précisément que les humains dans un ensemble d'entraînement, cela signifie que les systèmes affichent également une quantité égale de biais. Et surtout, parce que le système est impénétrable, placer des garde-fous sur l'algorithme qui pourraient minimiser le biais est une tâche difficile et coûteuse en calculs.

Belongie dit qu'il existe des applications de ce type de technologie qui sont plus anodines et moins problématiques que de marquer un visage pour l'attractivité - un outil qui peut recommander la plus belle photo d'un coucher de soleil sur votre téléphone, par exemple. Mais la notation de la beauté est différente. Cela, pour moi, est une entreprise très effrayante, dit-il.

Même si les données de formation et les utilisations commerciales sont aussi impartiales et sûres que possible, la vision par ordinateur a des limites techniques en ce qui concerne les tons chair humains. Les puces d'imagerie trouvées dans les caméras sont préréglées pour traiter une gamme particulière d'entre elles. Historiquement, certains tons de peau ont simplement été laissés de côté, selon Belongie, ce qui signifie que les photos elles-mêmes n'ont peut-être même pas été développées avec certains tons de peau à l'esprit. Même les ambitions les plus nobles en termes de capture de toutes les formes de beauté humaine peuvent ne pas avoir de chance car les valeurs de luminosité ne sont même pas représentées avec précision.

Et ces biais techniques se manifestent par du racisme dans les applications commerciales. En 2018, Lauren Rhue, une économiste qui est professeure adjointe de systèmes d'information à l'Université du Maryland, College Park, cherchait des outils de reconnaissance faciale qui pourraient l'aider à étudier les plateformes numériques lorsqu'elle est tombée sur cet ensemble de produits inhabituels.

J'ai réalisé qu'il existait des algorithmes de notation pour la beauté, dit-elle. Et j'ai pensé, cela semble impossible. Je veux dire, la beauté est complètement dans l'œil du spectateur. Comment pouvez-vous entraîner un algorithme pour déterminer si quelqu'un est beau ou non ? L'étude de ces algorithmes est rapidement devenue un nouvel axe de recherche.

En examinant la façon dont Face++ évaluait la beauté, elle a constaté que le système classait systématiquement les femmes à la peau plus foncée comme moins attrayantes que les femmes blanches, et que les visages avec des caractéristiques de type européen telles que des cheveux plus clairs et un nez plus petit obtenaient des scores plus élevés que ceux avec d'autres caractéristiques, indépendamment de à quel point leur peau était foncée. Le parti pris eurocentrique de l'IA reflète le parti pris des humains qui ont marqué les photos utilisées pour entraîner le système, le codifiant et l'amplifiant, quelle que soit la personne qui regarde les images. Les normes de beauté chinoises, par exemple, donnent la priorité aux peaux plus claires, aux yeux larges et aux petits nez.

Une comparaison de deux photos de Beyonce Knowles issues des recherches de Lauren Rhue utilisant Face++. Son IA a prédit que l'image de gauche aurait un taux de 74,776 % pour les hommes et de 77,914 % pour les femmes. L'image de droite, quant à elle, a marqué 87,468% pour les hommes et 91,14% pour les femmes dans son modèle .

Les scores de beauté, dit-elle, s'inscrivent dans une dynamique inquiétante entre une culture de la beauté déjà malsaine et les algorithmes de recommandation que nous rencontrons chaque jour en ligne. Lorsque les scores sont utilisés pour décider quels messages apparaissent sur les plateformes de médias sociaux, par exemple, cela renforce la définition de ce qui est jugé attrayant et détourne l'attention de ceux qui ne correspondent pas à l'idéal strict de la machine. Nous réduisons les types d'images accessibles à tous, déclare Rhue.

C'est un cercle vicieux : avec plus d'yeux sur le contenu mettant en vedette des personnes attirantes, ces images sont capables de recueillir un engagement plus élevé, de sorte qu'elles sont montrées à encore plus de personnes. Finalement, même lorsqu'un score de beauté élevé n'est pas une raison directe pour laquelle une publication vous est montrée, c'est un facteur indirect.

Dans un étudier publiée en 2019, elle a examiné comment deux algorithmes, un pour les scores de beauté et un pour les prédictions d'âge, affectaient les opinions des gens. On a montré aux participants des images de personnes et on leur a demandé d'évaluer la beauté et l'âge des sujets. Certains des participants ont vu le score généré par une IA avant de donner leur réponse, tandis que d'autres n'ont pas du tout vu le score de l'IA. Elle a constaté que les participants sans connaissance de la cote de l'IA ne présentaient pas de biais supplémentaires ; cependant, savoir comment l'IA a classé l'attractivité des personnes a amené les gens à donner des scores plus proches du résultat généré par algorithme. Rhue appelle cela l'effet d'ancrage.

Les algorithmes de recommandation changent en fait nos préférences, dit-elle. Et le défi d'un point de vue technologique, bien sûr, est de ne pas trop les réduire. En ce qui concerne la beauté, nous constatons un rétrécissement beaucoup plus important que ce à quoi je m'attendais.

'Je n'ai vu aucune raison de ne pas évaluer vos défauts, car il existe des moyens de les corriger.'

Shafee Hassan, Studio Qoves

Chez Qoves, Hassan dit qu'il a essayé de s'attaquer de front à la question de la race. Lors de la réalisation d'un rapport d'analyse faciale détaillé - le genre pour lequel les clients paient - son studio tente d'utiliser des données pour classer le visage en fonction de l'ethnicité afin que tout le monde ne soit pas simplement évalué par rapport à un idéal européen. Vous pouvez échapper à ce préjugé eurocentrique simplement en devenant la plus belle version de vous-même, la plus belle version de votre ethnie, la plus belle version de votre race, dit-il.

Mais Rhue dit qu'elle s'inquiète du fait que ce type de catégorisation ethnique soit plus profondément ancré dans notre infrastructure technologique. Le problème est que les gens le font, peu importe comment nous le voyons, et il n'y a aucun type de réglementation ou de surveillance, dit-elle. S'il y a n'importe quel type de conflit, les gens essaieront de déterminer qui appartient à quelle catégorie.

Disons simplement que je n'ai jamais vu une IA beauté culturellement sensible, dit-elle.

Les systèmes de recommandation n'ont pas besoin d'être conçus pour évaluer l'attractivité pour finir par le faire de toute façon. La semaine dernière, le radiodiffuseur allemand BR a rapporté qu'une IA utilisée pour évaluer les employés potentiels affichait des préjugés basés sur l'apparence. Et en mars 2020, la société mère de TikTok, ByteDance, a été critiquée pour une note qui instruisait les modérateurs de contenu pour supprimer les vidéos qui affichaient des visages laids, les personnes potelées, celles avec un visage déformé ou manquant de dents de devant, les personnes âgées avec trop de rides, et plus encore. Twitter a récemment publié un outil de recadrage automatique pour les photos qui semblait donner la priorité aux Blancs . Lorsqu'elle a été testée sur des images de Barack Obama et de Mitch McConnell, l'IA à recadrage automatique a systématiquement recadré l'ancien président.

Qui est le plus juste de tous?

Lorsque j'ai parlé pour la première fois au fondateur de Qoves Hassan par appel vidéo en janvier, il m'a dit, j'ai toujours cru que les personnes attirantes sont une race à part.

Lorsqu'il a commencé en 2019, dit-il, ses amis et sa famille étaient très critiques à l'égard de son entreprise. Mais Hassan croit qu'il aide les gens à devenir la meilleure version possible d'eux-mêmes. Il s'inspire du film de 1997 Gattaca , qui se déroule dans un avenir pas trop lointain où le génie génétique est le moyen de conception par défaut. La discrimination génétique segmente la société, et le personnage d'Ethan Hawke, qui a été conçu naturellement, doit voler l'identité d'une personne génétiquement perfectionnée afin de contourner le système.

Il est généralement considéré comme un film profondément dystopique, mais Hassan dit qu'il a laissé une marque inattendue.

Histoire connexe

L'activiste démonte les algorithmes racistes de la police Hamid Khan gagne son combat pour l'abolition de la technologie de surveillance utilisée par le LAPD

C'était très intéressant pour moi, car l'idée était qu'une personne peut déterminer son destin. La façon dont ils veulent regarder fait partie de leur destin, dit-il. Avec le chemin parcouru par la médecine moderne, je ne voyais aucune raison de ne pas évaluer vos défauts, car il existe des moyens de les corriger.

Ses clients semblent d'accord. Il affirme que beaucoup d'entre eux sont des acteurs et des actrices, et que l'entreprise reçoit entre 50 et 100 commandes de rapports médicaux détaillés chaque jour - tellement qu'elle a du mal à répondre à la demande. Pour Hassan, lutter contre le classisme à venir entre ceux qui sont réputés beaux et ceux que la société considère comme laids est au cœur de sa mission. Ce que nous essayons de faire, c'est d'aider la personne moyenne, m'a-t-il dit.

Il existe d'autres façons d'aider la personne moyenne, cependant. Tous les experts à qui j'ai parlé ont déclaré que la divulgation et la transparence des entreprises qui utilisent la notation de la beauté sont primordiales. Belongie pense que faire pression sur les entreprises pour qu'elles révèlent le fonctionnement de leurs algorithmes de recommandation contribuera à assurer la sécurité des utilisateurs. L'entreprise devrait en être propriétaire et dire oui, nous utilisons la prédiction de la beauté du visage et voici le modèle. Et voici une galerie représentative de visages que nous pensons, en fonction de votre comportement de navigation, vous trouvez attrayants. Et je pense que l'utilisateur doit en être conscient et pouvoir interagir avec. Il dit que des fonctionnalités telles que l'outil de transparence des publicités de Facebook sont un bon début, mais si les entreprises ne le font pas, et qu'elles font quelque chose comme Face ++ où elles supposent simplement que nous sommes tous d'accord sur la beauté ... il peut y avoir des courtiers en puissance qui simplement pris cette décision.

Bien sûr, l'industrie devrait d'abord avouer qu'elle utilise ces modèles de notation en premier lieu, et le public devrait être conscient du problème. Et même si l'année écoulée a apporté attention et critique à la technologie de reconnaissance faciale , plusieurs chercheurs avec qui j'ai parlé ont dit qu'ils étaient surpris par le manque de sensibilisation à son utilisation. Rhue dit que la chose la plus surprenante à propos de la notation de la beauté est le peu de personnes qui l'examinent en tant que sujet. Elle n'est pas du tout convaincue que la technologie doive être développée.

Alors que Hassan passait en revue mes propres défauts avec moi, il m'a assuré qu'une bonne crème hydratante et une perte de poids devraient faire l'affaire. Et bien que l'esthétique de mon visage ne détermine pas ma trajectoire de carrière, il m'a encouragé à prendre mes résultats au sérieux.

La beauté, m'a-t-il rappelé, est une monnaie.