Une startup oblige les ordinateurs à lire les visages et cherche un objectif au-delà des publicités

L'année dernière, plus de 1 000 personnes dans quatre pays se sont assises et ont regardé 115 publicités télévisées, comme celle présentant des bonbons M&M anthropomorphisés boogying dans un bar. Pendant tout ce temps, des webcams pointaient leurs visages et diffusaient des images de leurs expressions sur un serveur à Waltham, dans le Massachusetts.

Code facial : À l'aide d'images capturées à partir de simples webcams, le logiciel d'Affiche suit le mouvement des muscles des lèvres, des sourcils et d'autres parties du visage pour déterminer l'état émotionnel d'une personne.

À Waltham, un algorithme développé par une startup appelée Affectiva a effectué ce que l'on appelle le codage facial : il a suivi les sourcils levés, les sourcils froncés, les sourires narquois, les demi-sourires, les froncements de sourcils et les sourires. (Regardez une vidéo de la technologie en action sous cette histoire ou ici.) Lorsque ces données faciales ont ensuite été fusionnées avec des données de ventes réelles, il s'est avéré que les mesures faciales pouvaient être utilisées pour prédire avec une précision de 75 % si les ventes de la les produits annoncés augmenteraient, diminueraient ou resteraient les mêmes après la diffusion des publicités. En comparaison, les enquêtes sur les sentiments des panélistes à propos des publicités pourraient prédire les ventes des produits avec une précision de 70 %.

Bien qu'il s'agisse d'une amélioration incrémentielle sur le plan statistique, cela reflétait une étape importante dans le domaine de l'informatique affective. Alors que les gens ont notoirement du mal à exprimer ce qu'ils ressentent, il est maintenant clair que les machines peuvent non seulement lire certains de leurs sentiments, mais aussi aller plus loin et prédire la probabilité statistique d'un comportement ultérieur.

Étant donné que le marché des publicités télévisées aux États-Unis à lui seul dépasse 70 milliards de dollars, les informations du codage facial sont un gros problème pour les hommes d'affaires, explique Rosalind Picard, qui dirige le groupe d'informatique affective au Media Lab du MIT et a cofondé l'entreprise ; elle a quitté l'entreprise plus tôt cette année mais est toujours un investisseur.

Même ainsi, le codage facial n'a pas encore livré les visions plus larges et plus altruistes de ses créateurs. Aider à vendre plus de chocolat, c'est bien, mais quand le codage facial aidera-t-il les personnes autistes à lire les signaux sociaux, augmentera-t-il la capacité des enseignants à voir quels élèves ont des difficultés ou rendra-t-il les ordinateurs empathiques ?

Les réponses pourraient commencer à arriver le mois prochain, lorsque Affectiva lancera un kit de développement logiciel qui permettra à sa plate-forme d'être utilisée pour des applications approuvées. L'espoir, dit Rana el Kaliouby, directeur scientifique de l'entreprise et l'autre cofondateur (voir Innovateurs de moins de 35 ans : Rana el Kaliouby), est de diffuser la technologie au-delà du marketing. Bien qu'elle ne nomme pas les partenaires réels ou potentiels, elle a déclaré que les entreprises peuvent utiliser notre technologie pour tout, des jeux et divertissements aux environnements d'éducation et d'apprentissage.

Des applications telles que l'assistance pédagogique - informer les enseignants lorsque les élèves sont confus ou aider les enfants autistes à lire les émotions sur le visage des autres - figuraient fortement dans la conception de l'entreprise. Affectiva, qui a été lancée il y a quatre ans et compte maintenant 35 employés et 20 millions de dollars de capital-risque, est née du laboratoire Picard manifeste déclarant que les ordinateurs rendraient service à la société s'ils pouvaient reconnaître et réagir aux émotions humaines.

Au fil des ans, le laboratoire a conçu des prototypes de technologies. Ceux-ci comprenaient une souris à détection de pression qui pouvait sentir lorsque votre main se serrait dans l'agitation; un robot appelé Kismet qui pouvait sourire et hausser les sourcils ; le Galvactivator, un capteur de conductivité cutanée pour mesurer le rythme cardiaque et la transpiration ; et le système de codage facial, développé et affiné par el Kaliouby.

Affectiva a parié sur deux produits initiaux : un gadget porté au poignet appelé capteur Q qui pourrait mesurer la conductance cutanée, la température et les niveaux d'activité (qui peuvent être des indicateurs de stress, d'anxiété, de problèmes de sommeil, de convulsions et d'autres conditions médicales) ; et Affdex, le logiciel de codage facial. Mais alors que le capteur Q semblait très prometteur (voir Le capteur de poignet vous indique à quel point vous êtes stressé et le capteur détecte les émotions à travers la peau), en avril, la société a abandonné le produit, voyant peu de marché potentiel au-delà des chercheurs travaillant sur des applications telles que la mesure signes physiologiques qui laissent présager des crises. Cela laisse l'entreprise avec Affdex, qui est principalement utilisé par des sociétés d'études de marché, notamment Insight Express et Millward Brown, et des sociétés de produits de consommation comme Unilever et Mars.

Maintenant, alors que l'entreprise prépare son kit de développement, le travail d'étude de marché peut apporter un profit indirect. Après avoir passé trois ans à réunir des panels basés sur des webcams dans le monde entier, Affectiva a accumulé une base de données de plus d'un milliard de réactions faciales. La précision du système pourrait ouvrir la voie à des applications qui lisent les émotions sur le visage des gens à l'aide d'ordinateurs domestiques ordinaires et d'appareils portables. Affectiva s'attaque à un problème extrêmement difficile, l'analyse des expressions faciales dans des environnements difficiles et sans contraintes, qu'une grande partie de la communauté universitaire a évité, explique Tadas Baltrusaitis, doctorant à l'Université de Cambridge, qui a écrit plusieurs articles sur le codage facial. .

De plus, en utilisant des panélistes de 52 pays, Affectiva a tiré des leçons spécifiques au genre, à la culture et au sujet. Le codage facial a une valeur particulière lorsque les gens ne sont pas disposés à déclarer eux-mêmes leurs sentiments. Par exemple, dit el Kaliouby, lorsque des femmes indiennes ont vu une publicité pour une lotion pour la peau, chacune d'entre elles a souri lorsqu'un mari a touché le ventre de sa femme - mais aucune des femmes n'a plus tard reconnu ou mentionné cette scène, et encore moins avoué avoir apprécié ce.

L'éducation peut être mûre pour la technologie. Une foule d'études ont montré le potentiel; un par des chercheurs de l'Université de Californie à San Diego, qui ont fondé une startup concurrente appelée émotif — a montré que les expressions faciales prédisaient la difficulté perçue d'une conférence vidéo et la vitesse de visualisation préférée de l'étudiant. Un autre a montré que le codage facial pouvait mesurer l'engagement des étudiants lors d'une session de tutorat sur iPad, et que ces mesures d'engagement, à leur tour, prédisaient comment les étudiants réussiraient plus tard aux tests.

De telles technologies peuvent être particulièrement utiles aux étudiants ayant des troubles d'apprentissage, déclare Winslow Burleson, professeur adjoint à l'Arizona State University, auteur d'un papier décrivant ces utilisations potentielles du codage facial et d'autres technologies. De même, la technologie pourrait aider les cliniciens à déterminer si un patient comprend les instructions. Ou il pourrait améliorer les jeux informatiques en détectant les émotions des joueurs et en utilisant ces commentaires pour changer le jeu ou améliorer un personnage virtuel.

Pris ensemble, les enseignements de nombreuses études de ce type suggèrent un rôle pour Affdex dans les salles de classe en ligne, explique Picard. Dans une vraie salle de classe, vous pouvez savoir si les élèves sont activement attentifs, dit-elle. Lorsque vous accédez à l'apprentissage en ligne, vous ne savez même pas s'ils sont là. Maintenant, vous pouvez mesurer non seulement s'ils sont présents et attentifs, mais si vous parlez - si vous faites une blague, sourient-ils ou sourient-ils ?

Néanmoins, Baltrusaitis dit que de nombreuses questions subsistent quant aux états émotionnels des élèves pertinents et à ce qu'il faut faire lorsque ces états sont détectés. Je pense que le domaine devra se développer un peu plus avant de voir cela se déployer dans les salles de classe ou les cours en ligne, dit-il.

L'année à venir devrait révéler beaucoup de choses sur la question de savoir si le codage facial peut avoir des avantages au-delà des publicités télévisées. Affdex fait face à la concurrence d'autres applications et startups, et même de certains commerçants rester sceptique que le codage facial est meilleur que les méthodes traditionnelles de test des publicités. Toutes les réactions ne sont pas exprimées sur le visage, et de nombreux autres outils de mesure prétendent lire les émotions des gens, explique Ilya Vedrashko, qui dirige un groupe de recherche sur l'intelligence des consommateurs chez Hill Holliday, une agence de publicité à Boston.

Pourtant, à chaque nouveau visage, la technologie se renforce. C'est pourquoi el Kaliouby pense qu'il est sur le point de s'attaquer à de plus gros problèmes. Nous voulons rendre la technologie de codage facial omniprésente, dit-elle.

cacher