211service.com
Facebook veut que les machines voient le monde à travers nos yeux
Examen de la technologie MIT | Envato
Nous tenons pour acquis que les machines peuvent reconnaître ce qu'elles voient sur les photos et les vidéos. Cette capacité repose sur grands ensembles de données comme ImageNet , une collection organisée à la main de millions de photos utilisées pour entraîner la plupart des meilleurs modèles de reconnaissance d'images de la dernière décennie.
Mais les images de ces ensembles de données dépeignent un monde d'objets organisés - une galerie d'images qui ne capture pas le désordre de la vie quotidienne telle que les humains la vivent. Faire en sorte que les machines voient les choses comme nous adopterons une approche entièrement nouvelle. Et le laboratoire d'intelligence artificielle de Facebook veut prendre les devants.
Il s'agit de lancer un projet, appelé Ego4D , pour créer des IA capables de comprendre les scènes et les activités vues à la première personne, c'est-à-dire comment les choses se présentent aux personnes impliquées, plutôt qu'à un spectateur. Pensez à des séquences GoPro floues de mouvement prises au cœur de l'action, au lieu de scènes bien cadrées prises par quelqu'un sur la touche. Facebook veut qu'Ego4D fasse pour la vidéo à la première personne ce qu'ImageNet a fait pour les photos.
Histoire connexe
Pourquoi Facebook utilise Ray-Ban pour revendiquer nos visages Pour construire le métaverse, Facebook a besoin de nous pour nous habituer aux lunettes intelligentes.
Au cours des deux dernières années, Facebook AI Research (FAIR) a travaillé avec 13 universités à travers le monde pour assembler le plus grand ensemble de données de vidéo à la première personne jamais créé, en particulier pour former des modèles de reconnaissance d'images d'apprentissage en profondeur. Les IA formées sur l'ensemble de données seront plus aptes à contrôler les robots qui interagissent avec les gens ou à interpréter les images des lunettes intelligentes. Les machines ne pourront nous aider dans notre vie quotidienne que si elles comprennent vraiment le monde à travers nos yeux, déclare Kristen Grauman de FAIR, qui dirige le projet.
Une telle technologie pourrait aider les personnes qui ont besoin d'aide à la maison ou guider les personnes dans les tâches qu'elles apprennent à accomplir. La vidéo de cet ensemble de données est beaucoup plus proche de la façon dont les humains observent le monde, explique Michael Ryoo, chercheur en vision par ordinateur à Google Brain et Stony Brook University à New York, qui n'est pas impliqué dans Ego4D.
Mais les détournements potentiels sont clairs et inquiétants. La recherche est financée par Facebook, un géant des médias sociaux qui a récemment été accusé au Sénat américain de faire passer les profits avant le bien-être des gens — tel que corroboré par le MIT Technology Review propres enquêtes .
Le modèle commercial de Facebook, et d'autres grandes entreprises technologiques, consiste à extraire autant de données que possible du comportement en ligne des gens et à les vendre aux annonceurs. L'IA décrite dans le projet pourrait étendre cette portée au comportement hors ligne quotidien des gens, révélant quels objets se trouvent autour de votre maison, quelles activités vous avez appréciées, avec qui vous avez passé du temps et même où votre regard s'est attardé - un degré sans précédent d'informations personnelles.
Il y a du travail sur la confidentialité qui doit être fait lorsque vous sortez cela du monde de la recherche exploratoire et que vous l'envisagez dans quelque chose qui est un produit, dit Grauman. Ce travail pourrait même être inspiré par ce projet.
FACEBOOKLe plus grand ensemble de données précédent de vidéo à la première personne se compose de 100 heures de séquences de personnes dans la cuisine. L'ensemble de données Ego4D se compose de 3 025 heures de vidéo enregistrées par 855 personnes dans 73 endroits différents dans neuf pays (États-Unis, Royaume-Uni, Inde, Japon, Italie, Singapour, Arabie saoudite, Colombie et Rwanda).
Les participants avaient des âges et des parcours différents ; certains ont été recrutés pour leurs professions visuellement intéressantes, comme les boulangers, les mécaniciens, les charpentiers et les paysagistes.
Les ensembles de données précédents consistaient généralement en des clips vidéo semi-scénarisés de quelques secondes seulement. Pour Ego4D, les participants ont porté des caméras montées sur la tête jusqu'à 10 heures à la fois et ont capturé une vidéo à la première personne d'activités quotidiennes non scénarisées, notamment marcher dans une rue, lire, faire la lessive, faire du shopping, jouer avec des animaux domestiques, jouer à des jeux de société et interagir avec d'autres personnes. Certaines des séquences incluent également de l'audio, des données sur l'endroit où le regard des participants était concentré et plusieurs perspectives sur la même scène. Il s'agit du premier ensemble de données de ce type, déclare Ryoo.
FAIR a également lancé une série de défis qui, espère-t-il, concentreront les efforts d'autres chercheurs sur le développement de ce type d'IA. L'équipe anticipe les algorithmes intégrés aux lunettes intelligentes, comme Les Ray-Ban annoncés récemment par Facebook , qui enregistrent et enregistrent la vie quotidienne des porteurs. Cela signifie que les applications métavers de réalité augmentée ou virtuelle pourraient, en théorie, répondre à des questions telles que Où sont mes clés de voiture ? ou Qu'ai-je mangé et à côté de qui me suis-je assis lors de mon premier vol vers la France ? Les assistants de réalité augmentée pourraient comprendre ce que vous essayez de faire et vous proposer des instructions ou des indices sociaux utiles.
C'est de la science-fiction, mais plus proche que vous ne le pensez, dit Grauman. De grands ensembles de données accélèrent la recherche. ImageNet a réalisé de grandes avancées en peu de temps, dit-elle. Nous pouvons nous attendre à la même chose pour Ego4D, mais pour des vues à la première personne du monde au lieu d'images Internet.
Une fois les images collectées, les travailleurs du crowdsourcing au Rwanda ont passé un total de 250 000 heures à regarder les milliers de clips vidéo et à écrire des millions de phrases décrivant les scènes et les activités filmées. Ces annotations seront utilisées pour entraîner les IA à comprendre ce qu'elles regardent.
Histoire connexe
Les ensembles de données truffés d'erreurs déforment notre perception de la qualité réelle de l'IA Notre compréhension des progrès de l'apprentissage automatique a été teintée par des données de test erronées.
Reste à savoir où cette technologie aboutit et à quelle vitesse elle se développe. FAIR prévoit un concours basé sur ses défis en juin 2022. Il est également important de noter que FAIR, le laboratoire de recherche, n'est pas le même que Facebook, le mégalodon des médias. En fait, les initiés disent que Facebook a ignoré les correctifs techniques que FAIR a mis au point pour ses algorithmes toxiques . Mais Facebook paie pour la recherche, et il est malhonnête de prétendre que l'entreprise n'est pas très intéressée par son application.
Sam Gregory de Witness, une organisation de défense des droits de l'homme spécialisée dans la technologie vidéo, affirme que cette technologie pourrait être utile aux passants documentant les manifestations ou les abus de la police. Mais il pense que ces avantages sont compensés par les préoccupations concernant les applications commerciales. Il note qu'il est possible d'identifier les individus à partir de la façon dont ils tiennent une caméra vidéo. Les données du regard seraient encore plus révélatrices : c'est un indicateur d'intérêt très fort, dit-il. Comment les données de regard seront-elles stockées ? A qui sera-t-il accessible ? Comment pourrait-il être traité et utilisé?
La réputation et le modèle commercial de base de Facebook sonnent beaucoup d'alarme, déclare Rory Mir de l'Electronic Frontier Foundation. À ce stade, beaucoup sont conscients des piètres antécédents de Facebook en matière de confidentialité et de leur utilisation de la surveillance pour influencer les utilisateurs, à la fois pour garder les utilisateurs accrochés et pour vendre cette influence à leurs clients payants, les annonceurs. En ce qui concerne la réalité augmentée et virtuelle, Facebook cherche un avantage concurrentiel, déclare Mir : Il est essentiel d'augmenter la quantité et les types de données qu'il collecte.
Interrogé sur ses plans, Facebook a été, sans surprise, discret : Ego4D est purement de la recherche pour promouvoir les avancées dans la communauté scientifique au sens large, a déclaré un porte-parole. Nous n'avons rien à partager aujourd'hui sur les applications du produit ou son utilisation commerciale.