Facebook forme des robots assistants à entendre et à voir

Est-ce que tu as Facebook

En juin 2019, le laboratoire d'IA de Facebook, FAIR, a lancé AI Habitat, une nouvelle plateforme de simulation pour la formation d'agents d'IA. Il a permis aux agents d'explorer divers environnements virtuels réalistes, comme un appartement meublé ou un bureau rempli de cabines. L'IA pourrait alors être portée dans un robot, qui gagnerait en intelligence pour naviguer dans le monde réel sans s'écraser.

Au cours de l'année qui a suivi, FAIR a rapidement repoussé les limites de son travail sur l'IA incarnée. Dans un article de blog aujourd'hui , le laboratoire a annoncé trois étapes supplémentaires franchies : deux nouveaux algorithmes qui permettent à un agent de créer et de mémoriser rapidement une carte des espaces qu'il navigue, et l'ajout de son sur la plate-forme pour entraîner les agents à entendre.

Les algorithmes s'appuient sur le travail de FAIR en janvier de cette année, lorsqu'un agent a été formé à Habitat pour naviguer dans des environnements inconnus sans carte . En utilisant simplement une caméra de détection de profondeur, un GPS et des données de boussole, il a appris à entrer dans un espace comme le ferait un humain et à trouver le chemin le plus court possible vers sa destination sans mauvais virage, retour en arrière ou exploration.

Le premier de ces nouveaux algorithmes peut désormais construire une carte de l'espace en même temps, lui permettant de se souvenir de l'environnement et de naviguer plus rapidement s'il revient. La seconde améliore la capacité de l'agent à cartographier l'espace sans avoir à en visiter chaque partie. Ayant été formé sur suffisamment d'environnements virtuels, il est capable d'anticiper certaines fonctionnalités dans un nouveau ; il peut savoir, par exemple, qu'il y a probablement un espace au sol vide derrière un îlot de cuisine sans naviguer de l'autre côté pour regarder. Encore une fois, cela permet finalement à l'agent de se déplacer plus rapidement dans un environnement.

Enfin, le laboratoire a également créé SoundSpaces, un outil de rendu sonore qui permet aux chercheurs d'ajouter une acoustique très réaliste à n'importe quel environnement Habitat donné. Il pourrait restituer les sons produits en frappant différents meubles, ou les sons de talons contre des baskets sur un sol. Cet ajout donne à Habitat la possibilité de former des agents sur des tâches qui nécessitent à la fois une détection visuelle et auditive, comme Obtenir mon téléphone qui sonne ou Ouvrir la porte où la personne frappe.

Parmi les trois développements, l'ajout d'une formation sonore est le plus excitant, déclare Ani Kembhavi, chercheuse en robotique à l'Allen Institute for Artificial Intelligence, qui n'a pas participé aux travaux. Des recherches similaires dans le passé se sont davantage concentrées sur le fait de donner aux agents la possibilité de voir ou de répondre aux commandes textuelles. L'ajout d'audio est une prochaine étape essentielle et passionnante, dit-il. Je vois de nombreuses tâches différentes où les entrées audio seraient très utiles. La combinaison de la vision et du son en particulier est un domaine de recherche sous-exploré, déclare Pieter Abeel, directeur du Robot Learning Lab de l'Université de Californie à Berkeley.

Selon les chercheurs de FAIR, chacun de ces développements rapproche progressivement le laboratoire de la réalisation d'assistants robotiques intelligents. L'objectif est que ces compagnons puissent se déplacer avec agilité et effectuer des tâches sophistiquées comme la cuisine.

Mais il faudra encore longtemps avant de pouvoir lâcher les robots assistants dans la cuisine. L'un des nombreux obstacles que FAIR devra surmonter : amener toute la formation virtuelle à porter dans le monde physique, un processus connu sous le nom de transfert sim2real. Lorsque les chercheurs ont initialement testé leurs algorithmes entraînés virtuellement sur des robots physiques, le processus ne s'est pas si bien passé.

À l'avenir, les chercheurs de FAIR espèrent commencer à ajouter également des capacités d'interaction dans Habitat. Disons que je suis un agent, explique Kristen Grauman, chercheuse scientifique à FAIR et professeur d'informatique à l'Université du Texas à Austin, qui a dirigé une partie des travaux. J'entre et je vois ces objets. Que puis-je faire avec eux ? Où irais-je si je devais faire un soufflé ? Quels outils devrais-je prendre? Ces types d'interactions et même de modifications de l'environnement basées sur la manipulation amèneraient ce type de travail à un autre niveau. C'est quelque chose que nous poursuivons activement.

cacher