La vision artificielle a appris à utiliser les ondes radio pour voir à travers les murs et dans l'obscurité

Sortie de reconnaissance d'action montrant des personnages donnant des coups de pied et tapotant dans le dos AVEC CSAIL

La vision artificielle a un bilan impressionnant. Il a la capacité surhumaine de reconnaître les personnes, les visages et les objets. Il peut même reconnaître de nombreux types d'actions différents, mais pas encore aussi bien que les humains.

Mais il y a des limites à ses performances. Les machines ont un moment particulièrement difficile lorsque des personnes, des visages ou des objets sont partiellement masqués. Et lorsque les niveaux de lumière chutent trop, ils sont effectivement aveuglés, tout comme les humains.

Mais il existe une autre partie du spectre électromagnétique qui n'est pas limitée de la même manière. Les ondes radio remplissent notre monde, que ce soit la nuit ou le jour. Ils traversent facilement les murs et sont à la fois transmis et réfléchis par les corps humains. En effet, les chercheurs ont mis au point diverses manières d'utiliser les signaux radio Wi-Fi pour voir à huis clos.

Mais ces systèmes de radio vision présentent quelques lacunes. Leur résolution est faible ; les images sont bruyantes et remplies de reflets gênants, ce qui rend difficile de comprendre ce qui se passe.

En ce sens, les images radio et les images en lumière visible présentent des avantages et des inconvénients complémentaires. Et cela soulève la possibilité d'utiliser les forces de l'un pour pallier les lacunes de l'autre.

Entrez Tianhong Li et ses collègues du MIT, qui ont trouvé un moyen d'apprendre à un système de radiovision à reconnaître les actions des gens en l'entraînant avec des images en lumière visible. Le nouveau système de radiovision peut voir ce que font les individus dans un large éventail de situations où l'imagerie en lumière visible échoue. Nous introduisons un modèle de réseau neuronal qui peut détecter les actions humaines à travers les murs et les occlusions, et dans de mauvaises conditions d'éclairage, disent Li et co.

La méthode de l'équipe utilise une astuce intéressante. L'idée de base est d'enregistrer des images vidéo de la même scène en utilisant la lumière visible et les ondes radio. Les systèmes de vision artificielle sont déjà capables de reconnaître les actions humaines à partir d'images en lumière visible. L'étape suivante consiste donc à corréler ces images avec les images radio de la même scène.

Mais la difficulté est de s'assurer que le processus d'apprentissage se concentre sur le mouvement humain plutôt que sur d'autres caractéristiques, telles que l'arrière-plan. Ainsi Li et co introduisent une étape intermédiaire dans laquelle la machine génère des modèles de bonhomme allumette 3D qui reproduisent les actions des personnes dans la scène.

En traduisant l'entrée en une représentation intermédiaire basée sur un squelette, notre modèle peut apprendre à la fois des ensembles de données basés sur la vision et basés sur les radiofréquences, et permettre aux deux tâches de s'aider mutuellement. dit Li et compagnie.

De cette manière, le système apprend à reconnaître des actions en lumière visible, puis à reconnaître les mêmes actions qui se déroulent dans l'obscurité ou derrière des murs, à l'aide d'ondes radio. Nous montrons que notre modèle atteint une précision comparable aux systèmes de reconnaissance d'action basés sur la vision dans des scénarios visibles, tout en continuant à fonctionner avec précision lorsque les personnes ne sont pas visibles, déclarent les chercheurs.

C'est un travail intéressant qui a un potentiel important. Les applications évidentes sont dans les scénarios où les images en lumière visible échouent, dans des conditions de faible luminosité et à huis clos.

Mais il existe aussi d'autres applications. Un problème avec les images en lumière visible est que les personnes sont reconnaissables, ce qui soulève des problèmes de confidentialité.

Mais un système radio n'a pas la résolution pour la reconnaissance faciale. Identifier des actions sans reconnaître les visages ne soulève pas les mêmes craintes en matière de vie privée. Il peut apporter une reconnaissance d'action aux maisons des gens et permettre son intégration dans les systèmes de maison intelligente, disent Li et co. Cela pourrait être utilisé pour surveiller le domicile d'une personne âgée et alerter les services appropriés en cas de chute, par exemple. Et il le ferait sans trop de risques pour la vie privée.

C'est au-delà de la capacité des systèmes basés sur la vision d'aujourd'hui.

Réf : arxiv.org/abs/1909.09300 : Rendre l'invisible visible : reconnaissance d'action à travers les murs et les occlusions

cacher