Oculus Rift Hack transfère vos expressions faciales sur votre avatar

La réalité virtuelle est destinée à obtenir un trait vital de réalité sociale.

Le logiciel combine les données des capteurs qui suivent les parties supérieure et inférieure du visage et associe le résultat à un modèle 3D d'un visage.

Des chercheurs de l'Université de Californie du Sud et de la division Oculus de Facebook ont ​​démontré un moyen de suivre les expressions faciales d'une personne portant un casque de réalité virtuelle et de les transférer sur un personnage virtuel. Cela pourrait rendre la socialisation, le travail ou le jeu beaucoup plus gratifiants dans des mondes virtuels, car l'expression d'un double corporel virtuel ou d'un avatar d'un autre monde pourrait parfaitement imiter celle du vrai visage d'une personne.

Le système suit le mouvement de la bouche d'une personne à l'aide d'une caméra 3D fixée au casque avec une perche courte. Les mouvements de la partie supérieure du visage sont mesurés à l'aide de jauges de contrainte ajoutées au rembourrage en mousse qui adapte le casque au visage. Une fois les deux sources de données combinées, une représentation 3D précise des mouvements du visage de l'utilisateur peut être utilisée pour animer un personnage virtuel, qu'il s'agisse d'un ersatz de personne ou de quelque chose d'autre qu'humain (voir la vidéo).

Cela pourrait rendre l'habitation et l'interaction dans les mondes virtuels plus attrayantes, dit Hao Li , professeur adjoint à l'Université de Californie du Sud qui a dirigé le projet. Pour obtenir un environnement social virtuel, vous voulez transmettre ce comportement à d'autres personnes, dit-il. Il s'agit du premier suivi facial qui a été démontré via un visiocasque. Li a été nommé l'un des Examen de la technologie MIT des Jeunes Innovateurs en 2013.

Le PDG de Facebook, Mark Zuckerberg, a déclaré qu'il était intéressé par le casque Oculus Rift offrant de nouvelles façons de socialiser, bien qu'il n'ait divulgué aucun détail. Le réseau social a acquis Oculus l'année dernière (voir What Zuckerberg Sees in Oculus Rift).

Li dit que les chercheurs d'Oculus ont travaillé avec lui uniquement dans le cadre d'un exercice de recherche, mais qu'il ne serait pas trop difficile de peaufiner le système qu'ils ont mis au point et d'en faire un produit commercial. Si les gens pensent que c'est vraiment au cœur d'applications tueuses importantes, vous pourriez le mettre en production assez rapidement, dit-il.

C'est vraiment cool, dit Philip Rosedale, qui a précédemment fondé Second Life et est maintenant PDG d'une startup de mondes virtuels appelée Haute fidélité . La société s'efforce de permettre une interaction sociale virtuelle réaliste en utilisant des webcams et d'autres technologies de capteurs pour suivre les expressions faciales et les gestes des bras et des mains (voir The Quest to Put More Reality in Virtual Reality ).

Il existe de bonnes preuves que le fait de faire en sorte que les avatars des gens affichent leur langage corporel réel les aide à se connecter à d'autres personnes dans un monde virtuel, dit Rosedale. Il convient avec Li qu'il devrait être possible de rationaliser la première preuve de concept. La caméra pourrait être intégrée sous le casque, par exemple. Les efforts des chercheurs et des startups pour placer des caméras de suivi oculaire dans les casques de réalité virtuelle pourraient offrir un autre moyen de collecter des données sur la partie supérieure du visage.

La clé de voûte du système de Li est un logiciel qui peut combiner les données des capteurs qui suivent les parties supérieure et inférieure du visage et faire correspondre le résultat sur un modèle 3D d'un visage.

Pour l'instant, ce logiciel vous oblige à passer par un bref processus d'étalonnage la première fois que vous utilisez le système. Tout d'abord, vous donnez à vos muscles faciaux un entraînement de 10 secondes en les contorsionnant en quelques expressions différentes tout en portant un casque avec la partie écran retirée devant une caméra 3D, afin qu'il puisse obtenir une vue complète du visage. Ensuite, vous enfilez le casque complet et vous entraînez votre visage pendant 10 secondes supplémentaires. Les données collectées aident le logiciel à déterminer comment faire correspondre correctement les flux de données de votre visage supérieur et inférieur.

Li dit qu'il s'efforce d'éliminer cette étape en fournissant à son logiciel plus de données sur différents visages. Il travaille également sur d'autres techniques qui pourraient faciliter la copie de votre vrai moi dans un monde virtuel. De nombreux outils ont déjà été développés pour créer des répliques 3D du corps et du visage des personnes à l'aide de caméras conventionnelles et 3D. Li a récemment créé un système qui s'attaque à la tâche plus difficile de faire une recréation réaliste en 3D de la coiffure d'une personne. Son logiciel peut le faire en utilisant seulement une seule photo . Ce projet et la recherche sur le suivi du visage seront tous deux présentés au Conférence d'infographie Siggraph à Los Angeles en août.

cacher