211service.com
Comment fonctionne la réalité augmentée de Magic Leap
Une startup de Floride appelée Saut magique a annoncé mardi qu'il avait reçu 542 millions de dollars dans le financement des principaux investisseurs de la Silicon Valley dirigés par Google pour développer du matériel pour un nouveau type de matériel de réalité augmentée. La startup secrète n'a pas encore décrit ou démontré publiquement sa technologie et a refusé une demande d'entretien. Mais les dépôts de brevets et de marques révèlent le type de technologie que Magic Leap prévoit d'utiliser pour créer ce que le PDG et fondateur de la société, Rony Abovitz a appelé l'interface informatique portable la plus naturelle et conviviale au monde.
À dépôt de brevet par startup Magic Leap décrit un écran portable qui présente des images 3D réalistes, alimentées par un ordinateur porté sur la hanche.
Les dépôts décrivent une technologie d'affichage sophistiquée qui peut tromper le système visuel humain mieux que les écrans de réalité virtuelle existants (tels que l'Oculus Rift) pour percevoir les objets virtuels comme réels. La technologie d'affichage utilisée dans la plupart des appareils ne peut afficher que des images 2D plates. Des casques comme l'Oculus Rift incitent votre cerveau à percevoir la profondeur en montrant des images différentes à chaque œil, mais vos yeux sont toujours concentrés sur l'écran plat juste devant eux.
Lorsque vous regardez une vraie scène 3D, la profondeur à laquelle vos yeux sont focalisés change lorsque vous regardez des objets à différentes distances. Si nous omettons ces indices de concentration, nous obtenons une expérience qui n'est pas tout à fait réaliste, dit Gordon Wetzstein , qui dirige le Computational Imaging Research Group à l'Université de Stanford.
Les brevets de Magic Leap suggèrent une approche alternative. Ils décrivent des affichages capables de créer le même type de motifs de rayons lumineux en 3D, appelés champs lumineux, que nos yeux captent des objets réels qui nous entourent. Wetzstein et d'autres chercheurs ont montré que cela permet à vos yeux de se concentrer sur les profondeurs d'une scène 3D artificielle comme ils le feraient dans le monde réel, offrant une illusion beaucoup plus réaliste d'objets virtuels fusionnés avec le monde réel.
Plus tôt cette année, Wetzstein et ses collègues ont utilisé cette technique pour créer un affichage qui permet de lire clairement le texte par les personnes ne portant pas leurs verres correcteurs habituels (voir Prototype Display Lets You Say Goodbye to Reading Glasses ). Il a travaillé auparavant sur écrans 3D sans lunettes sur la base de méthodes similaires. Et l'année dernière, les chercheurs de la société de puces Nvidia ont démontré un écran portable de base basé sur des champs lumineux.
À dépôt de marque de juillet décrit la technologie de Magic Leap comme du matériel informatique portable, à savoir un système d'affichage optique incorporant un affichage dynamique à champ lumineux.
Un des Magic Leap brevets décrit comment un tel dispositif, surnommé WRAP, pour projecteur à réseau réflecteur guide d'ondes, fonctionnerait. L'affichage serait composé d'un réseau de nombreux petits miroirs incurvés; la lumière serait transmise à ce réseau via une fibre optique, et chacun des minuscules éléments réfléchirait une partie de cette lumière pour créer le champ lumineux pour un point particulier dans l'espace 3D. Le tableau pourrait être semi-transparent pour permettre à une personne de voir le monde réel en même temps.
Plusieurs couches de ces minuscules miroirs permettraient à l'affichage de produire l'illusion d'objets virtuels à différentes distances. Cependant, le brevet de Magic Leap affirme également qu'une seule couche de miroirs suffirait s'ils étaient formés à partir d'un liquide magnétique. Cela permettrait aux miroirs d'être reprogrammés à l'aide d'un champ magnétique pour afficher rapidement des points à différentes profondeurs assez rapidement pour tromper l'œil, comme les images d'une animation.
Le plus grand défi de Magic Leap peut être de trouver un moyen d'intégrer de manière transparente les objets virtuels 3D créés par cet affichage avec ce qu'une personne voit dans le monde réel. Cela nécessiterait que le système détecte le monde en 3D et comprenne exactement ce qu'une personne regarde et sa position exacte, explique Wetzstein.
L'un des brevets de Magic Leap couvre l'utilisation de capteurs de mouvement et caméras de suivi oculaire sur un écran portable pour déterminer à quelle profondeur les yeux d'une personne sont focalisés. Mais Wetzstein dit qu'il n'est au courant d'aucune démonstration d'un système portable capable de suivre la distance sur laquelle une personne se concentre.
Un autre dépôt de brevet de Magic Leap dit que les caméras, les capteurs infrarouges et les capteurs à ultrasons pourrait être utilisé pour sentir l'environnement autour d'une personne et pour reconnaître les gestes. Les caméras à détection de profondeur sont maintenant relativement bon marché et compactes (voir Intel dit que les tablettes et les ordinateurs portables avec vision 3D arrivent bientôt). Mais Wetzstein dit que Magic Leap devra probablement faire des percées majeures dans les logiciels de vision par ordinateur pour qu'un appareil portable donne suffisamment de sens au monde pour une réalité augmentée très riche. Ils nécessiteront une reconnaissance d'image 3D très puissante, fonctionnant sur votre visiocasque, dit-il.
L'entreprise recrute des experts en conception de puce et fabrication , apparemment dans le but de créer des puces personnalisées pour traiter les données d'image. Des puces dédiées pourraient rendre ce travail plus économe en énergie, ce qui est important pour un appareil portable. Magic Leap emploie déjà Gary Bradski , un pionnier de la recherche et des logiciels de vision par ordinateur, note Wetzstein. Magic Leap essaie également de recruter des personnes qualifiées dans lasers , mobile et sans fil électronique, caméras, gestion de la chaîne d'approvisionnement de fabrication, Détection 3D , intelligence artificielle , et développement de jeux vidéo .
Au total, bon nombre des techniques sous-jacentes dont Magic Leap a besoin pour réaliser une réalité augmentée hautement réaliste ont été démontrées, déclare Wetzstein. Mais l'entreprise devra les affiner et les combiner d'une manière que personne n'a encore réussi à faire. Je pense que les gens commencent à réaliser que c'est l'avenir de la construction d'appareils grand public, dit-il. Mais cela implique de grands défis à l'intersection de l'optique, de l'électronique, des algorithmes et de la compréhension du système visuel humain.