La technologie Eye-Tracking de Nvidia pourrait révolutionner la réalité virtuelle

Regardez une horloge sur un mur à proximité. Le point focal de votre regard doit être net, tandis que la scène 24 heures sur 24 est floue, comme si votre cerveau dessinait votre environnement ou, en termes d'infographie, rendait une version basse résolution de la scène.

Nvidia applique la même astuce pour rendre la réalité virtuelle, et cela pourrait aider à améliorer considérablement le réalisme des mondes virtuels. En concentrant la puissance de rendu graphique sur une zone plus petite, il est possible d'affiner considérablement l'image qu'une personne voit.

Léonard de Vinci a été le premier à remarquer ce phénomène visuel, appelé vision fovéale, au XVe siècle. David Luebke , avec quatre autres chercheurs de Nvidia, a passé les neuf derniers mois à tenter d'imiter le principe de la réalité virtuelle en ne rendant entièrement que la zone spécifique où un joueur regarde et en laissant le reste de la scène à une résolution bien inférieure.

Cette scène virtuelle a été rendue à l'aide de l'approche de vision fovéale de Nvidia, qui suit la focalisation du regard de l'utilisateur et brouille la vision périphérique autour de lui.

Lorsque le joueur utilisant le système Nvidia se concentre sur une nouvelle zone de la scène, le logiciel de suivi oculaire déplace le focus du rendu en nature. Pour rendre une scène complète en VR à 90 images par seconde, la fréquence d'images la plus basse acceptable en VR avant que les utilisateurs ne commencent à signaler des sensations de nausée, quatre millions de pixels doivent être rendus à près de cent fois par seconde. Mais en concentrant le rendu uniquement sur la ligne de mire du joueur, d'énormes économies de calcul peuvent être réalisées. Les gains de performances sont trop importants pour être ignorés, déclare Luebke.

Le principe n'est pas nouveau dans la recherche en réalité virtuelle. «Le principe n'est pas nouveau dans la recherche sur la réalité virtuelle. En effet, le casque Fove soutenu par Kickstarter utilise un système similaire (voir ' Pointer, cliquer et tirer en réalité virtuelle - Avec juste vos yeux '). Luebke a passé une grande partie des 15 dernières années à étudier la région, d'abord alors qu'il était professeur à l'Université de Virginie et maintenant chez Nvidia. Auparavant, cependant, la technologie de suivi oculaire avait du mal à suivre la vitesse rapide des mouvements de l'œil humain, provoquant un effet de latence qui tourmente l'estomac lorsqu'un utilisateur passe, par exemple, du côté gauche d'une scène vers la droite. Un nouveau prototype d'écran VR à suivi oculaire par Instruments sensomoteurs est capable d'un suivi oculaire précis et à faible latence à 250 Hertz. Pour la première fois, nous avons des eye-trackers que vous ne pouvez pas distancer avec vos yeux, explique Luebke.

Même avec cette capacité, l'équipe de Nvidia devait passer beaucoup de temps à calculer exactement de combien elle pouvait réduire la résolution de la périphérie d'une scène avant qu'un spectateur ne le remarque. La vision périphérique est très efficace pour détecter le scintillement, explique Luebke. Il est utilisé pour nous aider à voir les tigres dans les bois.

En tant que tel, tout scintillement de la dégradation est déconcertant. De même, si la périphérie devient trop floue, cela peut créer un effet de vision tunnel, comme si le spectateur regardait à travers une paire de jumelles. Vous pouvez dire que quelque chose ne va pas, même si vous ne pouvez pas vraiment mettre le doigt sur quoi, dit Luebke.

Pour résoudre le problème, les chercheurs de Nvidia ont découvert que s'ils augmentaient le contraste de la scène périphérique tout en baissant la résolution, l'esprit humain était complètement dupe.

Bien que Nvidia n'ait aucun produit en production qui facilite la technique, la société, qui fournit du matériel et des logiciels à de nombreuses sociétés de réalité virtuelle, espère que ses découvertes encourageront les principaux fabricants de casques à inclure des eye-trackers dans leurs futurs écrans montés sur la tête. Une partie de ce que nous faisons ici consiste à aider à définir les règles de la route pour la réalité virtuelle, explique Luebke.

Il est peu probable que la technologie apparaisse en dehors de la réalité virtuelle – dans les ordinateurs portables, par exemple – car les trackers oculaires deviennent beaucoup moins efficaces à mesure qu'ils s'éloignent du visage. VR, où le tracker se trouve à quelques centimètres de l'œil, en revanche, offre le couple idéal. La technologie aura probablement un impact sur les futures cartes graphiques de l'entreprise, donnant aux développeurs la possibilité de donner la priorité au traitement informatique sur des pixels spécifiques et de redéfinir les algorithmes de rendu.

cacher