La seconde peau capture le mouvement

Des chercheurs du MIT ont développé un nouveau système qui pourrait fournir un moyen moins coûteux et plus efficace de suivre le mouvement. Le système, appelé Seconde peau , pourrait être une alternative moins chère pour créer des effets spéciaux pour les films. Les chercheurs disent qu'ils espèrent qu'il sera également utilisé pour aider les gens à surveiller leurs propres mouvements afin qu'ils puissent pratiquer une thérapie physique ou perfectionner leurs mouvements de tai-chi.





Lumière codée : Ce projecteur envoie des impulsions lumineuses plusieurs fois par seconde. Ces impulsions lumineuses sont captées par des photodétecteurs portés par le sujet suivi.

Les systèmes de suivi traditionnels impliquent des caméras à grande vitesse placées autour d'un ensemble spécialement éclairé. Le sujet suivi porte des marqueurs spéciaux qui reflètent la lumière émise par les caméras. Les caméras capturent et enregistrent la lumière réfléchie plusieurs fois par seconde, pour suivre le mouvement du sujet. Lorsque le système est utilisé pour faire des films, des logiciels et une équipe d'animateurs convertissent les données en un personnage animé. Ces systèmes de suivi de mouvement peuvent coûter jusqu'à des centaines de milliers de dollars. Les systèmes alternatifs qui utilisent des aimants, des accéléromètres ou des exosquelettes ont, respectivement, besoin d'une configuration et d'un étalonnage encore plus poussés, sujets aux erreurs ou volumineux et rigides.

Contrairement aux systèmes de suivi optique traditionnels, Second Skin ne repose pas du tout sur les caméras. Au lieu de cela, le système utilise des projecteurs bon marché qui peuvent être montés au plafond ou à l'extérieur. Par conséquent, le système peut être utilisé à l'intérieur et à l'extérieur sans éclairage spécial, et il ne coûte que quelques milliers de dollars, dit Ramesh Raskar , professeur agrégé au Media Lab du MIT et chercheur principal de Second Skin avec l'étudiant diplômé Dennis Miaw.



Je pense que c'est une technologie révolutionnaire, dit Chris Brégler , professeur agrégé d'informatique à l'Université de New York, qui travaille sur des systèmes de vision par ordinateur pour le suivi des mouvements et n'a pas participé à la recherche Second Skin. Il vous permet de faire de la capture de mouvement dans de nombreux scénarios où beaucoup d'autres personnes voulaient faire de la capture de mouvement auparavant et ne pouvaient pas.

De minuscules capteurs photo intégrés dans des vêtements ordinaires enregistrent le mouvement. Les projecteurs envoient des motifs de lumière proche infrarouge – environ 10 000 motifs différents par seconde. Lorsque les motifs frappent les minuscules photocapteurs intégrés dans les vêtements du sujet, les photocapteurs capturent la lumière codée et la convertissent en un signal binaire qui indique la position du capteur. Étant donné que les motifs lumineux frapperont les capteurs différemment, selon l'endroit où ils se trouvent, chaque capteur reçoit un motif lumineux unique. Ces modèles sont enregistrés environ 500 fois par seconde pour chaque capteur. Les capteurs envoient les informations à un microcontrôleur mince et léger porté par le sujet sous ses vêtements, qui transmet ensuite les données à un ordinateur via Bluetooth. L'ensemble du système peut coûter moins de 1 000 $, chaque photocapteur coûte environ 2 $, un capteur vibrant 80 $ et un projecteur 50 $. (Raskar dit qu'au moins six projecteurs sont nécessaires par système.) Chaque photodétecteur décode essentiellement son propre emplacement intérieur de la même manière que le GPS, dit-il.

Suivre et vibrer : De minuscules photocapteurs sont intégrés dans le tissu noir illustré ci-dessus. Des vibromasseurs bleus entourent également le poignet du sujet (à gauche). Les photocapteurs capturent la lumière émise par les projecteurs à proximité pour déterminer la position du bras du sujet. Le logiciel compare ensuite la position réelle du bras (ligne rouge) avec la position idéale du bras (ligne jaune). Les cercles correspondent aux vibrateurs ; le vert vibrera pour indiquer la position correcte au sujet.



Parce que chaque capteur Second Skin a un identifiant unique, Raskar dit que ce sera plus précis que les systèmes optiques traditionnels, dans lesquels les réflecteurs portés par le sujet sont indiscernables les uns des autres et peuvent provoquer des erreurs lorsqu'un réflecteur en croise un autre. De plus, Raskar a montré que le système fonctionne à l'extérieur et dans l'obscurité.

En théorie, tout ce que son système peut faire, nous pourrions le faire par vision par ordinateur, mais en pratique, nous n'avons pas encore trouvé de solution, explique Bregler. Avec ses capteurs, il est très précis et très clair où [la personne] se trouve d'une image à l'autre.

Pour l'industrie cinématographique, cela signifie potentiellement que le suivi des mouvements peut être effectué sur un plateau régulier, ce qui permettrait de gagner du temps de production et de permettre aux acteurs de travailler dans un cadre naturel. Ces systèmes élaborés empêchent de tourner ces films, dit Steve Sullivan , l'agent principal de la technologie chez Lucasfilm Lumière industrielle et magie (ILM). Beaucoup de gens voient le suivi de mouvement comme un problème résolu, mais je pense que nous pouvons faire beaucoup plus pour le rendre plus accessible à un éventail de personnes et moins gênant. ILM a récemment développé un système exclusif spécial de bandes à contraste élevé pour le suivi de mouvement sur le plateau pour Pirates des Caraïbes 2 et Hombre de Hierro , mais les acteurs doivent porter un costume spécial et un post-traitement approfondi est nécessaire, explique Sullivan. C'est formidable d'entendre que les chercheurs essaient de s'attaquer à ce problème, car c'est un tel problème de devoir interrompre la production et de tourner des scènes et des acteurs séparément sur ces scènes.



Je pense qu'une grande partie du potentiel de ce type de technologie de suivi bas de gamme est… davantage pour les nouvelles applications, où vous ne pouvez pas passer tout votre temps à le rendre parfait, déclare Michael. Même , professeur agrégé d'informatique à l'Université du Wisconsin-Madison. Gleicher dit que le suivi de mouvement devient de plus en plus populaire dans les jeux vidéo qui peuvent suivre un joueur et réagir en temps réel.

Les chercheurs ont également montré que le système peut être utilisé pour suivre et corriger les mouvements dans un simple exercice de tai-chi. Un tel système intègre de minuscules vibrateurs qui se déplacent lorsque la position actuelle du membre du sujet est hors course pour indiquer au sujet la nécessité d'une autocorrection. De la même manière, les chercheurs pensent que le système pourrait également être utilisé pour la thérapie physique ou pour suivre les mouvements d'un sujet, afin de prévenir les chutes.

cacher