211service.com
Une nouvelle dimension pour vos photos
En regardant les tirages photo de vos vacances à Washington, D.C., vous pouvez vous souvenir d'avoir été dans de vrais endroits en trois dimensions comme le Lincoln Memorial. Mais que se passerait-il si vous pouviez réellement entrer dans votre photo et vous tenir à nouveau aux pieds de Lincoln - ou au moins zoomer à l'intérieur d'une version 3D de votre image sur un écran d'ordinateur ? Un nouveau service Web appelé Fotowoosh promet de livrer une telle expérience, grâce aux chercheurs en vision par ordinateur de l'Université Carnegie Mellon, à Pittsburgh.
La grande image: Le système Web de Fotowoosh transforme des images planes en deux dimensions en scènes 3D zoomables à l'aide d'algorithmes d'apprentissage automatique qui subdivisent une image en zones représentant le sol (vert dans l'image en fausses couleurs), les surfaces verticales (flèches) et le ciel ( cercles). Ces surfaces sont ensuite pliées en un modèle 3D ressemblant à une illustration contextuelle dans un livre pour enfants. Pour examiner un exemple de modèle Fotowoosh en 3-D, vous devez télécharger à la fois un fichier .wrl à partir du site Web Fotowoosh et une extension de visionneuse 3-D pour vos navigateurs Web.
Derek Hoiem , doctorant à Carnegie Mellon’s Institut de robotique , a passé la dernière année et demie à trouver un logiciel pour convertir des images plates en modèles de réalité virtuelle 3D pouvant être manipulés à l'écran. Travailler avec les membres du corps professoral Alexeï Efros et Martial Hébert , Hoiem a mis au point un système d'apprentissage automatique qui identifie diverses surfaces et leurs orientations en fonction de ce qu'il a appris en examinant des photos précédentes. En substance, Fotowoosh libère la personne qui regarde une photographie du point de vue du photographe afin qu'elle puisse explorer des perspectives autres que celle que l'appareil photo a réellement capturée.
À présent Freewebs , une société de Silver Spring, dans le Maryland, qui héberge 14 millions de sites Web personnels, est sur le point de lancer une version grand public du logiciel de Hoiem sur le Web. Président de Freeweb Shervin Pichévar dit qu'il espère que les internautes téléchargeront des milliers de photographies sur Fotowoosh et partageront les versions 3D avec d'autres visiteurs, faisant du service ce qu'il appelle un Flickr 3D. Flickr est, bien sûr, le site de partage de photos et de réseaux sociaux très populaire de Yahoo.
Une version test du système Fotowoosh sera lancée en mai, a déclaré Pishevar. Le système fonctionne mieux sur les images extérieures. Les photos converties ressemblent un peu aux illustrations des livres pop-up pour enfants : il y a un fond évident correspondant à la page plate dans un livre pop-up, et les surfaces verticales se dressent à angle droit par rapport au sol, représentant des objets tels que des murs, des arbres, et véhicules. Les images apparaissent à l'intérieur d'une page Web chargée d'une visionneuse spéciale avec des commandes de zoom, de panoramique et de rotation du modèle 3D. Alors que le logiciel ajoute littéralement une nouvelle dimension aux anciennes photos de touristes, il pourrait également à l'avenir être appliqué à des fins telles que la navigation de robots ou la construction de mondes virtuels 3D photoréalistes.
Multimédia
Vidéo : une nouvelle dimension pour vos photographies
Hoiem dit que le logiciel imite certaines des astuces que notre cerveau utilise pour donner de la profondeur aux images bidimensionnelles qui atterrissent constamment sur nos rétines. Les caméras traditionnelles (non stéréoscopiques) n'ont qu'un seul œil par rapport aux deux. Cela signifie qu'ils ne peuvent pas profiter de la parallaxe - le phénomène dans lequel nos yeux droit et gauche voient les objets proches dans des positions légèrement différentes par rapport aux objets plus éloignés - pour obtenir une image stéréo. En fait, il est mathématiquement impossible pour un logiciel de calculer la forme d'une scène 3D à partir d'une seule image bidimensionnelle avec une confiance de 100 %, car les objets de la scène pourraient théoriquement se trouver à n'importe quelle distance. Mais les gens peuvent le faire, note Hoiem. C'est juste qu'il n'y a pas de solution algébrique simple.
En fait, la parallaxe n'est pas strictement requise pour la vision 3D : si vous fermez un œil, le monde ne s'aplatit pas. Le cerveau déduit la profondeur en utilisant toutes sortes d'indices tels que l'ombrage, la couleur, le mouvement et notre expérience acquise sur les relations spatiales entre les sols et les murs, ou entre les rues et les bâtiments. Il s'avère qu'en utilisant un modèle assez simple, en pensant au monde en termes de surface du sol, de surfaces verticales qui en dépassent et du ciel, vous pouvez créer des modèles 3D assez convaincants, explique Hoiem.
Le logiciel que lui, Efros et Hebert ont développé commence à convertir une image en essayant de regrouper chaque pixel d'une image bidimensionnelle dans l'une de ces classes. Le ciel est généralement le plus simple : il est bleu ou blanc. Les bords supérieur et inférieur de la plupart des photos sont alignés avec l'horizon, ce qui aide le logiciel à identifier le plan du sol. Et les fenêtres d'un immeuble à plusieurs étages sont souvent disposées en lignes parallèles avec un point de fuite commun, une forte indication d'une surface verticale.
Mais Hoiem n'a pas explicitement enseigné ces règles au logiciel. Le système est basé sur des algorithmes d'apprentissage automatique, ce qui signifie qu'il détermine ses propres règles empiriques en reconnaissant des modèles statistiques dans des centaines d'images dans lesquelles le sol, le ciel et les surfaces verticales ont été pré-étiquetés par des humains.
Heureusement, nous n'avons pas eu à repartir de zéro, dit Hoiem. Il y a eu beaucoup de travail sur la façon dont nous représentons la couleur, la texture et la structure. Il existe un algorithme pour reconnaître le point de fuite d'un groupe de lignes. Et les gens ont beaucoup travaillé pour reconnaître des objets comme des personnes ou des voitures. Mais personne n'avait pensé que vous pourriez peut-être combiner tout cela et apprendre à reconnaître la géométrie réelle d'une scène.
Une fois que Fotowoosh a identifié les surfaces principales d'une scène, il les joint dans un modèle 3D à l'aide du format de fichier Virtual Reality Markup Language, ou VRML. Le logiciel décolle des parties de l'image bidimensionnelle et les colle sur les surfaces appropriées du modèle, un processus appelé mappage de texture.
Actuellement, les modèles finis ne peuvent être visualisés que dans un navigateur Web équipé d'une extension spéciale pour visualiser les fichiers VRML. Mais dans la version bêta de Fotowoosh, prévue le mois prochain, les modèles seront affichés en utilisant le format Flash le plus courant déjà inclus dans la plupart des navigateurs, selon Pishevar. (Le Page d'accueil de Fotowoosh comprend une vidéo montrant le produit final pour plusieurs exemples d'images.)
À l'heure actuelle, le système n'est pas très efficace pour séparer les objets discrets qui devraient être au premier plan, tels que les piétons dans une scène de rue, des surfaces d'arrière-plan, telles que les murs. Mais Hoiem y travaille. Dans un an ou peut-être moins, vous pourrez prendre une photo d'une ruelle avec toutes sortes de voitures et de personnes, et créer un modèle 3D où ceux-ci sont tous vus comme des objets de premier plan 3D séparés, dit-il.
Quelque 17 000 personnes ont rejoint la liste d'attente pour le logiciel bêta, selon Pishevar. Les visiteurs pourront télécharger et convertir leurs propres photos en modèles 3D et les stocker dans une zone de galerie, et les membres de Freewebs pourront intégrer les modèles dans leurs propres pages Web.
Pishevar dit que Freewebs a approché Hoiem au sujet de la commercialisation de son travail, car cela correspond tout à fait à notre vision de transformer les types de médias personnels qui peuvent vivre sur une page Web visuelle. C'est l'une de ces technologies qui change la façon dont vous voyez les choses dans le monde et ce que vous pensez être possible.
À terme, le travail de Hoiem pourrait changer la façon dont les robots utilisent la vision par ordinateur pour se frayer un chemin à travers des environnements semés d'obstacles. Hoiem dit que lui et ses collègues travaillent également sur des moyens de créer des modèles 3D plus complexes en traitant plusieurs photographies de la même zone. De plus, ils travaillent sur l'idée d'animer des scènes en 3D telles que des rues animées en prédisant les directions que les piétons et les voitures se seraient déplacées dans les quelques secondes suivant le clic de l'obturateur du photographe.
Étant donné que les modèles Fotowoosh adhèrent à un format 3D standard, VRML, ils peuvent facilement être importés dans d'autres applications 3D, telles qu'un logiciel de modélisation ; des mondes virtuels immersifs, tels que Second Life de Linden Lab ; et les systèmes de globe virtuel, tels que Google Earth et Microsoft Virtual Earth. La possibilité de créer des bâtiments 3D à texture mappée à l'intérieur de ces mondes à partir de quelques photos en deux dimensions serait une grande avancée par rapport aux méthodes actuelles, qui impliquent de construire un modèle 3D à partir de plans ou d'autres données, puis de coller manuellement des photographies sur chacun. côté. Ce n'est tout simplement pas évolutif, dit Pishevar. Mais si vous avez des personnes qui téléchargent des milliards d'images 3D du monde entier… alors vous pourriez en arriver à créer des applications qui utilisent les modèles pour remplir automatiquement des paysages de Terres virtuelles.
Pishevar dit que Freewebs fournira à terme une interface de programmation d'applications, ou API, que les développeurs de logiciels pourront utiliser pour créer de tels mashups. Lorsqu'on lui a demandé si son entreprise était déjà en discussion avec Google ou Linden Lab, Pishevar est timide : nous ne pouvons pas vraiment commenter cela pour le moment.