Le nouveau jouet brillant de Microsoft

Lors de la conférence Technology, Entertainment, Design (TED) de mars dernier à Monterey, Californie, un sommet qui a été décrit comme Davos pour les digerati, l'architecte logiciel à la voix calme de Microsoft a brusquement commencé sa démonstration, naviguant rapidement à travers une mer d'images affichées sur un grand écran. À l'aide de Seadragon, une technologie qui permet une exploration fluide et rapide de grands ensembles de données de texte et d'image, il a plongé sans effort dans une carte de 300 mégapixels, zoomant pour révéler un horodatage de la Bibliothèque du Congrès dans un coin. Puis il s'est tourné vers une image qui ressemblait à un code à barres mais qui était en fait le texte complet de Charles Dickens. sombre maison , zoomant jusqu'à ce que deux caractères typographiques aux contours nets remplissent l'écran, avant de revenir à un zoom arrière sur la courtepointe géante de texte et d'images.

Tu es là: Photosynth, une application en développement au Live Labs de Microsoft, offre un moyen immersif de visualiser des photos d'un objet ou d'un lieu donné. Le logiciel n'a pas encore été publié, mais Microsoft le démontre en ligne avec des collections de photos telles que celle de la place Saint-Marc de Venise.

Microsoft avait acquis Seadragon l'année précédente et avec lui le présentateur Blaise Agüera y Arcas. Mais Agüera y Arcas n'était pas venu à TED juste pour montrer Seadragon. Bientôt, il a coupé un panorama en mosaïque à partir de photos des Rocheuses canadiennes; la mosaïque s'est déplacée au fur et à mesure qu'il la traversait, révélant une ligne de crête dramatique. Vint ensuite une vue aérienne de ce qui semblait être une maquette d'un bâtiment familier : la cathédrale Notre-Dame. Le modèle, a expliqué Agüera y Arcas, avait été assemblé à partir de centaines d'images distinctes recueillies sur Flickr. C'était un nuage de points, un ensemble de points dans un espace tridimensionnel.

Cette histoire faisait partie de notre numéro de mars 2008

• Voir le reste du numéro
• S'abonner

Pendant qu'il parlait, Agüera y Arcas naviguait d'un air taquin autour de la périphérie de Notre-Dame, qui s'animait et s'assombrissait à plusieurs reprises. L'effet de la précipitation à travers les images et les points focaux changeants a été adouci par des effets de transition subtils. Cela ressemblait à une bobine d'animation image par image délibérément ralentie; l'effet était saccadé. La foule a regardé avec émerveillement Agüera y Arcas s'enfoncer plus profondément dans la vue de face de l'arche du bâtiment, se terminant par un gros plan serré d'une gargouille. Certaines des images sur lesquelles la technologie s'était inspirée n'étaient même pas strictement photographiques : elle avait recherché sur Flickr toutes les images pertinentes, y compris une affiche de la cathédrale. Ce qu'Agüera y Arcas montrait n'était pas une vidéo, mais ce n'était pas non plus simplement une collection de photos, même gargantuesque. C'était aussi comme une carte, mais immersive animée par la logique onirique des formes floues et des perspectives changeantes.

Il s'agissait de Photosynth, une technologie qui analyse les images associées et les relie pour recréer des environnements physiques dans un espace virtuel éblouissant. La technologie crée un métavers, a déclaré Agüera y Arcas (pour en savoir plus sur le mélange naissant de technologies de cartographie comme Google Earth et les royaumes fantastiques de jeux comme Second Life, voir Second Earth, juillet/août 2007) ; mais il constitue également la longue traîne de Virtual Earth, le concurrent de Microsoft à Google Earth, en raison de sa capacité à puiser et à contribuer à la richesse des données cartographiques et images locales disponibles en ligne. Il pourrait fournir des modèles virtuels extrêmement riches de chaque partie intéressante de la terre, a-t-il dit, collectés non seulement à partir de vols aériens et d'images satellites, etc., mais également à partir de la mémoire collective. À ce moment-là, la présentation s'est terminée aussi brusquement qu'elle avait commencé six minutes plus tôt. La déclaration finale d'Agüera y Arcas a reçu un tonnerre d'applaudissements.

Multimédia

• Affichez des images de Photosynth et voyez comment cela fonctionne.

• Regardez Photosynth assembler des photos ensemble.

Au-delà de l'assemblage d'images
Photosynth est né de ce qu'Agüera y Arcas appelle le mariage de Seadragon et de Photo Tourism, un projet Microsoft destiné à révolutionner la façon dont les ensembles de photos sont emballés et affichés. Photo Tourism avait commencé comme la thèse de doctorat d'un étudiant diplômé zélé de l'Université de Washington, âgé de 26 ans, nommé Noah Snavely. L'un des conseillers de Snavely était Rick Szeliski, chercheur en vision par ordinateur chez Microsoft Research, la branche R&D de l'entreprise. J'ai décrit le besoin des bons éléments d'un diaporama solide, comme une excellente composition, se souvient Szeliski, dont les travaux antérieurs chez Microsoft avaient contribué à développer la technologie d'assemblage d'images maintenant couramment utilisée dans les appareils photo numériques pour remplir un cadre plus large ou plus haut. Il recherchait également la fluidité entre les images et un sens de l'interactivité dans leur vision.

Travaillant avec Szeliski et un professeur de l'Université de Washington nommé Steve Seitz, Snavely avait l'intention de coder une voie à suivre à travers un défi informatiquement interdit : comment fusionner des photos, sur la base de leurs similitudes, dans un modèle physique 3D que l'homme les yeux pourraient reconnaître comme faisant partie d'un paysage authentique et réel. De plus, le modèle devrait être un modèle que les utilisateurs pourraient naviguer et expérimenter dans l'espace. Les logiciels d'assemblage de photos existants utilisés dans les appareils électroniques tels que les appareils photo numériques savaient comment déduire les relations entre les images à partir de la séquence dans laquelle elles avaient été prises. Mais Snavely essayait de développer un logiciel capable de faire de telles évaluations d'une manière totalement différente. Il a conçu un processus en deux étapes : dans la première étape, nous identifions les points saillants dans toutes les images 2D, dit-il. Ensuite, nous essayons de déterminer quels points dans différentes images correspondent au même point en 3-D.

Le processus, dit Snavely, est appelé « structure à partir du mouvement ». Fondamentalement, une caméra en mouvement peut déduire une structure 3D. C'est la même idée que lorsque vous bougez la tête d'avant en arrière et que vous pouvez avoir une meilleure idée de la structure 3D de ce que vous regardez. Essayez de fermer un œil et de bouger la tête d'un côté à l'autre : vous voyez que différents points à différentes distances se déplaceront différemment. C'est l'idée de base derrière la structure du mouvement.

La vision par ordinateur, comme l'explique Agüera y Arcas, bénéficie d'une assurance simple : toutes les données spatiales sont quantifiables. Chaque point de l'espace n'a que trois degrés de liberté : x, y et z, dit-il.

Les attributs partagés par certaines photos, ajoute-t-il, contribuent à les marquer comme similaires : un pavé de forme distinctive, disons, peut apparaître à plusieurs reprises. Lorsque le logiciel reconnaît des ressemblances (la pierre sur cette photo apparaît également sur celle-là), il sait rechercher d'autres ressemblances. Le processus de regroupement d'images sur la base d'éléments visuels assortis s'accélère ainsi jusqu'à ce qu'un chemin entier puisse être recréé à partir de ces pavés. Plus le système démarre avec d'images, plus le résultat est réaliste, surtout si les images originales ont été prises sous différents angles et perspectives.

En effet, le deuxième exercice de calcul, selon Snavely, consiste à comparer des images dans lesquelles des caractéristiques partagées sont représentées sous différents angles. Il s'avère que le premier processus aide le second, en nous donnant des informations sur l'emplacement des caméras. Nous sommes en mesure de récupérer le point de vue à partir duquel chaque photo a été prise, et lorsque l'utilisateur sélectionne une photo, il est redirigé vers ce point de vue. En positionnant un point de vue pour chaque image, en calculant où la caméra devait se trouver lorsque la photo a été prise, le logiciel peut imiter le fonctionnement de la vision binoculaire, produisant un effet 3D.

Comme Szeliski le savait, cependant, l'œil humain est le plus volage des critiques. Ainsi, lui et ses deux collègues ont cherché à faire plus que simplement assembler de plus petites parties en un tout plus grand ; ils ont également travaillé sur des effets de transition destinés à permettre aux images de se rencontrer le plus harmonieusement possible. Les techniques qu'ils ont affinées incluent les fondus enchaînés, ou fondus, la méthode caractéristique par laquelle les monteurs de films et de vidéos mélangent les images.

Dans une démo qui montrait la fontaine de Trevi en Italie, Photo Tourism a réalisé une version rudimentaire et guindée de ce que Photosynth produirait : un nuage de points assemblé à partir d'images représentant différentes perspectives sur un même lieu. Plus impressionnante était la capacité du logiciel à parcourir des banques d'images téléchargées à partir de Flickr sur la base de balises descriptives - des photos qui, bien sûr, n'avaient pas été prises dans le but de produire un modèle. Le résultat, se souvient Szeliski, était surprenant et frais même aux yeux de son vétéran.

Ce que nous avions était une nouvelle façon de visualiser une collection de photos, un diaporama interactif, dit Szeliski. Je pense que le tourisme photo a été surprenant pour différentes raisons pour les initiés et les étrangers. Les initiés ont été déconcertés par la facilité irrésistible de l'expérience. Les étrangers, dit-il, pouvaient à peine croire que c'était possible.

Et pourtant, l'application Photo Tourisme avait un avenir incertain. Bien qu'il s'agisse d'une révélation technique, développée sous Linux et capable de fonctionner sous Windows, il s'agissait toujours d'un prototype et la feuille de route pour le développer davantage n'était pas claire.

Au printemps 2006, alors que Snavely présentait Photo Tourism dans un atelier interne de Microsoft, Blaise Agüera y Arcas, alors un nouvel employé, est passé et a remarqué. Il était arrivé récemment grâce au rachat de sa société, Seadragon, qui développait un logiciel qu'il qualifie de gestionnaire de mémoire virtuelle 3D pour les images. L'attrait de Seadragon résidait dans sa capacité à permettre aux utilisateurs de charger, parcourir et manipuler des quantités sans précédent d'informations visuelles, et sa grande réussite technique était sa capacité à le faire sur un réseau. (La capacité de Photosynth à travailler avec des images de Flickr et autres, cependant, vient de la technologie issue de Photo Tourism.)

Agüera y Arcas et Snavely ont commencé à parler ce jour-là. À l'été 2006, des démos étaient présentées. Le produit hybride résultant – en partie Photo Tourism et en partie Seadragon – regroupe un grand groupe d'images similaires (qu'il s'agisse de photos ou d'illustrations), les tissant dans un modèle visuel 3D de leur sujet réel. Il confère même une dimension tridimensionnelle aux zones où les photos 2D se rejoignent. Chaque image individuelle est reproduite avec une fidélité parfaite, mais dans les transitions entre elles, Photosynth comble les lacunes de perception qui empêcheraient autrement une collection de photos de se sentir comme faisant partie d'une image plus large. Et en plus d'être un analogue visuel d'une scène réelle, le modèle synthétisé est entièrement navigable. Comme l'explique Snavely, le mode de navigation dominant consiste à choisir la prochaine photo à visiter, en cliquant sur les commandes, et le système déplace automatiquement le point de vue en 3D vers ce nouvel emplacement. Un œil vagabond est une bonne métaphore pour cela. Le logiciel recrée le sujet photographié comme un lieu à apprécier sous tous les angles documentés.

La réalisation technique surprenante de Photosynth est comme tirer un lapin d'un chapeau : elle produit une interface 3D réaliste à partir du médium 2D de la photographie. C'est quelque chose à partir de rien, explique Alexei A. Efros, un professeur de Carnegie Mellon spécialisé dans la vision par ordinateur. Le secret, explique Efros, c'est la quantité de photographies. Au fur et à mesure que vous obtenez de plus en plus de données visuelles, la quantité devient de la qualité, dit-il. Et au fur et à mesure que vous obtenez des quantités incroyables de données, elles commencent à vous dire des choses que vous ne saviez pas auparavant. Grâce à l'amélioration de la reconnaissance des formes, de l'indexation et des métadonnées, les machines peuvent déduire la tridimensionnalité. Plus tôt que prévu, dit Efros, la vision sera le principal capteur pour les machines, tout comme elle l'est maintenant pour les humains.

Microsoft fait la démonstration de Photosynth en ligne avec des collections de photos telles que celle de la place Saint-Marc de Venise. Les clichés de cette collection ont été réalisés par un seul photographe pendant 10 jours.
Crédit : avec l'aimable autorisation de Microsoft Live Labs

Ce que cela pourrait devenir
Le travail de Microsoft sur Photosynth illustre la stratégie de l'entreprise pour les Live Labs de 100 personnes. En partie sur le Web, la mouffette fonctionne, en partie sur le terrain de recrutement pour les têtes d'hélice pour lesquelles la société mère ne convient pas, Live Labs vise en partie à remettre en question ce que les gens pensent de Microsoft, déclare Gary Flake, un homme de 40 ans. technicien qui est le fondateur et directeur du laboratoire. Son objectif le plus immédiat est de commercialiser les technologies Web.

Le discours de Flake sur la culture Live Labs est énergique, car il parle de ses efforts pour relier la science de la recherche et l'ingénierie des produits. Flake, qui a travaillé pour de nombreux organismes de recherche, dont le NEC Research Institute et Yahoo Research Labs, qu'il a fondé et également dirigé, décrit cela comme un défi à l'échelle de l'industrie. Chez Live Labs, nous avons un portefeuille de couverture délibéré, explique-t-il. Nous avons un mix très intéressant, englobant 40 projets différents.

Flake ne veut pas discuter en détail de plusieurs de ses projets, mais il déborde d'enthousiasme quant à son mandat d'apporter plus d'ADN sous forme de talent brut. Nous voulons créer et faire progresser l'état des produits et services Internet, dit-il, mais il parle aussi avec passion des employés de Live Labs en tant que pierres de Rosetta humaines qui peuvent servir de traducteurs dans un monde de R&D où les ingénieurs et les scientifiques parlent souvent, en effet, différemment. langues.

Le projet Photosynth, dit Flake, incarne le genre de succès qu'il veut défendre grâce à ses efforts pour surmonter le fossé traditionnel entre la science et l'ingénierie des produits. Il représente une avancée sérieuse de l'état de l'art.

Actuellement, Photosynth ne peut être vu que dans une démo en ligne, mais l'équipe d'Agüera y Arcas espère le sortir d'ici la fin de l'année. Ce que quelqu'un qui l'acquiert peut réellement en faire reste à voir. Les nuages ​​de points peuvent être constitués d'aussi peu que deux ou trois images, on peut donc imaginer des utilisateurs créant des synthés relativement peu sophistiqués de leur propre photographie, par exemple un voyage en famille au mont Rushmore. (Bien sûr, les personnes qui ont Photosynth pourraient commencer à prendre beaucoup plus de photos d'un endroit donné, dans l'intérêt de pouvoir faire un synthé riche plus tard.) Mais il se peut aussi que les utilisateurs puisent dans des bibliothèques de photos en ligne, ce qui devront probablement être téléchargés sur un ordinateur local pour créer leurs propres synthés de sites très photographiés.

Pourtant, Photosynth est surtout prometteur avec peu de preuves. Les questions techniques abondent quant à sa facilité d'utilisation et quelles seront exactement ses capacités. De plus, malgré les origines Linux de Photo Tourism, Photosynth ne restera Windows que dans un avenir prévisible.

Et malgré l'attrait immédiat de Photosynth, ses applications restent également floues. Le monde n'a pas besoin d'un autre navigateur d'images, même révolutionnaire. Il semble encore plus improbable que les utilisateurs paient pour Photosynth sous sa forme actuelle. En attendant, la fortune de Photosynth dépendra de sa capacité à constituer une large communauté d'utilisateurs. Va-t-il prendre de nouveaux usages pour ceux qui l'adoptent, comme l'a fait Google Earth ? Plus important encore, Microsoft sortira-t-il un produit final suffisamment ouvert pour qu'une telle communauté puisse rechercher des usages différents de ceux initialement prévus ?

Flake rapporte que l'équipe Photosynth a évoqué des dizaines d'utilisations potentielles, dont deux semblent particulièrement probables.

L'une consiste à l'intégrer plus complètement à Microsoft Virtual Earth, ce qui en fait cet outil qui amène les utilisateurs à l'étape suivante du zoom profond. Avec Virtual Earth gérant la topographie et la photographie aérienne tandis que Photosynth coordonne une richesse de matériel photographique terrestre, les deux applications pourraient donner lieu à une sorte de métaverse léger, pour reprendre le terme qu'Agüera y Arcas a invoqué à TED.

Notant l'installation de Photosynth avec des bâtiments et des places de la ville, Seitz envisage également une grande échelle. Nous aimerions capturer des villes entières, dit-il. En effet, Agüera y Arcas et Stephen Lawler, directeur général du projet Virtual Earth de Microsoft, ont annoncé en août 2007 à Las Vegas, lors de la convention annuelle des hackers Defcon, qu'ils envisageaient un partenariat. Une fois que certains obstacles techniques relativement mineurs sont surmontés, dit Seitz, rien ne nous empêche de modéliser les villes.

Alors que les gens créent et stockent de plus en plus de médias numériques, Photosynth pourrait même permettre aux utilisateurs de diffuser en direct leurs albums photo de famille. Imaginez si vous pouviez regarder vos enfants grandir dans votre propre maison, dit Flake, juste à partir de votre collection de photos.

Alors que de telles idées s'infiltrent, l'équipe de Photosynth reste à peine immobile. L'été dernier, les chercheurs ont publié une collaboration de démonstration en ligne avec la NASA, et maintenant ils travaillent avec le Jet Propulsion Lab pour synthétiser une petite partie de la surface de Mars.

On se demande dans quelle mesure Microsoft est prêt à financer ce genre de geek-out. Là encore, comme le demandent de manière rhétorique Agüera y Arcas et Flake, comment valoriser ce genre de réalisation technique ? Car si Photosynth semble quelque peu manquer d'une voie claire vers le marché, il semble également manquer totalement de concurrence.

Jeffrey MacIntyre est un journaliste indépendant qui écrit abondamment sur la culture, la science et la technologie.

cacher