Le stylo magique de Microsoft

Si Jian Wang réussissait, tout serait numérique.

Je déteste les imprimantes - elles transforment les choses numériques en analogiques, plaisante-t-il, pataugeant dans une mer de cabines chez Microsoft Research Asia à Pékin, en Chine. Quarante et dégingandé, l'informaticien s'est spécialisé dans l'invention de nouvelles interfaces informatiques pour combler le fossé entre l'analogique et le numérique. Sa propre interface, cependant, est un large sourire, qui complète sa chemise en jean et son attitude décontractée.

Cette histoire faisait partie de notre numéro de mai 2004

• Voir le reste du numéro
• S'abonner

S'arrêtant à un bureau, Wang prend un stylo rectangulaire argenté de la taille d'un marqueur magique et griffonne quelques corrections sur un document papier. Mais ce n'est pas un stylo ordinaire. Quelques secondes plus tard, ses commentaires apparaissent sur un écran d'ordinateur à proximité, superposés à la version électronique du document à l'endroit exact où il a écrit sur la copie papier. Le stylo de Wang capture l'écriture manuscrite et permet aux utilisateurs d'apporter des modifications aux fichiers numériques sur papier.

Ce stylo universel, comme l'appelle Wang, pourrait transformer la façon dont les gens interagissent avec les ordinateurs. Contrairement aux gadgets qui écrivent sur des écrans d'ordinateur ou des blocs de papier spéciaux, l'invention de Wang utilise de l'encre ordinaire, fonctionne avec du papier ordinaire et permet aux utilisateurs de combiner du texte manuscrit et des diagrammes avec du contenu numérique provenant de rapports, de magazines et de pages Web. Un cadre en voyage d'avion, par exemple, pourrait annoter une copie papier d'un rapport et ensuite transférer automatiquement les modifications apportées au fichier sur son ordinateur.

Le stylo numérique de Wang reflète également une transformation en cours dans le processus d'invention dans certains grands laboratoires d'entreprise, une hybridation de l'inventeur solitaire et de la R&D d'entreprise traditionnelle. Wang est l'inventeur principal du stylo, et c'est sa perspicacité, son audace et sa créativité qui ont largement motivé les efforts pour le développer. Mais en même temps, il n'aurait pas pu faire des progrès aussi rapides sans l'expertise collective de Microsoft dans les algorithmes de reconnaissance de formes, la vision par ordinateur, les technologies d'écriture manuscrite et les logiciels d'édition de texte. Personnellement, je suis vraiment excité à ce sujet, déclare Rick Rashid, vice-président senior de Microsoft Research, dont les installations principales se trouvent à Redmond, WA. C'est un exemple d'un nouveau type d'incubation de produits que nous réalisons,… qui rassemble des personnes possédant de nombreuses compétences différentes pour résoudre un problème unique.

Appel Microsoft

Des piles de papiers himalayens remplissent le bureau de Wang, malgré son dégoût proclamé pour les impressions. Au milieu de ces rappels du monde analogique, l'inventeur décrit les prémices du projet stylo. En tant que professeur de psychologie de l'ingénierie à l'Université du Zhejiang à Hangzhou, en Chine, Wang s'était fait un nom dans les interfaces homme-machine et les systèmes de réalité virtuelle. Puis, en 1998, au plus fort de sa carrière universitaire, il a reçu un e-mail cryptique de Kai-Fu Lee, un chercheur renommé qui venait de lancer le laboratoire de Microsoft à Pékin. Lee a suggéré qu'ils se rencontrent mais était trop occupé pour expliquer pourquoi. Je ne sais pas comment il a obtenu mon nom, rit Wang, et il n'a pas expliqué qui il était.

Se sentant aventureux, Wang y est allé quand même. Il a rapidement découvert que lui et Lee partageaient l'ambition de créer une interface utilisateur pour ordinateurs basée sur l'écriture manuscrite. Le projet de stylo a été inspiré en partie par le désir de Wang de permettre aux ordinateurs portables de gérer les langues asiatiques manuscrites. Mais de ses recherches universitaires sur les interfaces 3D, il avait appris que si la technologie n'est pas conçue pour être pratique et attrayante pour une variété d'utilisateurs, elle ne sera pas largement adoptée. Nous voulions faire une percée, pas des améliorations, dit-il, ajoutant qu'il avait trouvé en Microsoft un partenaire parfait. J'ai réalisé que c'était l'endroit où aller si vous voulez que votre invention soit utilisée par des millions de personnes au lieu de juste quelques-uns. Avec cette motivation, Wang a quitté l'Université du Zhejiang et a rejoint le laboratoire de Pékin à l'automne 1999.

Immédiatement, Wang, Lee et un groupe restreint de chercheurs ont commencé des séances de remue-méninges quotidiennes pour aplanir les objectifs du projet, qui ont finalement inclus leur meilleur patron. Lorsque nous avons parlé avec Bill [Gates] de cette technologie, dit Wang, nous avons réalisé que nous inventions un nouveau type de document, pas seulement un stylo. L'idée clé, qui correspond aux activités de Microsoft visant à rendre les ordinateurs de bureau plus utiles, était qu'un document pouvait rester numérique même lorsqu'il était imprimé, avec le bon type d'interface de stylet et de logiciel.

Il a fallu près de quatre ans pour que cela fonctionne. Non seulement Microsoft est resté fidèle à Wang, mais cela lui a également permis de constituer une équipe d'environ 20 chercheurs, lui donnant accès aux compétences en programmation et en matériel informatique dont il avait besoin pour concevoir le stylo. Après quelques faux départs, dont une version lourde qui déduisait ce que l'utilisateur écrivait à partir des mouvements du stylo, l'équipe de Wang a profité des avancées des algorithmes de vision par ordinateur et a basé la détection du stylo sur un simple appareil photo numérique.

Le premier défi des chercheurs était de trouver un moyen de déterminer la position du stylo sur la page. Leur solution implique un logiciel spécial qui place un motif d'arrière-plan à peine visible, comme un filigrane, sur du papier de copie standard lors de l'impression d'un document (voir Mettre le stylo sur… l'ordinateur, ci-dessous). Cela permet à l'ordinateur de déterminer non seulement exactement où se trouve le stylo par rapport au document, mais également quel document est en cours de modification, car chaque page a un code unique. Un capteur de pression dans le stylet déclenche une minuscule caméra intégrée, qui prend des photos de l'écriture de l'utilisateur. Les images sont stockées dans le stylo sur une puce mémoire comme celles que l'on trouve dans les appareils photo numériques ; lorsqu'il est amené à quelques mètres d'un PC ou d'un ordinateur portable sur lequel le logiciel approprié est installé, le stylo transmet les images sans fil à l'aide d'une connexion Bluetooth.

Mettre le stylo sur… l'ordinateur

Le stylo contient un appareil photo numérique, un capteur de pression, une radio Bluetooth et une puce mémoire. Au fur et à mesure que l'utilisateur écrit sur du papier, la caméra prend de minuscules images de l'encre.
Le papier a un motif d'arrière-plan, comme un filigrane, qui est imprimé avec le document. L'ordinateur utilise ce code pour déterminer exactement où se trouve l'encre sur la page.
L'ordinateur reçoit la séquence d'images sans fil et reconstitue l'écriture manuscrite au bon endroit dans le fichier de document numérique. Avec un logiciel d'édition spécial, l'utilisateur peut ensuite manipuler et formater l'écriture manuscrite.

Interpréter ces images et les incorporer dans des fichiers numériques s'est avéré être un problème plus difficile. L'astuce, explique Wang, consiste à faire reconnaître par l'ordinateur différents types d'écriture et de dessins - pour savoir ce qu'est une boîte, une phrase et un griffonnage - à partir d'une série de photos. Premièrement, les algorithmes de vision par ordinateur classent les séquences de marques en mots, diagrammes ou formes, qui peuvent tous être manipulés. Ensuite, un logiciel de reconnaissance de caractères, objet d'années de recherche intensive chez Microsoft et ailleurs, donne un sens au texte manuscrit. Sur l'écran de l'ordinateur, les marques de l'utilisateur apparaissent sous forme d'écriture manuscrite intégrée dans le document. Les outils logiciels peuvent ensuite convertir l'écriture en texte dactylographié et en graphiques rendus ; avec ces outils, l'utilisateur peut manipuler, par exemple, des cases et du texte à partir d'un organigramme dessiné à la main.

En plus de permettre aux utilisateurs d'importer et de manipuler du texte manuscrit, des tableaux et des graphiques, dit Wang, le stylo permettra à plusieurs collaborateurs de faire des commentaires sur des impressions distinctes d'un document ; l'ordinateur pourrait alors les intégrer tous dans un même fichier. Le résultat final, dit Wang, sera une interface semblable à un scanner portable, mais suffisamment intelligente pour comprendre les images qu'il capture et pour réaliser le rêve de son inventeur de transformer des monticules de papier analogique en fichiers numériques.

Stylos omniprésents

Loin du laboratoire, autour d'un repas composé de soupe de boulettes de viande à la Shanghai et de poisson cuit à la vapeur, Wang explique comment la culture du laboratoire favorise l'invention. En plus de partager une mentalité de travail dur, mange dur, dit-il, les membres et les dirigeants du laboratoire sont des chercheurs expérimentés qui comprennent que les percées prennent du temps. Vous n'avez pas toujours à faire vos preuves en un mois, voire un an, dit Wang. Ainsi, les chercheurs ont la possibilité d'essayer une variété d'approches, ce qui est important pour des projets ambitieux comme réinventer la plume.

Microsoft Research Asia est un grand laboratoire d'entreprise, employant 150 chercheurs à temps plein, mais il a étonnamment peu de bureaucratie, dit Wang. Aucune procédure d'approbation spéciale. Pas de mandats lourds d'en haut. L'entreprise tente de nourrir l'invention en donnant à ses ingénieurs la liberté d'explorer des voies intéressantes de recherche à long terme, tout en restant concentrée sur les résultats à court terme en fixant des jalons et en effectuant des revues de projet quelques fois par an. Cela ressemble plus à un cadre de style universitaire, dit Wang. Nous publions des articles, assistons à des conférences et accueillons de nombreux professeurs invités. C'est un environnement ouvert.

Les observateurs disent que cette ouverture est essentielle à la productivité du laboratoire, en particulier dans un pays où l'histoire de la recherche en entreprise est limitée. Ils ont connu du succès en raison de leurs liens avec le monde universitaire, explique Shiqiang Yang, vice-président exécutif du département d'informatique et de technologie de l'Université Tsinghua, l'une des principales écoles d'ingénieurs de Pékin. Le libre échange d'idées avec les étudiants et les professeurs a renforcé la position du laboratoire dans la communauté universitaire et cela l'aide à recruter certains des meilleurs étudiants et informaticiens chinois.

Les liens étroits sont payants : plus de 70 technologies développées au laboratoire de Pékin ont trouvé leur place dans les produits Microsoft dans des domaines tels que les graphismes de jeux vidéo et la reconnaissance vocale pour la dictée. Quant au stylo numérique de Wang, il pourrait ouvrir de nouveaux marchés pour Microsoft. Bien que la commercialisation soit encore dans quelques années, l'équipe de Wang est en discussion avec les groupes de développement de produits de l'entreprise à Redmond. Les plans de produits spécifiques n'ont pas encore été élaborés, dit Rashid, mais cela génère de nombreuses idées passionnantes sur ce qui pourrait être possible.

En fait, les technologies développées par le groupe de Wang dans le cadre du projet de stylo rapportent déjà des dividendes à l'entreprise. Un logiciel capable de reconnaître et de manipuler l'écriture manuscrite sur un écran est une caractéristique du système d'exploitation pour tablette PC Microsoft sorti en 2002. Le marché asiatique pourrait être le premier point d'entrée pour des interfaces comme le stylo numérique en raison de la demande de logiciels à reconnaître et à modifier. Caractères de langue asiatique, dont le grand nombre les rend fastidieux à saisir à l'aide de claviers.

Avec toute nouvelle invention, il existe de nombreux défis pour transformer un prototype passionnant en un produit réel ; mais ici, la formation de Wang en psychologie et en facteurs humains devrait bien lui servir. Le stylo et son logiciel doivent être rendus plus faciles à utiliser, dit-il ; les clients ne toléreront pas une complexité supplémentaire. Avec les problèmes restants résolus, cependant, l'invention a le potentiel de devenir omniprésente, en raison de la familiarité et de la commodité des stylos ordinaires. Le stylo est si omniprésent, si expressif et l'une des meilleures inventions, dit Wang. Je pense donc que le stylo pourrait être un très bon appareil informatique pour l'avenir.

En fin de compte, dit Wang, tout ce qui se trouve sur votre bureau - livres, journaux, impressions - aura une connexion numérique à votre ordinateur. C'est ce qu'il appelle boucler la boucle entre l'analogique et le numérique. Et avec l'augmentation de la puissance de calcul et de la mémoire, un appareil comme le stylo de Wang pourrait devenir la principale interface informatique que les gens utilisent sur la route. Wang envisage que les utilisateurs pourraient non seulement saisir et stocker des données, mais aussi, avec un ordinateur de poche sans fil, accéder à des informations dans, par exemple, un article de magazine simplement en soulignant les mots qui peuvent être reconnus et recherchés sur le Web.

Avec tant de choses à faire, cependant, Wang n'a pas de temps à perdre. Il travaille peut-être pour l'une des plus grandes entreprises du monde, mais il garde toujours les longues heures nocturnes d'un inventeur solitaire. Après le dîner, alors que la plupart de Pékin est sombre et calme, il retourne au travail, déterminé à écrire l'avenir des interfaces homme-machine.

cacher