211service.com
Le geek
Chris Schmandt '73, SM '80, a passé quatre décennies à jouer au Media Lab, à inventer des interfaces vocales interactives pour ordinateurs et le premier système de navigation embarqué qui indiquait aux conducteurs où aller. 24 avril 2019
Photo de Christopher Shcmandt Jake Belcher
Lorsque Chris Schmandt était étudiant de premier cycle au MIT en 1977, il a vu une annonce pour un emploi sur le campus faisant de la programmation graphique en PL/I. Il payait le même montant que son concert de retournement de hamburgers à la cafétéria, il avait appris le langage de programmation PL/I en tant qu'étudiant en informatique et en ingénierie, et il aimait l'idée d'un travail qui ne nécessitait pas de douche à la fin. de chaque quart de travail. Il est donc allé travailler pour l'Architecture Machine Group (AMG) de Nicholas Negroponte, le précurseur du MIT Media Lab.
Le travail consistait à programmer un tampon d'image modèle 85, qui était l'un des premiers systèmes d'infographie capable de restituer une image de pixels colorés, permettant à la machine d'afficher du texte, des graphiques, des diagrammes et même des photos en couleur. Mais d'abord, quelqu'un devait écrire le microcode de bas niveau pour le contrôleur du tampon de trame. Quelqu'un devait également se procurer des polices et les coder. Cette personne était Schmandt. J'ai commencé à peindre des pixels sur l'écran et je suis devenu accro, dit-il.
Ce travail a eu d'énormes ramifications, pas seulement pour Schmandt mais pour nous tous : son travail a finalement conduit au développement de systèmes de navigation modernes comme le GPS Garmin et Google Maps, ainsi que les interfaces vocales que les gens utilisent de plus en plus pour interagir avec les ordinateurs. .
Le carnet audio, que le laboratoire de Schmandt a développé vers 1997, reliait les notes papier prises lors d'un événement à un enregistrement audio numérique de celui-ci. Avec l'aimable autorisation du MIT Media Lab
Je me souviens très clairement que Nicholas disait à tout le monde qu'un jour chaque ordinateur en aurait un intégré, a déclaré Schmandt à propos du frame buffer lors de sa retraite en décembre 2018. C'était prémonitoire, mais il n'a pas dit que chaque téléphone aurait un!
Un chemin détourné vers le laboratoire
Le travail révolutionnaire de Schmandt intégrant la parole et l'informatique n'a presque pas eu lieu. Il a commencé au MIT en 1969, et s'il avait obtenu son diplôme avec sa classe d'entrée en 1973, il n'aurait peut-être jamais rencontré le frame buffer. Mais en 1971, il avait déclaré une majeure en études urbaines, était tombé amoureux de la linguistique et avait presque terminé un diplôme en sciences humaines… et faisait des recherches en météorologie dans le cadre du programme d'opportunités de recherche de premier cycle du MIT (UROP). J'ai décidé que je ne savais pas ce que je faisais, dit-il.
Il s'est donc retiré de l'école pour comprendre et a transformé son UROP en un emploi à temps plein dans le service de météorologie, transportant des cartes perforées au centre informatique dans un caddie. En peu de temps, il en avait suffisamment appris sur la programmation pour corriger les fautes de frappe sur les cartes, ce qui lui a permis d'éviter de traverser le campus une deuxième fois pour que son patron puisse les corriger. Mais Schmandt a rapidement eu envie de voyager et s'est lancé dans ce qui allait être un voyage de cinq ans. Il a voyagé - principalement en auto-stop - de Londres à l'Espagne, le Maroc, l'Algérie, le Niger, le Cameroun, le Zaïre, l'Ouganda et le Kenya, où il a été réprimandé par les flics pour ne pas parler swahili, et a grimpé jusqu'à 19 000 pieds sur une crête menant au sommet de l'Everest. Vous n'avez jamais rien vu de tel - d'énormes sommets enneigés tout autour de vous, surplombant trois glaciers, dit-il. Et la nuit, les glaciers chantent et gémissent en grondant lentement dans les vallées.
Voyageant le long de ce qui était connu sous le nom de Hippie Trail en Inde, il a rencontré des programmeurs britanniques et australiens, qui l'ont convaincu que la programmation était un bon moyen de subsistance que l'on pouvait poursuivre n'importe où. Ainsi, en 1977, il est retourné au MIT et s'est réinscrit en génie électrique et en informatique.
Se mettre au travail sur le tampon de trame a convaincu Schmandt que cela avait été une bonne décision. Le tampon de trame a été l'un des premiers systèmes d'infographie à ne pas clignoter lorsque l'image à l'écran devenait plus complexe - un exploit qu'il a réussi en mettant en mémoire tampon ou en stockant tout l'écran dans une mémoire dédiée. Avec 400 lignes de 512 pixels chacune, le tampon de trame nécessitait plus de 200 000 octets de mémoire vive, ce qui était incroyablement cher à l'époque. Schmandt a donc dû écrire un programme pour exécuter le modèle 85 qui tiendrait dans la mémoire limitée dont il disposait.
C'était vraiment un truc de geek, même pour l'AMG, se souvient Schmandt. Pour le taquiner, un de ses camarades de labo a fini par pirater le synthétiseur du labo, le programmant pour produire une courte fanfare musicale et dire Geek ! lorsque Schmandt s'est connecté. Il a accepté avec joie son nouveau surnom.
Le laboratoire de Negroponte créait un environnement informatique appelé le système de gestion des données spatiales (SDMS) qui permettrait à une personne d'utiliser le regard, les gestes et la voix pour interagir avec une base de données contenant du texte, des photos, des cartes et même des vidéos. Situé dans le département d'architecture et généreusement soutenu par l'Agence américaine de projets de recherche avancée pour la défense (DARPA) et des entreprises sponsors, l'AMG débordait d'équipements, d'idées et d'argent. Ainsi, lorsque Schmandt a obtenu son diplôme de premier cycle en 1979, il est resté pour obtenir une maîtrise en architecture en 1980.
Le laboratoire avait un tas de trucs vraiment sympas grâce au projet SDMS et au soutien de la DARPA, dit-il. Le reconnaisseur vocal NEC DP-100 coûtait 100 000 $. Personne ne savait ce que coûtait le modulateur de lumière - c'était le premier système de vidéoprojection. Je pouvais m'asseoir et jouer avec un matériel d'une valeur d'un million de dollars.
Dans une démo de 1980 de Put That There, Schmandt contrôle un ordinateur avec la voix et les gestes. Avec l'aimable autorisation du MIT Media Lab
Mets ça là
La courbe d'apprentissage requise pour maîtriser chaque pièce d'équipement de l'AMG était raide, alors Negroponte a attribué à chaque appareil une mère qui serait responsable de l'écriture du logiciel ou de la construction du matériel pour l'aider à devenir quelque chose d'utile. Pour sa thèse de maîtrise, Schmandt a adopté une petite boîte qui, une fois attachée à votre poignet, indiquerait à l'ordinateur interactif du laboratoire où se trouvait votre poignet et où il pointait. Connu sous le nom d'appareil à six degrés de liberté, il avait été développé pour être monté sur les casques des pilotes d'hélicoptère, qui les utilisaient dans des simulateurs pour l'entraînement et sur le champ de bataille pour le ciblage ; aujourd'hui, des versions à bas prix équipent de nombreux casques de réalité virtuelle.
Eric Hulteen '80, SM '82, a été chargé de développer un logiciel pour le système de reconnaissance vocale NEC. En travaillant ensemble, Schmandt et Hulten ont créé Mets ça là , un système de dessin contrôlé par la voix et les gestes dont ils ont fait la première démonstration en 1979.
Pour exécuter Put That There, vous vous asseyiez dans une chaise Eames en cuir dans la salle insonorisée du labo. salle des médias et pointez votre main vers l'écran de rétroprojection de la taille d'un mur de la pièce, qui était éclairé par le modulateur de lumière, un projecteur de l'autre côté du mur. Une fois le capteur et les microphones configurés, vous pouvez dire Mettre un cercle jaune là , et l'ordinateur obéirait. Si vous ne spécifiez pas où le cercle doit aller, l'ordinateur demandera Où ? et attendez que vous pointiez et disiez Là ! Schmandt dit que c'était l'un des deux premiers systèmes conversationnels jamais écrits.
En 1980, Schmandt et Hulteen ont amélioré Put That There : ils ont transformé l'arrière-plan en une carte des Caraïbes et ont appris à l'ordinateur à répondre à des commandes telles que Créez un cargo vert là-bas et déplacez le bateau de croisière au nord de la République dominicaine. Cela a rendu le programme encore plus populaire auprès des sponsors militaires du laboratoire, qui pouvaient s'asseoir dans le fauteuil Eames et jouer des fantasmes comme entourer Cuba de cuirassés et de frégates.
Jerry Wiesner était président du MIT, et son bureau était un étage en dessous de nous, se souvient Negroponte lors du dîner de retraite de Schmandt. Quand il sortait pour déjeuner, il amenait ses amis et ses invités et disait : 'Oh, arrêtons-nous et voyons la Machine d'Architecture.'... Je ne sais pas combien de personnes étaient assises sur cette chaise, mais il y en avait beaucoup .
Schmandt n'avait aucun intérêt à obtenir un doctorat. (Je ne voulais pas passer deux ans à travailler sur un projet, dit-il.) Mais la recherche l'a retenu au MIT. Il a rejoint l'équipe d'AMG et a rapidement créé un groupe de recherche axé sur le développement de moyens permettant aux gens d'interagir avec les ordinateurs en utilisant la parole. L'objectif était de rendre la technologie informatique disponible en dehors d'un environnement de bureau.
Jake Belcher
Conducteur de siège arrière
En 1985, AMG s'est transformé en Media Lab. En tant que membre fondateur, Schmandt a eu de nombreux étudiants au fil des ans. Mais un projet avec l'un des premiers, Jim Davis '77, PhD '89, s'avérerait l'un des plus ambitieux. Davis avait également eu un UROP à l'AMG dans les années 1970, et il a travaillé dans quelques entreprises avant de retourner au Media Lab en 1985. Lors d'un passage à la startup de supercalculateurs de Cambridge Thinking Machines l'été après avoir commencé son doctorat, il a développé un programme appelé Direction Assistance qui pourrait prendre une carte détaillée d'une ville, d'un point de départ et d'une destination, et fournir des instructions détaillées en anglais pour un itinéraire efficace. Donc, la chose logique que Davis devait faire au laboratoire était de faire fonctionner l'assistance à la direction dans une voiture et de fournir des instructions à l'aide d'une voix synthétique.
À cette époque, le GPS n'était disponible que pour les militaires, dit Davis ; les civils avaient accès à une version avec une précision dégradée. NEC, un sponsor du laboratoire, avait développé un système de navigation embarqué qui utilisait l'estime au lieu du GPS : il notait la distance parcourue et adaptait les mouvements de la voiture à une carte informatisée. .
Cela ne fonctionnait qu'avec l'Acura Legend, une voiture haut de gamme, dit Davis. Alors pour faire la recherche, le Media Lab avait besoin d'une Acura Legend! C'était un pas en avant pour eux : Schmandt conduisait un break Datsun 210 pour pouvoir transporter ses skis, et Davis n'avait même pas de voiture.
NEC a installé l'équipement, qui affichait une carte avec un point indiquant l'emplacement de la voiture sur un écran intégré au centre du tableau de bord. C'est horrible, explique Schmandt. Parce que si quelque chose bouge dans votre champ visuel périphérique, vous avez un réflexe très fort pour le regarder, c'est peut-être un animal sauvage sur le point de bondir sur vous ! Schmandt craignait qu'un écran mobile empêche les conducteurs de garder les yeux sur la route. C'est en voyant [la carte NEC] que j'ai été convaincu que c'est là que la parole allait arriver, dit-il. Et nous avions raison : seulement 30 ans d'avance.
Schmandt, ici avec un premier téléphone portable, a co-développé un système de messagerie vocale futuriste appelé Téléphone Esclave Dans les années 1980. Avec l'aimable autorisation du MIT Media Lab
Le système que Schmandt et Davis ont construit a envoyé la position de la voiture (telle que déterminée par la carte NEC) par téléphone portable à un programme fonctionnant sur un ordinateur puissant au Media Lab. Le programme a calculé le prochain ensemble de directions de rue requises, en tenant compte de la position du conducteur, de la vitesse de la voiture et du temps qu'il faudrait pour prononcer l'énoncé calculé. Ces instructions ont ensuite été introduites dans un ancien synthétiseur vocal appelé DECtalk et renvoyées à la voiture via un deuxième téléphone portable. La fiabilité inégale de la couverture cellulaire a causé beaucoup de problèmes, de sorte que la deuxième version du système a déplacé l'ordinateur directement dans le coffre. Schmandt et Davis ont appelé le système Back Seat Driver.
Je suis vraiment content que nous ayons fait Back Seat Driver, dit-il. C'était une douce application de la voix. Le brevet que lui et Davis ont déposé à ce sujet – qui, selon lui, a été largement inspiré de la thèse de Davis – avait été cité par 523 autres brevets en février 2019, selon le US Patent and Trademark Office. Pendant un certain temps, il a été le brevet le plus cité du portefeuille du MIT, dit-il. Pourtant, ils n'ont jamais gagné d'argent dessus. Tous les brevets qui ont cité le leur se donnent beaucoup de mal pour expliquer en quoi ils sont différents, dit-il, expliquant que c'est ainsi que se joue le jeu des brevets.
Vous ne savez pas toujours d'où viendront les bonnes idées, dit Schmandt, ajoutant qu'il a appris au fil des ans à écouter les étudiants. Mon travail consiste à les aider à affiner leurs idées - déterminer quelle partie de l'idée est la bonne partie. Où est la vraie nouveauté ? Comment pouvez-vous construire cela, comment pouvez-vous expliquer cela ?
Cindy Hsin-Liu Kao, PhD '18, dit que les encouragements de Schmandt ont été cruciaux pour sa recherche, qui impliquait des interfaces utilisateur qui se fixent au corps avec des matériaux respectueux de la peau. Merci d'avoir toujours cru en moi, a-t-elle déclaré lors de son dîner de retraite, auquel elle a assisté virtuellement, à l'aide d'un ordinateur de poche avec reconnaissance vocale intégrée, du haut de la basilique Saint-Pierre à Rome. Quand je pensais aller dans une direction plus conventionnelle ou explorer quelque chose de vraiment bizarre, tu me disais toujours d'aller faire quelque chose de bizarre. Aujourd'hui, Kao est professeur adjoint de design et d'analyse environnementale à l'Université Cornell. Et son flux vidéo sans fil lors du dîner de Schmandt n'a surpris personne : aujourd'hui, tout le monde a en effet un tampon d'image dans sa poche.