Claude Shannon : père réticent de l'ère numérique

Prenez un CD préféré. Maintenant, déposez-le sur le sol. Frottez-le avec vos empreintes digitales. Ensuite, glissez-le dans la fente du lecteur et écoutez la musique aussi claire que le jour où vous avez ouvert le boîtier en plastique pour la première fois. Avant de passer le reste de votre journée, pensez à l'homme dont les idées révolutionnaires ont rendu ce miracle possible : Claude Elwood Shannon.

Shannon, décédée en février des suites d'une longue maladie, était l'un des plus grands géants qui ont créé l'ère de l'information. John von Neumann, Alan Turing et de nombreux autres visionnaires nous ont donné des ordinateurs capables de traiter l'information. Mais c'est Claude Shannon qui nous a donné le concept moderne d'information - un saut intellectuel qui lui vaut une place sur n'importe quel équivalent high-tech du mont Rushmore qui sera un jour établi.

Cette histoire faisait partie de notre numéro de juillet 2001

• Voir le reste du numéro
• S'abonner

Toute la science de la théorie de l'information est née d'un article électrisant que Shannon a publié en 1948, alors qu'il était un chercheur de 32 ans aux Laboratoires Bell. Shannon a montré comment la notion autrefois vague d'information pouvait être définie et quantifiée avec une précision absolue. Il a démontré l'unité essentielle de tous les supports d'information, soulignant que le texte, les signaux téléphoniques, les ondes radio, les images, les films et tout autre mode de communication pouvaient être codés dans le langage universel des chiffres binaires, ou bits - un terme que son article était le premier à être imprimé. Shannon a avancé l'idée qu'une fois que l'information est devenue numérique, elle pourrait être transmise sans erreur. Ce fut un saut conceptuel à couper le souffle qui mena directement à des objets aussi familiers et robustes que les CD. Shannon avait écrit un projet pour l'ère numérique, explique le théoricien de l'information du MIT, Robert Gallager, qui est toujours impressionné par l'article de 1948.

Et cela ne compte même pas le mémoire de maîtrise que Shannon avait écrit 10 ans plus tôt, celui où il articulait les principes derrière tous les ordinateurs modernes. Claude a tellement fait pour activer la technologie moderne qu'il est difficile de savoir par où commencer et par où finir, explique Gallager, qui a travaillé avec Shannon dans les années 1960. Il avait cette incroyable clarté de vision. Einstein l'avait aussi - cette capacité à s'attaquer à un problème compliqué et à trouver la bonne façon de le considérer, de sorte que les choses deviennent très simples.

Bricoler vers demain

Pour Shannon, c'était juste une autre façon de s'amuser. Claude aimait rire et inventer des choses décalées, explique David Slepian, mathématicien à la retraite des Bell Labs, qui était un collaborateur de Shannon dans les années 1950. Shannon a fait des maths comme un magicien de la scène pratiquant son tour de passe-passe : il tournait autour et attaquait le problème d'une direction à laquelle vous n'auriez jamais pensé, dit Slepian - seulement pour vous étonner avec une réponse qui avait été juste devant votre face tout le temps. Mais alors, Shannon avait aussi un large répertoire de vrais tours de cartes. Il a appris tout seul à faire du monocycle et est devenu célèbre pour avoir parcouru les couloirs des Bell Labs la nuit tout en jonglant. (Il avait été gymnaste à l'université, il était donc meilleur que vous ne l'auriez pensé, dit sa femme Betty, qui lui a offert le cycle comme cadeau de Noël en 1949.)

À la maison, Shannon passait son temps libre à construire toutes sortes de machines bizarres. Il y avait le Throbac (THrifty ROman-Numerical Backward-looking Computer), une calculatrice qui faisait de l'arithmétique avec des chiffres romains. Il y avait Thésée, une souris mécanique grandeur nature qui pouvait trouver son chemin dans un labyrinthe. Et peut-être le plus célèbre, il y avait l'Ultimate Machine - une boîte avec un grand interrupteur sur le côté. Allumez l'interrupteur et le couvercle se soulèverait lentement, révélant une main mécanique qui s'abaisserait, éteindrait l'interrupteur et se retirerait, laissant la boîte telle quelle.

J'ai toujours été intéressé par la construction de choses avec des mouvements amusants, a expliqué Shannon dans une interview en 1987 avec le magazine Omni (l'une des rares fois où il a parlé de sa vie en public). Dans sa ville natale de Gaylord, dans le nord du Michigan, se souvient-il, il a passé ses premières années à assembler des modèles réduits d'avions, des circuits radio, un modèle de bateau radiocommandé et même un système télégraphique. Et lorsqu'il entra à l'Université du Michigan en 1932, il n'hésita pas à se spécialiser en génie électrique.

Après avoir obtenu son diplôme en 1936, Shannon est allé directement au MIT pour occuper un poste d'alternance travail-études qu'il avait vu annoncé sur une carte postale collée sur un tableau d'affichage du campus. Il devait passer la moitié de son temps à poursuivre une maîtrise en génie électrique et l'autre moitié à travailler comme assistant de laboratoire pour le pionnier de l'informatique Vannevar Bush, vice-président et doyen de l'ingénierie du MIT. Bush a confié à Shannon la responsabilité de l'analyseur différentiel, un système élaboré d'engrenages, de poulies et de tiges qui occupait la majeure partie d'une grande pièce et qui était sans doute la machine informatique la plus puissante de la planète à l'époque ( voir L'informatique après le silicium , TR mai/juin 2000 ).

Conçu par Bush et ses étudiants à la fin des années 1920 et achevé en 1931, l'analyseur différentiel était un ordinateur analogique. Il ne représentait pas des variables mathématiques avec des uns et des zéros, comme le font les ordinateurs numériques, mais par une gamme continue de valeurs : la rotation physique des tiges. Le travail de Shannon consistait à aider les scientifiques invités à programmer leurs problèmes sur l'analyseur en réorganisant les liaisons mécaniques entre les tiges de sorte que leurs mouvements correspondent aux équations mathématiques appropriées.

Shannon n'aurait pas pu demander un travail plus adapté à son amour des mouvements amusants. Il était particulièrement attiré par le circuit de commande merveilleusement compliqué de l'analyseur, qui consistait en une centaine de relais-interrupteurs qui pouvaient être automatiquement ouverts et fermés par un électro-aimant. Mais ce qui l'a particulièrement intrigué, c'est à quel point le fonctionnement des relais ressemblait aux rouages ​​de la logique symbolique, un sujet qu'il venait d'étudier pendant sa dernière année au Michigan. Chaque interrupteur était soit fermé, soit ouvert, un choix qui correspondait
exactement au choix binaire en logique, où une déclaration était vraie ou fausse. De plus, Shannon s'est vite rendu compte que des commutateurs combinés dans des circuits pouvaient effectuer des opérations standard de logique symbolique. L'analogie n'avait apparemment jamais été reconnue auparavant. Shannon en fit donc le sujet de sa thèse de maîtrise et passa la majeure partie de 1937 à en étudier les implications. Il a dit plus tard à un intervieweur qu'il s'était plus amusé à faire ça que toute autre chose dans ma vie.

Vrai ou faux?

Certes, sa thèse, Une analyse symbolique des circuits de relais et de commutation, constitue une lecture convaincante, surtout compte tenu de ce qui s'est passé au cours des 60 années et plus depuis sa rédaction. En aparté vers la fin, par exemple, Shannon a souligné que les valeurs logiques vrai et faux pourraient tout aussi bien être désignées par les chiffres numériques 1 et 0. Cette réalisation signifiait que les relais pouvaient effectuer les opérations alors obscures de l'arithmétique binaire. . Ainsi, écrit Shannon, il est possible d'effectuer des opérations mathématiques complexes au moyen de circuits relais. À titre d'illustration, Shannon a montré la conception d'un circuit qui pourrait ajouter des nombres binaires.

Plus important encore, Shannon s'est rendu compte qu'un tel circuit pouvait également faire des comparaisons. Il a vu la possibilité d'un dispositif qui pourrait prendre des mesures alternatives selon les circonstances - comme dans, si le nombre X est égal au nombre Y, alors effectuez l'opération A. Shannon a donné une illustration simple de cette possibilité dans sa thèse en montrant comment le relais les interrupteurs pouvaient être agencés pour produire une serrure qui s'ouvrait si et seulement si une série de boutons était enfoncée dans le bon ordre.

Les implications étaient profondes : un circuit de commutation pouvait décider, une capacité qui avait autrefois semblé unique aux êtres vivants. Dans les années à venir, la perspective des machines à décision allait inspirer tout le domaine de l'intelligence artificielle, la tentative de modéliser la pensée humaine via l'ordinateur. Et ce n'est peut-être pas un hasard si ce domaine fascinera Claude Shannon pour le reste de sa vie.

D'un point de vue plus immédiat, cependant, la capacité d'un circuit de commutation à décider était ce qui ferait des ordinateurs numériques qui ont émergé après la Seconde Guerre mondiale quelque chose de fondamentalement nouveau. Ce n'étaient pas leurs capacités mathématiques en soi que les contemporains trouvaient si surprenantes (même si les machines étaient certainement très rapides) ; même dans les années 40, le monde regorgeait de calculatrices de bureau électromécaniques capables d'effectuer de simples additions et soustractions. La partie étonnante était la capacité des nouveaux ordinateurs à fonctionner sous le contrôle d'un programme interne, décidant parmi diverses alternatives et exécutant des séquences de commandes complexes par eux-mêmes.

C'est pourquoi A Symbolic Analysis of Relay and Switching Circuits, publié en 1938, a été appelé le mémoire de maîtrise le plus important du 20e siècle. Au début de la vingtaine, Claude Shannon avait eu la perspicacité cruciale pour organiser les opérations internes d'un ordinateur moderne - près d'une décennie avant même que de tels ordinateurs n'existent. Dans les années qui ont suivi, la technologie de commutation est passée des relais électromécaniques aux transistors microscopiques gravés sur silicium. Mais à ce jour, les concepteurs de puces parlent et pensent toujours en termes de logique interne de leurs puces, un concept largement inspiré du travail de Shannon.

Informations parfaites

Avec les encouragements de Vannevar Bush, Shannon a décidé de poursuivre sa maîtrise par un doctorat en mathématiques, une tâche qu'il a achevée en à peine un an et demi. Peu de temps après avoir obtenu ce diplôme au printemps 1940, il rejoint Bell Labs. Étant donné que l'entrée des États-Unis dans la Seconde Guerre mondiale n'était clairement qu'une question de temps, Shannon s'est immédiatement mis au travail sur des projets militaires tels que le contrôle de tir antiaérien et la cryptographie (fabrication et rupture de code).

Néanmoins, Shannon a toujours trouvé le temps de travailler sur la théorie fondamentale des communications, un sujet qui avait éveillé son intérêt plusieurs années auparavant. De temps à autre, Shannon avait écrit à Bush en février 1939, dans une lettre maintenant conservée dans les archives de la Bibliothèque du Congrès, j'ai travaillé sur une analyse de certaines des propriétés fondamentales des systèmes généraux de transmission du renseignement, y compris la téléphonie, radio, télévision, télégraphie, etc. Pour progresser vers cet objectif, il avait besoin d'un moyen de préciser ce qui était transmis au cours de l'acte de communication.

S'appuyant sur les travaux de l'ingénieur des Bell Labs Ralph Hartley, Shannon a formulé une expression mathématique rigoureuse pour le concept d'information. Au moins dans les cas les plus simples, a déclaré Shannon, le contenu informationnel d'un message était le nombre de uns et de zéros binaires requis pour l'encoder. Si vous saviez à l'avance qu'un message transmettrait un simple choix - oui ou non, vrai ou faux - alors un chiffre binaire suffirait : un seul un ou un seul zéro vous disait tout ce que vous aviez besoin de savoir. Le message serait ainsi défini pour avoir une unité d'information. Un message plus compliqué, en revanche, nécessiterait plus de chiffres à coder et contiendrait d'autant plus d'informations ; pensez aux milliers ou millions de uns et de zéros qui composent un fichier de traitement de texte.

Comme Shannon l'a réalisé, cette définition avait ses aspects pervers. Un message peut ne porter qu'une seule unité binaire d'information - Oui - mais un monde de sens - comme dans Oui, je t'épouserai. Mais le travail des ingénieurs consistait à acheminer les données d'ici à là avec un minimum de distorsion, quel que soit leur contenu. Et pour cela, la définition numérique de l'information était idéale, car elle permettait une analyse mathématique précise. Quelles sont les limites de la capacité d'un canal de communication ? Quelle part de cette capacité pouvez-vous utiliser dans la pratique ? Quels sont les moyens les plus efficaces pour coder les informations à transmettre en présence inévitable de bruit ?

À en juger par ses commentaires de nombreuses années plus tard, Shannon avait décrit ses réponses à de telles questions en 1943. Curieusement, cependant, il ne semble pas avoir ressenti d'urgence à partager ces idées ; certains de ses plus proches collaborateurs à l'époque jurent qu'ils n'avaient aucune idée qu'il travaillait sur la théorie de l'information. Il n'était pas non plus pressé de publier et d'obtenir ainsi le crédit de l'œuvre. J'étais plus motivé par la curiosité, expliqua-t-il dans son interview de 1987, ajoutant que le processus d'écriture pour la publication était pénible. En fin de compte, cependant, Shannon a surmonté sa réticence. Le résultat : l'article révolutionnaire A Mathematical Theory of Communication, paru dans les numéros de juillet et octobre 1948 du Journal technique du système Bell .

Les idées de Shannon ont explosé avec la force d'une bombe. C'était comme un coup de foudre, se souvient John Pierce, qui était l'un des meilleurs amis de Shannon aux Bell Labs, et pourtant aussi surpris par l'article de Shannon que n'importe qui. Je ne connais aucune autre théorie qui se présente sous une forme complète comme celle-là, avec très peu d'antécédents ou d'histoire. En effet, il y avait quelque chose dans cette notion de quantification de l'information qui enflammait l'imagination des gens. Ce fut une révélation, dit Oliver Selfridge, qui était alors étudiant diplômé au MIT. Autour du MIT, la réaction a été géniale ! Pourquoi n'y ai-je pas pensé ? »

Une grande partie de la puissance de l'idée de Shannon résidait dans son unification de ce qui avait été un ensemble diversifié de technologies. Jusque-là, la communication n'était pas une science unifiée, explique Gallager du MIT. Il y avait un support pour la transmission vocale, un autre support pour la radio, d'autres encore pour les données. Claude a montré que toute communication était fondamentalement la même et qu'en plus, on pouvait prendre n'importe quelle source et la représenter par des données numériques.

Cette idée à elle seule aurait fait de l'article de Shannon l'une des grandes réalisations analytiques du 20e siècle. Mais il y avait plus. Supposons que vous essayiez d'envoyer, disons, un message d'anniversaire sur une ligne télégraphique, ou via une liaison sans fil, ou même par la poste américaine. Shannon a pu montrer qu'un tel canal de communication avait une limite de vitesse, mesurée en chiffres binaires par seconde. La mauvaise nouvelle était qu'au-delà de cette limite de vitesse, une fidélité parfaite était impossible : quelle que soit l'intelligence avec laquelle vous encodiez et compressiez votre message, vous ne pouviez tout simplement pas le faire aller plus vite sans jeter certaines informations.

La bonne nouvelle époustouflante, cependant, était qu'en dessous de cette limite de vitesse, la transmission était potentiellement parfaite. Pas seulement très bon : parfait. Shannon a donné une preuve mathématique qu'il devait exister des codes qui vous amèneraient à la limite sans perdre aucune information. De plus, a-t-il démontré, une transmission parfaite serait possible, quelle que soit la charge statique et la distorsion qu'il pourrait y avoir dans le canal de communication, et quelle que soit la faiblesse du signal. Bien sûr, vous devrez peut-être encoder chaque lettre ou pixel avec un grand nombre de bits pour garantir qu'un nombre suffisant d'entre eux passeront. Et vous devrez peut-être concevoir toutes sortes de schémas de correction d'erreurs sophistiqués afin que les parties corrompues du message puissent être reconstruites à l'autre extrémité. Et oui, dans la pratique, les codes finiraient par devenir si longs et la communication si lente qu'il faudrait abandonner et laisser le bruit gagner. Mais en principe, vous pouvez rendre la probabilité d'erreur aussi proche de zéro que vous le souhaitez.

Ce théorème fondamental de la théorie de l'information, comme l'appelait Shannon, l'avait même surpris lorsqu'il l'avait découvert. La conquête du bruit semblait violer tout bon sens. Mais pour ses contemporains en 1948, voyant le théorème pour la première fois, l'effet fut électrisant. Pour réduire autant que vous le souhaitez le risque d'erreur ? Personne n'y avait jamais pensé, s'émerveille Robert Fano du MIT, qui est devenu lui-même un grand théoricien de l'information dans les années 1950 et qui a toujours une photo révérencieuse de Shannon accrochée dans son bureau. Comment il a eu cette idée, comment il en est même venu à croire une telle chose, je ne sais pas. Mais presque toute l'ingénierie de la communication moderne est basée sur ce travail.

Le travail de Shannon pèse sur tout ce que nous faisons, convient Robert Lucky, vice-président de la recherche appliquée chez Telcordia, la spin-off de Bell Labs anciennement connue sous le nom de Bellcore. En effet, note-t-il, le théorème fondamental de Shannon a servi d'idéal et de défi pour les générations futures. Pendant 50 ans, les gens ont travaillé pour atteindre la capacité de canal qu'il a déclarée possible. Ce n'est que récemment que nous nous sommes rapprochés. Son influence était profonde.

Et, ajoute Lucky, le travail de Shannon a inspiré le développement de tous nos codes de correction d'erreurs et algorithmes de compression de données modernes. En d'autres termes : pas de Shannon, pas de Napster.

Le théorème de Shannon explique comment nous pouvons lancer avec désinvolture des disques compacts d'une manière que personne n'aurait osé avec des disques vinyles longue durée : ces codes de correction d'erreurs permettent au lecteur de CD d'éliminer pratiquement le bruit dû aux rayures et aux empreintes digitales avant même que nous l'entendions. . Le théorème de Shannon explique également comment les modems informatiques peuvent transmettre des données compressées à des dizaines de milliers de bits par seconde sur des lignes téléphoniques ordinaires et bruyantes. Il explique comment les scientifiques de la NASA ont pu obtenir des images de la planète Neptune sur Terre à travers trois milliards de kilomètres d'espace interplanétaire. Et cela explique en grande partie pourquoi le mot numérique est devenu synonyme de la norme la plus élevée possible en matière de qualité des données.

Éteindre

Les récompenses pour le travail de Shannon n'ont pas tardé à arriver. Warren Weaver, directeur de la division des sciences naturelles de la Fondation Rockefeller, a déclaré que la théorie de l'information englobait toutes les procédures par lesquelles un esprit peut affecter un autre, y compris non seulement la parole écrite et orale, mais aussi la musique, les arts picturaux, le théâtre, le ballet , et en fait tous les comportements humains. Le magazine Fortune pouvait à peine contenir son enthousiasme, qualifiant la théorie de l'information de l'une des créations les plus fières et les plus rares de l'homme, une grande théorie scientifique qui pourrait modifier profondément et rapidement la vision du monde de l'homme. Shannon lui-même a rapidement dû réserver une pièce entière dans sa maison juste pour contenir toutes ses citations, plaques et témoignages.

Cependant, moins d'un an ou deux après la publication de son article, Shannon a été horrifié de découvrir que la théorie de l'information devenait très populaire. Les gens disaient des choses ridicules sur la quantité d'informations provenant du soleil, ou même sur le contenu informatif du bruit. Les scientifiques soumettaient des demandes de subvention faisant référence à la théorie de l'information, que leurs propositions y soient pour quelque chose ou non. La théorie de l'information devenait un mot à la mode, tout comme l'intelligence artificielle, le chaos et la complexité le feraient dans les années 1980 et 1990. Et Shannon détestait ça. Dans un article de 1956 intitulé The Bandwagon, dans le journal Transactions sur la théorie de l'information , il a déclaré que la théorie de l'information était largement survendue. Il a peut-être atteint une importance dépassant ses réalisations réelles, a-t-il écrit.

Plutôt que de continuer à se battre contre ce qu'il savait être une bataille perdue d'avance, Shannon a abandonné. Bien qu'il ait poursuivi, pendant un certain temps, ses recherches sur la théorie de l'information, il a refusé presque toutes les invitations interminables à donner des conférences ou à donner des interviews dans les journaux ; il ne voulait pas être une célébrité. Il a également cessé de répondre à une grande partie de son courrier. La correspondance de grandes figures de la science et du gouvernement a fini par être oubliée et sans réponse dans un dossier qu'il a intitulé Lettres que j'ai tergiversées trop longtemps. Au fil des années, en fait, Shannon a commencé à se retirer non seulement des yeux du public, mais aussi de la communauté des chercheurs - une attitude qui inquiétait ses collègues du MIT, qui l'avaient embauché des Bell Labs en 1958. Il a écrit de beaux articles - quand il a écrit, dit Fano du MIT. Et il a donné de belles conférences-quand il a fait une conférence. Mais il détestait le faire.

De temps en temps, Shannon a continué à publier. Un exemple notable, avant qu'il ne soit trop horrifié par sa célébrité et se retire plus complètement, était un article fondateur de 1950 pour Scientifique américain décrivant comment un ordinateur peut être programmé pour jouer aux échecs. Mais il a lentement disparu de la scène universitaire, se souvient Peter Elias, un autre chef du groupe de théorie de l'information du MIT. La vision de l'enseignement de Claude était de donner une série de conférences sur la recherche que personne d'autre ne connaissait. Mais ce rythme était très exigeant ; en fait, il publiait un document de recherche chaque semaine. Au milieu des années 1960, se souvient Elias, Shannon avait cessé d'enseigner.

Après sa retraite officielle en 1978, à 62 ans, Shannon s'est retiré avec bonheur dans sa maison de la banlieue de Boston à Winchester, MA. L'argent n'était pas une préoccupation; grâce à sa connaissance des industries de haute technologie naissant autour de la route 128 de Boston, il avait fait des investissements astucieux en bourse. Il ne semblait pas non plus y avoir de diminution de son ingéniosité. Il a encore construit des choses ! se souvient Betty Shannon en riant. L'un était une… figure de W. C. Fields qui faisait rebondir trois balles sur une peau de tambour. Cela a fait un sacré bruit, laissez-moi vous dire !
Néanmoins, il est arrivé un moment vers 1985 où lui et Betty ont commencé à remarquer certaines lacunes. Il irait faire un tour en voiture et oublierait comment rentrer à la maison. En 1992, alors que l'Institute of Electrical and Electronics Engineers se préparait à publier ses articles, Shannon fut troublé de se rendre compte qu'il ne se souvenait pas d'en avoir écrit beaucoup. Et à la mi-1993, alors que son état devenait évident pour tout le monde, la famille a confirmé ce que beaucoup avaient commencé à soupçonner : Claude Shannon avait la maladie d'Alzheimer. Plus tard cette année-là, sa famille l'a placé à contrecœur dans une maison de retraite.

En 1998, lorsque sa ville natale de Gaylord, MI, a commémoré le 50e anniversaire de la théorie de l'information en dévoilant un buste de son créateur dans un parc de la ville, Betty Shannon a remercié la ville à sa place. Physiquement, dit-elle, il allait bien presque jusqu'à la fin, quand tout a semblé s'effondrer d'un coup. Mais le 24 février, à seulement deux mois du 85e anniversaire de Shannon, la fin est venue. La réponse à sa mort a été écrasante, dit-elle. Je pense que cela l'aurait étonné.

cacher