Kurzweil répond : ne sous-estimez pas la singularité

Bien que Paul Allen paraphrase mon livre de 2005, La singularité est proche , dans le titre de son essai (coécrit avec son collègue Mark Greaves), il semble qu'il n'ait pas réellement lu le livre. Sa seule citation concerne un essai que j'ai écrit en 2001 (The Law of Accelerating Returns) et son article ne reconnaît ni ne répond aux arguments que je fais réellement dans le livre.

Crédit : examen de la technologie

Quand mon livre de 1999, L'ère des machines spirituelles, a été publié et augmenté quelques années plus tard par l'essai de 2001, il a généré plusieurs lignes de critique, telles que La loi de Moore prendra fin, les capacités matérielles peuvent augmenter de façon exponentielle mais les logiciels sont bloqués dans la boue, le cerveau est trop compliqué, il y a des capacités dans le cerveau qui, par nature, ne peuvent pas être reproduites dans les logiciels, et plusieurs autres. j'ai spécifiquement écrit La singularité est proche pour répondre à ces critiques.

Je ne peux pas dire qu'Allen serait nécessairement convaincu par les arguments que j'avance dans le livre, mais au moins il aurait pu répondre à ce que j'ai réellement écrit. Au lieu de cela, il propose encore arguments comme si rien n'avait jamais été écrit pour répondre à ces questions. Les descriptions d'Allen de mes propres positions semblent être tirées de mon essai de 10 ans. Alors que je continue de soutenir cet essai, Allen ne résume pas correctement mes positions, même à partir de cet essai.

Allen écrit que la loi des retours accélérés (LOAR)… n'est pas une loi physique. Je voudrais souligner que la plupart des lois scientifiques ne sont pas des lois physiques, mais résultent des propriétés émergentes d'un grand nombre d'événements à un niveau plus fin. Un exemple classique est celui des lois de la thermodynamique (LOT). Si vous regardez les mathématiques sous-jacentes au LOT, elles modélisent chaque particule comme suivant une marche aléatoire. Ainsi, par définition, nous ne pouvons pas prédire où se trouvera une particule particulière à un moment futur. Pourtant, les propriétés globales du gaz sont hautement prévisibles avec un haut degré de précision selon les lois de la thermodynamique. Il en est ainsi de la loi des retours accélérés. Chaque projet et contributeur technologique est imprévisible, mais la trajectoire globale, telle que quantifiée par des mesures de base du rapport qualité-prix et de la capacité, suit néanmoins des chemins remarquablement prévisibles.

Si la technologie informatique n'était poursuivie que par une poignée de chercheurs, elle serait en effet imprévisible. Mais il est poursuivi par un système suffisamment dynamique de projets compétitifs pour qu'une mesure de base telle que les instructions par seconde par dollar constant suive une trajectoire exponentielle très fluide remontant au recensement américain de 1890. Je discute longuement de la base théorique du LOAR dans mon livre, mais les arguments les plus solides sont présentés par les nombreuses preuves empiriques que moi-même et d'autres présentons.

Allen écrit que ces « lois » fonctionnent jusqu'à ce qu'elles ne fonctionnent plus. Ici, Allen confond les paradigmes avec la trajectoire en cours d'un domaine de base des technologies de l'information. Si nous examinions la tendance à créer des tubes à vide de plus en plus petits, le paradigme pour améliorer le calcul dans les années 1950, il est vrai que cette tendance spécifique s'est poursuivie jusqu'à ce qu'elle ne le soit plus. Mais à mesure que la fin de ce paradigme particulier est devenue claire, la pression de la recherche s'est accrue pour le prochain paradigme. La technologie des transistors a maintenu la tendance sous-jacente de la croissance exponentielle du rapport qualité-prix, ce qui a conduit au cinquième paradigme (loi de Moore) et à la compression continue des fonctionnalités sur les circuits intégrés. Il y a eu des prédictions régulières selon lesquelles la loi de Moore prendrait fin. le feuille de route de l'industrie des semi-conducteurs intitulé projette des caractéristiques de sept nanomètres d'ici le début des années 2020. À ce stade, les caractéristiques clés seront la largeur de 35 atomes de carbone, et il sera difficile de continuer à les rétrécir. Cependant, Intel et d'autres fabricants de puces font déjà les premiers pas vers le sixième paradigme, qui calcule en trois dimensions pour poursuivre l'amélioration exponentielle des performances de prix. Intel prévoit que les puces tridimensionnelles seront courantes à l'adolescence. Des transistors tridimensionnels et des puces mémoire tridimensionnelles ont déjà été introduits.

Ce sixième paradigme maintiendra le LOAR en ce qui concerne les performances des prix des ordinateurs au point, plus tard dans ce siècle, où mille dollars de calcul seront des milliards de fois plus puissants que le cerveau humain. [un] Et il semble qu'Allen et moi soyons au moins d'accord sur le niveau de calcul requis pour simuler fonctionnellement le cerveau humain. [deux]

Allen poursuit en donnant l'argument standard selon lequel le logiciel ne progresse pas de la même manière exponentielle que le matériel. Dans La singularité est proche , j'aborde cette question en détail, citant différentes méthodes de mesure de la complexité et de la capacité des logiciels qui démontrent une croissance exponentielle similaire. Une étude récente (Report to the President and Congress, Designing a Digital Future: Federally Funded Research and Development in Networking and Information Technology by the President’s Council of Advisors on Science and Technology) indique ce qui suit :

Encore plus remarquable - et encore moins largement compris - est que dans de nombreux domaines, les gains de performances dus aux améliorations des algorithmes ont largement dépassé même les gains de performances spectaculaires dus à l'augmentation de la vitesse du processeur . Les algorithmes que nous utilisons aujourd'hui pour la reconnaissance vocale, pour la traduction en langage naturel, pour le jeu d'échecs, pour la planification logistique, ont remarquablement évolué au cours de la dernière décennie… Voici juste un exemple, fourni par le professeur Martin Grötschel du Konrad-Zuse-Zentrum für Informationstechnik Berlin. Grötschel, un expert en optimisation, observe qu'un modèle de planification de production de référence résolu à l'aide de la programmation linéaire aurait pris 82 ans à résoudre en 1988, en utilisant les ordinateurs et les algorithmes de programmation linéaire de l'époque. Quinze ans plus tard, en 2003, ce même modèle pouvait être résolu en une minute environ, soit une amélioration d'un facteur d'environ 43 millions. Sur ce nombre, un facteur d'environ 1 000 était dû à l'augmentation de la vitesse du processeur, tandis qu'un facteur d'environ 43 000 était dû aux améliorations des algorithmes ! Grötschel cite également une amélioration algorithmique d'environ 30 000 pour la programmation mixte en nombres entiers entre 1991 et 2008. La conception et l'analyse d'algorithmes, ainsi que l'étude de la complexité informatique inhérente aux problèmes, sont des sous-domaines fondamentaux de l'informatique.

Je cite de nombreux autres exemples comme celui-ci dans le livre. [3]

En ce qui concerne l'IA, Allen s'empresse de rejeter Watson d'IBM comme étant étroit, rigide et cassant. J'ai l'impression qu'Allen rejetterait toute démonstration sans réussir le test de Turing. Je voudrais souligner que Watson n'est pas si étroit. Il traite d'un vaste éventail de connaissances humaines et est capable de traiter des formes subtiles de langage, y compris les jeux de mots, les comparaisons et les métaphores. Ce n'est pas parfait, mais les humains non plus, et c'était assez bon pour obtenir un score plus élevé que les deux meilleurs humains Péril! joueurs réunis.

Allen écrit que Watson a été mis en place par les scientifiques eux-mêmes, construisant chaque lien de connaissances étroites dans des domaines spécifiques. Bien que certains domaines des connaissances de Watson aient été programmés directement, selon IBM, Watson a acquis la plupart de ses connaissances par lui-même en lisant des documents en langage naturel tels que des encyclopédies. Cela représente sa force principale. Il est non seulement capable de comprendre la langue alambiquée dans Péril! requêtes (réponses à la recherche d'une question), mais il a acquis ses connaissances en lisant de vastes quantités de documents en langage naturel. IBM travaille maintenant avec Nuance (une société que j'ai fondée à l'origine sous le nom de Kurzweil Computer Products) pour que Watson lise des dizaines de milliers d'articles médicaux afin de créer un diagnosticien médical.

Un mot sur la nature de la compréhension de Watson s'impose ici. Beaucoup de choses ont été écrites sur le fait que Watson travaille grâce à des connaissances statistiques plutôt qu'à une véritable compréhension. De nombreux lecteurs interprètent cela comme signifiant que Watson rassemble simplement des statistiques sur des séquences de mots. Le terme information statistique dans le cas de Watson fait référence aux coefficients distribués dans les méthodes d'auto-organisation telles que les modèles de Markov. On pourrait tout aussi bien se référer aux concentrations distribuées de neurotransmetteurs dans le cortex humain qu'à des informations statistiques. En effet, nous résolvons les ambiguïtés de la même manière que Watson le fait en considérant la probabilité de différentes interprétations d'une phrase.

Allen écrit : Chaque structure [dans le cerveau] a été précisément façonnée par des millions d'années d'évolution pour faire une chose particulière, quelle qu'elle soit. Ce n'est pas comme un ordinateur, avec des milliards de transistors identiques dans des matrices de mémoire ordinaires qui sont contrôlés par un processeur avec quelques éléments différents. Dans le cerveau, chaque structure et circuit neuronal individuel a été individuellement affiné par l'évolution et des facteurs environnementaux.

L'affirmation d'Allen selon laquelle chaque structure et circuit neuronal est unique est tout simplement impossible. Cela signifierait que la conception du cerveau nécessiterait des centaines de milliards d'octets d'informations. Pourtant, la conception du cerveau (comme le reste du corps) est contenue dans le génome. Et tandis que la traduction du génome dans un cerveau n'est pas simple, le cerveau ne peut pas avoir plus d'informations de conception que le génome. Notez que les informations épigénétiques (telles que les peptides contrôlant l'expression des gènes) n'ajoutent pas de manière appréciable à la quantité d'informations dans le génome. L'expérience et l'apprentissage ajoutent considérablement à la quantité d'informations, mais on peut en dire autant des systèmes d'IA. je montre dans La singularité est proche qu'après une compression sans perte (en raison d'une redondance massive dans le génome), la quantité d'informations de conception dans le génome est d'environ 50 millions d'octets, dont environ la moitié concerne le cerveau. [4] Ce n'est pas simple, mais c'est un niveau de complexité que nous pouvons gérer et représente moins de complexité que de nombreux systèmes logiciels dans le monde moderne.

Comment pouvons-nous atteindre l'ordre de 100 000 milliards de connexions dans le cerveau à partir de quelques dizaines de millions d'octets d'informations de conception ? De toute évidence, la réponse passe par la redondance. Il existe de l'ordre d'un milliard de mécanismes de reconnaissance de formes dans le cortex. Ils sont interconnectés de manière complexe, mais même dans les connexions, il existe une redondance massive. Le cervelet a également des milliards de modèles répétés de neurones. Il est vrai que les structures massivement répétées dans le cerveau apprennent différents éléments d'information au fur et à mesure que nous apprenons et acquérons de l'expérience, mais la même chose est vraie pour les systèmes artificiellement intelligents tels que Watson.

Dharmendra S. Modha, responsable de l'informatique cognitive pour IBM Research, écrit : … les neuroanatomistes n'ont pas trouvé un réseau désespérément enchevêtré, arbitrairement connecté, complètement idiosyncratique au cerveau de chaque individu, mais à la place beaucoup de structure répétitive au sein d'un cerveau individuel et beaucoup d'homologie à travers les espèces… L'étonnante reconfigurabilité naturelle donne de l'espoir que les algorithmes de base de la neurocomputation sont indépendants des modalités sensorielles ou motrices spécifiques et qu'une grande partie de la variation observée de la structure corticale à travers les zones représente un raffinement d'un circuit canonique ; c'est bien ce circuit canonique que nous souhaitons désosser.

Allen exprime ce que je décris dans mon livre comme le pessimisme du scientifique. Les scientifiques travaillant sur la prochaine génération sont invariablement aux prises avec cette prochaine série de défis, donc si quelqu'un décrit à quoi ressemblera la technologie dans 10 générations, ses yeux deviennent glauques. L'un des pionniers des circuits intégrés me décrivait récemment les difficultés rencontrées pour passer de la taille des caractéristiques de 10 microns (10 000 nanomètres) à des caractéristiques de cinq microns (5 000 nanomètres) il y a plus de 30 ans. Ils étaient prudemment confiants dans cet objectif, mais lorsque les gens ont prédit qu'un jour nous aurions des circuits avec des tailles de caractéristiques inférieures à un micron (1 000 nanomètres), la plupart des scientifiques luttant pour atteindre cinq microns ont pensé que c'était trop sauvage pour être envisagé. Des objections ont été faites sur la fragilité des circuits à ce niveau de précision, les effets thermiques, etc. Eh bien, aujourd'hui, Intel commence à utiliser des puces avec des longueurs de grille de 22 nanomètres.

On a vu le même pessimisme avec le projet génome. À mi-chemin du projet de 15 ans, seulement 1% du génome avait été collecté, et les critiques proposaient des limites de base sur la rapidité avec laquelle le génome pouvait être séquencé sans détruire les structures génétiques délicates. Mais la croissance exponentielle de la capacité et de la performance des prix s'est poursuivie (les deux doublant à peu près chaque année) et le projet a été achevé sept ans plus tard. Le projet de rétro-ingénierie du cerveau humain fait des progrès similaires. Ce n'est que récemment, par exemple, que nous avons atteint un seuil avec des techniques d'analyse non invasives que nous pouvons voir des connexions interneuronales individuelles se former et se déclencher en temps réel.

Le frein de complexité d'Allen confond la forêt avec les arbres. Si vous voulez comprendre, modéliser, simuler et recréer un pancréas, vous n'avez pas besoin de recréer ou de simuler chaque organite dans chaque cellule d'îlot pancréatique. Au lieu de cela, vous voudriez bien comprendre une cellule d'îlot, puis résumer sa fonctionnalité de base, puis l'étendre à un grand groupe de telles cellules. Cet algorithme est bien compris en ce qui concerne les îlots. Il existe maintenant des pancréas artificiels qui utilisent ce modèle fonctionnel en cours de test. Bien qu'il y ait certainement beaucoup plus de complexité et de variation dans le cerveau que dans les cellules des îlots du pancréas massivement répétées, il y a néanmoins une répétition massive des fonctions.

Allen dénature ma proposition d'en apprendre davantage sur le cerveau en scannant le cerveau pour comprendre sa structure fine. Ce n'est pas ma proposition de simuler un cerveau entier de bas en haut sans comprendre les fonctions de traitement de l'information. Nous devons comprendre en détail comment fonctionnent les différents types de neurones, puis recueillir des informations sur la façon dont les modules fonctionnels sont connectés. Les méthodes fonctionnelles qui découlent de ce type d'analyse peuvent alors guider le développement de systèmes intelligents. Fondamentalement, nous recherchons des méthodes d'inspiration biologique qui peuvent accélérer le travail en IA, dont une grande partie a progressé sans avoir une idée significative de la façon dont le cerveau exécute des fonctions similaires. D'après mes propres travaux sur la reconnaissance vocale, je sais que notre travail a été considérablement accéléré lorsque nous avons obtenu des informations sur la façon dont le cerveau prépare et transforme les informations auditives.

La façon dont ces structures massivement redondantes dans le cerveau se différencient se fait par l'apprentissage et l'expérience. L'état de l'art actuel de l'IA permet cependant aux systèmes d'apprendre également de leur propre expérience. Les voitures autonomes de Google (qui ont parcouru plus de 140 000 miles à travers les villes et villages de Californie) apprennent de leur propre expérience de conduite ainsi que des voitures Google conduites par des conducteurs humains. Comme je l'ai mentionné, Watson a appris la plupart de ses connaissances en lisant seul.

Il est vrai que Watson n'est pas tout à fait au niveau humain dans sa capacité à comprendre le langage humain (si c'était le cas, nous serions maintenant au niveau du test de Turing), mais il a réussi à vaincre les meilleurs humains. Cela est dû à la vitesse et à la fiabilité inhérentes de la mémoire des ordinateurs. Ainsi, lorsqu'un ordinateur atteindra des niveaux humains, ce qui, je pense, arrivera d'ici la fin des années 2020, il sera capable d'aller sur le Web et de lire des milliards de pages ainsi que d'avoir des expériences dans des mondes virtuels en ligne. La combinaison de la reconnaissance des formes au niveau humain avec la vitesse et la précision inhérentes des ordinateurs sera très puissante. Mais il ne s'agit pas d'une invasion extraterrestre de machines de renseignement : nous créons ces outils pour nous rendre plus intelligents. Je pense qu'Allen sera d'accord avec moi pour dire que c'est ce qui est unique dans l'espèce humaine : nous construisons ces outils pour étendre notre propre portée.

Ray Kurzweil est un inventeur et auteur. Son dernier morceau pour Examen de la technologie était sur lutter contre le processus de vieillissement .

[un] Chapitre 2, La singularité est proche par Ray Kurzweil, Viking, 2005.

[deux] Voir la note de fin 2 dans La singularité n'est pas proche de Paul G. Allen et Mark Greaves.

[3] Chapitre 9, La singularité est proche.

[4] Chapitre 4, La singularité est proche.

cacher