Paul Allen : La singularité n'est pas proche

Les futuristes aiment Vernor Vinge et Ray Kurzweil ont fait valoir que le monde approche rapidement d'un point de basculement, où le rythme accéléré de machines de plus en plus intelligentes dépassera bientôt toutes les capacités humaines. Ils appellent ce point de basculement le singularité , parce qu'ils croient qu'il est impossible de prédire comment l'avenir humain pourrait se dérouler après ce point. Une fois que ces machines existeront, affirment Kurzweil et Vinge, elles posséderont une intelligence surhumaine qui nous est si incompréhensible que nous ne pouvons même pas deviner rationnellement comment nos expériences de vie seraient modifiées. Vinge demande à réfléchir au rôle des humains dans un monde où les machines sont autant plus intelligentes que nous que nous sommes plus intelligents que nos chiens et chats de compagnie. Kurzweil, un peu plus optimiste, envisage un avenir dans lequel les développements de la nanotechnologie médicale nous permettront de télécharger une copie de nos cerveaux individuels dans ces machines surhumaines, de laisser notre corps derrière nous et, dans un sens, de vivre pour toujours. C'est des trucs enivrants.

Crédit : examen de la technologie

Bien que nous supposions que ce genre de singularité puisse un jour se produire, nous ne pensons pas qu'il soit proche. En fait, nous pensons que ce sera très long à venir. Kurzweil n'est pas d'accord, sur la base de ses extrapolations sur le rythme des progrès scientifiques et techniques pertinents. Il explique que le taux de progrès vers la singularité n'est pas seulement une progression de capacité en augmentation constante, mais qu'il s'accélère en fait de façon exponentielle - ce que Kurzweil appelle le Loi des rendements accélérés . Il écrit que :

Nous ne connaîtrons donc pas 100 ans de progrès au 21e siècle, ce sera plutôt 20 000 ans de progrès (au rythme d'aujourd'hui). Les rendements, tels que la vitesse de la puce et la rentabilité, augmentent également de manière exponentielle. Il y a même une croissance exponentielle du taux de croissance exponentielle. D'ici quelques décennies, l'intelligence artificielle dépassera l'intelligence humaine, conduisant à la Singularité… [un]

En travaillant sur un ensemble de modèles et de données historiques, Kurzweil calcule que la singularité arrivera vers 2045.

Cette prédiction nous semble assez farfelue. Bien sûr, nous sommes conscients que l'histoire de la science et de la technologie est jonchée de personnes qui affirment avec confiance qu'un événement ne peut pas se produire, pour ensuite se révéler faux, souvent de manière spectaculaire. Nous reconnaissons qu'il est possible mais hautement improbable que Kurzweil soit finalement justifié. Un cerveau adulte est une chose finie, donc son fonctionnement de base peut finalement être connu grâce à un effort humain soutenu. Mais si la singularité doit arriver d'ici 2045, il faudra des percées imprévisibles et fondamentalement imprévisibles, et non pas parce que la loi des retours accélérés en a fait le résultat inévitable d'un taux de progrès exponentiel spécifique.

Le raisonnement de Kurzweil repose sur la loi des retours accélérés et ses frères et sœurs, mais ce ne sont pas des lois physiques. Ce sont des affirmations sur la façon dont les taux passés de progrès scientifique et technique peuvent prédire le taux futur. Par conséquent, comme d'autres tentatives pour prévoir l'avenir à partir du passé, ces lois fonctionneront jusqu'à ce qu'elles ne fonctionnent plus. Plus problématique pour la singularité, ces types d'extrapolations tirent une grande partie de leur forme exponentielle globale de supposer qu'il y aura un approvisionnement constant de capacités de calcul de plus en plus puissantes. Pour que la loi s'applique et que la singularité se produise vers 2045, les progrès de capacité doivent se produire non seulement dans les technologies matérielles d'un ordinateur (mémoire, puissance de traitement, vitesse du bus, etc.) mais aussi dans le logiciel que nous créons pour fonctionner sur ces derniers. ordinateurs plus performants. Pour atteindre la singularité, il ne suffit pas d'exécuter le logiciel d'aujourd'hui plus rapidement. Nous aurions également besoin de créer des logiciels plus intelligents et plus performants. La création de ce type de logiciel avancé nécessite une compréhension scientifique préalable des fondements de la cognition humaine, et nous ne faisons qu'effleurer la surface.

Ce besoin préalable de comprendre la science fondamentale de la cognition est là où la singularité est proche, les arguments ne parviennent pas à nous persuader. Il est vrai que la technologie du matériel informatique peut se développer à une vitesse incroyable une fois que nous avons un cadre scientifique solide et des incitations économiques adéquates. Cependant, créer le logiciel d'une véritable intelligence informatique au niveau de la singularité nécessitera des progrès scientifiques fondamentaux au-delà de ce que nous sommes aujourd'hui. Ce type de progrès est très différent de l'évolution des capacités du matériel informatique à la loi de Moore qui a inspiré Kurzweil et Vinge. Construire le logiciel complexe qui permettrait à la singularité de se produire nécessite que nous ayons d'abord une compréhension scientifique détaillée du fonctionnement du cerveau humain que nous pouvons utiliser comme guide architectural, ou bien tout créer encore . Cela signifie non seulement connaître la structure physique du cerveau, mais aussi comment le cerveau réagit et change, et comment des milliards d'interactions neuronales parallèles peuvent entraîner la conscience humaine et la pensée originale. Obtenir ce genre de compréhension globale du cerveau n'est pas impossible. Si la singularité doit se produire sur quelque chose comme la chronologie de Kurzweil, alors nous avons absolument besoin d'une accélération massive de nos progrès scientifiques dans la compréhension de chaque facette du cerveau humain.

Mais l'histoire nous dit que le processus de découverte scientifique originale ne se comporte tout simplement pas de cette façon, en particulier dans des domaines complexes comme les neurosciences, la fusion nucléaire ou la recherche sur le cancer. Les progrès scientifiques globaux dans la compréhension du cerveau ressemblent rarement à une marche ordonnée et inexorable vers la vérité, sans parler d'une accélération exponentielle. Au lieu de cela, les avancées scientifiques sont souvent irrégulières, avec des éclairs de perspicacité imprévisibles ponctuant le lent travail de laboratoire de création et de test de théories pouvant correspondre aux observations expérimentales. Les percées conceptuelles vraiment importantes n'arrivent pas lorsqu'elles sont prédites, et de temps à autre, de nouveaux paradigmes scientifiques balayent le domaine et amènent les scientifiques à réévaluer des parties de ce qu'ils pensaient avoir réglé. Nous le voyons en neurosciences avec la découverte de la potentialisation à long terme, l'organisation en colonnes des aires corticales et la neuroplasticité. Ces types de changements fondamentaux ne prennent pas en charge l'accélération globale du style de la loi de Moore nécessaire pour atteindre la singularité du programme de Kurzweil.

Le frein de la complexité

Ce qui précède met en évidence un problème fondamental avec la rapidité avec laquelle un compte rendu scientifiquement adéquat de l'intelligence humaine peut être développé. Nous appelons ce problème le frein de complexité . Au fur et à mesure que nous approfondissons notre compréhension des systèmes naturels, nous constatons généralement que nous avons besoin de connaissances de plus en plus spécialisées pour les caractériser, et nous sommes obligés d'élargir continuellement nos théories scientifiques de manière de plus en plus complexe. Comprendre les mécanismes détaillés de la cognition humaine est une tâche qui est soumise à ce frein de complexité. Pensez simplement à ce qui est nécessaire pour bien comprendre le cerveau humain à un niveau micro. La complexité du cerveau est tout simplement impressionnante. Chaque structure a été façonnée avec précision par des millions d'années d'évolution pour faire une chose particulière, quelle qu'elle soit. Ce n'est pas comme un ordinateur, avec des milliards de transistors identiques dans des matrices de mémoire ordinaires qui sont contrôlés par un processeur avec quelques éléments différents. Dans le cerveau, chaque structure individuelle et circuit neuronal a été individuellement affiné par l'évolution et les facteurs environnementaux. Plus nous regardons le cerveau de près, plus le degré de variation neuronale que nous trouvons est grand. Comprendre la structure neuronale du cerveau humain devient de plus en plus difficile à mesure que nous en apprenons davantage. En d'autres termes, plus nous apprenons, plus nous réalisons qu'il y a à savoir, et plus nous devons revenir en arrière et réviser nos compréhensions antérieures. Nous pensons qu'un jour cette augmentation constante de la complexité prendra fin : le cerveau est, après tout, un ensemble fini de neurones et fonctionne selon des principes physiques. Mais dans un avenir prévisible, c'est le frein à la complexité et l'arrivée de nouvelles théories puissantes, plutôt que la loi des retours accélérés, qui régiront le rythme des progrès scientifiques requis pour atteindre la singularité.

Ainsi, alors que nous pensons qu'une compréhension fine de la structure neuronale du cerveau est finalement réalisable, cela ne s'est pas révélé être le genre de domaine dans lequel nous pouvons faire des progrès en accélération exponentielle. Mais supposons que les scientifiques fassent de nouvelles avancées brillantes dans la technologie du scanner cérébral. Les partisans de la singularité prétendent souvent que nous pouvons obtenir une intelligence informatique simplement en simulant numériquement le cerveau de bas en haut à partir d'une image détaillée au niveau neuronal. Par exemple, Kurzweil prédit le développement de scanners cérébraux non destructifs qui nous permettront de prendre avec précision un instantané du cerveau vivant d'une personne au niveau des sous-neurones. Il suggère que ces scanners fonctionneraient très probablement depuis l'intérieur du cerveau via des millions de nanobots médicaux injectables. Mais, peu importe si l'analyse basée sur les nanobots réussit (et nous ne sommes même pas près de savoir si cela est possible), Kurzweil soutient essentiellement qu'il s'agit de l'avancée scientifique nécessaire qui ouvrira la voie à la singularité : les ordinateurs pourraient simplement présenter une intelligence de niveau humain. en chargeant l'état et la connectivité de chacun des neurones du cerveau dans un énorme simulateur numérique de cerveau, en connectant les entrées et les sorties et en appuyant sur Start.

Cependant, la difficulté de créer un logiciel au niveau humain va plus loin que la modélisation informatique des connexions structurelles et de la biologie de chacun de nos neurones. Les stratégies de duplication du cerveau comme celles-ci présupposent qu'il n'y a pas de problème fondamental pour accéder à la cognition humaine autre que d'avoir une puissance informatique suffisante et des cartes de structure neuronale pour faire la simulation. [deux] Bien que cela puisse être vrai en théorie, cela n'a pas fonctionné de cette façon dans la pratique, car cela ne couvre pas tout ce qui est réellement nécessaire pour créer le logiciel. Par exemple, si nous voulions créer un logiciel pour simuler la capacité d'un oiseau à voler dans diverses conditions, il ne suffit pas d'avoir un diagramme complet de l'anatomie de l'oiseau. Pour simuler pleinement le vol d'un oiseau réel, nous devons également savoir comment tout fonctionne ensemble. En neurosciences, il y a une situation parallèle. Des centaines de tentatives ont été faites (en utilisant de nombreux organismes différents) pour enchaîner des simulations de différents neurones ainsi que de leur environnement chimique. Le résultat uniforme de ces tentatives est que pour créer une simulation adéquate de l'activité neuronale réelle en cours d'un organisme, vous avez également besoin d'une vaste quantité de connaissances sur le fonctionnel rôle que jouent ces neurones, comment leurs schémas de connexion évoluent, comment ils sont structurés en groupes pour transformer les stimuli bruts en informations et comment le traitement de l'information neuronale affecte finalement le comportement d'un organisme. Sans ces informations, il s'est avéré impossible de construire des modèles de simulation informatiques efficaces. Surtout pour les neurosciences cognitives des humains, nous ne sommes pas proches du niveau requis de connaissances fonctionnelles. Cerveau projets de simulation en cours aujourd'hui, ne modélisent qu'une petite fraction de ce que font les neurones et manquent de détails pour simuler pleinement ce qui se passe dans un cerveau. Le rythme des recherches dans ce domaine, bien qu'encourageant, ne semble guère exponentiel. Encore une fois, alors que nous en apprenons de plus en plus sur la complexité réelle du fonctionnement du cerveau, la principale chose que nous découvrons est que le problème devient en fait plus difficile.

L'approche de l'IA

Les partisans de la singularité font parfois appel aux développements de l'intelligence artificielle (IA) comme moyen de contourner la lenteur des progrès scientifiques globaux dans les approches de la cognition ascendantes et basées sur les neurosciences. Il est vrai que l'IA a eu de grands succès dans la duplication de certaines tâches cognitives isolées, plus récemment avec Le système Watson d'IBM pour Péril! question réponse. Mais lorsque nous prenons du recul, nous pouvons voir que les capacités globales basées sur l'IA n'ont pas non plus augmenté de manière exponentielle, du moins lorsqu'elles sont mesurées par rapport à la création d'une intelligence humaine pleinement générale. Bien que nous ayons beaucoup appris sur la façon de créer des systèmes d'IA individuels qui font des choses apparemment intelligentes, nos systèmes sont toujours restés fragile — leurs limites de performances sont fixées de manière rigide par leurs hypothèses internes et leurs algorithmes de définition, ils ne peuvent pas généraliser et ils donnent souvent des réponses absurdes en dehors de leurs domaines d'intérêt spécifiques. Un programme informatique qui joue d'excellents échecs ne peut pas tirer parti de ses compétences pour jouer à d'autres jeux. Les meilleurs programmes de diagnostic médical contiennent une connaissance extrêmement détaillée du corps humain, mais ne peuvent pas en déduire qu'un funambule aurait un grand sens de l'équilibre.

Pourquoi s'est-il avéré si difficile pour les chercheurs en IA de créer une intelligence de type humain, même à petite échelle ? Une réponse implique le cadre scientifique de base utilisé par les chercheurs en IA. Au fur et à mesure que les humains passent du nourrisson à l'adulte, ils commencent par acquérir une connaissance générale du monde, puis augmentent et affinent continuellement ces connaissances générales avec des connaissances spécifiques sur différents domaines et contextes. Les chercheurs en IA ont généralement essayé de faire le contraire : ils ont construit des systèmes avec une connaissance approfondie de domaines étroits et ont essayé de créer une capacité plus générale en combinant ces systèmes. Cette stratégie n'a généralement pas été couronnée de succès, bien que la performance de Watson sur Péril! indique que des chemins comme celui-ci peuvent encore être prometteurs. Les quelques tentatives qui ont été faites pour créer directement une grande quantité de connaissances générales du monde, puis ajouter les connaissances spécialisées d'un domaine (par exemple, le travail de Cycorp ), n'ont également rencontré qu'un succès limité. Et dans tous les cas, les chercheurs en IA commencent tout juste à théoriser sur la façon de modéliser efficacement les phénomènes complexes qui donnent à la cognition humaine sa flexibilité unique : incertitude, sensibilité contextuelle, règles empiriques, auto-réflexion et les éclairs de perspicacité qui sont essentiels à une pensée de plus haut niveau. Tout comme dans les neurosciences, la voie basée sur l'IA pour atteindre l'intelligence informatique au niveau de la singularité semble nécessiter beaucoup plus de découvertes, de nouvelles théories de qualité Nobel et probablement même de toutes nouvelles approches de recherche qui sont sans commune mesure avec ce que nous croyons maintenant. Ce genre de progrès scientifique de base ne se produit pas sur une courbe de croissance exponentielle fiable. Ainsi, bien que les développements de l'IA finissent par être la voie vers la singularité, encore une fois, le frein de la complexité ralentit notre rythme de progression et repousse considérablement la singularité dans le futur.

L'étonnante complexité de la cognition humaine devrait servir de mise en garde à ceux qui prétendent que la singularité est proche. Sans avoir une compréhension scientifiquement approfondie de la cognition, nous ne pouvons pas créer le logiciel qui pourrait déclencher la singularité. Plutôt que l'avancée toujours plus rapide prédite par Kurzweil, nous pensons que les progrès vers cette compréhension sont fondamentalement ralentis par le frein de la complexité. Notre capacité à parvenir à cette compréhension, via l'IA ou les approches neuroscientifiques, est en soi un acte cognitif humain, résultant de la nature imprévisible de l'ingéniosité et de la découverte humaines. Les progrès ici sont profondément affectés par la manière dont notre cerveau absorbe et traite les nouvelles informations, et par la créativité des chercheurs dans l'élaboration de nouvelles théories. Elle est aussi régie par les manières dont nous organisons socialement les travaux de recherche dans ces domaines, et diffusons les connaissances qui en découlent. À Vulcain et au Institut Allen pour la science du cerveau , nous travaillons sur des outils avancés pour aider les chercheurs à faire face à cette complexité redoutable et les accélérer dans leurs recherches. Acquérir une compréhension scientifique complète de la cognition humaine est l'un des problèmes les plus difficiles qui soit. Nous continuons à faire des progrès encourageants. Mais d'ici la fin du siècle, croyons-nous, on se demandera encore si la singularité est proche.

Paul G. Allen, qui a cofondé Microsoft en 1975, est un philanthrope et président de Vulcan, qui investit dans un éventail d'entreprises technologiques, aérospatiales, de divertissement et sportives. Mark Greaves est un informaticien qui est le directeur des systèmes de connaissances de Vulcan.

[un] Kurzweil, La loi des retours accélérés, mars 2001.

[deux] Nous commençons à nous rapprocher de la puissance informatique dont nous pourrions avoir besoin pour prendre en charge ce type de simulation cérébrale massive. Ordinateurs de classe Petaflop (comme BlueGene/P d'IBM qui a été utilisé dans le système Watson) sont maintenant disponibles dans le commerce. Les ordinateurs de classe Exaflop sont actuellement sur les planches à dessin. Ces systèmes pourraient probablement déployer la capacité de calcul brute nécessaire pour simuler les schémas de déclenchement de tous les neurones d'un cerveau, bien qu'actuellement, cela se produise beaucoup plus lentement que dans un cerveau réel.

MISE À JOUR : Ray Kurzweil répond ici .

cacher