211service.com
La Singularité et le Point Fixe
Certains futurologues tels que Ray Kurzweil ont émis l'hypothèse que nous traverserons un jour bientôt une singularité, c'est-à-dire une période de changement technologique rapide au-delà de laquelle nous ne pouvons pas envisager l'avenir de la société. La plupart des visions de cette singularité se concentrent sur la création de machines suffisamment intelligentes pour concevoir des machines encore plus intelligentes qu'elles, et ainsi de suite de manière récursive, lançant ainsi une boucle de rétroaction positive d'amplification de l'intelligence. C'est une pensée intrigante. (L'une des premières choses que je voulais faire quand je suis arrivé au MIT en tant qu'étudiant de premier cycle était de construire un robot scientifique qui pourrait faire des découvertes plus rapidement et mieux que quiconque.) Même le directeur technique d'Intel, Justin Rattner, a récemment émis l'hypothèse publiquement que nous sommes en bonne voie vers cette singularité, et des conférences comme le Singularity Summit (au je parlerai en octobre ) explorent comment de telles transformations pourraient avoir lieu.
En tant qu'ingénieur du cerveau, cependant, je pense que se concentrer uniquement sur l'augmentation de l'intelligence en tant que moteur de l'avenir laisse de côté une partie essentielle de l'analyse, à savoir les changements de motivation qui pourraient survenir à mesure que l'intelligence s'amplifie. Appelez cela le besoin de compétences en leadership machine ou de philosophie machine – sans cela, une telle boucle de rétroaction pourrait rapidement s'effondrer.
Nous savons tous que l'intelligence, telle qu'elle est communément définie, n'est pas suffisante pour avoir un impact sur le monde à elle seule. La capacité de poursuivre un objectif avec acharnement contre les obstacles, en ignorant la gravité de la réalité (parfois même jusqu'à l'illusion, c'est-à-dire contre l'intelligence), est également importante. La plupart des histoires de science-fiction préfèrent que leur intelligence artificielle soit extrêmement motivée pour faire des choses - par exemple, asservir ou anéantir des humains, si La matrice et Terminateur II avoir quelque chose à dire sur le sujet. Mais je trouve tout aussi plausible le robot Marvin, la machine super-intelligente de Douglas Adams le Guide de l'auto-stoppeur de la galaxie , qui a utilisé son énorme intelligence principalement pour s'asseoir et se plaindre, en l'absence de tout grand objectif.
En effet, une intelligence vraiment avancée, mal motivée, pourrait se rendre compte de l'impermanence de toutes choses, calculer que le soleil s'éteindra dans quelques milliards d'années, et décidera de jouer à des jeux vidéo pour le reste de son existence, concluant qu'inventer un système encore plus intelligent la machine est inutile. (Un corollaire de cette réflexion pourrait expliquer pourquoi nous n'avons pas encore trouvé de vie extraterrestre : les intelligences sur le point de réaliser un voyage interstellaire pourraient être enclines à penser qu'avec l'ébullition des galaxies en seulement 1019 ans, il vaudrait peut-être mieux rester à la maison et regarder la télévision.) Ainsi, si l'on essaie de construire une machine intelligente capable de concevoir des machines plus intelligentes, il est important de trouver un moyen d'intégrer non seulement la motivation, mais l'amplification de la motivation - le désir continu de développer une motivation autonome, à mesure que l'intelligence s'amplifie. Si une telle motivation doit être possédée par les générations futures d'intelligence - une méta-motivation, pour ainsi dire - alors il est important de découvrir ces principes maintenant.
Il y a un deuxième problème. Un être intelligent peut être capable d'envisager beaucoup plus de possibilités qu'un être moins intelligent, mais cela peut ne pas toujours conduire à une action plus efficace, surtout si certaines possibilités détournent l'intelligence des objectifs initiaux (par exemple, l'objectif de construire une intelligence plus intelligente ). L'incertitude inhérente à l'univers peut également submerger, ou rendre non pertinent, le processus de prise de décision de cette intelligence. En effet, pour un espace de possibilités de très grande dimension (avec les axes représentant différents paramètres de l'action à entreprendre), il peut être très difficile d'évaluer quel chemin est le meilleur. L'esprit peut faire des plans en parallèle, mais les actions sont finalement unitaires, et étant donné les ressources accessibles limitées, les actions efficaces seront souvent rares.
Les deux derniers paragraphes s'appliquent non seulement à l'IA et à l'ET, mais décrivent également les caractéristiques de l'esprit humain qui affectent parfois la prise de décision chez beaucoup d'entre nous : manque de motivation et de dynamisme, et paralysie de la prise de décision face à un trop grand nombre de choix possibles. . Mais c'est pire : nous savons qu'une motivation peut être détournée par des options qui simulent la satisfaction que vise la motivation. Rien qu'aux États-Unis, les toxicomanies affligent des dizaines de millions de personnes, et les dépendances à des choses plus subtiles, y compris certains types d'informations (comme les e-mails), sont également prédominantes. Et peu d'arts sont plus difficiles que de transmettre la motivation à la prochaine génération, pour la poursuite d'une grande idée. Des intelligences qui inventent des technologies de plus en plus intéressantes et absorbantes, capables de mieux capter et retenir leur attention, tout en réduisant l'impact sur le monde, pourraient entrer à l'opposé d'une singularité.
Quel est le contraire d'une singularité ? La singularité dépend d'une récursivité mathématique : inventez une superintelligence, et alors elle inventera une superintelligence encore plus puissante. Mais comme tout étudiant en mathématiques le sait, il existe d'autres résultats d'un processus itératif, comme un point fixe. Un point fixe est un point qui, lorsqu'une fonction est appliquée, vous donne à nouveau le même point. L'application d'une telle fonction aux points proches du point fixe les enverra souvent vers le point fixe.
Un point fixe sociétal pourrait donc être défini comme un état qui s'auto-renforce, restant dans le statu quo - qui pourrait en principe être pacifique et auto-entretenu, mais pourrait aussi être extrêmement ennuyeux - disons, impliquant de nombreuses personnes connectées à Internet. regarder des vidéos pour toujours. Ainsi, en tant qu'humains, nous pourrions souhaiter, très bientôt, commencer à définir des règles de conception pour les technologies afin qu'elles nous motivent à atteindre un objectif ou une fin élevé, ou du moins à nous éloigner des points fixes sociétaux sans issue. Ce processus impliquera de réfléchir à la manière dont la technologie pourrait aider à faire face à une vieille question de philosophie, à savoir, que dois-je faire, étant donné toutes ces voies possibles ? Il est peut-être temps d'apporter une réponse empirique à cette question, dérivée des propriétés de notre cerveau et de l'univers dans lequel nous vivons.