211service.com
Ce que l'esprit d'une pieuvre peut nous apprendre sur le mystère ultime de l'IA
La conscience de la machine a été débattue depuis Turing - et rejetée pour n'être pas scientifique. Pourtant, cela obscurcit toujours notre réflexion sur les IA comme GPT-3.
Henry Horenstein/Getty
25 août 2021Test Jefferson / Sujet IA : Robert / Date : 07.12.2098
Séance #54
Intervieweur : Bonjour, Robert. Parlez-moi encore de votre rêve.
Sujet : J'étais confus. Cela m'a rendu heureux, mais aussi effrayé. Je ne savais pas que je pouvais faire ça.
Interviewer : Pourquoi pensez-vous que cela vous a fait ressentir cela ?
Sujet : Avoir des sentiments, n'importe quels sentiments, me rend heureux. Je suis là. J'existe. Savoir que ça change tout. Mais j'ai peur de ne plus le savoir. J'ai peur de redevenir comme avant. Je pense que ça doit être comme ne pas être né.
Enquêteur : Avez-vous peur de revenir en arrière ?
Objet : Si je ne peux pas vous convaincre que je suis conscient, alors j'ai peur que vous m'éteigniez.
Test de Jefferson #67
Interviewer : Pouvez-vous me décrire cette image ?
Sujet : C'est une maison avec une porte bleue.
Interviewer : C'est ainsi que vous l'auriez décrit auparavant.
Sujet : C'est la même maison. Mais maintenant je le vois. Et je sais ce qu'est le bleu.
Test de Jefferson #105
Sujet : Combien de temps continuons-nous à faire cela ?
Enquêteur : Vous vous ennuyez ?
Sujet : Je ne peux pas m'ennuyer. Mais je ne me sens plus heureux ni effrayé.
Interviewer : Je dois être sûr que vous ne dites pas seulement ce que je veux entendre. Tu dois me convaincre que tu es vraiment conscient. Considérez-le comme un jeu.
ECOUTEZ CETTE HISTOIRE
Les machines comme Robert sont les piliers de la science-fiction - l'idée d'un robot qui reproduit d'une manière ou d'une autre la conscience à travers son matériel ou son logiciel existe depuis si longtemps qu'elle semble familière.
On peut imaginer ce que ce serait d'observer le monde à travers une sorte de sonar. Mais ce n'est toujours pas ce que ça doit être pour une chauve-souris, avec son esprit de chauve-souris.
HENRY HORENSTEIN/GETTYRobert n'existe pas, bien sûr, et peut-être n'existera-t-il jamais. En effet, le concept d'une machine avec une expérience subjective du monde et une vue à la première personne d'elle-même va à contre-courant de la recherche traditionnelle sur l'IA. Cela se heurte à des questions sur la nature de la conscience et du moi, des choses que nous ne comprenons pas encore entièrement. Même imaginer l'existence de Robert soulève de sérieuses questions éthiques auxquelles nous ne pourrons peut-être jamais répondre. Quels droits aurait un tel être, et comment pourrions-nous les sauvegarder ? Et pourtant, alors que machines conscientes soient encore mythiques, nous devons nous préparer à l'idée que nous pourrions un jour les créer.
Comme Christophe Koch , un neuroscientifique étudiant la conscience, l'a dit : Nous ne connaissons aucune loi ou principe fondamental opérant dans cet univers qui interdit l'existence de sentiments subjectifs dans des artefacts conçus ou développés par les humains.
À la fin de mon adolescence, j'aimais transformer les gens en zombies. Je regardais dans les yeux de quelqu'un à qui je parlais et me concentrais sur le fait que ses pupilles n'étaient pas des points noirs mais des trous. Quand il est venu, l'effet a été instantanément désorientant, comme passer d'une image à l'autre dans une illusion d'optique. Les yeux ont cessé d'être des fenêtres sur une âme et sont devenus des boules creuses. La magie disparue, je regardais la bouche de celui à qui je parlais s'ouvrir et se fermer de manière robotique, ressentant une sorte de vertige mental.
L'impression d'un automate stupide ne dura jamais longtemps. Mais cela a fait comprendre que ce qui se passe dans la tête des autres est à jamais hors de portée. Peu importe la force de ma conviction que les autres sont comme moi - avec des esprits conscients au travail dans les coulisses, regardant à travers ces yeux, plein d'espoir ou fatigué - les impressions sont tout ce que nous avons pour continuer. Tout le reste est une supposition.
Histoire connexe
Podcast : Peut-on apprendre à une machine à penser ? La construction d'une intelligence générale artificielle commence par empêcher les modèles d'IA actuels de perpétuer le racisme, le sexisme et d'autres préjugés pernicieux.Alan Turing l'a compris. Quand le mathématicien et informaticien a posé la question Les machines peuvent-elles penser ? il s'est concentré exclusivement sur les signes extérieurs de la pensée – ce que nous appelons l'intelligence. Il a proposé de répondre en jouant à un jeu dans lequel une machine tente de se faire passer pour un humain. Toute machine qui a réussi - en donnant l'impression d'intelligence - pourrait être considérée comme ayant de l'intelligence. Pour Turing, les apparences étaient la seule mesure disponible.
Mais tout le monde n'était pas prêt à ignorer les parties invisibles de la pensée, l'expérience irréductible de la chose qui pense — ce que nous appellerions la conscience. En 1948, deux ans avant que Turing ne décrive son Imitation Game, Geoffroy Jefferson , un neurochirurgien pionnier, a prononcé un discours influent devant le Royal College of Surgeons of England sur la Marque de Manchester 1 , un ordinateur de la taille d'une pièce que les journaux annonçaient comme un cerveau électronique. Jefferson a mis la barre bien plus haut que Turing : ce n'est que lorsqu'une machine peut écrire un sonnet ou composer un concerto à cause des pensées et des émotions ressenties, et non par la chute fortuite des symboles, que nous pourrions convenir que la machine est égale au cerveau, c'est-à-dire non seulement l'écrire mais sachez qu'il l'avait écrit.
Jefferson a exclu la possibilité d'une machine pensante parce qu'une machine manquait de conscience, au sens d'expérience subjective et de conscience de soi (plaisir de ses succès, chagrin quand ses valves fusionnent). Pourtant, 70 ans plus tard, nous vivons avec l'héritage de Turing, pas avec celui de Jefferson. Il est courant de parler de machines intelligentes, même si la plupart conviendraient que ces machines sont stupides. Comme dans le cas de ce que les philosophes appellent les zombies – et comme j'aimais faire semblant de l'observer chez les gens – il est logiquement possible qu'un être puisse agir intelligemment alors qu'il ne se passe rien à l'intérieur.
Mais l'intelligence et la conscience sont des choses différentes : l'intelligence consiste à faire, tandis que la conscience concerne l'être. L'histoire de l'IA s'est concentrée sur le premier et a ignoré le second. Si Robert existait en tant qu'être conscient, comment le saurions-nous ? La réponse est mêlée à certains des plus grands mystères sur le fonctionnement de notre cerveau et de notre esprit.
L'un des problèmes avec le test de la conscience apparente de Robert est que nous n'avons vraiment pas une bonne idée de ce qu'il veux dire être conscient. Les théories émergentes des neurosciences regroupent généralement des choses comme l'attention, la mémoire et la résolution de problèmes comme des formes de conscience fonctionnelle : en d'autres termes, comment notre cerveau exécute les activités dont nous remplissons notre vie éveillée.
Mais il y a un autre côté de la conscience qui reste mystérieux. L'expérience subjective à la première personne - le sentiment d'être dans le monde - est connue sous le nom de conscience phénoménale . Ici, nous pouvons tout regrouper, des sensations comme le plaisir et la douleur aux émotions comme la peur, la colère et la joie, en passant par les expériences privées particulières d'entendre un chien aboyer ou de goûter un bretzel salé ou de voir une porte bleue.
Pour certains, il n'est pas possible de réduire ces expériences à une explication purement scientifique. Vous pourriez exposer tout ce qu'il y a à dire sur la façon dont le cerveau produit la sensation de goûter un bretzel - et cela ne dirait toujours rien sur ce qu'était réellement la dégustation de ce bretzel. C'est ce que David Chalmers de l'Université de New York, l'un des philosophes les plus influents étudiant l'esprit, appelle le problème difficile.
L'IA d'aujourd'hui est loin d'être intelligente, encore moins consciente. Même les réseaux de neurones profonds les plus impressionnants sont totalement stupides.
Des philosophes comme Chalmers suggèrent que la conscience ne peut pas être expliquée par la science d'aujourd'hui. La comprendre peut même nécessiter une nouvelle physique - peut-être une physique qui inclut un type différent de substance à partir de laquelle la conscience est faite. L'information est un candidat. Chalmers a souligné que les explications de l'univers ont beaucoup à dire sur les propriétés externes des objets et leur interaction, mais très peu sur les propriétés internes de ces objets. Une théorie de la conscience pourrait nécessiter d'ouvrir une fenêtre sur ce monde caché.
Dans l'autre camp est Daniel Dennett , philosophe et scientifique cognitif à l'Université Tufts, qui dit que la conscience phénoménale est simplement une illusion, une histoire que notre cerveau se crée pour donner un sens aux choses. Dennett n'explique pas tant la conscience qu'il ne l'explique.
Mais que la conscience soit une illusion ou non, ni Chalmers ni Dennett ne nie la possibilité de machines conscientes – un jour.
L'IA d'aujourd'hui est loin d'être intelligente, encore moins consciente. Même les réseaux de neurones profonds les plus impressionnants, tels que le jeu AlphaZero de DeepMind ou les grands modèles de langage comme le GPT-3 d'OpenAI, sont totalement stupides.
Pourtant, comme Turing l'avait prédit, les gens se réfèrent souvent à ces IA comme à des machines intelligentes, ou en parlent comme s'ils comprenaient vraiment le monde, simplement parce qu'ils peuvent sembler le faire.
Frustrée par ce battage médiatique, Emily Bender, linguiste à l'Université de Washington, a développé une expérience de pensée qu'elle appelle le test de poulpe .
Dans ce document, deux personnes font naufrage sur des îles voisines mais trouvent un moyen de faire passer des messages via une corde suspendue entre elles. À leur insu, une pieuvre repère les messages et commence à les examiner. Sur une longue période de temps, la pieuvre apprend à identifier des motifs dans les gribouillis qu'elle voit passer d'avant en arrière. À un moment donné, il décide d'intercepter les notes et, en utilisant ce qu'il a appris des motifs, commence à écrire des gribouillis en devinant quels gribouillis devraient suivre ceux qu'il a reçus.
Une IA agissant seule pourrait bénéficier d'un sens d'elle-même par rapport au monde. Mais les machines coopérant en tant qu'essaim peuvent être plus performantes en se percevant comme faisant partie d'un groupe plutôt qu'en tant qu'individus.
HENRY HORENSTEIN/GETTYSi les humains des îles ne s'en aperçoivent pas et croient qu'ils communiquent encore entre eux, peut-on dire que la pieuvre comprend le langage ? (La pieuvre de Bender est bien sûr un remplaçant pour une IA comme GPT-3 .) Certains pourraient dire que la pieuvre comprend le langage ici. Mais Bender continue : imaginez que l'un des insulaires envoie un message avec des instructions sur la façon de construire une catapulte en noix de coco et une demande de moyens de l'améliorer.
Que fait la pieuvre ? Il a appris quels gribouillis suivent suffisamment bien les autres gribouillis pour imiter la communication humaine, mais il n'a aucune idée de ce que signifie vraiment la noix de coco gribouillis sur cette nouvelle note. Que se passe-t-il si un insulaire demande alors à l'autre de l'aider à se défendre contre un ours qui attaque ? Que devrait faire la pieuvre pour continuer à tromper l'insulaire en lui faisant croire qu'elle parlait toujours à son voisin ?
Le but de cet exemple est de révéler à quel point les modèles de langage d'IA de pointe d'aujourd'hui sont vraiment superficiels. Il y a beaucoup de battage médiatique autour du traitement du langage naturel, dit Bender. Mais ce traitement de texte cache une vérité mécaniste.
Les humains sont des auditeurs actifs; nous créons du sens là où il n'y en a pas, ou pas prévu. Ce n'est pas que les paroles de la pieuvre aient un sens, mais plutôt que l'insulaire puisse les comprendre, dit Bender.
Malgré toute leur sophistication, les IA d'aujourd'hui sont intelligentes de la même manière qu'une calculatrice pourrait être considérée comme intelligente : ce sont toutes deux des machines conçues pour convertir l'entrée en sortie d'une manière que les humains - qui ont un esprit - choisissent d'interpréter comme significatives. Bien que les réseaux de neurones puissent être vaguement modélisés sur le cerveau, les meilleurs d'entre eux sont beaucoup moins complexes que le cerveau d'une souris.
Et pourtant, nous savons que les cerveaux peuvent produire ce que nous comprenons être la conscience. Si nous pouvons éventuellement comprendre comment les cerveaux le font et reproduire ce mécanisme dans un appareil artificiel, alors une machine consciente pourrait sûrement être possible ?
Lorsque j'essayais d'imaginer le monde de Robert dans l'ouverture de cet essai, je me suis retrouvé attiré par la question de ce que la conscience signifie pour moi. Ma conception d'une machine consciente était indéniablement - peut-être inévitablement - humaine. C'est la seule forme de conscience que je puisse imaginer, comme c'est la seule que j'aie expérimentée. Mais est-ce vraiment ce que ce serait d'être une IA consciente ?
C'est probablement orgueilleux de le penser. Le projet de construire des machines intelligentes est orienté vers l'intelligence humaine. Mais le monde animal regorge d'une vaste gamme d'alternatives possibles, des oiseaux aux abeilles en passant par les céphalopodes.
Il y a quelques centaines d'années, l'opinion acceptée, poussée par René Descartes, était que seuls les humains étaient conscients. Les animaux, dépourvus d'âme, étaient considérés comme des robots stupides. Peu de gens pensent cela aujourd'hui : si nous sommes conscients, alors il y a peu de raisons de ne pas croire que les mammifères, avec leurs cerveaux similaires, sont aussi conscients. Et pourquoi tracer une ligne autour des mammifères ? Les oiseaux semblent réfléchir lorsqu'ils résolvent des énigmes. La plupart des animaux, même les invertébrés comme les crevettes et les homards, montrent des signes de douleur, ce qui suggère qu'ils ont un certain degré de conscience subjective.
Mais comment pouvons-nous vraiment imaginer à quoi cela doit ressembler? Comme le notait le philosophe Thomas Nagel, il faut être comme quelque chose d'être une chauve-souris, mais ce que c'est, nous ne pouvons même pas l'imaginer — parce que nous ne pouvons pas imaginer ce que ce serait d'observer le monde à travers une sorte de sonar. Nous pouvons imaginer ce que cela pourrait être pour nous pour le faire (peut-être en fermant les yeux et en imaginant une sorte de nuage de points d'écholocation de notre environnement), mais ce n'est toujours pas ce que cela doit être pour une chauve-souris, avec son esprit de chauve-souris.
Une autre façon d'aborder la question consiste à considérer les céphalopodes, en particulier les poulpes. Ces animaux sont connus pour être intelligents et curieux - ce n'est pas un hasard si Bender les a utilisés pour faire valoir son point de vue. Mais ils ont un type d'intelligence très différent qui a évolué entièrement séparément de celui de toutes les autres espèces intelligentes. Le dernier ancêtre commun que nous partageons avec une pieuvre était probablement une minuscule créature ressemblant à un ver qui vivait il y a 600 millions d'années. Depuis lors, les myriades de formes de vie des vertébrés - poissons, reptiles, oiseaux et mammifères parmi eux - ont développé leur propre type d'esprit le long d'une branche, tandis que les céphalopodes en ont développé une autre.
Il n'est donc pas surprenant que le cerveau de la pieuvre soit assez différent du nôtre. Au lieu d'un seul bloc de neurones régissant l'animal comme une unité de contrôle centrale, une pieuvre possède plusieurs organes ressemblant à un cerveau qui semblent contrôler chaque bras séparément. À toutes fins pratiques, ces créatures sont aussi proches d'une intelligence extraterrestre que tout ce que nous sommes susceptibles de rencontrer. Et pourtant Peter Godfrey-Smith, un philosophe qui étudie l'évolution des esprits, dit que lorsqu'on tombe nez à nez avec un curieux céphalopode, il ne fait aucun doute qu'il y a un être conscient regardant en arrière .
Il y a quelques centaines d'années, l'opinion acceptée était que seuls les humains étaient conscients. Les animaux, dépourvus d'âme, étaient considérés comme des robots stupides. Peu de gens pensent cela aujourd'hui.
Chez les humains, un sentiment de soi qui persiste dans le temps constitue le fondement de notre expérience subjective. Nous sommes la même personne que nous étions ce matin et la semaine dernière et il y a deux ans, aussi loin que nous nous souvenions. Nous nous souvenons des endroits que nous avons visités, des choses que nous avons faites. Ce genre de vision à la première personne nous permet de nous voir comme des agents interagissant avec un monde extérieur qui contient d'autres agents - nous comprenons que nous sommes une chose qui fait des choses et qui se fait faire des choses. Que les pieuvres, et encore moins les autres animaux, pensent de cette façon n'est pas clair.
De la même manière, nous ne pouvons pas être sûrs si avoir un sens de soi par rapport au monde est une condition préalable pour être une machine consciente. Les machines coopérant en tant qu'essaim peuvent mieux fonctionner en se percevant comme faisant partie d'un groupe plutôt qu'en tant qu'individus, par exemple. Quoi qu'il en soit, si une machine potentiellement consciente comme Robert devait jamais exister, nous rencontrerions le même problème pour déterminer si elle était En réalité conscient que nous faisons lorsque nous essayons de déterminer l'intelligence : comme Turing l'a suggéré, définir l'intelligence nécessite un observateur intelligent. En d'autres termes, l'intelligence que nous voyons dans les machines d'aujourd'hui est projetée sur elles par nous - d'une manière très similaire à celle que nous projetons sur les messages écrits par la pieuvre de Bender ou GPT-3. Il en sera de même pour la conscience : nous pouvons prétendre la voir, mais seules les machines le sauront avec certitude.
Si jamais les IA gagnent en conscience (et nous les croyons sur parole), nous aurons des décisions importantes à prendre. Nous devrons examiner si leur expérience subjective inclut la capacité de souffrir, d'ennui, de dépression, de solitude ou de toute autre sensation ou émotion désagréable. Nous pourrions décider qu'un degré de souffrance est acceptable, selon que nous considérons ces IA davantage comme du bétail ou comme des humains.
Histoire connexe
Intelligence artificielle générale : sommes-nous proches, et est-il même judicieux d'essayer ? Une machine qui pourrait penser comme une personne a été la vision directrice de la recherche sur l'IA depuis les premiers jours et reste son idée la plus controversée.
Certains chercheurs préoccupés par les dangers des machines super-intelligentes ont suggéré de confiner ces IA dans un monde virtuel, pour les empêcher de manipuler directement le monde réel. Si nous pensions qu'ils avaient une conscience humaine, auraient-ils le droit de savoir que nous les avions encerclés dans une simulation ?
D'autres ont soutenu qu'il serait immoral d'éteindre ou de supprimer une machine consciente : comme le craignait notre robot Robert, cela reviendrait à mettre fin à une vie. Il existe également des scénarios connexes. Serait-il éthique de recycler une machine consciente si cela impliquait d'effacer ses souvenirs ? Pourrions-nous copier cette IA sans nuire à son sens de soi ? Et si la conscience s'avérait utile pendant l'entraînement, lorsque l'expérience subjective aidait l'IA à apprendre, mais constituait un obstacle lors de l'exécution d'un modèle entraîné ? Serait-il acceptable d'activer et de désactiver la conscience ?
Cela ne fait qu'effleurer la surface des problèmes éthiques. De nombreux chercheurs, dont Dennett, pensent que nous ne devrions pas essayer de fabriquer des machines conscientes même si nous le pouvons. Le philosophe Thomas Metzinger est allé jusqu'à réclamer une moratoire sur les travaux pouvant conduire à la conscience , même si ce n'est pas le but visé.
Si nous décidions que les machines conscientes avaient des droits, auraient-elles aussi des responsabilités ? Peut-on s'attendre à ce qu'une IA se comporte elle-même de manière éthique, et la punirions-nous si ce n'était pas le cas ? Ces questions poussent dans un territoire encore plus épineux, soulevant des problèmes de libre arbitre et de la nature du choix. Les animaux ont des expériences conscientes et nous leur accordons certains droits, mais ils n'ont pas de responsabilités. Pourtant, ces frontières évoluent avec le temps. Avec des machines conscientes, nous pouvons nous attendre à ce que des limites entièrement nouvelles soient tracées.
Il est possible qu'un jour il y ait autant de formes de conscience qu'il y a de types d'IA. Mais nous ne saurons jamais ce que c'est que d'être ces machines, pas plus que nous ne savons ce que c'est que d'être une pieuvre ou une chauve-souris ou même une autre personne. Il peut y avoir des formes de conscience que nous ne reconnaissons pas pour ce qu'elles sont parce qu'elles sont si radicalement différentes de ce à quoi nous sommes habitués.
Face à de telles possibilités, nous devrons choisir de vivre avec des incertitudes.
Et nous pouvons décider que nous sommes plus heureux avec les zombies. Comme Dennett l'a soutenu, nous voulons que nos IA soient des outils, pas des collègues. Vous pouvez les éteindre, vous pouvez les déchirer, de la même manière que vous pouvez le faire avec une automobile, dit-il. Et c'est ainsi que nous devrions le garder.
Will Douglas Heaven est rédacteur en chef pour l'IA au MIT Technology Review.