Notre peur de l'intelligence artificielle

Il y a des années, j'ai pris un café avec un ami qui dirigeait une startup. Il venait d'avoir 40 ans. Son père était malade, il avait mal au dos et il se retrouvait débordé par la vie. Ne vous moquez pas de moi, dit-il, mais je comptais sur la singularité.

Mon ami travaillait dans la technologie; il avait vu les changements apportés par des microprocesseurs et des réseaux plus rapides. Ce n'était pas un grand pas pour lui de croire qu'avant d'être assailli par l'âge mûr, l'intelligence des machines dépasserait celle des humains - un moment que les futuristes appellent la singularité. Une superintelligence bienveillante pourrait analyser le code génétique humain à grande vitesse et percer le secret de la jeunesse éternelle. À tout le moins, il pourrait savoir comment réparer votre dos.

Cette histoire faisait partie de notre numéro de mars 2015

• Voir la suite du problème
• S'abonner

Et si ce n'était pas si bienveillant ? Nick Bostrom, un philosophe qui dirige le Future of Humanity Institute à l'Université d'Oxford, décrit le scénario suivant dans son livre Superintelligence , qui a suscité de nombreux débats sur l'avenir de l'intelligence artificielle. Imaginez une machine que nous pourrions appeler un maximiseur de trombones, c'est-à-dire une machine programmée pour fabriquer autant de trombones que possible. Imaginez maintenant que cette machine est devenue d'une manière ou d'une autre incroyablement intelligente. Compte tenu de ses objectifs, il pourrait alors décider de créer de nouvelles machines de fabrication de trombones plus efficaces - jusqu'à ce que, à la King Midas, il ait pratiquement tout converti en trombones.

Pas de soucis, me direz-vous : vous pouvez simplement le programmer pour faire exactement un million de trombones et vous arrêter. Mais que se passe-t-il s'il fabrique les trombones et décide ensuite de vérifier son travail ? A-t-il bien compté ? Il doit devenir plus intelligent pour être sûr. La machine superintelligente fabrique du matériel informatique brut non encore inventé (appelons-le computronium) et l'utilise pour vérifier chaque doute. Mais chaque nouveau doute produit de nouveaux doutes numériques, et ainsi de suite, jusqu'à ce que la terre entière soit convertie en computronium. Sauf pour le million de trombones.

Choses examinées

• Superintelligence : Chemins, Dangers, Stratégies

  Par Nick Bostrom
  Presse universitaire d'Oxford, 2014

  
  
  

Bostrom ne croit pas que le maximiseur de trombones verra le jour, exactement; c'est une expérience de pensée, conçue pour montrer comment même une conception minutieuse du système peut échouer à restreindre l'intelligence artificielle extrême. Mais il croit que la superintelligence pourrait émerger, et bien que cela puisse être formidable, il pense qu'il pourrait également décider qu'il n'a pas besoin d'humains. Ou faire un certain nombre d'autres choses qui détruisent le monde. Le titre du chapitre 8 est : Le résultat par défaut est-il fatal ?

Si cela vous semble absurde, vous n'êtes pas seul. Des critiques tels que le pionnier de la robotique Rodney Brooks affirment que les personnes qui craignent une IA incontrôlable comprennent mal ce que font les ordinateurs lorsque nous disons qu'ils réfléchissent ou deviennent intelligents. De ce point de vue, la superintelligence putative décrite par Bostrom est loin dans le futur et peut-être impossible.

Pourtant, beaucoup de gens intelligents et réfléchis sont d'accord avec Bostrom et s'inquiètent maintenant. Pourquoi?

Volition

La question Une machine peut-elle penser ? a éclipsé l'informatique depuis ses débuts. Alan Turing a proposé en 1950 qu'une machine puisse être enseignée comme un enfant ; John McCarthy, inventeur du langage de programmation LISP, a inventé le terme intelligence artificielle en 1955. Alors que les chercheurs en intelligence artificielle des années 1960 et 1970 ont commencé à utiliser des ordinateurs pour reconnaître des images, traduire entre les langues et comprendre des instructions en langage normal et pas seulement en code, le l'idée que les ordinateurs finiraient par développer la capacité de parler et de penser - et donc de faire le mal - a fait son apparition dans la culture dominante. Même au-delà du HAL souvent référencé de 2001 : L'odyssée de l'espace , le film de 1970 Colosse : le projet Forbin présenté un grand ordinateur central clignotant qui amène le monde au bord de la destruction nucléaire; un thème similaire a été exploré 13 ans plus tard dans Jeux de guerre . Les androïdes des années 1973 Westworld est devenu fou et a commencé à tuer.

Les prédictions extrêmes de l'IA sont comparables à voir des moteurs à combustion interne plus efficaces… et à sauter à la conclusion que les moteurs de distorsion sont à nos portes, écrit Rodney Brooks.

Lorsque la recherche sur l'IA est tombée bien en deçà de ses nobles objectifs, le financement s'est tari, déclenchant de longs hivers sur l'IA. Pourtant, le flambeau de la machine intelligente a été porté dans les années 1980 et 1990 par des auteurs de science-fiction comme Vernor Vinge, qui ont popularisé le concept de singularité ; des chercheurs comme le roboticien Hans Moravec, expert en vision par ordinateur ; et l'ingénieur/entrepreneur Ray Kurzweil, auteur du livre de 1999 L'ère des machines spirituelles . Alors que Turing avait postulé une intelligence de type humain, Vinge, Moravec et Kurzweil voyaient plus grand : lorsqu'un ordinateur deviendrait capable de concevoir indépendamment des moyens d'atteindre des objectifs, il serait très probablement capable d'introspection - et donc capable de modifier son logiciel et de se faire lui-même plus intelligent. En peu de temps, un tel ordinateur serait capable de concevoir son propre matériel.

Comme Kurzweil l'a décrit, cela allait commencer une belle nouvelle ère. De telles machines auraient la perspicacité et la patience (mesurées en picosecondes) pour résoudre les problèmes en suspens de la nanotechnologie et des vols spatiaux ; ils amélioreraient la condition humaine et nous permettraient de télécharger notre conscience dans une forme numérique immortelle. L'intelligence se répandrait dans tout le cosmos.

Vous pouvez également trouver l'exact opposé d'un tel optimisme ensoleillé. Stephen Hawking a averti que parce que les gens seraient incapables de rivaliser avec une IA avancée, il pourrait signifier la fin de la race humaine. A la lecture Superintelligence , l'entrepreneur Elon Musk a tweeté : J'espère que nous ne sommes pas seulement le chargeur de démarrage biologique pour la superintelligence numérique. Malheureusement, c'est de plus en plus probable. Musk a ensuite suivi avec une subvention de 10 millions de dollars au Future of Life Institute. À ne pas confondre avec le centre de Bostrom, il s'agit d'une organisation qui affirme travailler à atténuer les risques existentiels auxquels l'humanité est confrontée, ceux qui pourraient découler du développement de l'intelligence artificielle au niveau humain.

Personne ne suggère que quelque chose comme la superintelligence existe maintenant. En fait, nous n'avons toujours rien qui se rapproche d'une intelligence artificielle à usage général ou même une voie claire sur la façon dont elle pourrait être réalisée. Les avancées récentes de l'IA, des assistants automatisés tels que Siri d'Apple aux voitures sans conducteur de Google, révèlent également les graves limites de la technologie ; les deux peuvent être perturbés par des situations qu'ils n'ont jamais rencontrées auparavant. Les réseaux de neurones artificiels peuvent apprendre par eux-mêmes à reconnaître les chats sur les photos. Mais il faut leur montrer des centaines de milliers d'exemples et ils finissent toujours par être beaucoup moins précis pour repérer les chats qu'un enfant.

C'est ici que sceptiques comme Brooks , un fondateur d'iRobot et de Rethink Robotics, entrent en jeu. Même s'il est impressionnant - par rapport à ce que les ordinateurs précédents pouvaient gérer - qu'un ordinateur reconnaisse l'image d'un chat, la machine n'a aucune volonté, aucune idée de ce qu'est la félinité. ou ce qui se passe d'autre dans l'image, et aucune des innombrables autres idées que les humains ont. De ce point de vue, l'IA pourrait éventuellement conduire à des machines intelligentes, mais cela demanderait beaucoup plus de travail que ne l'imaginent des gens comme Bostrom. Et même si cela pouvait arriver, l'intelligence ne conduirait pas nécessairement à la sensibilité. Extrapoler à partir de l'état de l'IA aujourd'hui pour suggérer que la superintelligence se profile est comparable à voir apparaître des moteurs à combustion interne plus efficaces et sauter à la conclusion que les moteurs de distorsion sont à nos portes, a récemment écrit Brooks sur bord.org . Il ne faut pas s'inquiéter de l'IA malveillante, dit-il, pendant au moins quelques centaines d'années.

Police d'assurance

Même si les chances d'apparition d'une superintelligence sont très longues, il est peut-être irresponsable de prendre le risque. Une personne qui partage les préoccupations de Bostrom est Stuart J. Russell, professeur d'informatique à l'Université de Californie à Berkeley. Russell est l'auteur, avec Peter Norvig (un pair de Kurzweil chez Google), de Intelligence artificielle : une approche moderne , qui a été le manuel standard d'IA pendant deux décennies.

Il y a beaucoup d'intellectuels publics soi-disant intelligents qui n'en ont tout simplement aucune idée, m'a dit Russell. Il a souligné que l'IA a énormément progressé au cours de la dernière décennie, et que même si le public peut comprendre les progrès en termes de loi de Moore (les ordinateurs plus rapides font plus), en fait, les travaux récents sur l'IA ont été fondamentaux, avec des techniques comme l'apprentissage en profondeur bases pour les ordinateurs qui peuvent automatiquement augmenter leur compréhension du monde qui les entoure.

Le livre de Bostrom propose des moyens d'aligner les ordinateurs sur les besoins humains. Nous disons essentiellement à un dieu comment nous aimerions être traités.

Parce que Google, Facebook et d'autres entreprises cherchent activement à créer une machine intelligente et apprenante, explique-t-il, je dirais que l'une des choses que nous ne devrions pas faire est d'aller de l'avant à toute vapeur pour construire une superintelligence sans réfléchir au potentiel des risques. Cela semble juste un peu idiot. Russell a fait une analogie : c'est comme la recherche sur la fusion. Si vous demandez à un chercheur en fusion ce qu'il fait, il vous dira qu'il travaille sur le confinement. Si vous voulez une énergie illimitée, vous feriez mieux de contenir la réaction de fusion. De même, dit-il, si vous voulez une intelligence illimitée, vous feriez mieux de trouver comment aligner les ordinateurs sur les besoins humains.

Le livre de Bostrom est une proposition de recherche pour le faire. Une superintelligence serait divine, mais serait-elle animée par la colère ou par l'amour ? C'est à nous (c'est-à-dire aux ingénieurs). Comme tout parent, nous devons donner à notre enfant un ensemble de valeurs. Et pas n'importe quelles valeurs, mais celles qui sont dans le meilleur intérêt de l'humanité. Nous disons essentiellement à un dieu comment nous aimerions être traités. La façon de procéder?

Bostrom s'inspire fortement d'une idée d'un penseur nommé Eliezer Yudkowsky, qui parle de volition extrapolée cohérente - le meilleur soi de tous les peuples dérivé du consensus. L'IA souhaiterait, nous l'espérons, nous offrir des vies riches, heureuses et épanouies : soigner nos maux de dos et nous montrer comment nous rendre sur Mars. Et comme les humains ne seront jamais entièrement d'accord sur quoi que ce soit, nous en aurons parfois besoin pour décider à notre place, pour prendre les meilleures décisions pour l'humanité dans son ensemble. Comment, alors, programmons-nous ces valeurs dans nos superintelligences (potentielles) ? Quelle sorte de mathématiques peut les définir ? Ce sont les problèmes, selon Bostrom, que les chercheurs devraient résoudre maintenant. Bostrom dit que c'est la tâche essentielle de notre époque.

Pour le civil, il n'y a aucune raison de perdre le sommeil à cause de robots effrayants. Nous n'avons aucune technologie proche de la superintelligence. Là encore, bon nombre des plus grandes entreprises du monde sont profondément investies pour rendre leurs ordinateurs plus intelligents ; une véritable IA donnerait à l'une de ces entreprises un avantage incroyable. Ils doivent également être conscients de ses inconvénients potentiels et trouver comment les éviter.

Cette suggestion un peu plus nuancée - sans aucune prétention d'un IA-mageddon imminent - est la base de une lettre ouverte sur le site Web du Future of Life Institute, le groupe qui a reçu le don de Musk. Plutôt que d'avertir d'un désastre existentiel, la lettre appelle à davantage de recherches pour tirer parti des avantages de l'IA tout en évitant les pièges potentiels. Cette lettre est signée non seulement par des étrangers à l'IA tels que Hawking, Musk et Bostrom, mais également par d'éminents informaticiens (dont Demis Hassabis, un chercheur de premier plan en IA). Vous pouvez voir d'où ils viennent. Après tout, s'ils développent une intelligence artificielle qui ne partage pas les meilleures valeurs humaines, cela signifiera qu'ils n'étaient pas assez intelligents pour contrôler leurs propres créations.

Paul Ford, un écrivain indépendant à New York, a écrit sur Bitcoin en mars/avril 2014.

cacher