211service.com
Oui, nous nous inquiétons du risque existentiel de l'intelligence artificielle
Oren Etzioni, un chercheur bien connu en IA, se plaint de la couverture médiatique des risques potentiels à long terme découlant du succès futur de la recherche en IA (voir Non, les experts ne pensent pas que l'IA superintelligente est une menace pour l'humanité). Après avoir pointé du doigt le philosophe d'Oxford Nick Bostrom et son récent livre, Superintelligence , Etzioni se plaint que la principale source de données de Bostrom sur l'avènement de l'intelligence au niveau humain consiste en des enquêtes sur les opinions des chercheurs en IA. Il sonde ensuite les opinions des chercheurs en IA, arguant que ses résultats réfutent ceux de Bostrom.
Il est important de comprendre qu'Ezioni n'aborde même pas la raison Superintelligence a eu l'impact qu'il dénonce : son explication claire des raisons pour lesquelles l'IA superintelligente peut avoir des conséquences arbitrairement négatives et pourquoi il est important de commencer à traiter le problème bien à l'avance. Bostrom ne fait pas baser son cas sur des prédictions selon lesquelles des systèmes d'IA surhumains sont imminents. Il écrit : Cela ne fait pas partie de l'argument de ce livre que nous sommes au seuil d'une grande percée dans l'intelligence artificielle, ou que nous pouvons prédire avec précision quand un tel développement pourrait se produire.
Ainsi, à notre avis, l'article d'Etzioni détourne le lecteur de l'argument central du livre et dirige une attaque ad hominem contre Bostrom sous prétexte de contester les résultats de son enquête. Nous estimons qu'il est nécessaire de corriger le compte rendu. L'un de nous (Russell) a même contribué à l'enquête d'Etzioni, seulement pour voir sa réponse complètement mal interprétée. En fait, comme notre analyse détaillée montre, les résultats de l'enquête d'Etzioni sont entièrement cohérents avec ceux cités par Bostrom.
Comment, alors, Etzioni arrive-t-il à sa nouvelle conclusion ? En concevant un instrument d'enquête inférieur chez Bostrom, puis mauvaise interprétation les résultats.
Le sous-titre de l'article se lit comme suit : Si vous demandez aux personnes qui devraient vraiment savoir, vous constaterez que peu de gens croient que l'IA est une menace pour l'humanité. Ainsi, le lecteur est amené à croire qu'Etzioni a posé cette question aux personnes qui devraient vraiment savoir, alors que Bostrom ne l'a pas fait. En fait, c'est le contraire qui est vrai : Bostrom fait demandez aux gens qui devraient vraiment savoir, mais Etzioni n'a demandé à personne du tout. Bostrom a interrogé les 100 chercheurs en IA les plus cités. Plus de la moitié des personnes interrogées ont déclaré croire qu'il existe une probabilité substantielle (au moins 15%) que l'effet de l'intelligence artificielle au niveau humain sur l'humanité soit globalement mauvais ou extrêmement mauvais (catastrophe existentielle). L'enquête d'Etzioni, contrairement à celle de Bostrom, n'a posé aucune question d'une menace pour l'humanité.
Au lieu de cela, il pose simplement une question sur lorsque nous atteindrons la superintelligence. Comme les données de Bostrom l'auraient déjà prédit, un peu plus de la moitié (67,5%) des répondants d'Etzioni ont pris plus de 25 ans pour atteindre la superintelligence - après tout, plus de la moitié des répondants de Bostrom ont donné des dates au-delà de 25 ans pour une probabilité de seulement 50% de parvenir à une simple intelligence de niveau humain. L'un de nous (Russell) a répondu à l'enquête d'Etzioni avec plus de 25 ans, et Bostrom lui-même écrit, à propos de ses propres enquêtes, Mon propre point de vue est que les nombres médians rapportés dans l'enquête d'experts n'ont pas une masse de probabilité suffisante aux dates d'arrivée ultérieures.
Maintenant, après avoir conçu une enquête où les répondants pourraient être censés choisir plus de 25 ans, Etzioni tend son piège : il affirme que 25 ans est au-delà de l'horizon prévisible et en déduit que ni Russell ni même Bostrom lui-même ne croient que l'IA superintelligente est une menace à l'humanité. Cela surprendra Russell et Bostrom, et vraisemblablement de nombreux autres répondants à l'enquête. (En effet, le titre d'Etzioni aurait tout aussi bien pu être 75 % des experts pensent que l'IA super intelligente est inévitable.) Devrions-nous ignorer les risques catastrophiques simplement parce que la plupart des experts pensent qu'ils sont dans plus de 25 ans ? Selon la logique d'Etzioni, nous devrions également ignorer les risques catastrophiques du changement climatique et fustiger ceux qui les évoquent.
Contrairement aux opinions d'Etzioni et de quelques autres dans le Communauté IA , soulignant les risques à long terme de l'IA est ne pas équivaut à affirmer que l'IA superintelligente et les risques qui l'accompagnent sont imminents. La liste de ceux qui ont souligné les risques comprend des sommités comme Alan Turing, Norbert Wiener, I.J. Bien, et Marvin Minsky. Même Oren Etzioni a reconnu ces défis . À notre connaissance, aucun d'entre eux n'a jamais affirmé que l'IA superintelligente était imminente. Comme indiqué ci-dessus, Bostrom n'a pas non plus Superintelligence .
Etzioni répète ensuite l'argument douteux selon lequel les prédictions catastrophiques ne tiennent souvent pas compte des avantages potentiels de l'IA pour prévenir les erreurs médicales, réduire les accidents de voiture, etc. L'argument ne s'applique même pas à Bostrom, qui prédit que le succès dans le contrôle de l'IA se traduira par une utilisation compatissante et jubilatoire de la dotation cosmique de l'humanité. L'argument est également absurde. C'est comme dire que les ingénieurs nucléaires qui analysent la possibilité d'effondrements dans les centrales nucléaires ne tiennent pas compte des avantages potentiels d'une électricité bon marché, et que parce que les centrales nucléaires pourraient un jour produire de l'électricité vraiment bon marché, nous ne devrions ni mentionner ni travailler à prévenir , la possibilité d'un effondrement.
Notre expérience avec Tchernobyl suggère qu'il peut être imprudent de prétendre qu'une technologie puissante ne comporte aucun risque. Il peut également être imprudent de prétendre qu'une technologie puissante ne se concrétisera jamais. Le 11 septembre 1933, Lord Rutherford, peut-être le physicien nucléaire le plus éminent du monde, a décrit la perspective d'extraire l'énergie des atomes comme rien d'autre que du clair de lune. Moins de 24 heures plus tard, Leo Szilard a inventé la réaction nucléaire en chaîne induite par les neutrons ; des conceptions détaillées de réacteurs nucléaires et d'armes nucléaires ont suivi quelques années plus tard. Certes, il vaut mieux anticiper l'ingéniosité humaine que de la sous-estimer, mieux reconnaître les risques que de les nier.
De nombreux experts éminents de l'IA ont reconnu la possibilité que l'IA présente un risque existentiel. Contrairement aux fausses représentations dans les médias, ce risque ne doit pas nécessairement résulter d'une conscience malveillante spontanée. Le risque provient plutôt de l'imprévisibilité et de l'irréversibilité potentielle du déploiement d'un processus d'optimisation plus intelligent que les humains qui en ont spécifié les objectifs. Ce problème a été posé clairement par Norbert Wiener en 1960, et nous ne l'avons toujours pas résolu. Nous invitons le lecteur à soutenir les efforts continus en ce sens.
Allan Dafoe est professeur adjoint de sciences politiques à l'Université de Yale.
Stuart Russell est professeur d'informatique à l'Université de Californie à Berkeley.
Réponse d'Oren Etzioni, 2 novembre 2016 :
Je suis ravi que les professeurs Dafoe & Russell et je semble être d'accord sur trois questions essentielles. Premièrement, nous devrions nous abstenir d'attaques ad hominem. Ici, je dois présenter des excuses : je n'aurais pas dû citer le boursier AAAI anonyme qui a comparé le Dr Bostrom à Donald Trump. Je ne voulais pas prêter ma voix à cette comparaison; Je me suis sincèrement excusé auprès de Bostrom pour ce faux pas par e-mail, excuses qu'il a gracieusement acceptées. Deuxièmement, en tant que scientifiques, nous devons évaluer les déclarations sur le risque d'IA basée sur des données. C'était le point clé de mon bref article , et l'article offrait des données uniques sur ce sujet. Troisièmement, nous convenons également que les médias ont déformé les implications du travail de Bostrom - un sujet de préoccupation majeure qui a été apaisé dans une certaine mesure par le Rapport de la Maison Blanche sur l'IA . Bien sûr, nous ne sommes pas d'accord sur de nombreux détails et sur la complexité des arguments, mais le temps nous le dira.