Pourquoi les chercheurs en IA ne devraient pas tourner le dos à l'armée

L'armée américaine

Plus de 2 400 chercheurs en IA ont récemment signé un engagement promettant de ne pas construire d'armes dites autonomes - des systèmes qui décideraient eux-mêmes qui tuer. Cela fait suite à la décision de Google de ne pas renouveler un contrat de fourniture d'IA au Pentagone pour l'analyse des images de drones après que l'entreprise ait subi la pression de nombreux employés opposés à son travail sur un projet connu sous le nom de Maven.

Paul Scharre, l'auteur d'un nouveau livre, Army of None : les armes autonomes et l'avenir de la guerre , estime que les chercheurs en IA doivent faire plus que se retirer s'ils veulent apporter des changements.

Paul Scharré. Gagnez McNamee/Getty Images

Ranger de l'armée en Irak et en Afghanistan et maintenant chercheur principal au Center for a New American Security, Scharre soutient que les experts en intelligence artificielle devraient dialoguer avec les décideurs politiques et les professionnels militaires pour expliquer pourquoi les chercheurs sont inquiets et les aider à comprendre le limites des systèmes d'IA.

Scharre a parlé avec AVEC Examen de la technologie le rédacteur en chef Will Knight sur la meilleure façon d'arrêter une course aux armements potentiellement dangereuse contre l'IA.

paulscharre.com

Dans quelle mesure l'armée américaine est-elle désireuse de développer des armes IA ?

Les dirigeants américains de la défense ont à plusieurs reprises déclaré que leur intention est de garder un humain au courant et responsable des décisions de force létale. Maintenant, la mise en garde est qu'ils ont également reconnu que si d'autres pays construisent des armes autonomes, ils pourraient être forcés de suivre leur exemple. Et c'est là le vrai risque - que si un pays franchit cette ligne, d'autres peuvent ressentir qu'ils doivent réagir en nature juste pour rester compétitifs.

Peut-on vraiment faire confiance à ces promesses ?

Je pense que les hauts responsables américains de la défense sont sincères et veulent que les humains restent responsables de l'utilisation de la force létale. Les professionnels militaires ne veulent certainement pas que leurs armes se déchaînent. Cela dit, la question reste ouverte de savoir comment traduire un concept large comme la responsabilité humaine face à la force létale en directives techniques spécifiques sur les types d'armes autorisés. La définition de ce qui constitue une arme autonome est déjà contestée, il peut donc y avoir des divergences de vues sur la manière de mettre ces principes en pratique.

Pourquoi les technologues doivent-ils être impliqués ?

Les chercheurs en IA doivent faire partie de ces conversations, car leur expertise technique est essentielle pour façonner les choix politiques. Nous devons tenir compte du biais de l'IA, de la transparence, de l'explicabilité, de la sécurité et d'autres préoccupations. La technologie de l'IA présente aujourd'hui ces deux fonctionnalités : elle est puissante mais présente également de nombreuses vulnérabilités, tout comme les ordinateurs et les cyberrisques. Malheureusement, les gouvernements semblent avoir compris la première partie de ce message (l'IA est puissante) mais pas la seconde (elle comporte des risques). Les chercheurs en intelligence artificielle peuvent aider les gouvernements et les militaires à mieux comprendre pourquoi ils sont si préoccupés par les conséquences de la militarisation de cette technologie. Pour faire valoir ce point de vue efficacement, les chercheurs en IA doivent faire partie d'un dialogue constructif.

Que pensez-vous du récent engagement contre les armes autonomes, organisé par le Future of Life Institute ?

Ce n'est pas le premier appel à l'action des scientifiques de l'IA ; il s'appuie sur des lettres ouvertes antérieures sur les armes autonomes dans 2015 et 2017 . Mais ces lettres sont un geste symbolique et ont probablement des rendements décroissants dans leur efficacité. Les pays discutent également des armes autonomes aux Nations Unies depuis 2014, et la pression des scientifiques de l'IA ajoute une dimension importante à la conversation, mais n'a pas encore convaincu les grandes puissances militaires de soutenir une interdiction complète. Il serait plus percutant que davantage de chercheurs en IA assistent aux réunions de l'ONU et aident les décideurs à comprendre pourquoi les scientifiques en IA sont si préoccupés.

Quid de la décision de Google de ne pas renouveler son contrat avec le Pentagone ?

C'était un peu surprenant car Maven n'impliquait pas réellement d'armes ou de ciblage autonomes et semblait conforme à la récente publication de Google. Principes de l'IA . Mais la concurrence pour les meilleurs talents en IA est féroce, et je soupçonne que Google ne pouvait pas risquer que certains de ses meilleurs ingénieurs démissionnent en signe de protestation.

Pensez-vous que de tels gestes contribueront à ralentir le développement d'armes autonomes ?

En ce qui concerne Maven, Google n'était pas impliqué dans la construction d'armes contrôlées par l'homme, et encore moins d'armes autonomes, il n'y a donc pas de lien direct. La lettre d'engagement vise bien sûr directement les armes autonomes. Mais je ne pense pas que l'un ou l'autre soit susceptible d'avoir un effet majeur sur la façon dont les militaires intègrent l'IA et l'autonomie dans leurs armes, car les armes sont susceptibles d'être construites par des sous-traitants de la défense. Si de grandes entreprises technologiques comme Google renoncent à travailler avec les militaires, cela pourrait ralentir l'intégration de la technologie de l'IA dans des fonctions de support vitales comme l'analyse des données, ce que faisait Maven. Mais d'autres entreprises finiront par intervenir pour combler le vide. Déjà, on a vu autre entreprises dire assez publiquement qu'ils veulent travailler avec les militaires.

Ces efforts pourraient-ils aussi avoir des conséquences inattendues ?

Dire que de nombreuses utilisations légitimes de l'IA sont inacceptables pourrait encore creuser un fossé entre les communautés techniques et politiques et rendre plus difficile le discours raisonnable. Les ingénieurs doivent absolument s'abstenir de travailler sur des projets qu'ils ne peuvent pas soutenir, mais lorsque ces motivations personnelles se déplacent pour faire pression sur les autres pour qu'ils ne travaillent pas sur des applications de sécurité nationale importantes et légitimes, ils nuisent à la sécurité publique et empiètent sur les droits des autres ingénieurs à poursuivre leur propre conscience. Les pays démocratiques devront utiliser la technologie de l'IA pour une variété d'activités importantes et légales la sécurité nationale objectifs : renseignement, contre-terrorisme, sécurité des frontières, cybersécurité et défense.

Les États-Unis sont-ils déjà engagés dans une course aux armements contre l'IA avec la Chine ?

La Chine a déclaré publiquement son intention de devenir le leader mondial en intelligence artificielle d'ici 2030 et intensifie ses recherches et recrute les meilleurs talents du monde entier. Le modèle chinois de fusion militaro-civile signifie également que la recherche sur l'IA passera facilement des entreprises technologiques à l'armée sans le type de barrières que certains employés de Google visent à ériger aux États-Unis. La Chine a déjà commencé jeter les bases d'un État de techno-surveillance doté de l'IA.

Si les tactiques des chercheurs en IA ne réussissent qu'à ralentir l'adoption des outils d'IA dans des sociétés ouvertes et démocratiques qui valorisent le comportement éthique, leurs travaux pourraient contribuer à inaugurer un avenir où la technologie la plus puissante est entre les mains de régimes qui se soucient le moins de l'éthique. et l'état de droit.

Dans votre livre, vous soulignez que définir l'autonomie peut être délicat. Cela ne compliquera-t-il pas la discussion sur les utilisations militaires de l'IA ?

Les auteurs du récent engagement contre les armes autonomes s'opposent aux armes autonomes qui tueraient une personne, mais reconnaissent que certains types de systèmes autonomes seraient nécessaires pour se défendre contre d'autres armes de ce type. C'est la zone grise où l'autonomie peut être nécessaire pour se défendre contre les armes et une personne est toujours à bord, comme pour viser un avion de chasse ou un sous-marin, où réside le véritable défi. Équilibrer des objectifs concurrents n'est pas simple, et les décideurs seront confrontés à de véritables choix lorsqu'ils adopteront cette technologie.

Les ingénieurs en intelligence artificielle auront le plus d'impact dans l'élaboration de ces choix s'ils s'engagent dans un dialogue constructif et continu avec les décideurs politiques, plutôt que de se retirer. Les chercheurs en IA qui se soucient de la façon dont la technologie est utilisée seront plus efficaces s'ils vont au-delà des campagnes de pression et commencent à aider à éduquer les décideurs politiques sur la technologie de l'IA aujourd'hui et ses limites.

cacher