Le ministère de la Défense publie des lignes directrices sur l'éthique de l'IA pour les sous-traitants technologiques

Mme Tech | Getty

En 2018, lorsque les employés de Google ont découvert l'implication de leur entreprise dans Maven du projet , un effort militaire américain controversé pour développer l'IA pour analyser la vidéo de surveillance, ils n'étaient pas contents. Des milliers ont protesté. Nous croyons que Google ne devrait pas être dans le business de la guerre, ont-ils écrit dans un lettre à la direction de l'entreprise . Une dizaine d'employés ont démissionné. Google n'a pas renouvelé le contrat en 2019.

Le projet Maven existe toujours, et d'autres entreprises technologiques, dont Amazon et Microsoft, ont depuis pris la place de Google. Pourtant, le département américain de la Défense sait qu'il a un problème de confiance. C'est quelque chose auquel il doit s'attaquer pour maintenir l'accès aux dernières technologies, en particulier l'IA, ce qui nécessitera un partenariat avec Big Tech et d'autres organisations non militaires.

Histoire connexe

Les agences gouvernementales américaines prévoient d'augmenter leur utilisation de la technologie de reconnaissance faciale

Une nouvelle enquête montre que les systèmes controversés sont sur le point de jouer un rôle encore plus important dans les affaires fédérales.

Dans le but de promouvoir la transparence, la Defense Innovation Unit, qui attribue des contrats du DoD aux entreprises, a publié ce qu'elle appelle lignes directrices sur l'intelligence artificielle responsable qu'il faudra que des développeurs tiers utilisent lors de la création d'IA pour l'armée, que cette IA soit destinée à un système RH ou à la reconnaissance de cibles.

Les directives fournissent un processus étape par étape que les entreprises doivent suivre lors de la planification, du développement et du déploiement. Ils incluent des procédures pour identifier qui pourrait utiliser la technologie, qui pourrait en être lésé, quels pourraient être ces dommages et comment ils pourraient être évités, à la fois avant la construction du système et une fois qu'il est opérationnel.

Il n'y a pas d'autres directives qui existent, que ce soit au sein du DoD ou, franchement, du gouvernement des États-Unis, qui entrent dans ce niveau de détail, déclare Bryce Goodman de la Defense Innovation Unit, qui a co-écrit les directives.

Le travail pourrait changer la façon dont l'IA est développée par le gouvernement américain, si les directives du DoD sont adoptées ou adaptées par d'autres départements. Goodman dit que lui et ses collègues les ont donnés à la NOAA et au ministère des Transports et discutent avec des groupes d'éthique au sein du ministère de la Justice, de la General Services Administration et de l'IRS.

Le but des lignes directrices est de s'assurer que les sous-traitants technologiques respectent les directives existantes du DoD principes éthiques pour l'IA , dit Goodman. Le DoD a annoncé ces principes l'année dernière, à la suite d'une étude de deux ans commandée par le Defense Innovation Board, un groupe consultatif de chercheurs et d'entrepreneurs en technologie de premier plan créé en 2016 pour apporter l'étincelle de la Silicon Valley à l'armée américaine. Le conseil d'administration était présidé par l'ancien PDG de Google, Eric Schmidt, jusqu'en septembre 2020, et ses membres actuels incluent Daniela Rus, directrice du laboratoire d'informatique et d'intelligence artificielle du MIT.

Pourtant, certains critiques se demandent si le travail promet une réforme significative.

Au cours de l'étude, le conseil a consulté un éventail d'experts, y compris des critiques virulents de l'utilisation de l'IA par l'armée, tels que des membres de la campagne pour les robots tueurs et Meredith Whittaker, une ancienne chercheuse de Google qui a aidé à organiser les manifestations du projet Maven.

Whittaker, qui est maintenant directeur de la faculté à l'AI Now Institute de l'Université de New York, n'était pas disponible pour commenter. Mais selon Courtney Holsworth, porte-parole de l'institut, elle a assisté à une réunion, où elle s'est disputée avec des membres seniors du conseil d'administration, dont Schmidt, sur la direction que cela prenait. Elle n'a jamais été consultée de manière significative, dit Holsworth. Prétendre qu'elle l'était pourrait être interprété comme une forme de lavage de l'éthique, dans laquelle la présence de voix dissidentes pendant une petite partie d'un long processus est utilisée pour affirmer qu'un résultat donné a une large adhésion des parties prenantes concernées.

Si le DoD n'a pas une large adhésion, ses lignes directrices peuvent-elles encore contribuer à instaurer la confiance ? Il y aura des gens qui ne seront jamais satisfaits par aucun ensemble de directives éthiques que le DoD produit parce qu'ils trouvent l'idée paradoxale, dit Goodman. Il est important d'être réaliste quant à ce que les lignes directrices peuvent et ne peuvent pas faire.

Par exemple, les directives ne disent rien sur l'utilisation d'armes létales autonomes, une technologie qui, selon certains militants, devrait être interdite. Mais Goodman souligne que les réglementations régissant ces technologies sont décidées plus haut dans la chaîne. L'objectif des lignes directrices est de faciliter la création d'une IA qui respecte ces réglementations. Et une partie de ce processus consiste à rendre explicites les préoccupations des développeurs tiers. Une application valable de ces directives consiste à décider de ne pas poursuivre un système particulier, déclare Jared Dunnmon du DIU, qui les a co-écrits. Vous pouvez décider que ce n'est pas une bonne idée.

Histoire connexe

Pourquoi les chercheurs en IA devraient reconsidérer leur implication dans des projets militaires Un conseiller du ministère de la Défense suggère qu'un engagement constructif sera plus efficace que le retrait.

Margaret Mitchell, chercheuse en intelligence artificielle à Visage étreignant , qui a codirigé L'équipe d'IA éthique de Google avec Timnit Gebru avant que les deux ne soient expulsé de l'entreprise , convient que les lignes directrices en matière d'éthique peuvent aider à rendre un projet plus transparent pour ceux qui y travaillent, du moins en théorie. Mitchell était aux premières loges lors des manifestations chez Google. L'une des principales critiques des employés était que l'entreprise livrait une technologie puissante à l'armée sans garde-corps, dit-elle : Les gens ont fini par partir spécifiquement en raison de l'absence de toute sorte de directives claires ou de transparence.

Pour Mitchell, les enjeux ne sont pas clairs. Je pense que certaines personnes chez Google ont vraiment estimé que tout travail avec l'armée était mauvais, dit-elle. Je ne fais pas partie de ces personnes. Elle a discuté avec le DoD de la manière dont il peut s'associer avec des entreprises d'une manière qui respecte leurs principes éthiques.

Elle pense qu'il reste du chemin à parcourir avant que le DoD n'obtienne la confiance dont il a besoin. L'un des problèmes est qu'une partie du libellé des lignes directrices est sujette à interprétation. Par exemple, ils déclarent : Le ministère prendra des mesures délibérées pour minimiser les biais involontaires dans les capacités d'IA. Qu'en est-il du biais intentionnel ? Cela peut sembler tatillon, mais les différences d'interprétation dépendent de ce genre de détails.

La surveillance de l'utilisation de la technologie militaire est difficile car elle nécessite généralement une autorisation de sécurité. Pour résoudre ce problème, Mitchell aimerait que les contrats du DoD prévoient des auditeurs indépendants avec l'autorisation nécessaire, qui peuvent rassurer les entreprises sur le fait que les directives sont vraiment suivies. Les employés ont besoin d'une certaine garantie que les directives sont interprétées comme ils s'y attendent, dit-elle.

cacher