Quand les algorithmes se trompent, l'humain le plus proche est blâmé

Une image montrant les conséquences d'un accident de voiture autonome, avec un super véhicule sur le côté Département de police de Tempe

Plus tôt ce mois-ci, Bloomberg publié un article à propos d'un procès en cours concernant des investissements perdus par un algorithme. Un magnat de Hong Kong a perdu plus de 20 millions de dollars après avoir confié une partie de sa fortune à une plateforme automatisée. Sans cadre juridique pour poursuivre la technologie, il a rejeté la faute sur l'humain le plus proche : l'homme qui la lui a vendue.

C'est le premier cas connu de pertes d'investissement automatisées, mais pas le premier impliquant la responsabilité des algorithmes. En mars 2018, un Uber autonome frappé et tué un piéton à Tempe, en Arizona, envoyant une autre affaire au tribunal. Un an plus tard, Uber était exonéré de toute responsabilité pénale, mais le conducteur de sécurité pourrait plutôt faire face à des accusations d'homicide involontaire.

Les deux cas abordent l'une des questions centrales auxquelles nous sommes confrontés alors que les systèmes automatisés se répandent dans tous les aspects de la société : qui ou quoi mérite le blâme lorsqu'un algorithme cause du tort ? Qui ou quoi est réellement blâmé est une question différente mais tout aussi importante.

Madeleine Clare Elish, chercheuse à Data & Society et anthropologue culturelle de formation, a passé ces dernières années à étudier cette dernière question pour voir comment elle peut aider à répondre à la première. Pour ce faire, elle s'est penchée sur des études de cas historiques. Bien que les systèmes d'IA modernes n'existent pas depuis longtemps, les questions entourant leur responsabilité ne sont pas nouvelles.

L'accident d'Uber autonome est parallèle à l'accident du vol 447 d'Air France en 2009, par exemple, et un regard sur la façon dont nous avons traité la responsabilité offre alors des indices sur ce que nous pourrions faire maintenant. Dans cet accident tragique, l'avion s'est écrasé dans l'océan Atlantique en route du Brésil vers la France, tuant les 228 personnes à bord. Le système automatisé de l'avion a été conçu pour être totalement infaillible, capable de gérer presque tous les scénarios, à l'exception des rares cas extrêmes où il fallait un pilote humain pour prendre le relais. En ce sens, les pilotes ressemblaient beaucoup aux pilotes de sécurité actuels pour les voitures autonomes, destinés à surveiller passivement le vol la grande majorité du temps, mais à passer à l'action lors de scénarios extrêmes.

Histoire connexe

Histoire connexe Seuls quelques législateurs savent vraiment de quoi ils parlent, mais c'est un début.

Ce qui s'est passé la nuit de l'accident est, à ce stade, une histoire bien connue. Environ une heure et demie après le début du vol, les capteurs de vitesse de l'air de l'avion ont cessé de fonctionner en raison de la formation de glace. Après que le système de pilote automatique a rendu le contrôle aux pilotes, la confusion et les problèmes de communication ont conduit l'avion à décrocher. Alors que l'un des pilotes tentait d'inverser le décrochage en pointant le nez de l'avion vers le bas, l'autre, probablement paniqué, a levé le nez pour continuer à monter. Cependant, le système a été conçu pour qu'un pilote ait le contrôle à tout moment et n'a fourni aucun signal ou retour haptique pour indiquer lequel était réellement en contrôle et ce que faisait l'autre. En fin de compte, l'avion a grimpé à un angle si raide que le système l'a jugé invalide et a cessé de fournir des commentaires entièrement. Les pilotes, volant complètement aveugles, ont continué à tâtonner jusqu'à ce que l'avion plonge dans la mer.

Dans un article récent , Elish a examiné les conséquences de la tragédie et a identifié un schéma important dans la façon dont le public en est venu à comprendre ce qui s'est passé. Alors qu'une enquête fédérale sur l'incident a conclu qu'un mélange de mauvaise conception des systèmes et de formation insuffisante des pilotes avait causé l'échec catastrophique, le public s'est rapidement accroché à un récit qui rejetait le seul blâme sur ce dernier. Les représentations médiatiques, en particulier, ont perpétué la croyance que le système de pilotage automatique sophistiqué n'avait rien à redire en la matière malgré d'importantes recherches sur les facteurs humains démontrant que les humains ont toujours été plutôt incapables de se lancer dans des situations d'urgence à la dernière minute avec la tête froide et l'esprit clair. .

Les humains agissent comme une « éponge à responsabilité ».

Dans d'autres études de cas, Elish a constaté que le même schéma était vrai : même dans un système hautement automatisé où les humains ont un contrôle limité sur son comportement, ils portent toujours la majeure partie de la responsabilité de ses échecs. Elish appelle ce phénomène une zone de déformation morale. Alors que la zone de déformation dans une voiture est censée protéger le conducteur humain, écrit-elle dans son article, la zone de déformation morale protège l'intégrité du système technologique, aux dépens de l'opérateur humain le plus proche. Les humains agissent comme une éponge à responsabilité, dit-elle, absorbant toute responsabilité légale et morale dans les accidents algorithmiques, peu importe à quel point ils sont impliqués ou involontairement.

Ce modèle offre un aperçu important de la façon troublante dont nous parlons de la responsabilité des systèmes d'IA modernes. Immédiatement après l'accident d'Uber, les gros titres pointaient du doigt Uber, mais moins de quelques jours plus tard, le récit décalé se concentrer sur la distraction du conducteur.

Nous devons commencer à nous demander qui supporte le risque des expériences technologiques [des entreprises technologiques], dit Elish. Les conducteurs de sécurité et autres opérateurs humains ont souvent peu de pouvoir ou d'influence sur la conception des plates-formes technologiques avec lesquelles ils interagissent. Pourtant, dans le vide réglementaire actuel, ils continueront à payer le prix le plus élevé.

Les régulateurs devraient également avoir des conversations plus nuancées sur le type de cadre qui aiderait à répartir équitablement la responsabilité. Ils doivent réfléchir attentivement à la réglementation des systèmes sociotechniques et pas seulement aux boîtes noires algorithmiques, dit Elish. En d'autres termes, ils doivent se demander si la conception du système fonctionne dans le contexte dans lequel il fonctionne et s'il met en place des opérateurs humains sur le chemin de l'échec ou du succès. Les voitures autonomes, par exemple, devraient être réglementées de manière à déterminer si le rôle que les conducteurs de sécurité sont invités à jouer est raisonnable.

L'enjeu du concept de zone de déformation morale n'est pas seulement de savoir comment la responsabilité peut être répartie dans tout système robotique ou autonome, écrit-elle, mais aussi comment la valeur et le potentiel des humains peuvent être autorisés à se développer dans le contexte d'équipes homme-machine. .

Cette histoire a été initialement publiée dans notre newsletter sur l'IA nominée par Webby, The Algorithm. Pour recevoir plus d'histoires comme celle-ci directement dans votre boîte de réception, inscrivez-vous ici. C'est gratuit.

cacher