Arrêtez de parler d'éthique de l'IA. Il est temps de parler de pouvoir.

Vladan Joler

Au tournant du XXe siècle, un cheval allemand a pris d'assaut l'Europe. Clever Hans, comme on l'appelait, pouvait apparemment exécuter toutes sortes de tours auparavant limités aux humains. Il pouvait additionner et soustraire des nombres, lire l'heure et lire un calendrier, même épeler des mots et des phrases, le tout en écrasant la réponse avec un sabot. A était un robinet; B était deux ; 2+3 était cinq. Il était une sensation internationale - et la preuve, selon beaucoup, que les animaux pouvaient apprendre à raisonner aussi bien que les humains.

Le problème était que Clever Hans ne faisait vraiment aucune de ces choses. Comme les enquêteurs l'ont découvert plus tard, le cheval avait appris à fournir la bonne réponse en observant les changements dans la posture, la respiration et les expressions faciales de ses interlocuteurs. Si le questionneur se tenait trop loin, Hans perdrait ses capacités. Son intelligence n'était qu'une illusion.

Cette histoire est utilisée comme un récit édifiant pour les chercheurs en IA lors de l'évaluation des capacités de leurs algorithmes. Un système n'est pas toujours aussi intelligent qu'il y paraît. Prenez soin de bien le mesurer.

AVEC L'AUTORISATION DE KATE CRAWFORD

Mais dans son nouveau livre, Atlas de l'IA , l'éminente spécialiste de l'IA Kate Crawford renverse cette morale. Le problème, écrit-elle, résidait dans la façon dont les gens définissaient les réalisations de Hans : Hans réalisait déjà des exploits remarquables de communication interspécifique, de performance publique et de patience considérable, mais ceux-ci n'étaient pas reconnus comme de l'intelligence.

Ainsi commence l'exploration de Crawford dans l'histoire de l'intelligence artificielle et son impact sur notre monde physique. Chaque chapitre cherche à élargir notre compréhension de la technologie en dévoilant à quel point nous l'avons vue et définie de manière étroite.

Crawford le fait en nous emmenant dans un voyage mondial, des mines où les éléments de terres rares utilisés dans la fabrication d'ordinateurs sont extraits aux centres de distribution d'Amazon où les corps humains ont été mécanisés dans la poursuite incessante de croissance et de profit de l'entreprise. Dans le premier chapitre, elle raconte avoir conduit une camionnette du cœur de la Silicon Valley à une petite communauté minière de la Clayton Valley du Nevada. Là, elle enquête sur les pratiques environnementales destructrices nécessaires pour obtenir le lithium qui alimente les ordinateurs du monde. C'est une illustration puissante de la proximité de ces deux endroits dans l'espace physique, mais à quel point ils sont éloignés en termes de richesse.

En fondant son analyse sur de telles investigations physiques, Crawford se débarrasse de l'euphémisme selon lequel l'intelligence artificielle est simplement un logiciel efficace fonctionnant dans le cloud. Ses descriptions rapprochées et vivantes de la terre et du travail sur lesquelles l'IA est construite, et les histoires profondément problématiques qui la sous-tendent, rendent impossible de continuer à parler de la technologie purement dans l'abstrait.

Au chapitre quatre, par exemple, Crawford nous emmène dans un autre voyage, celui-ci à travers le temps plutôt que l'espace. Pour expliquer l'histoire de l'obsession du domaine pour la classification, elle visite le Penn Museum de Philadelphie, où elle regarde des rangées et des rangées de crânes humains.

Les crânes ont été collectés par Samuel Morton, un craniologue américain du XIXe siècle, qui croyait qu'il était possible de les diviser objectivement par leurs mesures physiques dans les cinq races du monde : africaine, amérindienne, caucasienne, malaise et mongole. Crawford établit des parallèles entre le travail de Morton et les systèmes d'IA modernes qui continuent de classer le monde en catégories fixes.

Ces classifications sont loin d'être objectives, soutient-elle. Ils imposent un ordre social, naturalisent les hiérarchies et amplifient les inégalités. Vue à travers cette lentille, l'IA ne peut plus être considérée comme une technologie objective ou neutre.

Au cours de ses 20 ans de carrière, Crawford a fait face aux conséquences réelles des systèmes de données à grande échelle, de l'apprentissage automatique et de l'intelligence artificielle. En 2017, avec Meredith Whittaker, elle a cofondé l'institut de recherche AI ​​Now comme l'une des premières organisations dédiées à l'étude des implications sociales de ces technologies. Elle est également aujourd'hui professeure à l'USC Annenberg, à Los Angeles, et première chaire invitée en IA et justice à l'École Normale Supérieure de Paris, ainsi que chercheuse principale senior chez Microsoft Research.

Il y a cinq ans, dit Crawford, elle travaillait encore à introduire la simple idée que les données et l'IA n'étaient pas neutres. Maintenant, la conversation a évolué et l'éthique de l'IA s'est épanouie dans son propre domaine. Elle espère que son livre l'aidera à mûrir encore plus.

Je me suis assis avec Crawford pour parler de son livre.

Ce qui suit a été modifié pour plus de longueur et de clarté.

Pourquoi avez-vous choisi de faire ce projet de livre, et qu'est-ce que cela signifie pour vous ?

Crawford : Tant de livres qui ont été écrits sur l'intelligence artificielle ne parlent que de réalisations techniques très étroites. Et parfois, ils écrivent sur les grands hommes de l'IA, mais c'est vraiment tout ce que nous avons eu en termes de lutte contre ce qu'est l'intelligence artificielle.

Je pense que cela a produit cette compréhension très biaisée de l'intelligence artificielle en tant que systèmes purement techniques qui sont en quelque sorte objectifs et neutres, et - comme le disent Stuart Russell et Peter Norvig dans leur manuel - en tant qu'agents intelligents qui prennent la meilleure décision de toute action possible.

Je voulais faire quelque chose de très différent : vraiment comprendre comment se fabrique l'intelligence artificielle au sens le plus large. Cela signifie examiner les ressources naturelles qui l'alimentent, l'énergie qu'elle consomme, la main-d'œuvre cachée tout au long de la chaîne d'approvisionnement et les vastes quantités de données extraites de chaque plate-forme et appareil que nous utilisons au quotidien.

Histoire connexe

Les employés de Deepfake Amazon sèment la confusion sur Twitter. Ce n'est pas le problème.

Les comptes ne sont probablement que des parodies, ne faisant pas partie d'une sinistre stratégie d'entreprise, mais ils illustrent le genre de chose qui pourrait arriver un jour.

Ce faisant, je voulais vraiment ouvrir cette compréhension de l'IA comme n'étant ni artificielle ni intelligente. C'est le opposé d'artificiel. Il provient des parties les plus matérielles de la croûte terrestre et du travail des corps humains, et de tous les artefacts que nous produisons, disons et photographions chaque jour. Il n'est pas non plus intelligent. Je pense qu'il y a ce grand péché originel dans le domaine, où les gens ont supposé que les ordinateurs sont en quelque sorte comme des cerveaux humains et si nous les entraînons comme des enfants, ils deviendront lentement ces êtres surnaturels.

C'est quelque chose qui, à mon avis, est vraiment problématique - que nous ayons acheté cette idée d'intelligence alors qu'en réalité, nous examinons simplement des formes d'analyse statistique à grande échelle qui posent autant de problèmes que les données qu'elles fournissent.

Était-il immédiatement évident pour vous que c'est ainsi que les gens devraient penser à l'IA ? Ou était-ce un voyage ?

Ça a été un voyage. Je dirais que l'un des tournants pour moi remonte à 2016, lorsque j'ai lancé un projet appelé Anatomie d'un système d'IA avec Vladan Joler. Nous nous sommes rencontrés lors d'une conférence portant spécifiquement sur l'IA à commande vocale, et nous essayions de dessiner efficacement ce qu'il faut pour faire fonctionner un Amazon Echo. Quels sont les composants ? Comment extrait-il les données ? Quelles sont les couches du pipeline de données ?

Nous avons réalisé, eh bien, en fait, pour comprendre cela, vous devez comprendre d'où viennent les composants. Où les puces ont-elles été produites ? Où sont les mines ? Où est-il fondu ? Où sont les voies logistiques et de la chaîne d'approvisionnement ?

Enfin, comment trace-t-on la fin de vie de ces appareils ? Comment regardons-nous où se trouvent les décharges de déchets électroniques dans des endroits comme la Malaisie, le Ghana et le Pakistan ? Nous nous sommes retrouvés avec ce projet de recherche de deux ans très chronophage pour vraiment retracer ces chaînes d'approvisionnement en matériaux du berceau à la tombe.

Lorsque vous commencez à examiner les systèmes d'IA à cette plus grande échelle et sur cet horizon temporel plus long, vous vous éloignez de ces comptes rendus très étroits de l'équité et de l'éthique de l'IA pour dire : ce sont des systèmes qui produisent des changements géomorphologiques profonds et durables sur notre planète, comme ainsi que d'augmenter les formes d'inégalité du travail que nous avons déjà dans le monde.

Cela m'a donc fait réaliser que je devais passer d'une analyse d'un seul appareil, l'Amazon Echo, à l'application de ce type d'analyse à l'ensemble de l'industrie. C'était pour moi la grande tâche, et c'est pourquoi Atlas de l'IA a mis cinq ans à écrire. Il y a un tel besoin de voir réellement ce que ces systèmes nous coûtent vraiment, parce que nous faisons si rarement le travail de comprendre réellement leurs véritables implications planétaires.

L'autre chose que je dirais qui a été une véritable inspiration est le nombre croissant d'universitaires qui posent ces grandes questions sur le travail, les données et les inégalités. Ici, je pense à Ruha Benjamin, Safiya Noble, Mar Hicks, Julie Cohen, Meredith Broussard, Simone Brown, la liste est longue. Je considère cela comme une contribution à cet ensemble de connaissances en apportant des perspectives qui relient l'environnement, les droits du travail et la protection des données.

Vous voyagez beaucoup tout au long du livre. Presque chaque chapitre commence par le fait que vous regardez autour de vous autour de vous. Pourquoi était-ce important pour vous ?

C'était un choix très conscient de fonder une analyse de l'IA dans des endroits spécifiques, de s'éloigner de ces nulle part abstraits de l'espace algorithmique, où se déroulent tant de débats autour de l'apprentissage automatique. Et j'espère que cela met en évidence le fait que lorsque nous ne faisons pas cela, lorsque nous parlons simplement de ces espaces nulle part d'objectivité algorithmique, c'est aussi un choix politique, et cela a des ramifications.

En termes d'enchaînement des lieux, c'est vraiment pour cela que j'ai commencé à réfléchir à cette métaphore d'un atlas, car les atlas sont des livres inhabituels. Ce sont des livres que vous pouvez ouvrir et regarder à l'échelle d'un continent entier, ou vous pouvez zoomer et regarder une chaîne de montagnes ou une ville. Ils vous donnent ces changements de perspective et ces changements d'échelle.

Il y a cette belle ligne que j'utilise dans le livre de la physicienne Ursula Franklin. Elle écrit sur la façon dont les cartes relient le connu et l'inconnu dans ces méthodes de compréhension collective. Donc, pour moi, il s'agissait vraiment de tirer parti des connaissances que j'avais, mais aussi de penser aux endroits réels où l'IA est construite très littéralement à partir de roches, de sable et de pétrole.

Quel genre de retour le livre a-t-il reçu ?

L'une des choses qui m'a surpris dans les premières réponses est que les gens ont vraiment l'impression que ce genre de perspective était en retard. Il y a un moment de reconnaissance que nous devons avoir un type de conversation différent de ceux que nous avons eus ces dernières années.

Nous avons passé beaucoup trop de temps à nous concentrer sur des correctifs techniques étroits pour les systèmes d'IA et à toujours centrer les réponses techniques et les réponses techniques. Maintenant, nous devons faire face à l'empreinte environnementale des systèmes. Nous devons faire face aux formes très réelles d'exploitation du travail qui se sont produites dans la construction de ces systèmes.

Et nous commençons également à voir l'héritage toxique de ce qui se passe lorsque vous arrachez autant de données que vous le pouvez sur Internet et que vous appelez cela la vérité de terrain. Ce type de cadrage problématique du monde a produit tant de torts, et comme toujours, ces torts ont été ressentis surtout par des communautés qui étaient déjà marginalisées et ne profitaient pas des avantages de ces systèmes.

Qu'espérez-vous que les gens commenceront à faire différemment ?

J'espère qu'il sera beaucoup plus difficile d'avoir ces conversations en cul-de-sac où des termes comme l'éthique et l'IA pour de bon ont été si complètement dénaturé de toute signification réelle . J'espère qu'il écarte le rideau et dit, regardons réellement qui dirige les leviers de ces systèmes. Cela signifie qu'il faut s'éloigner de se concentrer uniquement sur des choses comme les principes éthiques pour parler de pouvoir.

Comment sortir de ce cadrage éthique ?

Histoire connexe

Vous vous inquiétez de l'éthique de votre entreprise en matière d'IA ? Ces startups sont là pour vous aider. Un écosystème croissant d'entreprises d'IA responsables promet d'aider les organisations à surveiller et à corriger leurs modèles d'IA.

S'il y a bien un piège dans le secteur de la tech depuis une décennie, c'est que la théorie du changement a toujours centré l'ingénierie. Cela a toujours été le cas, s'il y a un problème, il existe une solution technique. Et ce n'est que récemment que nous commençons à voir cela s'élargir à Oh, eh bien, s'il y a un problème, alors régulation peut y remédier. Les décideurs politiques ont un rôle.

Mais je pense qu'il faut encore élargir cela. Nous devons également dire : où sont les groupes de la société civile, où sont les militants, où sont les défenseurs qui traitent des questions de justice climatique, des droits du travail, de la protection des données ? Comment les incluons-nous dans ces discussions ? Comment incluons-nous les communautés affectées ?

En d'autres termes, comment pouvons-nous en faire une conversation démocratique beaucoup plus profonde sur la façon dont ces systèmes influencent déjà la vie de milliards de personnes de manière principalement irresponsable qui vit en dehors de la réglementation et du contrôle démocratique ?

En ce sens, ce livre essaie de décentrer la technologie et commence à poser des questions plus importantes : dans quel monde voulons-nous vivre ?

Quel genre de monde faire vous veux habiter? De quel futur rêvez-vous ?

Je veux voir les groupes qui ont fait le travail vraiment dur pour aborder des questions comme la justice climatique et les droits du travail se rapprocher, et réaliser que ces fronts auparavant assez séparés pour le changement social et la justice raciale ont vraiment des préoccupations communes et un terrain d'entente sur lequel coordonner et organiser.

Parce que nous envisageons un horizon temporel très court ici. Nous avons affaire à une planète déjà soumise à de fortes pressions. Nous assistons à une concentration profonde du pouvoir entre des mains extraordinairement peu nombreuses. Il faudrait vraiment remonter aux débuts des chemins de fer pour voir une autre industrie aussi concentrée, et maintenant on pourrait même dire que la technologie a dépassé cela.

Nous devons donc trouver des moyens de pluraliser nos sociétés et d'avoir de plus grandes formes de responsabilité démocratique. Et c'est un problème d'action collective. Ce n'est pas un problème de choix individuel. Ce n'est pas comme si nous choisissions la marque technologique la plus éthique du marché. C'est que nous devons trouver des moyens de travailler ensemble sur ces défis à l'échelle planétaire.

Mettre à jour : La description de l'institut AI Now a été clarifiée.

cacher