Le lavage participatif pourrait être la prochaine mode dangereuse de l'apprentissage automatique

Mme Tech | Getty, Unsplash

La communauté de l'IA prend enfin conscience du fait que l'apprentissage automatique peut causer des dommages disproportionnés à des groupes déjà opprimés et défavorisés. On a militants et les organisateurs remercier pour cela. Aujourd'hui, les chercheurs et les universitaires en apprentissage automatique cherchent des moyens de rendre l'IA plus juste, responsable et transparente, mais aussi, depuis peu, plus participative.

L'un des événements les plus excitants et les plus fréquentés du Conférence internationale sur l'apprentissage automatique en juillet s'appelait Approches participatives de l'apprentissage automatique . Cet atelier a puisé dans l'aspiration de la communauté à construire des systèmes algorithmiques plus démocratiques, coopératifs et équitables en incorporant des méthodes participatives dans leur conception. De telles méthodes impliquent ceux qui interagissent avec et sont affectés par un système algorithmique dans le processus de conception - par exemple, demander aux infirmières et aux médecins d'aider à développer un outil de détection de septicémie .

Il s'agit d'une intervention indispensable dans le domaine de l'apprentissage automatique, qui peut être excessivement hiérarchique et homogène. Mais ce n'est pas une solution miracle : en fait, le lavage participatif pourrait devenir la prochaine lubie dangereuse du domaine. C'est ce que moi, avec mes coauteurs Emanuel Moss, Olaitan Awomolo et Laura Forlano, soutenons dans notre récent article La participation n'est pas une solution de conception pour l'apprentissage automatique .

Ignorer les schémas d'oppression systémique et de privilège conduit à des systèmes d'apprentissage automatique irresponsables qui sont profondément opaques et injustes. Ces modèles ont imprégné le domaine au cours des 30 dernières années. Pendant ce temps, le monde a observé la croissance exponentielle des inégalités de richesse et le changement climatique induit par les combustibles fossiles. Ces problèmes s'enracinent dans une dynamique clé du capitalisme : l'extraction. La participation, elle aussi, repose souvent sur la même logique extractive, notamment en matière d'apprentissage automatique.

La participation n'est pas gratuite

Commençons par cette observation : la participation est déjà une grande partie de l'apprentissage automatique, mais de manière problématique. L'une d'entre elles est la participation en tant que travail.

Que leur travail soit reconnu ou non, de nombreux participants jouent un rôle important dans la production de données utilisées pour former et évaluer des modèles d'apprentissage automatique. Les photos que quelqu'un a prises et publiées sont extraites du Web, et les travailleurs à bas salaire sur des plateformes telles qu'Amazon Mechanical Turk annotent ces photos pour en faire des données de formation. Les utilisateurs ordinaires du site Web font également cette annotation lorsqu'ils remplissent un reCAPTCHA. Et il existe de nombreux exemples de ce qu'on appelle travail fantôme — Terme de l'anthropologue Mary Gray pour tout le travail en coulisse nécessaire au fonctionnement de systèmes apparemment automatisés. Une grande partie de cette participation n'est pas correctement rémunérée et, dans de nombreux cas, elle est à peine reconnue.

La participation en tant que consultation, quant à elle, est une tendance observée dans des domaines comme le design urbain, et de plus en plus dans l'apprentissage automatique. Mais l'efficacité de cette approche est limitée. Il est généralement de courte durée, sans aucun plan pour établir des partenariats significatifs à long terme. Les problèmes de propriété intellectuelle rendent difficile l'examen de ces outils. Par conséquent, cette forme de participation est trop souvent purement performative.

Histoire connexe

Les problèmes de l'IA aujourd'hui remontent à des siècles La discrimination algorithmique et le travail fantôme ne sont pas apparus par accident. Comprendre leur longue et troublante histoire est la première étape pour les réparer.

Plus prometteuse est l'idée de participation comme justicier . Ici, tous les membres du processus de conception travaillent ensemble dans des relations étroitement couplées avec une communication fréquente. La participation en tant que justice est un engagement à long terme qui se concentre sur la conception de produits guidés par des personnes d'horizons et de communautés divers, y compris la communauté des personnes handicapées, qui joue depuis longtemps un rôle rôle principal ici. Ce concept a une importance sociale et politique, mais les structures du marché capitaliste le rendent presque impossible à bien mettre en œuvre.

L'apprentissage automatique étend les priorités plus larges de l'industrie technologique, qui se concentrent sur l'échelle et l'extraction. Cela signifie que l'apprentissage automatique participatif est, pour l'instant, un oxymore. Par défaut, la plupart des systèmes d'apprentissage automatique ont la capacité de surveiller, d'opprimer et de contraindre (y compris dans le lieu de travail ). Ces systèmes ont également des moyens de fabriquer le consentement, par exemple en demandant aux utilisateurs de s'inscrire aux systèmes de surveillance afin d'utiliser certaines technologies, ou en mettant en œuvre paramètres par défaut qui les dissuadent d'exercer leur droit à la vie privée.

Compte tenu de cela, il n'est pas surprenant que l'apprentissage automatique ne tienne pas compte de la dynamique de pouvoir existante et adopte une approche extractive de la collaboration. Si nous ne faisons pas attention, l'apprentissage automatique participatif pourrait suivre le chemin de l'éthique de l'IA et devenir juste une autre mode utilisée pour légitimer dans Justice.

Une meilleure façon

Comment éviter ces dangers ? Il n'y a pas de réponse simple. Mais voici quatre suggestions :

Reconnaître la participation comme un travail. De nombreuses personnes utilisent déjà des systèmes d'apprentissage automatique au cours de leur journée. Une grande partie de cette main-d'œuvre entretient et améliore ces systèmes et est donc précieuse pour les propriétaires des systèmes. Pour reconnaître cela, tous les utilisateurs doivent être invités à donner leur consentement et à disposer de moyens de se retirer de tout système. S'ils choisissent de participer, ils devraient se voir offrir une compensation. Cela pourrait signifier clarifier quand et comment les données générées par le comportement d'un utilisateur seront utilisées à des fins de formation (par exemple, via une bannière dans Google Maps ou une notification opt-in). Il s'agirait également d'apporter un soutien approprié aux modérateurs de contenu , en rémunérant équitablement les travailleurs fantômes et en développant des systèmes de récompense monétaires ou non monétaires pour rémunérer les utilisateurs pour leurs données et leur travail.

Rendre la participation spécifique au contexte . Plutôt que d'essayer d'utiliser une approche unique, les technologues doivent être conscients des contextes spécifiques dans lesquels ils opèrent. Par exemple, lors de la conception d'un système pour prédire la violence des jeunes et des gangs , les technologues doivent continuellement réévaluer la façon dont ils s'appuient sur l'expérience vécue et l'expertise du domaine, et collaborer avec les personnes pour lesquelles ils conçoivent. Ceci est d'autant plus important que le contexte d'un projet évolue avec le temps. Documenter même de petits changements dans le processus et le contexte peut constituer une base de connaissances pour une participation efficace à long terme. Par exemple, seuls les médecins devraient-ils être consultés lors de la conception d'un système d'apprentissage automatique pour les soins cliniques, ou les infirmières et les patients devraient-ils également être inclus ? Expliquer clairement pourquoi et comment certaines communautés ont été impliquées rend ces décisions et relations transparentes, responsables et exploitables.

Planifiez une participation à long terme dès le départ. Les gens sont plus susceptibles de rester engagés dans les processus au fil du temps s'ils sont capables de partager et d'acquérir des connaissances, au lieu de les extraire d'eux. Cela peut être difficile à réaliser dans l'apprentissage automatique, en particulier pour les cas de conception propriétaires. Ici, il convient de reconnaître les tensions qui compliquent la participation à long terme à l'apprentissage automatique, et de reconnaître que la coopération et la justice ne évoluent pas sans friction. Ces valeurs nécessitent un entretien constant et doivent être articulées sans cesse dans de nouveaux contextes.

Apprenez des erreurs passées. Plus de mal peut être fait en reproduisant les modes de pensée qui ont produit à l'origine une technologie nuisible. En tant que chercheurs, nous devons améliorer notre capacité de réflexion latérale à travers les applications et les professions. Pour faciliter cela, la communauté de l'apprentissage automatique et de la conception pourrait développer une base de données consultable pour mettre en évidence les échecs de la participation à la conception (tels que Projet riverain de Sidewalk Labs à Toronto ). Ces échecs pourraient être croisés avec des concepts socio-structurels (tels que les questions relatives à l'inégalité raciale). Cette base de données devrait couvrir les projets de conception dans tous les secteurs et domaines, pas seulement ceux de l'apprentissage automatique, et reconnaître explicitement les absences et les valeurs aberrantes. Ces cas extrêmes sont souvent ceux dont nous pouvons apprendre le plus.

C'est excitant de voir la communauté de l'apprentissage automatique aborder les questions de justice et d'équité. Mais les réponses ne doivent pas reposer uniquement sur la participation. Le désir d'une solution miracle a tourmenté la communauté technologique pendant trop longtemps. Il est temps d'embrasser la complexité qui accompagne la remise en question de la logique capitaliste extractive de l'apprentissage automatique.

Mona Sloan est un sociologue basé à l'Université de New York. Elle travaille sur l'inégalité de conception dans le contexte de la conception et de la politique de l'IA.

cacher