Comment tenir les algorithmes responsables

Les algorithmes sont maintenant utilisés dans les secteurs public et privé, informant les décisions sur tout, de l'éducation et de l'emploi à la justice pénale. Mais malgré le potentiel de gains d'efficacité, les algorithmes alimentés par le big data peuvent aussi amplifier la discrimination structurelle , produisent des erreurs qui refuser des services aux particuliers , voire séduire un électorat dans un faux sentiment de sécurité. En effet, il y a Prise de conscience croissante que le public doit se méfier risques sociétaux posés par une dépendance excessive à ces systèmes et travailler à tiens-les redevable .

Divers efforts de l'industrie, y compris un consortium des mastodontes de la Silicon Valley, commencent à se débattre avec l'éthique du déploiement d'algorithmes qui peuvent avoir des effets imprévus sur la société. Les développeurs d'algorithmes et les chefs de produit ont besoin de nouvelles façons de penser, de concevoir et de mettre en œuvre des systèmes algorithmiques de manière publiquement responsable. Au cours des derniers mois, nous et quelques collègues ont essayé d'atteindre ces objectifs en élaborant un ensemble de principes pour des algorithmes responsables .

Considérons un cas où la responsabilité algorithmique est absolument nécessaire : notes d'évaluation des risques qui éclairent les décisions de justice pénale dans le système juridique américain. Ces scores sont calculés en posant une série de questions relatives à des éléments tels que l'âge de l'accusé, ses antécédents criminels et d'autres caractéristiques. Les données sont introduites dans un algorithme pour calculer un score qui peut ensuite être utilisé dans des décisions concernant la détention provisoire, la probation, la libération conditionnelle ou même la condamnation. Et ces modèles sont souvent formés à l'aide d'algorithmes d'apprentissage automatique propriétaires et de données sur les accusés précédents.

Des enquêtes récentes montrent que les algorithmes d'évaluation des risques peuvent être biaisés sur le plan racial, générant des scores qui, lorsqu'ils sont erronés, classent plus souvent à tort les accusés noirs comme à haut risque. Ces résultats ont généré une controverse considérable. Étant donné la nature littéralement bouleversante de ces décisions algorithmiques, elles doivent faire l'objet d'une attention particulière et être tenues responsables des conséquences négatives.

Les algorithmes et les données qui les animent sont conçus et créés par des personnes. Même pour des techniques telles que algorithmes génétiques qui évoluent d'eux-mêmes, ou algorithmes d'apprentissage automatique lorsque le modèle résultant n'a pas été fabriqué à la main par une personne, les résultats sont façonnés par des décisions de conception prises par l'homme, des règles sur ce qu'il faut optimiser et des choix sur les données de formation à utiliser. L'algorithme l'a fait n'est pas une excuse acceptable si les systèmes algorithmiques font des erreurs ou ont des conséquences indésirables.

La responsabilité implique l'obligation de signaler et de justifier la prise de décision algorithmique, et d'atténuer tout impact social négatif ou préjudice potentiel. Nous examinerons la responsabilité sous l'angle de cinq principes fondamentaux : responsabilité, explicabilité, exactitude, vérifiabilité et équité.

Responsabilité . Pour tout système algorithmique, il doit y avoir une personne ayant le pouvoir de traiter ses effets négatifs individuels ou sociétaux en temps opportun. Il ne s'agit pas d'une déclaration sur la responsabilité juridique, mais plutôt d'un accent sur les voies de recours, le dialogue public et l'autorité interne pour le changement. Cela peut être aussi simple que de donner à un membre de votre équipe technique le pouvoir et les ressources internes nécessaires pour modifier le système, en veillant à ce que les coordonnées de cette personne soient accessibles au public.

Explicabilité . Toute décision produite par un système algorithmique doit pouvoir être expliquée aux personnes concernées par ces décisions. Ces explications doivent être accessibles et compréhensibles pour le public cible ; les descriptions purement techniques ne conviennent pas au grand public. Expliquer les scores d'évaluation des risques aux accusés et à leur conseiller juridique favoriserait une meilleure compréhension et les aiderait à contester les erreurs apparentes ou les données erronées. Certains modèles d'apprentissage automatique sont plus explicable que d'autres, mais ce n'est pas parce qu'il y a un réseau neuronal sophistiqué impliqué qu'un explication ne peut pas être produit.

Précision . Les algorithmes font des erreurs, que ce soit à cause d'erreurs de données dans leurs entrées (garbage in, garbage out) ou d'incertitude statistique dans leurs sorties. Le principe de précision suggère que les sources d'erreur et d'incertitude dans un algorithme et ses sources de données doivent être identifiées, enregistrées et comparées. Comprendre la nature des erreurs produites par un système algorithmique peut éclairer les procédures d'atténuation.

Auditabilité . Le principe de auditabilité stipule que des algorithmes doivent être développés pour permettre à des tiers de sonder et d'examiner le comportement d'un algorithme. Permettre aux algorithmes d'être surveillés, vérifiés et critiqués conduirait à une conception plus consciente et à une correction de trajectoire en cas d'échec. Alors qu'il peut y avoir défis techniques en autorisant l'audit public tout en protégeant les informations exclusives, l'audit privé (comme en comptabilité) pourrait fournir une certaine assurance publique. Dans la mesure du possible, même un accès limité (par exemple, via une API) donnerait au public une chance précieuse de auditer ces sites socialement significatifs algorithmes.

Justice . Alors que les algorithmes prennent de plus en plus de décisions basées sur des données historiques et sociétales, les préjugés existants et les décisions humaines historiquement discriminatoires risquent de se transformer en décisions automatisées. Tous les algorithmes prenant des décisions concernant des individus doivent être évalués pour les effets discriminatoires. Les résultats de l'évaluation et les critères utilisés doivent être rendus publics et expliqués.

Il y a beaucoup de place pour adapter et interpréter ces principes à votre propre contexte, et bien sûr des préoccupations politiques, propriétaires ou commerciales interviendront. Mais nous pensons que la prise en compte de ces idées tout au long des cycles de conception, de mise en œuvre et de publication conduira à un déploiement plus socialement responsable des algorithmes dans la société.

Comment démarrer ? Nous décrivons quelques questions pragmatiques que l'équipe de produit et de développement peut résoudre pour former un déclaration d'impact social qui répond à ces principes .

Nicholas Diakopoulos est professeur adjoint à l'Université du Maryland, College Park. Sorelle Friedler est une n professeur adjoint au Haverford College et affilié au Data & Society Research Institute.

cacher