Qu'est-ce qu'un algorithme ? Ça dépend à qui tu demandes

Getty

Décrire un système décisionnel comme un algorithme est souvent un moyen de détourner la responsabilité des décisions humaines. Pour beaucoup, le terme implique un ensemble de règles basées objectivement sur des preuves ou des données empiriques. Cela suggère également un système extrêmement complexe, peut-être si complexe qu'un humain aurait du mal à comprendre son fonctionnement interne ou à anticiper son comportement lorsqu'il est déployé.

Mais cette caractérisation est-elle exacte ? Pas toujours.

Par exemple, fin décembre, la mauvaise attribution des vaccins contre le covid-19 par le Stanford Medical Center a été imputée à un algorithme de distribution qui favorisait les administrateurs de haut rang par rapport aux médecins de première ligne. L'hôpital a affirmé avoir consulté des éthiciens pour concevoir son algorithme très complexe, qui, selon un représentant, ne fonctionnait clairement pas correctement, car Examen de la technologie MIT rapporté à l'époque. Alors que de nombreuses personnes ont interprété l'utilisation du terme comme signifiant que l'IA ou l'apprentissage automatique étaient impliqués, le système était en fait un algorithme médical, qui est fonctionnellement différent. Cela ressemblait plus à une formule très simple ou à un arbre de décision conçu par un comité humain.

Cette déconnexion met en évidence un problème croissant. À mesure que les modèles prédictifs prolifèrent, le public devient plus méfiant quant à leur utilisation pour prendre des décisions critiques. Mais à mesure que les décideurs commencent à élaborer des normes pour évaluer et auditer algorithmes, ils doivent d'abord définir la classe d'outils d'aide à la décision ou d'aide à la décision auxquels s'appliqueront leurs politiques. Laisser le terme algorithme ouvert à l'interprétation pourrait placer certains des modèles ayant le plus grand impact hors de portée des politiques conçues pour garantir que ces systèmes ne nuisent pas aux gens.

Comment identifier un algorithme

L'algorithme de Stanford est-il donc un algorithme ? Cela dépend de la façon dont vous définissez le terme. Bien qu'il n'y ait pas de définition universellement acceptée, une commune vient de un manuel de 1971 écrit par l'informaticien Harold Stone, qui déclare : Un algorithme est un ensemble de règles qui définissent précisément une séquence d'opérations. Cette définition englobe tout, des recettes aux réseaux de neurones complexes : une politique d'audit basée sur celle-ci serait ridiculement large.

Dans les statistiques et l'apprentissage automatique, nous considérons généralement l'algorithme comme l'ensemble d'instructions qu'un ordinateur exécute pour apprendre à partir de données. Dans ces champs, les informations structurées résultantes sont généralement appelées un modèle. Les informations que l'ordinateur apprend à partir des données via l'algorithme peuvent ressembler à des poids par lesquels multiplier chaque facteur d'entrée, ou cela peut être beaucoup plus compliqué. La complexité de l'algorithme lui-même peut également varier. Et les impacts de ces algorithmes dépendent in fine des données auxquelles ils sont appliqués et du contexte dans lequel le modèle résultant est déployé. Le même algorithme pourrait avoir un impact positif net lorsqu'il est appliqué dans un contexte et un effet très différent lorsqu'il est appliqué dans un autre.

Histoire connexe

C'est l'algorithme du vaccin de Stanford qui a laissé de côté les médecins de première ligne Le CHU a mis en cause un algorithme très complexe pour son plan inégal de distribution des vaccins. Voici ce qui a mal tourné.

Dans d'autres domaines, ce qui est décrit ci-dessus comme un modèle est lui-même appelé un algorithme. Bien que ce soit déroutant, selon la définition la plus large, c'est également exact : les modèles sont des règles (appris par l'algorithme de formation de l'ordinateur au lieu d'être énoncées directement par les humains) qui définissent une séquence d'opérations. Par exemple, l'année dernière au Royaume-Uni, les médias ont décrit l'échec d'un algorithme d'attribuer des notes équitables aux étudiants qui n'ont pas pu passer leurs examens à cause du covid-19. Assurément, ce dont parlaient ces rapports était le modèle - l'ensemble d'instructions qui traduisait les entrées (les performances passées d'un élève ou l'évaluation d'un enseignant) en sorties (un score).

Ce qui semble s'être passé à Stanford, c'est que des humains - y compris des éthiciens - se sont assis et ont déterminé quelle série d'opérations le système devrait utiliser pour déterminer, sur la base d'entrées telles que l'âge et le service d'un employé, si cette personne devrait être parmi les premières. pour se faire vacciner. D'après ce que nous savons, cette séquence n'était pas basée sur une procédure d'estimation optimisée pour une cible quantitative. Il s'agissait d'un ensemble de décisions normatives sur la manière dont les vaccins devaient être priorisés, formalisées dans le langage d'un algorithme. Cette approche est qualifiée d'algorithme dans la terminologie médicale et au sens large, même si la seule intelligence impliquée était celle de l'homme.

Concentrez-vous sur l'impact, pas sur la contribution

Les législateurs se penchent également sur ce qu'est un algorithme. Introduit au Congrès américain en 2019, HR2291 , ou l'Algorithmic Accountability Act, utilise le terme système de prise de décision automatisé et le définit comme un processus informatique, y compris un processus dérivé de l'apprentissage automatique, des statistiques ou d'autres techniques de traitement de données ou d'intelligence artificielle, qui prend une décision ou facilite la prise de décision humaine, qui impacte les consommateurs.

Histoire connexe

Les auditeurs testent les algorithmes d'embauche pour détecter les biais, mais il n'y a pas de solution simple

Les audits d'IA peuvent ignorer certains types de biais et ne vérifient pas nécessairement qu'un outil de recrutement sélectionne les meilleurs candidats pour un poste.

De même, la ville de New York envisage International 1894 , une loi qui introduirait des audits obligatoires des outils automatisés de décision en matière d'emploi, définis comme tout système dont la fonction est régie par la théorie statistique, ou les systèmes dont les paramètres sont définis par de tels systèmes. Notamment, les deux projets de loi rendent obligatoires les vérifications, mais ne fournissent que des lignes directrices de haut niveau sur ce qu'est une vérification.

Alors que les décideurs du gouvernement et de l'industrie créent des normes pour les audits algorithmiques, des désaccords sur ce qui compte comme un algorithme sont probables. Plutôt que d'essayer de s'entendre sur une définition commune d'« algorithme » ou sur une technique d'audit universelle particulière, nous suggérons d'évaluer les systèmes automatisés principalement en fonction de leur impact. En nous concentrant sur les résultats plutôt que sur les intrants, nous évitons les débats inutiles sur la complexité technique. Ce qui compte, c'est le potentiel de préjudice, qu'il s'agisse d'une formule algébrique ou d'un réseau neuronal profond.

L'impact est un facteur d'évaluation critique dans d'autres domaines. Il est intégré au classique PEUR framework de cybersécurité, qui a été popularisé pour la première fois par Microsoft au début des années 2000 et qui est toujours utilisé dans certaines entreprises. Le A dans DREAD demande aux évaluateurs de menaces de quantifier les utilisateurs affectés en demandant combien de personnes subiraient l'impact d'une vulnérabilité identifiée. Les évaluations d'impact sont également courantes dans les analyses des droits de l'homme et de la durabilité, et nous avons vu certains des premiers développeurs d'évaluations d'impact de l'IA créer des rubriques similaires. Par exemple, le Canada Évaluation d'impact algorithmique fournit un score basé sur des questions qualitatives telles que Les clients de ce secteur d'activité sont-ils particulièrement vulnérables ? (Oui ou non).

Ce qui compte, c'est le potentiel de préjudice, qu'il s'agisse d'une formule algébrique ou d'un réseau neuronal profond.

Il y a certainement des difficultés à introduire un terme vaguement défini tel que l'impact dans toute évaluation. Le framework DREAD a ensuite été complété ou remplacé par STRIDE, en partie à cause de défis avec la réconciliation de différentes croyances sur ce qu'implique la modélisation des menaces. Microsoft a cessé d'utiliser DREAD en 2008.

Dans le domaine de l'IA, des conférences et des revues ont déjà introduit des déclarations d'impact avec plus ou moins de succès et de controverse. C'est loin d'être infaillible : les évaluations d'impact qui sont purement stéréotypées peuvent facilement être manipulées, tandis qu'une définition trop vague peut conduire à des évaluations arbitraires ou incroyablement longues.

C'est quand même une avancée importante. Le terme algorithme, quelle que soit sa définition, ne devrait pas être un bouclier pour absoudre les humains qui ont conçu et déployé tout système de la responsabilité des conséquences de son utilisation. C'est pourquoi le public exige de plus en plus une responsabilité algorithmique - et le concept d'impact offre un terrain d'entente utile pour différents groupes travaillant à répondre à cette demande.

Kristian Lum est professeur-chercheur adjoint au département informatique et sciences de l'information de l'université de Pennsylvanie.

Rumman Chowdhury est le directeur de l'équipe Machine Ethics, Transparency, and Accountability (META) chez Twitter. Elle était auparavant PDG et fondatrice de Parity, une plateforme d'audit algorithmique, et responsable mondiale de l'IA responsable chez Accenture.

cacher