Vous vous inquiétez de l'éthique de votre entreprise en matière d'IA ? Ces startups sont là pour vous aider.

Getty

Le travail de Rumman Chowdhury impliquait beaucoup de traduction. En tant que responsable de l'IA au sein de la société de conseil Accenture, elle travaillait avec des clients qui avaient du mal à comprendre leurs modèles d'IA. Comment savaient-ils si les modèles faisaient ce qu'ils étaient censés faire ? La confusion est souvent survenue en partie parce que les scientifiques des données, les avocats et les dirigeants de l'entreprise semblaient parler des langues différentes. Son équipe agirait comme intermédiaire afin que toutes les parties puissent être sur la même longueur d'onde. C'était pour le moins inefficace : l'audit d'un seul modèle pouvait prendre des mois.

Ainsi, fin 2020, Chowdhury a quitté son poste pour démarrer sa propre entreprise. Appelé Parity AI , il offre aux clients un ensemble d'outils qui visent à réduire le processus à quelques semaines. Il les aide d'abord à identifier comment ils veulent auditer leur modèle (est-ce pour des raisons de partialité ou de conformité légale ?), puis fournit des recommandations pour résoudre le problème.

La parité fait partie d'un nombre croissant de startups promettant aux organisations des moyens de développer, de surveiller et de corriger leurs modèles d'IA. Ils offrent une gamme de produits et de services allant des outils d'atténuation des biais aux plateformes d'explicabilité. Au départ, la plupart de leurs clients provenaient de secteurs fortement réglementés comme la finance et les soins de santé. Mais l'augmentation de la recherche et de l'attention des médias sur problèmes de partialité , la confidentialité et la transparence ont déplacé le centre de la conversation. Les nouveaux clients sont souvent simplement soucieux d'être responsables, tandis que d'autres veulent se préparer à l'avenir en prévision de la réglementation.

Tant d'entreprises sont vraiment confrontées à cela pour la première fois, dit Chowdhury. Presque tous demandent de l'aide.

Du risque à l'impact

Lorsqu'il travaille avec de nouveaux clients, Chowdhury évite d'utiliser le terme responsabilité. Le mot est trop spongieux et mal défini; cela laisse trop de place aux malentendus. Elle commence plutôt par un jargon d'entreprise plus familier : l'idée de risque. De nombreuses entreprises disposent de services de gestion des risques et de conformité et ont établi des processus d'atténuation des risques.

L'atténuation des risques liés à l'IA n'est pas différente. Une entreprise devrait commencer par considérer les différentes choses qui l'inquiètent. Ceux-ci peuvent inclure le risque juridique, la possibilité d'enfreindre la loi ; le risque organisationnel, la possibilité de perdre des employés ; ou le risque de réputation, la possibilité de subir un désastre de relations publiques. À partir de là, il peut revenir en arrière pour décider comment auditer ses systèmes d'IA. Une société financière, opérant dans le cadre des lois sur les prêts équitables aux États-Unis, souhaiterait vérifier si ses modèles de prêt sont biaisés afin d'atténuer le risque juridique. Une entreprise de télésanté, dont les systèmes s'entraînent sur des données médicales sensibles, peut effectuer des audits de confidentialité pour atténuer le risque de réputation.

Parity comprend une bibliothèque de questions suggérées pour aider les entreprises à évaluer le risque de leurs modèles d'IA.

PARITÉ

La parité aide à organiser ce processus. La plate-forme demande d'abord à une entreprise de créer une évaluation d'impact interne, essentiellement un ensemble de questions d'enquête ouvertes sur le fonctionnement de son entreprise et de ses systèmes d'IA. Il peut choisir d'écrire des questions personnalisées ou de les sélectionner dans la bibliothèque de Parity, qui contient plus de 1 000 invites adaptées des directives d'éthique de l'IA et de la législation pertinente du monde entier. Une fois l'évaluation construite, les employés de l'entreprise sont encouragés à la remplir en fonction de leur fonction et de leurs connaissances. La plate-forme exécute ensuite leurs réponses en texte libre via un modèle de traitement du langage naturel et les traduit en tenant compte des principaux domaines de risque de l'entreprise. En d'autres termes, la parité sert de nouvel intermédiaire pour mettre les scientifiques des données et les avocats sur la même longueur d'onde.

Ensuite, la plateforme recommande un ensemble correspondant d'actions d'atténuation des risques. Celles-ci peuvent inclure la création d'un tableau de bord pour surveiller en permanence la précision d'un modèle ou la mise en œuvre de nouvelles procédures de documentation pour suivre la façon dont un modèle a été formé et affiné à chaque étape de son développement. Il propose également une collection de frameworks et d'outils open source qui pourraient aider, comme IBM Équité IA 360 pour la surveillance des biais ou Cartes modèles de Google pour les documents.

Chowdhury espère que si les entreprises peuvent réduire le temps nécessaire pour auditer leurs modèles, elles deviendront plus disciplinées pour le faire régulièrement et souvent. Au fil du temps, espère-t-elle, cela pourrait également les ouvrir à une réflexion au-delà de l'atténuation des risques. Mon objectif sournois est en fait de faire en sorte que davantage d'entreprises réfléchissent à l'impact et pas seulement au risque, dit-elle. Le risque est le langage que les gens comprennent aujourd'hui, et c'est un langage très précieux, mais le risque est souvent réactif et réactif. L'impact est plus proactif, et c'est en fait la meilleure façon de définir ce que nous devrions faire.

Un écosystème de responsabilité

Alors que Parity se concentre sur la gestion des risques, une autre startup, Violoneux , met l'accent sur l'explicabilité. Le PDG Krishna Gade a commencé à réfléchir à la nécessité d'une plus grande transparence dans la façon dont les modèles d'IA prennent des décisions tout en occupant le poste de responsable technique de l'équipe du fil d'actualité de Facebook. Après l'élection présidentielle de 2016, l'entreprise a fait un gros effort interne pour mieux comprendre comment ses algorithmes classaient le contenu. L'équipe de Gade a développé un outil interne qui est devenu plus tard la base du Pourquoi est-ce que je vois ceci? caractéristique .

Histoire connexe

Cinq façons de faire de l'IA une plus grande force pour le bien en 2021 L'influence de l'IA fait l'objet de plus d'attention que jamais. Faisons en sorte que ça compte.

Gade a lancé Fiddler peu de temps après, en octobre 2018. Il aide les équipes de science des données à suivre l'évolution des performances de leurs modèles et crée des rapports de haut niveau pour les dirigeants d'entreprise en fonction des résultats. Si la précision d'un modèle se détériore avec le temps ou s'il présente des comportements biaisés, Fiddler aide à déboguer pourquoi cela pourrait se produire. Gade considère les modèles de surveillance et l'amélioration de l'explicabilité comme les premières étapes pour développer et déployer l'IA de manière plus intentionnelle.

Arthur , fondée en 2019, et Pondérations et biais , fondées en 2017, sont deux autres sociétés qui proposent des plateformes de surveillance. Comme Fiddler, Arthur met l'accent sur l'explicabilité et l'atténuation des biais, tandis que Weights & Biases suit les expériences d'apprentissage automatique pour améliorer la recherche. reproductibilité . Les trois entreprises ont observé une évolution progressive des principales préoccupations des entreprises, de la conformité légale ou de la performance des modèles à l'éthique et à la responsabilité.

La partie cynique de moi craignait au début que nous voyions des clients entrer et penser qu'ils pouvaient simplement cocher une case en associant leur marque à quelqu'un d'autre faisant de l'IA responsable, déclare Liz O'Sullivan, vice-présidente de l'IA responsable d'Arthur, qui est également directeur technologique du Surveillance Technology Oversight Project, une organisation militante. Mais de nombreux clients d'Arthur ont cherché à penser au-delà des simples solutions techniques à leurs structures de gouvernance et à leurs approches de la conception inclusive. C'est tellement excitant de voir qu'ils s'investissent vraiment pour faire ce qu'il faut, dit-elle.

O’Sullivan et Chowdhury sont également ravis de voir plus de startups comme la leur arriver en ligne. Il n'y a pas qu'un seul outil ou une seule chose que vous devez faire pour faire de l'IA responsable, dit O'Sullivan. Chowdury est d'accord : ça va être un écosystème.

cacher