Pourquoi demander à une IA de s'expliquer peut aggraver les choses

Frogger sur le point de parler MS Tech / Getty

Upol Ehsan a déjà fait un tour d'essai dans une voiture autonome Uber. Au lieu de s'inquiéter du siège du conducteur vide, les passagers anxieux ont été encouragés à regarder un écran de tétine qui montrait la vue d'une voiture sur la route : les dangers indiqués en orange et en rouge, les zones de sécurité en bleu froid.

Pour Ehsan , qui étudie la façon dont les humains interagissent avec l'IA au Georgia Institute of Technology d'Atlanta, le message visé était clair : ne paniquez pas, c'est pourquoi la voiture fait ce qu'elle fait. Mais quelque chose dans la scène de rue aux allures extraterrestres a souligné l'étrangeté de l'expérience plutôt que de la rassurer. Cela a fait réfléchir Ehsan : et si la voiture autonome pouvait vraiment s'expliquer d'elle-même ?

Le succès de l'apprentissage en profondeur est dû au bricolage : les meilleurs réseaux de neurones sont modifiés et adaptés pour en faire de meilleurs, et les résultats pratiques ont dépassé la compréhension théorique. Par conséquent, les détails du fonctionnement d'un modèle formé sont généralement inconnus. Nous en sommes venus à les considérer comme des boîtes noires.

La plupart du temps, nous sommes d'accord avec cela lorsqu'il s'agit de jouer à Go ou de traduire du texte ou de choisir la prochaine émission Netflix sur laquelle se gaver. Mais si l'IA doit être utilisée pour aider à prendre des décisions en matière d'application de la loi, de diagnostic médical et de voitures sans conducteur, nous devons comprendre comment elle parvient à ces décisions et savoir quand elles sont erronées.

Les gens ont besoin du pouvoir de ne pas être d'accord avec ou de rejeter une décision automatisée, dit Iris Howley , informaticien au Williams College de Williamstown, Massachusetts. Sans cela, les gens repousseront la technologie. Vous pouvez voir cela se jouer en ce moment avec la réponse du public aux systèmes de reconnaissance faciale, dit-elle.

Ehsan fait partie d'un groupe restreint mais croissant de chercheurs qui tentent d'aider les IA à mieux s'expliquer, pour nous aider à regarder à l'intérieur de la boîte noire. L'objectif de l'IA dite interprétable ou explicable (XAI) est d'aider les gens à comprendre quelles caractéristiques des données un réseau de neurones apprend réellement, et donc si le modèle résultant est précis et impartial.

Une solution consiste à construire des systèmes d'apprentissage automatique qui montrent leur fonctionnement : l'IA dite glassbox, par opposition à la boîte noire. Les modèles Glassbox sont généralement des versions très simplifiées d'un réseau neuronal dans lequel il est plus facile de suivre l'impact de différentes données sur le modèle.

Il y a des gens dans la communauté qui préconisent l'utilisation de modèles glassbox dans n'importe quel contexte à enjeux élevés, dit Jennifer Wortman Vaughan , informaticien chez Microsoft Research. Je suis largement d'accord. Les modèles de boîte de verre simples peuvent fonctionner aussi bien que les réseaux de neurones plus complexes sur certains types de données structurées, telles que les tableaux de statistiques. Pour certaines applications, c'est tout ce dont vous avez besoin.

Mais cela dépend du domaine. Si nous voulons apprendre à partir de données désordonnées comme des images ou du texte, nous sommes coincés avec des réseaux de neurones profonds et donc opaques. La capacité de ces réseaux à établir des connexions significatives entre un très grand nombre d'éléments disparates est liée à leur complexité.

Même ici, l'apprentissage automatique glassbox pourrait aider. Une solution consiste à effectuer deux passages sur les données, en formant un modèle glassbox imparfait comme étape de débogage pour découvrir les erreurs potentielles que vous voudrez peut-être corriger. Une fois les données nettoyées, un modèle de boîte noire plus précis peut être formé.

C'est un équilibre délicat, cependant. Trop de transparence peut entraîner une surcharge d'informations. Dans un étalon 2018 Oui En examinant comment les utilisateurs non experts interagissent avec les outils d'apprentissage automatique, Vaughan a découvert que les modèles transparents peuvent en fait rendre plus difficile la détection et la correction des erreurs du modèle.

Une autre approche consiste à inclure des visualisations qui montrent quelques propriétés clés du modèle et de ses données sous-jacentes. L'idée est que vous pouvez voir les problèmes graves en un coup d'œil. Par exemple, le modèle pourrait trop s'appuyer sur certaines caractéristiques, ce qui pourrait signaler un biais.

Ces outils de visualisation se sont avérés incroyablement populaires depuis peu de temps. Mais aident-ils vraiment ? Dans le première étude de ce genre , Vaughan et son équipe ont tenté de le découvrir et ont exposé de sérieux problèmes.

L'équipe a pris deux outils d'interprétabilité populaires qui donnent un aperçu d'un modèle via des graphiques et des tracés de données, mettant en évidence les éléments que le modèle d'apprentissage automatique a le plus retenus lors de la formation. Onze professionnels de l'IA ont été recrutés au sein de Microsoft, tous différents en termes de formation, de rôles et d'expérience. Ils ont participé à une simulation d'interaction avec un modèle d'apprentissage automatique formé sur un ensemble de données sur le revenu national tiré du recensement américain de 1994. L'expérience a été conçue spécifiquement pour imiter la façon dont les scientifiques des données utilisent les outils d'interprétabilité dans les types de tâches auxquelles ils sont régulièrement confrontés.

Ce que l'équipe a trouvé était frappant. Bien sûr, les outils ont parfois aidé les gens à repérer les valeurs manquantes dans les données. Mais cette utilité a été éclipsée par une tendance à trop faire confiance et à mal interpréter les visualisations. Dans certains cas, les utilisateurs ne pouvaient même pas décrire ce que les visualisations montraient. Cela a conduit à des hypothèses incorrectes sur l'ensemble de données, les modèles et les outils d'interprétabilité eux-mêmes. Et cela a instillé une fausse confiance dans les outils qui ont rendu les participants plus enthousiastes à l'idée de déployer les modèles, même lorsqu'ils sentaient que quelque chose n'allait pas. Fait inquiétant, cela était vrai même lorsque la sortie avait été manipulée pour montrer des explications qui n'avaient aucun sens.

Pour étayer les résultats de leur petite étude auprès des utilisateurs, les chercheurs ont ensuite mené une enquête en ligne auprès d'environ 200 professionnels de l'apprentissage automatique recrutés via des listes de diffusion et les médias sociaux. Ils ont trouvé une confusion similaire et une confiance mal placée.

Pire encore, de nombreux participants étaient heureux d'utiliser les visualisations pour prendre des décisions sur le déploiement du modèle malgré l'admission qu'ils ne comprenaient pas les mathématiques derrière eux. Il était particulièrement surprenant de voir des gens justifier des bizarreries dans les données en créant des récits qui les expliquaient, dit Harmanpreet Kaur à l'Université du Michigan, co-auteur de l'étude. Le biais d'automatisation était un facteur très important que nous n'avions pas pris en compte.

Ah, le biais d'automatisation. En d'autres termes, les gens sont prêts à faire confiance aux ordinateurs. Ce n'est pas nouveau phénomène . En ce qui concerne les systèmes automatisés, des pilotes automatiques d'avion aux correcteurs orthographiques, des études ont montré que les humains acceptent souvent les choix qu'ils font même lorsqu'ils se trompent manifestement. Mais lorsque cela se produit avec des outils conçus pour nous aider à éviter ce phénomène, nous avons un problème encore plus grave.

Que pouvons-nous y faire? Pour certains, une partie du problème avec la première vague de XAI est qu'elle est dominée par des chercheurs en apprentissage automatique, dont la plupart sont des utilisateurs experts des systèmes d'IA. Dit Tim Miller de l'Université de Melbourne, qui étudie comment les humains utilisent les systèmes d'IA : Les détenus dirigent l'asile.

C'est ce qu'Ehsan a réalisé assis à l'arrière de l'Uber sans conducteur. Il est plus facile de comprendre ce que fait un système automatisé - et de voir quand il commet une erreur - s'il donne les raisons de ses actions comme le ferait un humain. Ehsan et son collègue Marc Riedl développent un système d'apprentissage automatique qui génère automatiquement de telles justifications en langage naturel . Dans un premier prototype, la paire a pris un réseau de neurones qui avait appris à jouer au jeu vidéo classique des années 1980 Frogger et l'a formé pour fournir une raison à chaque fois qu'il bougeait.

Capture d'écran du logiciel d'explication Frogger d'Ehsan et Riedl Upol Ehsan

Pour ce faire, ils ont montré au système de nombreux exemples d'humains jouant au jeu tout en parlant à haute voix de ce qu'ils faisaient. Ils ont ensuite pris un réseau de neurones pour traduire entre deux langues naturelles et l'ont adapté pour traduire à la place entre les actions dans le jeu et les justifications en langage naturel de ces actions. Désormais, lorsque le réseau de neurones voit une action dans le jeu, il la traduit en une explication. Le résultat est une IA jouant à Frogger qui dit des choses comme je me déplace vers la gauche pour rester derrière le camion bleu à chaque fois qu'il bouge.

Le travail d'Ehsan et Riedl n'est qu'un début. D'une part, il n'est pas clair si un système d'apprentissage automatique sera toujours en mesure de fournir une justification en langage naturel pour ses actions. Prenez le jeu de société AI AlphaZero de DeepMind. L'une des caractéristiques les plus frappantes du logiciel est sa capacité à effectuer des mouvements gagnants que la plupart des joueurs humains ne penseraient pas essayer à ce stade d'une partie. Si AlphaZero était capable d'expliquer ses mouvements, auraient-ils toujours un sens ?

Les raisons nous aident à les comprendre ou non, dit Ehsan : L'objectif de XAI centré sur l'humain n'est pas seulement de faire accepter à l'utilisateur ce que dit l'IA, c'est aussi de provoquer la réflexion. Riedl se souvient d'avoir regardé la diffusion en direct du match du tournoi entre l'IA de DeepMind et le champion coréen de go Lee Sedol. Les commentateurs parlaient de ce qu'AlphaGo voyait et pensait. 'Ce n'était pas comme ça qu'AlphaGo fonctionnait', explique Riedl. 'Mais j'ai senti que le commentaire était essentiel pour comprendre ce qui se passait.'

Ce sur quoi cette nouvelle vague de chercheurs de XAI s'accorde, c'est que si les systèmes d'IA doivent être utilisés par plus de personnes, ces personnes doivent faire partie de la conception dès le départ - et différentes personnes ont besoin de différents types d'explications. (Cela est étayé par une nouvelle étude de Howley et de ses collègues, dans laquelle ils montrent que la capacité des gens à comprendre une visualisation interactive ou statique dépend de leur niveau d'éducation.) Pensez à une IA de diagnostic du cancer, dit Ehsan. Vous voudriez que l'explication qu'il donne à un oncologue soit très différente de l'explication qu'il donne au patient.

En fin de compte, nous voulons que les IA s'expliquent non seulement aux scientifiques des données et aux médecins, mais aussi aux policiers utilisant la technologie de reconnaissance faciale, aux enseignants utilisant des logiciels d'analyse dans leurs salles de classe, aux étudiants essayant de donner un sens à leurs flux de médias sociaux et à toute personne assise à l'arrière. d'une voiture autonome. Nous avons toujours su que les gens faisaient trop confiance à la technologie, et c'est particulièrement vrai avec les systèmes d'IA, déclare Riedl. Plus vous dites que c'est intelligent, plus les gens sont convaincus que c'est plus intelligent qu'eux.

Des explications que tout le monde peut comprendre devraient aider à faire éclater cette bulle.

cacher