Nous devons concevoir la méfiance envers les systèmes d'IA pour les rendre plus sûrs

avec l'aimable autorisation de l'ACM

Ayanna Howard a toujours cherché à utiliser des robots et l'IA pour aider les gens. Au cours de ses près de 30 ans de carrière, elle a construit d'innombrables robots : pour explorer Mars, pour nettoyer les déchets dangereux et pour aider les enfants ayant des besoins spéciaux. Au cours de ce processus, elle a développé une gamme impressionnante de techniques de manipulation robotique, de navigation autonome et de vision par ordinateur. Et elle est à la pointe de l'étude d'une erreur courante commise par les humains : nous accordons trop de confiance aux systèmes automatisés.

Le 12 mai, l'Association for Computing Machinery a décerné à Howard le Athena Lecturer Award de cette année, qui récompense les femmes qui ont apporté une contribution fondamentale à l'informatique. L'organisation a honoré non seulement la liste impressionnante de réalisations scientifiques d'Howard, mais aussi sa passion et son engagement à redonner à sa communauté. Depuis qu'elle est une technologue réputée, elle a également créé et dirigé de nombreux programmes visant à accroître la participation et la rétention des jeunes femmes et des minorités sous-représentées dans le domaine.

En mars, après 16 ans en tant que professeur au Georgia Institute of Technology, elle a commencé un nouveau poste de doyen du collège d'ingénierie de l'Ohio State University. Elle est la première femme à occuper ce poste. Le jour où elle a reçu le prix ACM, j'ai parlé à Howard de sa carrière et de ses dernières recherches.

Ce qui suit a été modifié pour plus de longueur et de clarté.

J'ai remarqué que vous utilisez le terme intelligence humanisée pour décrire votre recherche, au lieu d'intelligence artificielle. Pourquoi donc?

Oui, j'ai commencé à utiliser cela dans un article en 2004. Je réfléchissais à la raison pour laquelle nous travaillons sur l'intelligence pour la robotique et les systèmes d'IA. Ce n'est pas que nous voulions créer ces fonctionnalités intelligentes en dehors de nos interactions avec les gens. Nous sommes motivés par l'expérience humaine, les données humaines, les apports humains. L'intelligence artificielle implique qu'il s'agit d'un type d'intelligence différent, tandis que l'intelligence humanisée dit qu'elle est intelligente mais motivée par la construction humaine. Et cela signifie que lorsque nous créons ces systèmes, nous veillons également à ce qu'ils respectent également certaines de nos valeurs sociétales.

Comment êtes-vous entré dans ce travail ?

Il a été principalement motivé par ma recherche de doctorat. A cette époque, je travaillais sur la formation d'un robot manipulateur pour éliminer les dangers dans un hôpital. C'était à l'époque où vous n'aviez pas ces beaux endroits sûrs pour mettre des aiguilles. Les aiguilles ont été jetées dans la même poubelle que tout le reste, et il y a eu des cas où le personnel hospitalier est tombé malade. Alors je pensais à : comment concevez-vous des robots pour aider dans cet environnement ?

Donc très tôt, il s'agissait de construire des robots utiles à l'homme. Et c'était reconnaître que nous ne savions pas comment construire des robots pour faire très bien certaines de ces tâches. Mais les gens les font tout le temps, alors imitons la façon dont les gens le font. C'est comme ça que ça a commencé.

Ensuite, je travaillais avec la NASA et j'essayais de réfléchir à la future navigation du rover martien. Et encore une fois, c'était comme : les scientifiques peuvent faire ça vraiment, vraiment bien. Je demanderais donc aux scientifiques de télé-opérer ces rovers et de regarder ce qu'ils voyaient sur les caméras de ces rovers, puis d'essayer de corréler leur conduite en fonction de cela. C'était toujours le thème : pourquoi n'irais-je pas simplement voir les experts humains, coder ce qu'ils font dans un algorithme, puis faire en sorte que le robot le comprenne ?

À l'époque, d'autres personnes pensaient-elles et parlaient-elles de l'IA et de la robotique de cette manière centrée sur l'humain ? Ou étiez-vous une valeur aberrante étrange?

Oh, j'étais une valeur aberrante totalement bizarre. Je regardais les choses différemment des autres. Et à l'époque, il n'y avait pas de guide sur la façon de faire ce genre de recherche. En fait, quand je repense maintenant à la façon dont j'ai fait la recherche, je le ferais totalement différemment. Il y a toute cette expérience et ces connaissances qui sont sorties depuis sur le terrain.

À quel moment êtes-vous passé de la réflexion sur la construction de robots qui aident les humains à une réflexion plus approfondie sur la relation entre les robots et les humains ?

Elle était largement motivée par cette étudier nous l'avons fait sur l'évacuation d'urgence et la confiance des robots. Ce que nous voulions voir, c'est que lorsque les humains se trouvent dans une situation à haut risque et urgente, feront-ils confiance aux conseils d'un robot ? Nous avons donc amené des gens dans un immeuble de bureaux abandonné hors du campus, et ils ont été accueillis par un robot guide touristique. Nous avons inventé une histoire sur le robot et sur la façon dont ils devaient répondre à une enquête, ce genre de chose. Pendant qu'ils étaient là, nous avons rempli le bâtiment de fumée et déclenché l'alarme incendie.

Nous voulions donc voir, alors qu'ils sortaient, se dirigeraient-ils vers la porte d'entrée, se dirigeraient-ils vers le panneau de sortie, ou suivraient-ils les conseils du robot les conduisant dans une direction différente ?

Nous pensions que les gens se dirigeraient vers la porte d'entrée parce que c'était par là qu'ils entraient, et des recherches antérieures ont montré que lorsque les gens sont dans une situation d'urgence, ils ont tendance à aller là où ils sont familiers. Ou nous pensions qu'ils suivraient les panneaux de sortie, car c'est un comportement entraîné. Mais les participants ont fait ne pas fais ça. Ils suivent en fait les conseils du robot.

Ensuite, nous avons introduit quelques erreurs. Nous avons fait tomber le robot en panne, nous l'avons fait tourner en rond, nous l'avons fait vous emmener dans une direction qui vous obligeait à déplacer des meubles. Nous pensions qu'à un moment donné, l'humain dirait : Laissez-moi aller à la porte d'entrée, ou laissez-moi aller au panneau de sortie juste là. Cela nous a littéralement menés jusqu'à la toute fin avant que les gens n'arrêtent de suivre les conseils du robot.

C'était la première fois que nos hypothèses étaient totalement fausses. C'était comme, je ne peux pas croire que les gens font confiance au système comme ça. C'est intéressant et fascinant, et c'est un problème.

Depuis cette expérience, avez-vous vu ce phénomène reproduit dans le monde réel ?

Chaque fois que je vois un accident de Tesla. Surtout les plus anciens. J'étais comme, Ouais, ça y est. Les gens font trop confiance à ces systèmes. Et je me souviens qu'après le tout premier, qu'ont-ils fait ? Ils étaient comme, maintenant, vous devez tenir le volant pendant quelque chose comme des incréments de cinq secondes. Si vous n'avez pas la main sur le volant, le système se désactivera.

Mais, vous savez, ils ne sont jamais venus me parler, ni à mon groupe, parce que ça ne marchera pas. Et pourquoi cela ne fonctionne pas, c'est parce qu'il est très facile de jouer avec le système. Si vous regardez votre téléphone portable et que vous entendez le bip, vous venez de lever la main, n'est-ce pas ? C'est inconscient. Vous ne faites toujours pas attention. Et c'est parce que vous pensez que le système va bien et que vous pouvez toujours faire ce que vous faisiez : lire un livre, regarder la télévision ou regarder votre téléphone. Cela ne fonctionne donc pas parce qu'ils n'ont pas augmenté le niveau de risque ou d'incertitude, d'incrédulité ou de méfiance. Ils n'ont pas suffisamment augmenté pour que quelqu'un se réengage.

Histoire connexe

Quand les algorithmes se trompent, l'humain le plus proche est blâmé Un regard sur des études de cas historiques nous montre comment nous gérons la responsabilité des systèmes automatisés.

Il est intéressant que vous parliez de la façon dont, dans ce genre de scénarios, vous devez activement concevoir la méfiance dans le système pour le rendre plus sûr.

Oui, c'est ce que tu dois faire. Nous tentons actuellement une expérience autour de l'idée de déni de service. Nous n'avons pas encore de résultats et nous sommes aux prises avec des préoccupations éthiques. Parce qu'une fois que nous en aurons parlé et publié les résultats, nous devrons expliquer pourquoi parfois vous ne voudrez peut-être pas non plus donner à l'IA la possibilité de refuser un service. Comment supprimer le service si quelqu'un en a vraiment besoin ?

Mais voici un exemple avec la méfiance de Tesla. Le déni de service serait : je crée un profil de votre confiance, ce que je peux faire en fonction du nombre de fois que vous avez désactivé ou désengagé de tenir le volant. Compte tenu de ces profils de désengagement, je peux alors modéliser à quel point vous êtes pleinement dans cet état de confiance. Nous l'avons fait, non pas avec les données de Tesla, mais avec nos propres données. Et à un certain moment, la prochaine fois que vous montez dans la voiture, vous obtenez un déni de service. Vous n'avez pas accès au système pendant X période de temps.

C'est presque comme quand on punit un adolescent en lui enlevant son téléphone. Vous savez que les adolescents ne feront pas ce que vous ne voudriez pas qu'ils fassent si vous le liez à leur mode de communication.

Quels sont les autres mécanismes que vous avez explorés pour renforcer la méfiance à l'égard des systèmes ?

L'autre méthodologie que nous avons explorée est grossièrement appelée IA explicable, où le système fournit une explication concernant certains de ses risques ou incertitudes. Parce que tous ces systèmes ont une incertitude - aucun d'entre eux n'est à 100 %. Et un système sait quand il est incertain. Cela pourrait donc fournir ces informations d'une manière compréhensible pour un humain, afin que les gens modifient leur comportement.

Par exemple, disons que je suis une voiture autonome, que j'ai toutes mes informations cartographiques et que je sais que certaines intersections sont plus sujettes aux accidents que d'autres. Alors que nous nous approchons de l'un d'eux, je dirais : Nous approchons d'un carrefour où 10 personnes sont mortes l'année dernière. Tu l'expliques d'une manière où ça fait partir quelqu'un, Oh, attends, peut-être que je devrais être plus conscient.

Nous avons déjà parlé de certaines de vos préoccupations concernant notre tendance à faire trop confiance à ces systèmes. Quels sont les autres ? D'un autre côté, y a-t-il aussi des avantages?

Les négatifs sont vraiment liés au biais. C'est pourquoi je parle toujours de partialité et de confiance de manière interchangeable. Parce que si je fais trop confiance à ces systèmes et que ces systèmes prennent des décisions qui ont des résultats différents pour différents groupes d'individus - disons, un système de diagnostic médical a des différences entre les femmes et les hommes - nous créons maintenant des systèmes qui augmentent les inégalités que nous avons actuellement . C'est un problème. Et lorsque vous l'associez à des éléments liés à la santé ou au transport, qui peuvent tous deux conduire à des situations de vie ou de mort, une mauvaise décision peut en fait conduire à quelque chose dont vous ne pouvez pas vous remettre. Alors il faut vraiment y remédier.

Les points positifs sont que les systèmes automatisés sont meilleurs que les gens en général. Je pense qu'ils peuvent être même mieux, mais personnellement, je préfère interagir avec un système d'IA dans certaines situations que certains humains dans d'autres situations. Par exemple, je sais qu'il y a des problèmes, mais donnez-moi l'IA. Donnez-moi le robot. Ils ont plus de données; ils sont plus précis. Surtout si vous avez une personne novice. C'est un meilleur résultat. Il se peut que le résultat ne soit pas égal.

En plus de vos recherches sur la robotique et l'IA, vous avez été un grand partisan de l'augmentation de la diversité dans le domaine tout au long de votre carrière. Il y a 20 ans, vous avez lancé un programme de mentorat pour les filles à risque du premier cycle du secondaire, bien avant que beaucoup de gens ne réfléchissent à cette question. Pourquoi est-ce important pour vous, et pourquoi est-ce aussi important pour le terrain ?

C'est important pour moi parce que je peux identifier les moments de ma vie où quelqu'un m'a essentiellement donné accès à l'ingénierie et à l'informatique. Je ne savais même pas que c'était un truc. Et c'est vraiment pourquoi plus tard, je n'ai jamais eu de problème à savoir que je pouvais le faire. Et donc j'ai toujours pensé que c'était juste ma responsabilité de faire la même chose pour ceux qui l'ont fait pour moi. En vieillissant aussi, j'ai remarqué qu'il y avait beaucoup de gens qui ne me ressemblaient pas dans la pièce. Alors j'ai réalisé: Attendez, il y a définitivement un problème ici, parce que les gens n'ont tout simplement pas les modèles, ils n'y ont pas accès, ils ne savent même pas que c'est une chose.

Et pourquoi c'est important pour le domaine, c'est parce que tout le monde a une expérience différente. Tout comme j'avais pensé à l'interaction homme-robot avant même que ce soit une chose. Ce n'était pas parce que j'étais brillant. C'est parce que j'ai regardé le problème d'une manière différente. Et quand je parle à quelqu'un qui a un point de vue différent, c'est comme, Oh, essayons de combiner et de comprendre le meilleur des deux mondes.

Les airbags tuent plus de femmes et d'enfants. Pourquoi donc? Eh bien, je vais dire que c'est parce que quelqu'un n'était pas dans la pièce pour dire, Hé, pourquoi ne testons-nous pas cela sur des femmes assises à l'avant ? Il y a un tas de problèmes qui ont tué ou ont été dangereux pour certains groupes de personnes. Et je dirais que si vous y retournez, c'est parce que vous n'aviez pas assez de gens pour dire Hey, avez-vous pensé à ça ? parce qu'ils parlent de leur propre expérience et de leur environnement et de leur communauté.

Comment espérez-vous que la recherche sur l'IA et la robotique évoluera avec le temps ? Quelle est votre vision du terrain ?

Si vous pensez au codage et à la programmation, à peu près tout le monde peut le faire. Il y a tellement d'organisations comme Code.org maintenant. Les ressources et les outils sont là. J'adorerais avoir une conversation avec un étudiant un jour où je lui demanderais, connaissez-vous l'IA et l'apprentissage automatique ? et ils disent, Dr H, je fais ça depuis la troisième année ! Je veux être choqué comme ça, parce que ce serait merveilleux. Bien sûr, il faudrait que je réfléchisse à mon prochain travail, mais c'est une toute autre histoire.

Mais je pense que lorsque vous avez les outils avec le codage, l'IA et l'apprentissage automatique, vous pouvez créer vos propres emplois, vous pouvez créer votre propre avenir, vous pouvez créer votre propre solution. Ce serait mon rêve.

cacher