L'armée américaine veut que ses machines autonomes s'expliquent

Les agents de renseignement et les agents militaires peuvent en venir à s'appuyer fortement sur l'apprentissage automatique pour analyser d'énormes quantités de données et contrôler un arsenal croissant de systèmes autonomes. Mais l'armée américaine veut s'assurer que cela ne mène pas à une confiance aveugle dans un algorithme.

La Defense Advanced Research Projects Agency (DARPA), une division du ministère de la Défense qui explore les nouvelles technologies, finance plusieurs projets qui visent à faire s'expliquer l'intelligence artificielle. Les approches vont de l'ajout de systèmes d'apprentissage automatique supplémentaires visant à fournir une explication, au développement de nouvelles approches d'apprentissage automatique qui intègrent une élucidation par conception.

Nous avons maintenant cette véritable explosion de l'IA, déclare David Gunning, le responsable du programme DARPA qui finance un effort pour développer des techniques d'IA qui incluent une explication de leur raisonnement. La raison en est principalement l'apprentissage automatique, et l'apprentissage en profondeur en particulier.

L'apprentissage en profondeur et d'autres techniques d'apprentissage automatique ont pris d'assaut la Silicon Valley, améliorant considérablement la reconnaissance vocale et la classification des images, et ils sont utilisés dans de plus en plus de contextes, y compris des domaines comme l'application de la loi et la médecine, où les conséquences d'une erreur peuvent sois sérieux. Mais alors que l'apprentissage en profondeur est incroyablement efficace pour trouver des modèles dans les données, il peut être impossible de comprendre comment il parvient à une conclusion. Le processus d'apprentissage est mathématiquement très complexe et il n'y a souvent aucun moyen de le traduire en quelque chose qu'une personne comprendrait.

Et bien que l'apprentissage en profondeur soit particulièrement difficile à interpréter, d'autres techniques d'apprentissage automatique peuvent également être difficiles. Ces modèles sont très opaques et difficiles à interpréter pour les gens, surtout s'ils ne sont pas un expert en IA, dit Gunning.

L'apprentissage en profondeur est particulièrement cryptique en raison de son incroyable complexité. Il s'inspire grosso modo du processus par lequel les neurones d'un cerveau apprennent en réponse à une entrée. De nombreuses couches de neurones et de synapses simulés sont des données étiquetées et leur comportement est réglé jusqu'à ce qu'ils apprennent à reconnaître, par exemple, un chat sur une photo. Mais le modèle appris par le système est codé dans les poids de plusieurs millions de neurones, et est donc très difficile à examiner. Lorsqu'un réseau d'apprentissage en profondeur reconnaît un chat, par exemple, il n'est pas clair si le système peut se concentrer sur les moustaches, les oreilles ou même la couverture du chat dans une image.

Souvent, cela n'a pas beaucoup d'importance si un modèle d'apprentissage automatique est opaque, mais ce n'est pas vrai pour un officier du renseignement essayant d'identifier une cible potentielle. Il y a certaines applications critiques pour lesquelles vous avez besoin d'explications, dit Gunning.

Gunning ajoute que l'armée développe d'innombrables systèmes autonomes qui s'appuieront sans aucun doute fortement sur des techniques d'apprentissage automatique comme l'apprentissage en profondeur. Les véhicules autonomes, ainsi que les drones aériens, seront de plus en plus utilisés dans les années à venir, dit-il, et ils deviendront de plus en plus capables.

L'explicabilité n'est pas seulement importante pour justifier les décisions. Cela peut aider à éviter que les choses tournent mal. Un système de classification d'images qui a appris à se concentrer uniquement sur la texture pour la classification des chats pourrait être trompé par un tapis à fourrure. Ainsi, offrir une explication pourrait aider les chercheurs à rendre leurs systèmes plus robustes et aider à empêcher ceux qui s'y fient de faire des erreurs.

La DARPA finance 13 groupes de recherche différents, qui poursuivent une gamme d'approches pour rendre l'IA plus explicable.

Une équipe sélectionnée pour le financement provient de Charles River Analytics, une société qui développe des outils de haute technologie pour divers clients, dont l'armée américaine. Cette équipe explore de nouveaux systèmes d'apprentissage en profondeur qui intègrent une explication, comme ceux qui mettent en évidence les zones d'une image qui semblent les plus pertinentes pour une classification. Les chercheurs expérimentent également des interfaces informatiques qui rendent le fonctionnement des systèmes d'apprentissage automatique plus explicite avec des données, des visualisations et même des explications en langage naturel.

Xia Hu , professeur à la Texas A&M University qui dirige une autre des équipes choisies pour le financement, affirme que le problème est également important dans d'autres domaines où l'apprentissage automatique est adopté, comme la médecine, le droit et l'éducation. Sans une sorte d'explication ou de raisonnement, les experts du domaine ne feront pas confiance aux résultats, dit Hu. C'est la principale raison pour laquelle de nombreux experts du domaine refusent d'adopter l'apprentissage automatique ou l'apprentissage en profondeur.

cacher