Le monde financier veut ouvrir les boîtes noires de l'IA

De puissantes méthodes d'apprentissage automatique ont pris d'assaut le monde de la technologie ces dernières années, améliorant considérablement la reconnaissance vocale et d'image, la traduction automatique et bien d'autres choses.

Aujourd'hui, ces techniques sont sur le point de bouleverser d'innombrables autres industries, y compris le monde de la finance. Mais les progrès peuvent être entravés par un problème important : il est souvent impossible d'expliquer comment ces algorithmes d'apprentissage en profondeur parviennent à une décision (voir The Dark Secret at the Heart of AI).

Adam Wenchel, vice-président de l'apprentissage automatique et de l'innovation des données chez Capital One, déclare que l'entreprise aimerait utiliser l'apprentissage en profondeur pour toutes sortes de fonctions, y compris décider à qui est accordée une carte de crédit. Mais il ne peut pas le faire car la loi oblige les entreprises à expliquer la raison d'une telle décision à un client potentiel. À la fin de l'année dernière, Capital One a créé une équipe de recherche, dirigée par Wenchel, dédiée à trouver des moyens de rendre ces techniques informatiques plus explicables.

Notre recherche vise à garantir que nous pouvons maintenir cette barre haute en matière d'explicabilité alors que nous poussons dans ces modèles beaucoup plus avancés et intrinsèquement plus opaques, dit-il.

L'apprentissage en profondeur est apparu au cours des cinq dernières années comme un moyen puissant d'imiter les capacités de perception humaines. L'approche implique la formation d'un très grand réseau de neurones pour reconnaître des modèles dans les données. Il s'inspire vaguement d'une théorie sur la façon dont les neurones et les synapses facilitent l'apprentissage. Bien que chaque neurone simulé soit simplement une fonction mathématique, la complexité de ces fonctions imbriquées rend le raisonnement d'un réseau profond extrêmement difficile à démêler.

Certaines autres techniques d'apprentissage automatique, y compris celles qui surpassent l'apprentissage en profondeur dans certains scénarios, sont beaucoup plus transparentes. Mais l'apprentissage en profondeur, qui permet des analyses sophistiquées utiles au secteur financier, peut être très difficile à interroger.

Certaines startups visent à exploiter les préoccupations concernant l'opacité des algorithmes existants en promettant d'utiliser des approches plus transparentes (voir An AI-Fueled Credit Formula Might Help You Get a Loan ).

Ce problème pourrait devenir plus important au cours des prochaines années à mesure que l'apprentissage en profondeur devient plus couramment utilisé et que les régulateurs se tournent vers la responsabilité algorithmique. Dès l'année prochaine, dans le cadre de son règlement général sur la protection des données, l'Union européenne pourra exiger de toute entreprise qu'elle soit en mesure d'expliquer une décision prise par l'un de ses algorithmes.

Le problème a également attiré l'attention de la Defense Advanced Research Projects Agency, qui effectue des recherches pour le département américain de la Défense. L'année dernière, la DARPA a lancé un effort pour financer des approches visant à rendre l'apprentissage automatique moins opaque (voir The U.S. Military Wants Autonomous Machines to Explain Themselves ). Les 13 projets sélectionnés pour un financement montrent une variété d'approches pour rendre les algorithmes plus transparents.

L'espoir est que l'apprentissage en profondeur puisse être utilisé pour aller au-delà de la simple correspondance des capacités de perception humaine. Une société de cartes de crédit pourrait, par exemple, alimenter un historique de crédit et d'autres données financières dans un réseau profond et le former pour reconnaître les personnes susceptibles de ne pas payer leurs cartes de crédit.

Capital One envisage également l'apprentissage en profondeur comme un moyen de détecter automatiquement les frais frauduleux de manière plus fiable, dit Wenchel, bien que l'entreprise hésite à faire confiance à un tel système lorsque son raisonnement ne peut pas être examiné. Nous opérons dans une industrie fortement réglementée, dit-il. Nous devons être capables d'expliquer à la fois en interne et aux gens pourquoi nous prenons des décisions. Et assurez-vous que nous prenons des décisions pour les bonnes raisons.

L'apprentissage en profondeur est un très grand mot à la mode en ce moment, et il y a eu de grands progrès dans la vision par ordinateur et le traitement du langage naturel, dit Trevor Darell , professeur à l'UC Berkeley qui dirige l'un des projets sélectionnés pour un financement de la DARPA. Mais [les systèmes d'apprentissage en profondeur] sont critiqués parce qu'il est parfois difficile de comprendre ce qui se passe à l'intérieur.

Pour le projet DARPA, le groupe de Darrell développe plusieurs nouvelles approches d'apprentissage en profondeur, y compris des réseaux profonds plus complexes capables d'apprendre plusieurs choses simultanément. Il existe également des approches qui incluent une explication dans les données d'entraînement : dans le cas du sous-titrage d'image, par exemple, une image classée comme un chat serait associée à une explication de la raison pour laquelle elle a été classée comme telle. La même approche pourrait être utilisée pour classer les frais de carte de crédit comme frauduleux. Toutes ces choses nous amènent à des réseaux profonds plus interprétables, dit Darrell.

cacher