La façon dont nous formons l'IA est fondamentalement défectueuse

Getty Images

Ce n'est un secret pour personne que les modèles d'apprentissage automatique sont réglés et ajustés pour être presque parfaits performances en laboratoire échouent souvent dans des conditions réelles. Cela est généralement attribué à une inadéquation entre les données sur lesquelles l'IA a été formée et testée et les données qu'elle rencontre dans le monde, un problème connu sous le nom de décalage de données. Par exemple, une IA entraînée à repérer des signes de maladie sur des images médicales de haute qualité lutter avec des images floues ou recadrées capturé par une caméra bon marché dans une clinique très fréquentée.

Aujourd'hui, un groupe de 40 chercheurs répartis dans sept équipes différentes de Google a identifié une autre cause majeure de l'échec courant des modèles d'apprentissage automatique . Appelée sous-spécification, cela pourrait être un problème encore plus important que le déplacement des données. Nous demandons plus aux modèles d'apprentissage automatique que nous ne pouvons garantir avec notre approche actuelle, déclare Alex D'Amour, qui a dirigé l'étude.

Histoire connexe

L'IA médicale de Google était super précise dans un laboratoire. La vraie vie était une autre histoire. Si l'IA va vraiment faire une différence pour les patients, nous devons savoir comment elle fonctionne lorsque de vrais humains mettent la main dessus, dans des situations réelles.

La sous-spécification est un problème connu dans les statistiques, où les effets observés peuvent avoir de nombreuses causes possibles. D'Amour, qui a une formation en raisonnement causal, voulait savoir pourquoi ses propres modèles d'apprentissage automatique échouaient souvent dans la pratique. Il se demande si la sous-spécification pourrait être le problème ici aussi. D'Amour s'est vite rendu compte que beaucoup de ses collègues remarquaient le même problème dans leurs propres modèles. C'est en fait un phénomène qui se produit partout, dit-il.

L'enquête initiale de D'Amour a fait boule de neige et des dizaines de chercheurs de Google ont fini par examiner une gamme d'applications d'IA différentes, de la reconnaissance d'images à traitement du langage naturel (PNL) à prédiction de la maladie . Ils ont constaté que la sous-spécification était à l'origine de la mauvaise performance de chacun d'eux. Le problème réside dans la manière dont les modèles d'apprentissage automatique sont formés et testés, et il n'y a pas de solution simple.

Le papier est un boulet de démolition, déclare Brandon Rohrer, ingénieur en apprentissage automatique chez iRobot, qui travaillait auparavant chez Facebook et Microsoft et n'était pas impliqué dans les travaux.

Pareil mais différent

Pour comprendre exactement ce qui se passe, nous devons reculer un peu. En gros, la construction d'un modèle d'apprentissage automatique implique de l'entraîner sur un grand nombre d'exemples, puis de le tester sur un tas d'exemples similaires qu'il n'a pas encore vus. Lorsque le modèle réussit le test, vous avez terminé.

Ce que les chercheurs de Google soulignent, c'est que cette barre est trop basse. Le processus de formation peut produire de nombreux modèles différents qui réussissent tous le test, mais - et c'est la partie cruciale - ces modèles différeront de petites manières arbitraires, en fonction de choses comme les valeurs aléatoires données aux nœuds d'un réseau de neurones avant le début de la formation. , la manière dont les données d'entraînement sont sélectionnées ou représentées, le nombre d'exécutions d'entraînement, etc. Ces petites différences, souvent aléatoires, sont généralement ignorées si elles n'affectent pas le comportement d'un modèle au test. Mais il s'avère qu'ils peuvent entraîner d'énormes variations de performances dans le monde réel.

En d'autres termes, le processus utilisé pour construire la plupart des modèles d'apprentissage automatique aujourd'hui ne peut pas dire quels modèles fonctionneront dans le monde réel et lesquels ne le seront pas.

Ce n'est pas la même chose que le transfert de données, où la formation ne parvient pas à produire un bon modèle car les données de formation ne correspondent pas à des exemples réels. La sous-spécification signifie quelque chose de différent : même si un processus de formation peut produire un bon modèle, il peut toujours en cracher un mauvais car il ne saura pas faire la différence. Nous non plus.

Les chercheurs ont examiné l'impact de la sous-spécification sur un certain nombre d'applications différentes. Dans chaque cas, ils ont utilisé les mêmes processus de formation pour produire plusieurs modèles d'apprentissage automatique, puis ont soumis ces modèles à des tests de résistance conçus pour mettre en évidence des différences spécifiques dans leurs performances.

Histoire connexe

L'IA est aux prises avec une crise de réplication Les géants de la technologie dominent la recherche, mais la frontière entre la véritable percée et la vitrine du produit peut être floue. Certains scientifiques en ont assez.

Par exemple, ils ont formé 50 versions d'un modèle de reconnaissance d'images sur ImageNet , un ensemble de données d'images d'objets du quotidien. La seule différence entre les cycles d'entraînement était les valeurs aléatoires attribuées au réseau de neurones au départ. Pourtant, malgré les 50 modèles obtenant plus ou moins les mêmes résultats au test d'entraînement, ce qui suggère qu'ils étaient tout aussi précis, leurs performances variaient énormément dans le test d'effort.

Le test de résistance a utilisé ImageNet-C, un ensemble de données d'images d'ImageNet qui ont été pixélisées ou dont la luminosité et le contraste ont été modifiés, et ObjectNet , un ensemble de données d'images d'objets du quotidien dans des poses inhabituelles, telles que des chaises sur le dos, des théières à l'envers et des T-shirts suspendus à des crochets. Certains des 50 modèles se sont bien comportés avec des images pixélisées, certains ont bien réussi avec des poses inhabituelles; certains ont fait beaucoup mieux dans l'ensemble que d'autres. Mais en ce qui concerne le processus de formation standard, ils étaient tous les mêmes.

Les chercheurs ont mené des expériences similaires avec deux systèmes de PNL différents et trois IA médicales pour prédire les maladies oculaires à partir de scanners rétiniens, le cancer à partir de lésions cutanées et l'insuffisance rénale à partir des dossiers des patients. Chaque système avait le même problème : des modèles qui auraient dû être tout aussi précis ont fonctionné différemment lorsqu'ils ont été testés avec des données du monde réel, telles que différents scans rétiniens ou types de peau.

Nous pourrions avoir besoin de repenser la façon dont nous évaluons les réseaux de neurones, dit Rohrer. Cela creuse des lacunes importantes dans les hypothèses fondamentales que nous avons formulées.

D'Amour est d'accord. La conclusion la plus importante et immédiate est que nous devons faire beaucoup plus de tests, dit-il. Ce ne sera pas facile, cependant. Les tests de résistance ont été adaptés spécifiquement à chaque tâche, en utilisant des données tirées du monde réel ou des données imitant le monde réel. Ce n'est pas toujours disponible.

Certains tests de résistance sont également en contradiction les uns avec les autres : les modèles qui étaient bons pour reconnaître les images pixélisées étaient souvent mauvais pour reconnaître les images à contraste élevé, par exemple. Il n'est pas toujours possible de former un seul modèle qui réussit tous les tests de résistance.

Choix multiple

Une option consiste à concevoir une étape supplémentaire au processus de formation et de test, dans laquelle de nombreux modèles sont produits à la fois au lieu d'un seul. Ces modèles concurrents peuvent ensuite être testés à nouveau sur des tâches spécifiques du monde réel afin de sélectionner le meilleur pour le travail.

C'est beaucoup de travail. Mais pour une entreprise comme Google, qui construit et déploie de grands modèles, cela pourrait en valoir la peine, déclare Yannic Kilcher, chercheur en apprentissage automatique à l'ETH Zurich. Google pourrait proposer 50 versions différentes d'un modèle NLP et les développeurs d'applications pourraient choisir celle qui leur convient le mieux, dit-il.

D'Amour et ses collègues n'ont pas encore de solution, mais explorent des moyens d'améliorer le processus de formation. Nous devons nous améliorer pour spécifier exactement quelles sont nos exigences pour nos modèles, dit-il. Parce que souvent, ce qui finit par arriver, c'est que nous ne découvrons ces exigences qu'après que le modèle a échoué dans le monde.

Obtenir un correctif est essentiel si l'IA doit avoir autant d'impact à l'extérieur du laboratoire qu'à l'intérieur. Lorsque l'IA est sous-performante dans le monde réel, les gens sont moins disposés à l'utiliser, déclare la co-auteure Katherine Heller, qui travaille chez Google sur l'IA pour les soins de santé : nous avons perdu beaucoup de confiance en ce qui concerne les applications qui tuent , c'est une confiance importante que nous voulons regagner.

cacher