Trop de chercheurs en IA pensent que les problèmes du monde réel ne sont pas pertinents

Mme Tech | Getty

Tout chercheur qui se concentre sur l'application de l'apprentissage automatique à des problèmes du monde réel a probablement reçu une réponse comme celle-ci : les auteurs présentent une solution à un problème original et très motivant, mais il s'agit d'une application et l'importance semble limitée pour l'apprentissage automatique. communauté.

Ces mots sont directement tirés d'une critique que j'ai reçue pour un article que j'ai soumis au Conférence NeurIPS (Neural Information Processing Systems) , un haut lieu de la recherche sur l'apprentissage automatique. J'ai vu le refrain maintes et maintes fois dans des critiques d'articles où mes coauteurs et moi avons présenté une méthode motivée par une application, et j'ai entendu des histoires similaires d'innombrables autres.

Cela me fait me demander : si la communauté estime que viser à résoudre des problèmes du monde réel à fort impact avec l'apprentissage automatique est d'une importance limitée, alors qu'essayons-nous d'accomplir ?

le objectif de l'intelligence artificielle (pdf) est de repousser les frontières de l'intelligence artificielle. Dans le domaine de l'apprentissage automatique, un nouveau développement signifie généralement un nouvel algorithme ou une nouvelle procédure, ou, dans le cas de l'apprentissage en profondeur, une nouvelle architecture de réseau. Comme d'autres l'ont souligné, cette concentration excessive sur les nouvelles méthodes conduit à un fléau d'articles qui rapportent améliorations marginales ou progressives sur des ensembles de données de référence et exposer une bourse défectueuse (pdf) alors que les chercheurs se précipitent pour dominer classement .

Pendant ce temps, de nombreux articles décrivant de nouvelles applications présentent à la fois de nouveaux concepts et des résultats à fort impact. Mais même un soupçon du mot application semble gâcher le papier pour les examinateurs. En conséquence, ces recherches sont marginalisées lors des grandes conférences. Le seul véritable espoir de leurs auteurs est de faire accepter leurs articles dans des ateliers, qui reçoivent rarement la même attention de la part de la communauté.

C'est un problème car l'apprentissage automatique est très prometteur pour faire progresser la santé, l'agriculture, les découvertes scientifiques, etc. La première image d'un trou noir a été produit à l'aide de l'apprentissage automatique. Le plus précis prédictions des structures protéiques , une étape importante pour la découverte de médicaments, sont réalisées à l'aide de l'apprentissage automatique. Si d'autres dans le domaine avaient donné la priorité aux applications du monde réel, quelles autres découvertes révolutionnaires aurions-nous faites à ce jour ?

Ce n'est pas une nouvelle révélation. Pour citer un article classique intitulé L'apprentissage automatique qui compte (pdf) , par un informaticien de la NASA Wagstaff gauche F : Une grande partie de la recherche actuelle sur l'apprentissage automatique a perdu son lien avec les problèmes d'importance pour le monde plus large de la science et de la société. La même année que Wagstaff a publié son article, un réseau neuronal convolutif appelé AlexNet a remporté un concours de grande envergure pour la reconnaissance d'images centrée sur le populaire ImageNet ensemble de données, ce qui a suscité une explosion d'intérêt pour l'apprentissage en profondeur . Malheureusement, la déconnexion qu'elle a décrite semble s'être encore aggravée depuis lors.

Les mauvaises questions

La marginalisation de la recherche appliquée a des conséquences réelles. Ensembles de données de référence, tels que ImageNet ou NOIX DE COCO , ont joué un rôle clé dans l'avancement de l'apprentissage automatique. Ils permettent aux algorithmes de s'entraîner et d'être comparés sur les mêmes données. Cependant, ces ensembles de données contenir les préjugés qui peuvent être intégrés dans les modèles résultants.

Plus de la moitié des images dans ImageNet (pdf) viennent des États-Unis et de Grande-Bretagne, par exemple. Ce déséquilibre conduit les systèmes à classer de manière inexacte les images dans des catégories qui diffèrent par géographie (pdf) . Ensembles de données de visage populaires, tels que le Base de données de visages AT&T , contiennent principalement des sujets masculins à la peau claire, ce qui conduit à des systèmes qui ont du mal à reconnaître visages noirs et féminins .

Alors que les chercheurs tentent de se surpasser sur des critères artificiels, une personne sur neuf dans le monde meurt de faim.

Lorsque les études sur les applications réelles de l'apprentissage automatique sont exclues du courant dominant, il est difficile pour les chercheurs de voir l'impact de leurs modèles biaisés, ce qui rend beaucoup moins probable qu'ils travailleront pour résoudre ces problèmes.

L'une des raisons pour lesquelles la recherche d'applications est minimisée pourrait être que d'autres dans l'apprentissage automatique pensent que ce travail consiste simplement à appliquer des méthodes qui existent déjà. En réalité, cependant, l'adaptation des outils d'apprentissage automatique à des problèmes spécifiques du monde réel nécessite un travail algorithmique et d'ingénierie important. Les chercheurs en apprentissage automatique qui ne réalisent pas cela et s'attendent à ce que les outils fonctionnent sur étagère finissent souvent par créer des modèles inefficaces. Soit ils évaluent les performances d'un modèle à l'aide de mesures qui ne se traduisent pas par un impact réel, soit ils choisissent complètement la mauvaise cible.

Par exemple, la plupart des études appliquant l'apprentissage en profondeur à l'analyse des échocardiogrammes tentent de surpasser la capacité d'un médecin à prédire la maladie. Mais prédire Ordinaire fonction cardiaque (pdf) permettrait en fait aux cardiologues de gagner plus de temps en identifiant les patients qui n'ont pas besoin de leur expertise. De nombreuses études appliquant le machine learning à la viticulture visent à optimiser les rendements de raisin (pdf) , mais les viticulteurs veulent les bons niveaux de sucre et d'acide, pas seulement beaucoup de grosses baies aqueuses, explique Drake Whitcraft de Vignoble Whitcraft en Californie.

Plus de mal que de bien

Une autre raison pour laquelle la recherche sur les applications devrait être importante pour intégrer l'apprentissage automatique est que les ensembles de données de référence du domaine sont terriblement déconnectés de la réalité.

Les nouveaux modèles d'apprentissage automatique sont mesurés par rapport à de grands ensembles de données organisés qui manquent de bruit et ont des catégories bien définies et explicitement étiquetées (chat, chien, oiseau). L'apprentissage en profondeur fonctionne bien pour ces problèmes parce qu'il suppose un monde largement stable (pdf) .

Mais dans le monde réel, ces catégories changent constamment dans le temps ou selon le contexte géographique et culturel. Malheureusement, la réponse n'a pas été de développer de nouvelles méthodes qui répondent aux difficultés des données du monde réel ; au lieu de cela, les chercheurs en applications ont été poussés à créer leurs propres ensembles de données de référence.

Le but de ces efforts est essentiellement d'insérer des problèmes du monde réel dans le paradigme que d'autres chercheurs en apprentissage automatique utilisent pour mesurer les performances. Mais les ensembles de données spécifiques à un domaine ne seront probablement pas meilleurs que les versions existantes pour représenter des scénarios du monde réel. Les résultats pourraient faire plus de mal que de bien. Les gens qui auraient pu être aidés par les travaux de ces chercheurs seront déçus par les technologies qui des résultats médiocres quand ça compte le plus.

En raison des priorités erronées du domaine, les personnes qui tentent de résoudre les plus grands défis du monde ne bénéficient pas autant qu'elles le pourraient de la promesse très réelle de l'IA. Alors que les chercheurs essaient de se surpasser sur des critères artificiels, une personne sur neuf dans le monde est affamé . La Terre se réchauffe et le niveau de la mer monte à un rythme alarmant.

En tant que neuroscientifique et leader d'opinion en IA, Gary Marcus une fois écrit (pdf) : Les plus grandes contributions de l'IA à la société… pourraient et devraient finalement se situer dans des domaines tels que la découverte scientifique automatisée, conduisant entre autres à des versions de la médecine beaucoup plus sophistiquées que ce qui est actuellement possible. Mais pour y arriver, nous devons nous assurer que le champ dans son ensemble ne reste pas bloqué dans un minimum local.

Pour que le monde bénéficie de l'apprentissage automatique, la communauté doit à nouveau se demander, comme Wagstaff l'a dit un jour : quelle est la fonction objectif du champ ? Si la réponse est d'avoir un impact positif dans le monde, nous devons changer notre façon de penser les applications.

Hannah Kerner est professeur assistant de recherche à l'Université du Maryland à College Park. Elle étudie les méthodes d'apprentissage automatique pour les applications de télédétection dans la surveillance agricole et la sécurité alimentaire dans le cadre du Récolte de la NASA programme.

cacher