L'IA est aux prises avec une crise de réplication

Les géants de la technologie dominent la recherche, mais la frontière entre la véritable percée et la vitrine du produit peut être floue. Certains scientifiques en ont assez.





  • Will Douglas paradis page d'archives
12 novembre 2020

Le mois dernier, Nature a publié un réponse accablante écrit par 31 scientifiques à un étude de Google Santé qui avait paru dans le journal plus tôt cette année. Google décrivait des essais réussis d'une IA qui recherchait des signes de cancer du sein dans des images médicales. Mais selon ses détracteurs, l'équipe de Google a fourni si peu d'informations sur son code et sur la manière dont il a été testé que l'étude n'était rien de plus qu'une promotion de la technologie propriétaire.

Nous n'en pouvions plus, dit Benjamin Haibe-Kains, l'auteur principal de la réponse, qui étudie la génomique computationnelle à l'Université de Toronto. Il ne s'agit pas de cette étude en particulier - c'est une tendance à laquelle nous assistons depuis plusieurs années maintenant et qui a commencé à vraiment nous déranger.

Haibe-Kains et ses collègues font partie d'un nombre croissant de scientifiques qui s'opposent à un manque perçu de transparence dans la recherche sur l'IA. Lorsque nous avons vu cet article de Google, nous avons réalisé qu'il s'agissait d'un autre exemple d'une revue très médiatisée publiant une étude très intéressante qui n'a rien à voir avec la science, dit-il. C'est plus une publicité pour une technologie cool. On ne peut vraiment rien faire avec.



La science repose sur un socle de confiance, ce qui implique généralement de partager suffisamment de détails sur la manière dont la recherche est menée pour permettre à d'autres de la reproduire, en vérifiant les résultats par eux-mêmes. C'est ainsi que la science s'auto-corrige et élimine les résultats qui ne tiennent pas debout. La réplication permet également à d'autres de s'appuyer sur ces résultats, contribuant ainsi à faire progresser le domaine. La science qui ne peut pas être reproduite tombe au bord du chemin.

Du moins, c'est l'idée. En pratique, peu d'études sont entièrement répliquées car la plupart des chercheurs sont plus intéressés à produire de nouveaux résultats qu'à reproduire les anciens. Mais dans des domaines comme la biologie et la physique - et l'informatique en général - les chercheurs sont généralement censés fournir les informations nécessaires pour refaire des expériences, même si ces reprises sont rares.

Noob ambitieux

L'IA ressent la chaleur pour plusieurs raisons. Pour commencer, c'est un nouveau venu. Il n'est vraiment devenu une science expérimentale qu'au cours de la dernière décennie, explique Joelle Pineau, informaticienne chez Facebook AI Research et à l'Université McGill, coauteur de la plainte. Auparavant, c'était théorique, mais nous menons de plus en plus d'expériences, dit-elle. Et notre dévouement à une méthodologie solide est en retard par rapport à l'ambition de nos expériences.



Le problème n'est pas simplement académique. Un manque de transparence empêche les nouveaux modèles et techniques d'IA d'être correctement évalués pour leur robustesse, leur biais et leur sécurité. L'IA passe rapidement des laboratoires de recherche aux applications du monde réel, avec un impact direct sur la vie des gens. Mais les modèles d'apprentissage automatique qui fonctionnent bien en laboratoire peuvent échouer dans la nature, avec des conséquences potentiellement dangereuses. La réplication par différents chercheurs dans différents contextes exposerait les problèmes plus tôt, rendant l'IA plus forte pour tout le monde.

Histoire connexe

Intelligence artificielle générale : sommes-nous proches, et est-il même judicieux d'essayer ?

Une machine qui pourrait penser comme une personne a été la vision directrice de la recherche sur l'IA depuis les premiers jours et reste son idée la plus controversée.

L'IA souffre déjà du problème de la boîte noire : il peut être impossible de dire exactement comment ou pourquoi un modèle d'apprentissage automatique produit les résultats qu'il produit. Un manque de transparence dans la recherche aggrave les choses. Les grands modèles ont besoin d'autant d'yeux que possible, plus de personnes les testent et déterminent ce qui les fait vibrer. C'est ainsi que nous rendons l'IA dans les soins de santé plus sûre, l'IA dans une police plus juste , et les chatbots moins haineux.



Ce qui empêche la réplication de l'IA de se produire comme il se doit, c'est le manque d'accès à trois choses : le code, les données et le matériel. Selon le Rapport sur l'état de l'IA 2020 , une analyse annuelle bien vérifiée du domaine par les investisseurs Nathan Benaich et Ian Hogarth, seulement 15% des études sur l'IA partagent leur code. Les chercheurs de l'industrie sont de plus grands contrevenants que ceux affiliés aux universités. En particulier, le rapport appelle OpenAI et DeepMind pour garder le code secret.

Ensuite, il y a le fossé grandissant entre les nantis et les démunis en ce qui concerne les deux piliers de l'IA, les données et le matériel. Les données sont souvent propriétaires, comme les informations que Facebook recueille sur ses utilisateurs, ou sensibles, comme dans le cas des dossiers médicaux personnels. Et les géants de la technologie effectuent de plus en plus de recherches sur d'énormes grappes d'ordinateurs coûteuses auxquelles peu d'universités ou de petites entreprises ont les moyens d'accéder.

Pour prendre un exemple, la formation du générateur de langage GPT-3 est estimé avoir coûté OpenAI 10 à 12 millions de dollars - et ce n'est que le modèle final, sans compter le coût de développement et de formation de ses prototypes. Vous pourriez probablement multiplier ce chiffre par au moins un ou deux ordres de grandeur, déclare Benaich, fondateur d'Air Street Capital, une société de capital-risque qui investit dans des startups d'IA. Seule une infime poignée de grandes entreprises technologiques peuvent se permettre de faire ce genre de travail, dit-il : Personne d'autre ne peut simplement consacrer d'énormes budgets à ces expériences.



Le rythme des progrès est vertigineux, avec des milliers d'articles publiés chaque année. Mais à moins que les chercheurs ne sachent à qui faire confiance, il est difficile pour le domaine d'avancer. La réplication permet à d'autres chercheurs de vérifier que les résultats n'ont pas été triés sur le volet et que les nouvelles techniques d'IA fonctionnent vraiment comme décrit. Il devient de plus en plus difficile de dire quels sont les résultats fiables et lesquels ne le sont pas, dit Pineau.

Ce qui peut être fait? Comme de nombreux chercheurs en IA, Pineau partage son temps entre les laboratoires universitaires et les laboratoires d'entreprise. Depuis quelques années, elle est à l'origine d'un changement dans la publication des recherches sur l'IA. Par exemple, l'année dernière, elle a aidé à introduire une liste de contrôle des éléments que les chercheurs doivent fournir, y compris le code et les descriptions détaillées des expériences, lorsqu'ils soumettent des articles à NeurIPS, l'une des plus grandes conférences sur l'IA.

La réplication est sa propre récompense

Pineau a également aidé à lancer une poignée de défis de reproductibilité, dans lesquels les chercheurs tentent de reproduire les résultats d'études publiées. Les participants sélectionnent les articles qui ont été acceptés à une conférence et rivalisent pour relancer les expériences en utilisant les informations fournies. Mais le seul prix, ce sont les félicitations.

Ce manque d'incitation est un obstacle à de tels efforts dans toutes les sciences, pas seulement en IA. La réplication est essentielle, mais elle n'est pas récompensée. Une solution consiste à demander aux élèves de faire le travail. Depuis quelques années, Rosemary Ke, étudiante au doctorat à Mila, un institut de recherche à Montréal fondé par Yoshua Bengio, organise une défi de reproductibilité où les étudiants tentent de reproduire des études soumises à NeurIPS dans le cadre de leur cours d'apprentissage automatique. À leur tour, certaines réplications réussies sont évaluées par des pairs et publiées dans la revue ReScience.

Il faut beaucoup d'efforts pour reproduire un autre papier à partir de zéro, dit Ke. Le défi de la reproductibilité reconnaît cet effort et donne du crédit aux personnes qui font du bon travail. Ke et d'autres font également passer le mot lors de conférences sur l'IA via des ateliers mis en place pour encourager les chercheurs à rendre leur travail plus transparent. Cette année, Pineau et Ke ont étendu le défi de la reproductibilité à sept des principales conférences sur l'IA, dont l'ICML et l'ICLR.

Une autre poussée vers la transparence est la Papiers avec code projet, mis en place par le chercheur en intelligence artificielle Robert Stojnic lorsqu'il était à l'Université de Cambridge. (Stojnic est maintenant un collègue de Pineau sur Facebook.) Lancé en tant que site Web autonome où les chercheurs pouvaient lier une étude au code qui l'accompagnait, Papers with Code a commencé cette année une collaboration avec arXiv, un serveur de prépublication populaire. Depuis octobre, tous les articles d'apprentissage automatique sur arXiv sont accompagnés d'une section Articles avec code qui renvoie directement au code que les auteurs souhaitent mettre à disposition. L'objectif est de faire du partage la norme.

Ces efforts font-ils une différence ? Pineau a constaté que l'année dernière, lorsque la liste de contrôle a été introduite, le nombre de chercheurs incluant du code avec des articles soumis à NeurIPS a bondi de moins de 50% à environ 75% . Des milliers d'examinateurs disent avoir utilisé le code pour évaluer les soumissions. Et le nombre de participants aux défis de la reproductibilité augmente.

Transpirer les détails

Mais ce n'est qu'un début. Haibe-Kains souligne que le code seul n'est souvent pas suffisant pour relancer une expérience. La construction de modèles d'IA implique de faire de nombreux petits changements, en ajoutant des paramètres ici, en ajustant des valeurs là. N'importe lequel d'entre eux peut faire la différence entre un modèle qui fonctionne et qui ne fonctionne pas. Sans métadonnées décrivant comment les modèles sont entraînés et ajustés, le code peut être inutile. Le diable est vraiment dans les détails, dit-il.

Il n'est pas non plus toujours clair exactement quel code partager en premier lieu. De nombreux laboratoires utilisent un logiciel spécial pour exécuter leurs modèles ; c'est parfois propriétaire. Il est difficile de savoir quelle quantité de ce code de support doit également être partagée, explique Haibe-Kains.

Pineau ne s'inquiète pas trop de ces obstacles. Nous devrions avoir des attentes très élevées en matière de partage de code, dit-elle. Le partage de données est plus délicat, mais il existe également des solutions. Si les chercheurs ne peuvent pas partager leurs données, ils peuvent donner des instructions afin que d'autres puissent créer des ensembles de données similaires. Ou vous pourriez avoir un processus où un petit nombre d'auditeurs indépendants ont accès aux données, vérifiant les résultats pour tout le monde, dit Haibe-Kains.

Le matériel est le plus gros problème. Mais DeepMind affirme que la recherche à gros budget comme AlphaGo ou GPT-3 a un effet de ruissellement, où l'argent dépensé par les laboratoires riches conduit finalement à des résultats qui profitent à tout le monde. L'IA, inaccessible aux autres chercheurs à ses débuts, car elle nécessite beaucoup de puissance de calcul, est souvent rendue plus efficace - et donc plus accessible - au fur et à mesure de son développement. AlphaGo Zero a dépassé l'AlphaGo original en utilisant beaucoup moins de ressources de calcul, déclare Koray Kavukcuoglu, vice-président de la recherche chez DeepMind.

En théorie, cela signifie que même si la réplication est retardée, au moins elle est toujours possible. Kavukcuoglu note que Gian-Carlo Pascutto, un codeur belge de Mozilla qui écrit des logiciels d'échecs et de Go pendant son temps libre, a pu recréer une version d'AlphaGo Zero appelée Leela Zero, en utilisant des algorithmes décrits par DeepMind dans ses articles. Pineau pense également que les recherches phares comme AlphaGo et GPT-3 sont rares. La majorité de la recherche sur l'IA est exécutée sur des ordinateurs qui sont disponibles pour le laboratoire moyen, dit-elle. Et le problème n'est pas propre à l'IA. Pineau et Benaich pointent tous deux vers la physique des particules, où certaines expériences ne peuvent être réalisées que sur des équipements coûteux tels que le Large Hadron Collider.

En physique, cependant, les laboratoires universitaires mènent des expériences conjointes sur le LHC. Les grandes expériences d'IA sont généralement menées sur du matériel détenu et contrôlé par des entreprises. Mais même cela est en train de changer, dit Pineau. Par exemple, un groupe appelé Calcul Canada met en place des grappes informatiques pour permettre aux universités de mener de grandes expériences d'IA. Certaines entreprises, dont Facebook, accordent également aux universités un accès limité à leur matériel. Ce n'est pas tout à fait là, dit-elle. Mais certaines portes s'ouvrent.

Haibe-Kains est moins convaincu. Lorsqu'il a demandé à l'équipe de Google Health de partager le code de son IA de dépistage du cancer, on lui a dit qu'elle avait besoin de plus de tests. L'équipe répète cette justification dans un réponse formelle aux critiques de Haibe-Kains, également publiées dans Nature : Nous avons l'intention de soumettre notre logiciel à des tests approfondis avant son utilisation dans un environnement clinique, en travaillant aux côtés des patients, des fournisseurs et des régulateurs pour garantir l'efficacité et la sécurité. Les chercheurs ont également déclaré qu'ils n'avaient pas la permission de partager toutes les données médicales qu'ils utilisaient.

Ce n'est pas suffisant, dit Haibe-Kains : S'ils veulent en faire un produit, alors je comprends tout à fait qu'ils ne divulgueront pas toutes les informations. Mais il pense que si vous publiez dans une revue ou une conférence scientifique, vous avez le devoir de publier du code que d'autres peuvent exécuter. Parfois, cela peut signifier partager une version qui est formée sur moins de données ou qui utilise du matériel moins cher. Cela pourrait donner de moins bons résultats, mais les gens pourront bricoler avec. Les frontières entre la création d'un produit et la recherche deviennent de plus en plus floues, explique Haibe-Kains. Je pense qu'en tant que domaine, nous allons perdre.

Les habitudes de recherche ont la vie dure

Si les entreprises vont être critiquées pour avoir publié, pourquoi le faire ? Il y a un degré de relations publiques, bien sûr. Mais la raison principale est que les meilleurs laboratoires d'entreprise sont remplis de chercheurs d'universités. Dans une certaine mesure, la culture dans des endroits comme Facebook AI Research, DeepMind et OpenAI est façonnée par les habitudes académiques traditionnelles. Les entreprises technologiques gagnent également en participant à la communauté de recherche au sens large. Tous les grands projets d'IA dans les laboratoires privés reposent sur des couches et des couches de recherche publique. Et peu de chercheurs en IA n'ont pas utilisé d'outils d'apprentissage automatique open source comme PyTorch de Facebook ou TensorFlow de Google.

À mesure que de plus en plus de recherches sont effectuées en interne dans des entreprises technologiques géantes, certains compromis entre les exigences concurrentes des entreprises et de la recherche deviendront inévitables. La question est de savoir comment les chercheurs les naviguent. Haibe-Kains aimerait voir des revues comme Nature diviser ce qu'elles publient en flux distincts : des études reproductibles d'une part et des vitrines technologiques d'autre part.

Mais Pineau est plus optimiste. Je ne travaillerais pas chez Facebook s'il n'avait pas une approche ouverte de la recherche, dit-elle.

D'autres grands laboratoires d'entreprise soulignent également leur engagement envers la transparence. Le travail scientifique nécessite un examen minutieux et une reproduction par d'autres dans le domaine, dit Kavukcuoglu. Il s'agit d'un élément essentiel de notre approche de la recherche chez DeepMind.

OpenAI est devenu quelque chose de très différent d'un laboratoire traditionnel, explique Kayla Wood, porte-parole de l'entreprise. Naturellement, cela soulève quelques questions. Elle note qu'OpenAI travaille avec plus de 80 organisations industrielles et universitaires dans le cadre du Partenariat sur l'IA pour réfléchir à des normes de publication à long terme pour la recherche.

Pineau pense qu'il y a quelque chose à cela. Elle pense que les entreprises d'IA démontrent une troisième façon de faire de la recherche, quelque part entre les deux courants de Haibe-Kains. Elle oppose la production intellectuelle des laboratoires privés d'IA à celle des sociétés pharmaceutiques, par exemple, qui investissent des milliards dans les médicaments et gardent une grande partie du travail à huis clos.

L'impact à long terme des pratiques introduites par Pineau et d'autres reste à voir. Les habitudes seront-elles changées pour de bon ? Quelle différence cela fera-t-il pour l'adoption de l'IA en dehors de la recherche ? Beaucoup dépend de la direction que prend l'IA. La tendance à des modèles et des ensembles de données toujours plus grands, favorisés par OpenAI, par exemple, continuera de rendre la pointe de l'IA inaccessible à la plupart des chercheurs. D'autre part, de nouvelles techniques, telles que compression du modèle et apprentissage en quelques coups , pourrait inverser cette tendance et permettre à davantage de chercheurs de travailler avec une IA plus petite et plus efficace.

Quoi qu'il en soit, la recherche sur l'IA sera toujours dominée par les grandes entreprises. Si c'est bien fait, ce n'est pas nécessairement une mauvaise chose, dit Pineau : l'IA change la conversation sur le fonctionnement des laboratoires de recherche de l'industrie. La clé sera de s'assurer que le champ plus large a la chance de participer. Parce que la fiabilité de l'IA, dont dépend tant de choses, commence à la pointe.