Le domaine du traitement du langage naturel poursuit le mauvais objectif

Mme Tech | Unsplash

Lors d'une réunion annuelle type du Association pour la linguistique computationnelle (ACL), le programme est un défilé de titres comme Un auto-encodeur variationnel structuré pour l'inflexion morphologique contextuelle. La même saveur technique imprègne les articles, les discussions de recherche et de nombreuses conversations de couloir.

A cette année conférence en juillet, cependant, quelque chose semblait différent - et ce n'était pas seulement le format virtuel. Les conversations des participants étaient inhabituellement introspectives sur les méthodes et objectifs de base du traitement du langage naturel (PNL), la branche de l'IA axée sur la création de systèmes qui analysent ou génèrent le langage humain. Articles dans le nouveau de cette année Piste thématique poser des questions telles que : les méthodes actuelles vraiment assez pour atteindre les objectifs ultimes du domaine? Quoi sont même ces objectifs?

Mes collègues et moi à Cognition élémentaire , une société de recherche sur l'IA basée dans le Connecticut et à New York, considère l'angoisse comme justifiée. En fait, nous croyons que le domaine a besoin d'une transformation, pas seulement dans la conception du système, mais dans un domaine moins prestigieux : l'évaluation.

L'air du temps actuel de la PNL est né d'une demi-décennie d'améliorations constantes sous le paradigme d'évaluation standard. La capacité des systèmes à comprendre a généralement été mesurée sur ensembles de données de référence composé de milliers de questions, chacune accompagnée de passages contenant la réponse. Lorsque les réseaux de neurones profonds ont balayé le domaine au milieu des années 2010, ils ont apporté un bond en avant en termes de performances. Les cycles de travail suivants ont permis d'obtenir des scores de plus en plus proches de 100 % (ou du moins de la parité avec les humains).

Ainsi, les chercheurs publieraient de nouveaux ensembles de données de même plus délicat des questions , seulement pour voir des réseaux de neurones encore plus grands afficher rapidement des scores impressionnants. Une grande partie de la recherche actuelle sur la compréhension de la lecture implique de peaufiner soigneusement les modèles pour gagner quelques points de pourcentage supplémentaires sur les derniers ensembles de données. L'état de l'art est pratiquement devenu un nom propre : Nous avons battu SOTA sur Équipe de 2,4 points !

Mais beaucoup gens dans la domaine se lassent de cette course aux classements. Qu'est-ce que le monde a vraiment gagné si un réseau de neurones massif atteint SOTA sur une référence d'un point ou deux ? Ce n'est pas comme si quelqu'un se souciait de répondre à ces questions pour son propre bien; Gagner le classement est un exercice académique qui peut ne pas améliorer les outils du monde réel. En effet, de nombreuses améliorations apparentes émergent non pas des capacités de compréhension générale, mais de l'extraordinaire habileté des modèles à exploitant faux motifs dans les données. Les progrès récents se traduisent-ils vraiment en aidant les gens à résoudre des problèmes ?

De tels doutes sont plus qu'une inquiétude abstraite ; savoir si les systèmes sont réellement compétents en matière de compréhension de la langue présente de réels enjeux pour la société. Bien sûr, la compréhension implique un large éventail de compétences. Pour des applications plus simples, telles que la récupération des factoïdes de Wikipédia ou l'évaluation du sentiment dans les avis sur les produits, les méthodes modernes faire plutôt bien . Mais lorsque les gens imaginent des ordinateurs qui comprennent le langage, ils envisagent des comportements bien plus sophistiqués : des outils juridiques qui aident les gens à analyser leurs situations difficiles ; des assistants de recherche qui synthétisent les informations provenant du Web ; des robots ou des personnages de jeu qui exécutent des instructions détaillées.

Les modèles d'aujourd'hui sont loin d'atteindre ce niveau de compréhension - et il n'est pas certain qu'un autre document SOTA rapprochera davantage le domaine.

Comment la communauté PNL s'est-elle retrouvée avec un tel écart entre les évaluations sur papier et les capacités réelles ? Dans une LCA prise de position , mes collègues et moi soutenons que dans la quête pour atteindre des repères difficiles, les évaluations ont perdu de vue les véritables cibles : ces applications sophistiquées en aval. Pour emprunter une ligne à l'article, les chercheurs de la PNL se sont entraînés pour devenir des sprinteurs professionnels en jetant un coup d'œil autour de la salle de sport et en adoptant tous les exercices qui semblent difficiles.

Pour aligner davantage les évaluations sur les objectifs, il est utile de considérer ce qui freine les systèmes actuels.

Un humain lisant un passage construira une représentation détaillée des entités, des lieux, des événements et de leurs relations - un modèle mental du monde décrit dans le texte. Le lecteur peut alors compléter les détails manquants dans le modèle, extrapoler une scène vers l'avant ou vers l'arrière, ou même émettre des hypothèses sur des alternatives contrefactuelles.

Ce type de modélisation et de raisonnement est précisément ce que les assistants de recherche automatisés ou les personnages de jeu doivent faire - et il est manifestement absent des systèmes d'aujourd'hui. Un chercheur en PNL peut généralement créer un système de compréhension de lecture à la pointe de la technologie en quelques essais. Un technique fiable est de sonder le modèle du système du monde, qui peut même laisser le très célèbre GPT-3 babillage sur les brins d'herbe cycloptiques.

L'imprégnation des lecteurs automatisés avec des modèles mondiaux nécessitera des innovations majeures dans la conception du système, comme discuté dans nombreuses Piste thématique soumissions . Mais notre argument est plus fondamental : quelle que soit la façon dont les systèmes sont mis en œuvre, s'ils doivent avoir des modèles du monde fidèles, alors les évaluations devraient systématiquement tester s'ils ont des modèles du monde fidèles.

Dit si brutalement, cela peut sembler évident, mais c'est rarement fait. Des groupes de recherche comme le Institut Allen pour l'IA ont proposé d'autres moyens de durcir les évaluations, comme cibler diverses structures linguistiques, poser des questions qui s'appuient sur plusieurs étapes de raisonnement, ou même simplement agréger beaucoup repères . D'autres chercheurs, comme Yejin Choi à l'Université de Washington, se sont concentrés sur les tests commun sens , qui intègre des aspects d'un modèle mondial. De tels efforts sont utiles, mais ils se concentrent généralement toujours sur la compilation de questions auxquelles les systèmes actuels ont du mal à répondre.

Nous proposons un changement plus fondamental : pour construire des évaluations plus significatives, les chercheurs en PNL devraient commencer par spécifier en détail ce que le modèle mondial d'un système doit contenir pour être utile aux applications en aval. Nous appelons un tel récit un modèle de compréhension.

Un banc d'essai particulièrement prometteur pour cette approche est celui des histoires fictives. Les histoires originales sont riches en informations, impossibles à rechercher sur Google et essentielles à de nombreuses applications, ce qui en fait un test idéal des compétences de compréhension en lecture. S'appuyant sur la littérature des sciences cognitives sur les lecteurs humains, notre PDG David Ferrucci a proposé un modèle en quatre parties pour tester la capacité d'un système d'IA à comprendre les histoires.

• Spatial: Où tout est situé et comment est-il positionné tout au long de l'histoire ?
• Temporaire: Quels événements se produisent et quand ?
• Causal: Comment les événements conduisent-ils mécaniquement à d'autres événements ?
• Motivation : Pourquoi les personnages décident-ils d'entreprendre les actions qu'ils entreprennent ?

En posant systématiquement ces questions sur toutes les entités et les événements d'une histoire, les chercheurs en PNL peuvent évaluer la compréhension des systèmes d'une manière fondée sur des principes, en sondant les modèles mondiaux dont les systèmes ont réellement besoin.

Il est encourageant de voir la communauté PNL réfléchir à ce qui manque aux technologies d'aujourd'hui. Nous espérons que cette réflexion conduira à des investissements substantiels non seulement dans de nouveaux algorithmes, mais dans de nouvelles méthodes plus rigoureuses de mesure de la compréhension des machines. Un tel travail ne fera peut-être pas autant de gros titres, mais nous soupçonnons que l'investissement dans ce domaine fera avancer le domaine au moins autant que le prochain modèle gargantuesque.

Jesse Dunietz est chercheur à Cognition élémentaire , où il travaille au développement d'évaluations rigoureuses pour les systèmes de compréhension en lecture. Il est également concepteur pédagogique pour le MIT Laboratoire de communication et un écrivain scientifique .

cacher