L'IA n'a toujours pas le bon sens pour comprendre le langage humain

Écriture floue sur le mur Pexels / Jimmy Chan

Jusqu'à très récemment, les ordinateurs étaient incapables de produire des phrases qui avaient réellement un sens. Mais le domaine du traitement du langage naturel (TLN) a fait d'énormes progrès, et les machines peuvent désormais générer des passages convaincants d'une simple pression sur un bouton .

Ces progrès ont été stimulés par des techniques d'apprentissage en profondeur, qui sélectionnent des modèles statistiques dans l'utilisation des mots et la structure des arguments à partir de vastes trésors de texte. Mais un nouveau papier de l'Allen Institute of Artificial Intelligence attire l'attention sur quelque chose qui manque encore : les machines ne comprennent pas vraiment ce qu'elles écrivent (ou lisent).

Il s'agit d'un défi fondamental dans la grande poursuite de l'IA généralisable, mais au-delà du milieu universitaire, il est également pertinent pour les consommateurs. Les chatbots et les assistants vocaux construits sur des modèles de langage naturel de pointe, par exemple, sont devenus l'interface pour de nombreux institutions financières , les fournisseurs de soins de santé , et organismes gouvernementaux . Sans une véritable compréhension de la langue, ces systèmes sont plus susceptibles d'échouer, ce qui ralentit l'accès à des services importants.

Les chercheurs se sont appuyés sur les travaux du Défi du schéma de Winograd , un test créé en 2011 pour évaluer le raisonnement de bon sens des systèmes NLP. Le défi utilise un ensemble de 273 questions impliquant des paires de phrases identiques à l'exception d'un mot. Ce mot, connu sous le nom de déclencheur, inverse le sens du pronom de chaque phrase, comme le montre l'exemple ci-dessous :

• Le trophée ne rentre pas dans la valise marron car son trop grande .
• Le trophée ne rentre pas dans la valise marron car son trop petit .

Pour réussir, un système PNL doit déterminer à laquelle des deux options le pronom fait référence. Dans ce cas, il faudrait sélectionner trophée pour le premier et valise pour le second pour résoudre correctement le problème.

Le test a été conçu à l'origine avec l'idée que de tels problèmes ne pouvaient être résolus sans une compréhension plus approfondie de la sémantique. Les modèles d'apprentissage en profondeur à la pointe de la technologie peuvent désormais atteindre une précision d'environ 90 %, il semblerait donc que la PNL se soit rapprochée de son objectif. Mais dans leur article, qui recevra le prix de l'article exceptionnel lors de la conférence AAAI du mois prochain, les chercheurs contestent l'efficacité de l'indice de référence et, par conséquent, le niveau de progrès que le domaine a réellement réalisé.

Ils ont créé un ensemble de données beaucoup plus important, baptisé WinoGrande, avec 44 000 problèmes du même type. Pour ce faire, ils ont conçu un système de crowdsourcing pour créer et valider rapidement de nouvelles paires de phrases. (Une partie de la raison pour laquelle l'ensemble de données Winograd est si petit est qu'il a été fabriqué à la main par des experts.) Les travailleurs d'Amazon Mechanical Turk ont ​​créé de nouvelles phrases avec les mots requis sélectionnés par une procédure de randomisation. Chaque paire de phrases a ensuite été confiée à trois travailleurs supplémentaires et conservée uniquement si elle répondait à trois critères : au moins deux travailleurs ont sélectionné les bonnes réponses, tous les trois ont jugé les options sans ambiguïté et les références du pronom ne pouvaient pas être déduites par de simples associations de mots.

Dans une dernière étape, les chercheurs ont également exécuté l'ensemble de données via un algorithme pour supprimer autant d'artefacts que possible - des modèles de données involontaires ou des corrélations qui pourraient aider un modèle de langage à trouver les bonnes réponses pour les mauvaises raisons. Cela réduisait les chances qu'un modèle puisse apprendre à déjouer l'ensemble de données.

Lorsqu'ils ont testé des modèles de pointe sur ces nouveaux problèmes, les performances sont tombées entre 59,4% et 79,1%. En revanche, les humains atteignaient toujours une précision de 94 %. Cela signifie qu'un score élevé au test original de Winograd est probablement gonflé. Il s'agit simplement d'une réalisation spécifique à un ensemble de données, et non d'une réalisation de tâche générale, explique Yejin Choi, professeur agrégé à l'Université de Washington et directeur de recherche principal à AI2, qui a dirigé la recherche.

Choi espère que l'ensemble de données servira de nouvelle référence. Mais elle espère également que cela incitera davantage de chercheurs à regarder au-delà de l'apprentissage en profondeur. Les résultats lui ont souligné que les véritables systèmes de PNL de bon sens doivent incorporer d'autres techniques, telles que des modèles de connaissances structurés. Sa précédent travail s'est montré très prometteur dans cette direction. Nous devons en quelque sorte trouver un plan de match différent, dit-elle.

Le journal a reçu quelques critiques. Ernest Davis, l'un des chercheurs qui a travaillé sur le défi initial de Winograd, dit que de nombreuses paires de phrases d'exemple répertoriées dans l'article sont sérieusement défectueuses, avec une grammaire déroutante. Ils ne correspondent pas à la façon dont les personnes parlant anglais utilisent réellement les pronoms, a-t-il écrit dans un e-mail.

Mais Choi note que les modèles vraiment robustes ne devraient pas avoir besoin d'une grammaire parfaite pour comprendre une phrase. Les personnes qui parlent l'anglais comme langue seconde mélangent parfois leur grammaire mais transmettent toujours leur sens.

Les humains peuvent facilement comprendre sur quoi portent nos questions et sélectionner la bonne réponse, dit-elle, se référant à la précision des performances de 94 %. Si les humains doivent être capables de faire cela, ma position est que les machines devraient également pouvoir le faire.

Pour recevoir plus d'histoires comme celle-ci directement dans votre boîte de réception, inscrivez-vous à notre newsletter sur l'IA nominée par Webby, The Algorithm . C'est gratuit.

cacher