Des phrases confuses montrent que les IA ne comprennent toujours pas vraiment le langage

Mme Tech | Unsplash / Brett Jordan

Beaucoup Les IA qui semblent comprendre le langage et qui obtiennent de meilleurs résultats que les humains sur un ensemble commun de tâches de compréhension ne remarquent pas quand les mots d'une phrase sont mélangés, ce qui montre qu'ils ne comprends pas du tout la langue . Le problème réside dans la manière dont les systèmes de traitement du langage naturel (TAL) sont entraînés ; il indique également un moyen de les améliorer.

Histoire connexe

La façon dont nous formons l'IA est fondamentalement défectueuse Le processus utilisé pour créer la plupart des modèles d'apprentissage automatique que nous utilisons aujourd'hui ne peut pas dire s'ils fonctionneront ou non dans le monde réel, et c'est un problème.

Des chercheurs de l'Université d'Auburn en Alabama et d'Adobe Research a découvert la faille lorsqu'ils ont essayé de faire en sorte qu'un système NLP génère des explications sur son comportement, par exemple pourquoi il affirmait que différentes phrases signifiaient la même chose. Lorsqu'ils ont testé leur approche, ils ont réalisé que mélanger les mots dans une phrase ne faisait aucune différence dans les explications. Il s'agit d'un problème général pour tous les modèles de PNL, explique Anh Nguyen de l'Université d'Auburn, qui a dirigé les travaux.

L'équipe a examiné plusieurs systèmes NLP de pointe basés sur BERT (un modèle de langage développé par Google qui sous-tend bon nombre des systèmes les plus récents, y compris GPT-3). Tous ces systèmes obtiennent de meilleurs résultats que les humains sur LA COLLE (Évaluation générale de la compréhension du langage), un ensemble standard de tâches conçues pour tester la compréhension du langage, telles que repérer des paraphrases, juger si une phrase exprime des sentiments positifs ou négatifs et le raisonnement verbal.

Un homme mord un chien : Ils ont découvert que ces systèmes ne pouvaient pas dire quand les mots d'une phrase étaient mélangés, même lorsque le nouvel ordre changeait le sens. Par exemple, les systèmes ont correctement repéré que les phrases La marijuana cause-t-elle le cancer ? et Comment fumer de la marijuana peut-il vous donner un cancer du poumon? étaient des paraphrases. Mais ils étaient encore plus certains que vous fumez le cancer, comment le poumon de marijuana peut-il donner? et poumon peut donner fumer de la marijuana comment vous cancer? signifiait la même chose aussi. Les systèmes ont également décidé que les phrases ayant des significations opposées, telles que la marijuana cause-t-elle le cancer ? et Le cancer cause-t-il de la marijuana?— posaient la même question.

La seule tâche où l'ordre des mots importait était celle dans laquelle les modèles devaient vérifier la structure grammaticale d'une phrase. Sinon, entre 75 % et 90 % des réponses des systèmes testés n'ont pas changé lorsque les mots ont été mélangés.

Que se passe-t-il? Les modèles semblent relever quelques mots clés dans une phrase, quel que soit leur ordre. Ils ne comprennent pas la langue comme nous, et GLUE, une référence très populaire, ne mesure pas l'utilisation réelle de la langue. Dans de nombreux cas, la tâche sur laquelle un modèle est formé ne l'oblige pas à se soucier de l'ordre des mots ou de la syntaxe en général. En d'autres termes, GLUE enseigne aux modèles NLP à sauter à travers des cerceaux.

De nombreux chercheurs ont commencé à utiliser un ensemble de tests plus difficiles appelé SuperGLUE, mais Nguyen soupçonne qu'il aura des problèmes similaires.

Ce problème a également été identifié par Yoshua Bengio et ses collègues, qui ont constaté que réorganiser les mots dans une conversation parfois ne changeait pas les réponses des chatbots. Et une équipe de Facebook AI Research a trouvé des exemples de ce qui se passe avec le chinois . L'équipe de Nguyen montre que le problème est généralisé.

Est-ce que ça importe? Cela dépend de l'application. D'une part, une IA qui comprend toujours quand vous faites une faute de frappe ou dites quelque chose de confus, comme le pourrait un autre humain, serait utile. Mais en général, l'ordre des mots est crucial pour décrypter le sens d'une phrase.

le réparer Comment faire ? La bonne nouvelle est que cela pourrait ne pas être trop difficile à réparer. Les chercheurs ont découvert que forcer un modèle à se concentrer sur l'ordre des mots, en l'entraînant à effectuer une tâche où l'ordre des mots était important (comme repérer les erreurs grammaticales), rendait également le modèle plus performant sur d'autres tâches. Cela suggère que peaufiner les tâches auxquelles les modèles sont formés les rendra globalement meilleurs.

Les résultats de Nguyen sont un autre exemple de la façon dont les modèles sont souvent bien en deçà de ce dont les gens se croient capables. Il pense que cela met en évidence à quel point il est difficile de faire Des IA qui comprennent et raisonnent comme les humains . Personne n'a la moindre idée, dit-il.

cacher