Baidu a une nouvelle astuce pour enseigner à l'IA le sens du langage

Caractères typographiques MS Tech / Source : Unsplash

Plus tôt ce mois-ci, un géant chinois de la technologie a discrètement détrôné Microsoft et Google dans une compétition en cours sur l'IA. L'entreprise était Baidu, l'équivalent chinois le plus proche de Google, et le concours était l'évaluation de la compréhension générale du langage, autrement connue sous le nom de GLUE.

GLUE est une référence largement acceptée pour la capacité d'un système d'IA à comprendre le langage humain. Il se compose de neuf tests différents pour des choses comme choisir les noms de personnes et d'organisations dans une phrase et déterminer à quoi un pronom comme celui-ci fait référence lorsqu'il existe plusieurs antécédents potentiels. Un modèle de langage qui obtient un score élevé sur GLUE peut donc gérer diverses tâches de compréhension en lecture. Sur un score complet de 100, la personne moyenne obtient environ 87 points . Baidu est désormais la première équipe à dépasser les 90 avec son modèle ERNIE.

le classement public pour GLUE est en constante évolution, et une autre équipe sera probablement bientôt en tête de Baidu. Mais ce qui est remarquable dans la réalisation de Baidu, c'est qu'elle illustre comment la recherche en IA bénéficie d'une diversité de contributeurs. Les chercheurs de Baidu ont dû développer une technique spécifiquement pour la langue chinoise pour construire ERNIE (qui signifie Enhanced Representation through kNowledge IntEgration). Il se trouve cependant que la même technique permet également de mieux comprendre l'anglais.

Le prédécesseur d'ERNIE

Pour apprécier ERNIE, considérez le modèle dont il s'inspire : BERT de Google . (Oui, ils portent tous les deux le nom de Rue de Sesame personnages .)

Avant la création de BERT (Représentations d'encodeurs bidirectionnels à partir de transformateurs) fin 2018, les modèles en langage naturel n'étaient pas si géniaux. Ils étaient doués pour prédire le mot suivant dans une phrase - donc bien adaptés aux applications comme la saisie semi-automatique - mais ils ne pouvaient pas soutenir un seul train de pensée même sur un petit passage. C'était parce qu'ils ne comprenaient pas le sens, comme à quoi le mot pouvait se référer.

Mais BERT a changé cela. Les modèles précédents apprenaient à prédire et à interpréter le sens d'un mot en ne considérant que le contexte qui apparaissait avant ou après, jamais les deux en même temps. Ils étaient, en d'autres termes, unidirectionnel .

BERT, en revanche, considère le contexte avant et après un mot tout d'un coup, le faisant bidirectionnel . Pour ce faire, il utilise une technique connue sous le nom de masquage. Dans un passage de texte donné, BERT cache au hasard 15% des mots puis essaie de les prédire à partir des mots restants. Cela lui permet de faire des prédictions plus précises car il dispose de deux fois plus d'indices à partir desquels travailler. Dans la phrase L'homme est allé au ___ pour acheter du lait, par exemple, le début et la fin de la phrase donnent des indices sur le mot manquant. Le ___ est un endroit où vous pouvez aller et un endroit où vous pouvez acheter du lait.

L'utilisation du masquage est l'une des principales innovations derrière des améliorations spectaculaires dans les tâches en langage naturel et fait partie des raisons pour lesquelles des modèles comme le tristement célèbre GPT-2 d'OpenAI peuvent écrire une prose extrêmement convaincante sans s'écarter d'une thèse centrale.

De l'anglais au chinois et inversement

Lorsque les chercheurs de Baidu ont commencé à développer leur propre modèle de langage, ils ont voulu s'appuyer sur la technique de masquage. Mais ils ont réalisé qu'ils devaient le modifier pour l'adapter à la langue chinoise.

En anglais, le mot sert d'unité sémantique, ce qui signifie qu'un mot sorti complètement de son contexte contient toujours un sens. On ne peut pas en dire autant des caractères en chinois. Bien que certains caractères aient une signification inhérente, comme le feu (火, huŏ ), l'eau l'eau, shuĭ ), ou du bois (木, aveugle ), la plupart ne le font pas tant qu'ils ne sont pas enchaînés avec d'autres. Le caractère灵 ( lyng ), par exemple, peut soit signifier intelligent (机灵, jiling ) ou âme (âme, línghún ), en fonction de sa correspondance. Et les caractères d'un nom propre comme Boston (波士顿, bōshidùn ) ou les États-Unis (États-Unis, mixer ) ne signifient pas la même chose une fois séparés.

Les chercheurs ont donc formé ERNIE sur une nouvelle version du masquage qui masque des chaînes de caractères plutôt que des caractères uniques. Ils l'ont également formé pour faire la distinction entre les chaînes significatives et aléatoires afin qu'il puisse masquer les bonnes combinaisons de caractères en conséquence. En conséquence, ERNIE a une meilleure compréhension de la façon dont les mots encodent les informations en chinois et est beaucoup plus précis pour prédire les pièces manquantes. Cela s'avère utile pour des applications telles que la traduction et la récupération d'informations à partir d'un document texte.

Les chercheurs ont très vite découvert que cette approche fonctionnait également mieux pour l'anglais. Bien que moins souvent que le chinois, l'anglais a également des chaînes de mots qui expriment une signification différente de la somme de leurs parties. Les noms propres comme Harry Potter et les expressions comme chip off the old block ne peuvent pas être analysés de manière significative en les séparant en mots individuels.

Alors pour la phrase :

Harry Potter est une série de romans fantastiques écrits par J.K. Rowling.

BERT pourrait le masquer de la manière suivante :

[mask] Potter est une série [mask] de romans fantastiques [mask] de J. [mask] Rowling.

Mais ERNIE le masquerait plutôt comme ceci :

Harry Potter est [masque] [masque] [masque] romans fantastiques de [masque] [masque] [masque].

ERNIE apprend ainsi des prédictions plus robustes basées sur le sens plutôt que sur des modèles statistiques d'utilisation des mots.

Une diversité d'idées

La dernière version d'ERNIE utilise également plusieurs autres techniques de formation. Il considère l'ordre des phrases et les distances entre elles, par exemple, pour comprendre la progression logique d'un paragraphe. Mais surtout, il utilise une méthode appelée formation continue qui lui permet de s'entraîner sur de nouvelles données et de nouvelles tâches sans qu'il oublie celles qu'il a apprises auparavant. Cela lui permet de s'améliorer de plus en plus dans l'exécution d'un large éventail de tâches au fil du temps avec une interférence humaine minimale.

Baidu utilise activement ERNIE pour donner aux utilisateurs des résultats de recherche plus applicables, supprimer les articles en double dans son fil d'actualités et améliorer la capacité de son assistant IA Xiao Du à répondre avec précision aux demandes. Il a également décrit la dernière architecture d'ERNIE dans un papier qui sera présenté à la conférence de l'Association pour l'avancement de l'intelligence artificielle l'année prochaine. De la même manière que leur équipe s'est appuyée sur le travail de Google avec BERT, les chercheurs espèrent que d'autres bénéficieront également de leur travail avec ERNIE.

Lorsque nous avons commencé ce travail, nous pensions spécifiquement à certaines caractéristiques de la langue chinoise, explique Hao Tian, ​​l'architecte en chef de Baidu Research. Mais nous avons rapidement découvert qu'il était applicable au-delà de cela.

Pour recevoir plus d'histoires comme celle-ci directement dans votre boîte de réception, inscrivez-vous à notre newsletter AI nominée par Webby, The Algorithm. C'est gratuit.

cacher