La nouvelle IA polyglotte de Facebook peut traduire entre 100 langues

Edurne Chopeitia / Unsplash

Les nouvelles: Facebook est source ouverte un nouveau modèle de langage AI appelé M2M-100 qui peut traduire entre n'importe quelle paire parmi 100 langues. Sur les 4 450 combinaisons de langues possibles, il en traduit directement 1 100. Cela contraste avec les modèles multilingues précédents, qui s'appuient fortement sur l'anglais comme intermédiaire. Une traduction du chinois au français, par exemple, passe généralement du chinois à l'anglais puis de l'anglais au français, ce qui augmente le risque d'introduire des erreurs.

Conservation des données : Le modèle a été formé sur 7,5 milliards de paires de phrases. Afin de compiler un ensemble de données aussi volumineux, les chercheurs se sont fortement appuyés sur la conservation automatisée. Ils ont utilisé des robots d'exploration Web pour récupérer des milliards de phrases sur le Web et ont demandé à un autre modèle de langage appelé FastText d'identifier la langue. (Ils n'ont utilisé aucune donnée Facebook.) Ensuite, ils ont utilisé un programme appelé LASER 2.0, développé précédemment par le laboratoire de recherche sur l'IA de Facebook, qui utilise l'apprentissage non supervisé (apprentissage automatique qui ne nécessite pas de données étiquetées manuellement) pour faire correspondre les phrases dans les langues en leur signification.

LASER 2.0 crée ce que l'on appelle des incorporations à partir de grands ensembles de données non structurées de phrases. Il s'entraîne sur les exemples de phrases disponibles dans chaque langue et cartographie leurs relations les unes avec les autres en fonction de la fréquence et de la proximité de leur utilisation. Ces incorporations aident le modèle d'apprentissage automatique à se rapprocher de la signification de chaque phrase, ce qui permet ensuite à LASER 2.0 de jumeler automatiquement des phrases qui partagent la même signification dans différentes langues.

Langues d'appariement : Les chercheurs se sont concentrés sur les combinaisons linguistiques qui, selon eux, seraient les plus demandées. Ils ont regroupé les langues en fonction de similitudes linguistiques, géographiques et culturelles, en partant du principe que les personnes vivant dans la même région communiqueraient plus souvent. Un groupe linguistique, par exemple, comprenait les langues les plus couramment parlées en Inde, notamment le bengali, l'hindi, le tamoul et l'ourdou. LASER 2.0 a ensuite ciblé sa recherche de paires de phrases sur toutes les paires de langues possibles au sein de chaque groupe.

Défis en cours : Les langues parlées dans des endroits comme l'Afrique et l'Asie du Sud-Est souffrent toujours de problèmes de qualité de traduction car trop peu de données linguistiques sont disponibles pour être extraites du Web, explique Angela Fan, chercheuse principale du projet. Compte tenu de la dépendance aux données Web, les chercheurs doivent également trouver des techniques pour identifier et éradiquer tout sexisme, racisme et autres préjugés discriminatoires intégrés. À l'heure actuelle, les chercheurs ont utilisé un filtre grossier pour nettoyer certains langages particulièrement flagrants, mais il se limite principalement à l'anglais.

Recherche uniquement : Facebook n'envisage pas actuellement d'utiliser le modèle dans ses produits. M2M-100 est destiné à des fins de recherche uniquement, explique Fan. En fin de compte, cependant, l'objectif est que le modèle améliore et élargisse les capacités de traduction existantes de Facebook. Les applications peuvent inclure la communication avec les utilisateurs (par exemple, la fonctionnalité qui permet aux utilisateurs de traduire des publications dans leur langue maternelle) et peut-être la modération de contenu.

cacher