La percée linguistique annonce la traduction automatique pour des milliers de langues rares

La meilleure estimation est que les humains parlent actuellement environ 6 900 langues différentes. Plus de la moitié de la population mondiale communique en utilisant seulement une poignée d'entre eux : chinois, anglais, hindi, espagnol et russe. En effet, 95 % des personnes communiquent en utilisant seulement 100 langues.

Les autres argots sont beaucoup moins courants. En effet, les linguistes estiment qu'environ un tiers des langues du monde sont parlées par moins de 1 000 personnes et risquent de disparaître dans les 100 prochaines années environ. Avec eux ira le patrimoine culturel unique qu'ils incarnent - histoires, phrases, blagues, remèdes à base de plantes et même des émotions uniques.

Il est facile de penser que l'apprentissage automatique peut aider. Le problème est que la traduction automatique s'appuie sur d'énormes ensembles de données annotées pour exercer son métier. Ces ensembles de données consistent en de vastes corpus de livres, d'articles et de sites Web qui ont été traduits manuellement dans d'autres langues. Cela agit comme une pierre de Rosette pour les algorithmes d'apprentissage automatique, et plus l'ensemble de données est grand, mieux ils apprennent.

Une carte montrant comment les indicateurs du passé se regroupent pour 100 des langues étudiées.

Mais ces énormes ensembles de données n'existent tout simplement pas pour la plupart des langues. C'est pourquoi la traduction automatique ne fonctionne que pour une infime partie des jargons les plus courants. Google Translate, par exemple, ne parle qu'environ 90 langues.

Un défi important pour les linguistes est donc de trouver un moyen d'analyser automatiquement les langues moins courantes pour mieux les comprendre.

Aujourd'hui, Ehsaneddin Asgari et Hinrich Schutze de l'Université Ludwig-Maximilian de Munich en Allemagne disent qu'ils ont fait exactement cela. Leur nouvelle approche révèle des éléments importants de presque toutes les langues qui peuvent ensuite être utilisés comme tremplin pour la traduction automatique.

La nouvelle technique est basée sur un texte unique qui a été traduit dans au moins 2 000 langues différentes. C'est la Bible, et les linguistes reconnaissent depuis longtemps son importance dans leur discipline.

Par conséquent, ils ont créé une base de données appelée Parallel Bible Corpus, qui se compose de traductions du Nouveau Testament en 1 169 langues. Cet ensemble de données n'est pas assez volumineux pour le type d'apprentissage automatique industriel que Google et d'autres effectuent. Ainsi, Asgari et Schutze ont proposé une autre approche basée sur la manière dont les temps apparaissent dans différentes langues.

La plupart des langues utilisent des mots spécifiques ou des combinaisons de lettres pour signifier les temps. La nouvelle astuce consiste donc à identifier manuellement ces signaux dans plusieurs langues, puis à utiliser des techniques d'exploration de données pour parcourir d'autres traductions à la recherche de mots ou de chaînes de lettres jouant le même rôle.

Par exemple, en anglais, le présent est signifié par le mot is, le futur par le mot will et le passé par le mot was. Bien sûr, il y a aussi d'autres signifiants.

L'idée d'Asgari et Schutze est de trouver tous ces mots dans la traduction anglaise de la Bible avec d'autres exemples tirés d'une poignée de traductions dans d'autres langues. Cherchez ensuite des mots ou des chaînes de lettres qui jouent le même rôle dans d'autres langues. Par exemple, la chaîne de lettres -ed signifie également le passé en anglais.

Mais il y a une torsion. Asgari et Schutze ne commencent pas par l'anglais car c'est une langue relativement ancienne avec de nombreuses exceptions à la règle, ce qui la rend difficile à apprendre.

Au lieu de cela, ils commencent par un ensemble de langues créoles qui se sont développées à partir d'un mélange d'autres langues. Parce qu'elles sont plus jeunes, les langues créoles ont eu moins de temps pour développer ces idiosyncrasies linguistiques. Et cela signifie qu'ils contiennent généralement de meilleurs marqueurs de caractéristiques linguistiques telles que le temps. Notre raisonnement est que les langues créoles sont plus régulières que les autres langues parce qu'elles sont jeunes et n'ont pas accumulé de 'bagages historiques' qui pourraient rendre l'analyse informatique plus difficile, disent-ils.

L'une de ces langues est le créole des Seychelles, qui utilise le mot ti pour signifier le passé. Par exemple, mon travay signifie que je travaille dans cette langue, tandis que mon ti travay signifie que j'ai travaillé et mon ti pe travay signifie que je travaillais. Donc ti est un bon signifiant du passé.

Asgari et Schutze compilent une liste de signifiants du passé dans 10 autres langues, puis exploitent le Parallel Bible Corpus pour d'autres mots et chaînes de lettres qui remplissent la même fonction. Ils répètent cela pour le présent et le futur.

Les résultats rendent la lecture intéressante. La technique révèle les constructions linguistiques liées au temps dans les langues courantes telles que -ed en anglais et -te en allemand, ainsi que les mots et les phrases qui remplissent les mêmes fonctions dans des langues beaucoup moins courantes telles que le passé signifiant den dans le Gourmanchema. langue du Burkina Faso, et yi en Yalunka, parlé au Mali, etc.

Ce travail permet aux chercheurs de créer des cartes montrant comment les langues utilisant des constructions de temps similaires sont liées (voir schéma).

C'est un travail intéressant. Asgari et Schutze ont développé une méthode informatique pour analyser la façon dont les gens utilisent le passé, le présent et le futur dans plus de 1 000 langues. Il s'agit de la plus grande étude informatique inter-langue jamais entreprise. En effet, le nombre de langues impliquées est d'un ordre de grandeur supérieur à celui des autres études.

Le travail a une application importante. Les cartes des temps des langues permettent aux chercheurs de déterminer rapidement les relations entre les langues et la manière dont elles sont connectées. Cela pourrait être utilisé pour mieux comprendre l'évolution du langage.

Et la même approche pourrait également être utilisée pour d'autres caractéristiques linguistiques. Nous exigeons seulement qu'une caractéristique linguistique soit ouvertement marquée dans quelques-unes des milliers de langues au lieu d'exiger qu'elle soit marquée dans toutes les langues étudiées, disons Asgari et Schutze.

Les implications vont plus loin. La linguistique computationnelle a eu un impact profond sur notre compréhension du langage, la façon dont il varie dans le monde et la façon dont les machines peuvent le comprendre. Cette discipline émergente a permis de traduire automatiquement de nombreuses langues directement dans d'autres sous forme écrite et parlée. En effet, la promesse est que la traduction automatique instantanée égalera et surpassera bientôt la capacité des interprètes humains.

Mais l'utilité de la traduction automatique pour certaines langues les rend plus populaires au détriment des langues qui ne sont pas prises en charge. C'est pourquoi la traduction automatique pourrait accélérer la disparition des langues en voie de disparition.

En effet, les linguistes ont constaté un phénomène similaire avec d'autres formes de communication de masse, comme les services de télévision par satellite. Celles-ci diffusent généralement dans une seule langue, qui devient alors plus désirable et populaire que les langues qui ne sont pas diffusées.

Les travaux d'Asgari et de Schutze pourraient aider à inverser ce schéma de déclin. Bien sûr, c'est un grand pas entre ce travail et une traduction automatique précise, mais c'est un pas dans la bonne direction.

Réf : arxiv.org/abs/1704.08914 : Passé, présent, futur : une enquête computationnelle sur la typologie des temps dans 1 000 langues

cacher