Roi – Homme + Femme = Reine : Les Merveilleuses Mathématiques de la Linguistique Computationnelle

La linguistique computationnelle a radicalement changé la façon dont les chercheurs étudient et comprennent le langage. La capacité à traiter d'énormes quantités de mots pour la première fois a conduit à de toutes nouvelles façons de penser les mots et leur relation les uns avec les autres.

Cette analyse des chiffres montre exactement à quelle fréquence un mot apparaît à proximité d'autres mots, un facteur important dans la façon dont ils sont utilisés. Ainsi, le mot Jeux olympiques peut apparaître proche de mots comme courir, sauter et lancer, mais moins souvent à côté de mots comme électron ou stégosaure. Cet ensemble de relations peut être considéré comme un vecteur multidimensionnel qui décrit comment le mot Olympiques est utilisé dans une langue, qui elle-même peut être considérée comme un espace vectoriel.

Et c'est là que réside ce changement massif. Cette nouvelle approche permet de traiter les langues comme des espaces vectoriels avec des propriétés mathématiques précises. Maintenant, l'étude du langage devient un problème de mathématiques spatiales vectorielles.

Aujourd'hui, Timothy Baldwin de l'Université de Melbourne en Australie et quelques copains explorent l'une des curieuses propriétés mathématiques de cet espace vectoriel : l'addition et la soustraction de vecteurs produisent un autre vecteur dans le même espace.

La question qu'ils posent est celle-ci : que signifient ces vecteurs composites ? Et en explorant cette question, ils découvrent que la différence entre les vecteurs est un outil puissant pour étudier le langage et la relation entre les mots.

Tout d'abord un peu de contexte. La façon la plus simple de penser aux mots et à la façon dont ils peuvent être ajoutés et soustraits comme des vecteurs est avec un exemple. Le plus célèbre est le suivant : roi – homme + femme = reine. Autrement dit, en additionnant les vecteurs associés aux mots Roi et femme en soustrayant homme est égal au vecteur associé à reine . Ceci décrit une relation de genre.

Un autre exemple est : paris – france + pologne = varsovie. Dans ce cas, la différence vectorielle entre paris et La France reprend le concept de capitale.

Baldwin et co demandent à quel point cette approche peut être fiable et jusqu'où elle peut être poussée. Pour ce faire, ils comparent l'évolution des relations vectorielles selon le corpus de mots étudié. Par exemple, les mêmes relations vectorielles fonctionnent-elles dans le corpus de mots de Wikipédia que dans le corpus de mots de Google News ou du fil de presse anglais de Reuters ?

Pour le savoir, ils examinent les vecteurs associés à un certain nombre de relations bien connues entre des classes de mots. Celles-ci incluent la relation entre une entité et ses parties, par exemple l'avion et le cockpit ; une action et l'objet qu'elle implique, comme la chasse et le cerf ; un nom et son nom collectif tel fourmi et armée. Ils incluent également une gamme de liens grammaticaux - un nom et son pluriel, comme chien et chiens, un verbe et son passé, comme savoir et savait; et un verbe et sa troisième personne du pluriel comme accepter et accepter.

Les résultats rendent la lecture intéressante. Baldwin et co disent que les sommes de vecteurs capturées dans ces relations forment généralement des grappes serrées dans les espaces vectoriels associés à chaque corpus.

Cependant, il existe des valeurs aberrantes intéressantes où les mots ont plus d'un sens et ont donc des représentations ambiguës dans ces espaces vectoriels. Les exemples dans le groupe de la troisième personne du pluriel incluent l'étude et les études, la course et les courses, l'augmentation et les augmentations, tous les mots qui peuvent être des noms et des verbes, ce qui déforme leurs vecteurs dans ces espaces.

C'est un travail intéressant qui s'inscrit dans cette nouvelle voie dans l'étude des mots et de leurs relations les uns avec les autres. Cet article est le premier à tester la généralisabilité de l'approche de la différence vectorielle à travers un large éventail de relations lexicales, disent-ils.

Une question importante que Baldwin et ses collaborateurs négligent est de savoir comment cette meilleure compréhension pourrait être utilisée dans le monde réel. Une réponse évidente est d'aider les machines à comprendre le langage humain. Une autre est d'aider à la traduction de la langue.

Il convient de noter que l'un des pionniers et des forces motrices dans ce domaine est Google et son équipe de traduction automatique. Ces gars ont découvert qu'une relation vectorielle qui apparaît en anglais fonctionne généralement aussi en espagnol, en allemand, en vietnamien et en fait dans toutes les langues.

C'est ainsi que Google fait sa traduction automatique. Essentiellement, il considère une phrase comme équivalente dans deux langues si sa position dans les espaces vectoriels de chacune est la même. Selon cette approche, sa signification traditionnelle est presque hors de propos.

Mais en raison de la nature idiosyncratique du langage, il existe de nombreuses exceptions. Ce sont eux qui posent problème aux algorithmes de traduction automatique.

Ainsi, trouver des moyens de repérer les ambiguïtés peut fournir un moyen utile de corriger ces problèmes.

Réf : arxiv.org/abs/1509.01692 : Take and Took, Gaggle and Goose, Book and Read : évaluation de l'utilité des différences vectorielles pour l'apprentissage des relations lexicales

cacher