L'exploration de données révèle un schéma fondamental de la pensée humaine

En 1935, le linguiste américain George Zipf a fait une découverte remarquable. Zipf était curieux de connaître la relation entre les mots courants et les moins courants. Il a donc compté la fréquence à laquelle les mots apparaissent dans le langage ordinaire, puis les a classés en fonction de leur fréquence.

Cela révèle une remarquable régularité. Zipf a découvert que la fréquence d'un mot est inversement proportionnelle à sa place dans le classement. Ainsi, un mot qui est deuxième dans le classement apparaît deux fois moins souvent que le mot le plus courant. Le mot de troisième rang apparaît un tiers aussi souvent et ainsi de suite.

En anglais, le mot le plus populaire est la, qui représente environ 7 % de tous les mots, suivi de et , qui se produit 3,5 % du temps, et ainsi de suite. En effet, environ 135 mots représentent la moitié de toutes les apparitions de mots. Ainsi, quelques mots apparaissent souvent, tandis que la plupart n'apparaissent presque jamais.

Mais pourquoi? Une possibilité intrigante est que le cerveau traite différemment les mots courants et que l'étude de la distribution de Zipf devrait révéler des informations importantes sur ce processus cérébral.

Il y a un problème, cependant. Les linguistes ne sont pas tous d'accord pour dire que la distribution statistique de la fréquence des mots est le résultat de processus cognitifs. Au lieu de cela, certains disent que la distribution est le résultat d'erreurs statistiques associées à des mots à faible fréquence, qui peuvent produire des distributions similaires.

Ce qu'il faut, bien sûr, c'est une étude plus vaste dans un large éventail de langues. Une telle étude à grande échelle serait statistiquement plus puissante et donc capable de démêler ces possibilités.

Aujourd'hui, nous obtenons une telle étude grâce au travail de Shuiyuan Yu et de ses collègues de l'Université de communication de Chine à Pékin. Ces gars-là ont trouvé la loi de Zipf dans 50 langues issues d'un large éventail de classes linguistiques, notamment l'indo-européen, l'ouralien, l'altaïque, le caucasien, le sino-tibétain, le dravidien, l'afro-asiatique, etc.

Yu et co disent que les fréquences de mots dans ces langues partagent une structure commune qui diffère de celle que produiraient des erreurs statistiques. De plus, ils disent que cette structure suggère que le cerveau traite les mots courants différemment des mots inhabituels, une idée qui a des conséquences importantes pour le traitement du langage naturel et la génération automatique de texte.

La méthode de Yu and co est simple. Ils commencent par deux grandes collections de textes appelées le British National Corpus et le Leipzig Corpus. Ceux-ci incluent des échantillons de 50 langues différentes, chaque échantillon contenant au moins 30 000 phrases et jusqu'à 43 millions de mots.

Les chercheurs ont découvert que les fréquences des mots dans toutes les langues suivent une loi de Zipf modifiée dans laquelle la distribution peut être divisée en trois segments. Les résultats statistiques montrent que les lois de Zipf dans 50 langues partagent toutes un modèle structurel à trois segments, chaque segment présentant des propriétés linguistiques distinctives, disent-ils Yu.

Cette structure est intéressante. Yu et co ont essayé de le simuler en utilisant un certain nombre de modèles pour créer des mots. Un modèle est le modèle du singe à la machine à écrire, qui génère des lettres aléatoires qui forment des mots chaque fois qu'un espace se produit.

Ce processus génère une distribution de loi de puissance comme la loi de Zipf. Cependant, il ne peut pas générer la structure à trois segments que Yu et co ont trouvée. Cette structure ne peut pas non plus être générée par des erreurs associées à des mots à basse fréquence.

Cependant, Yu et co sont capables de reproduire cette structure en utilisant un modèle du fonctionnement du cerveau appelé la théorie du double processus. C'est l'idée que le cerveau fonctionne de deux manières différentes.

Le premier est la pensée intuitive rapide qui nécessite peu ou pas de raisonnement. On pense que ce type de pensée a évolué pour permettre aux humains de réagir rapidement dans des situations menaçantes. Il fournit généralement de bonnes solutions à des problèmes difficiles, tels que la reconnaissance de formes, mais peut facilement être trompé par des situations non intuitives.

Cependant, les humains sont capables de penser beaucoup plus rationnellement. Ce deuxième type de pensée est plus lent, plus calculateur et délibéré. C'est ce type de pensée qui nous permet de résoudre des problèmes complexes comme des énigmes mathématiques, etc.

La théorie du double processus suggère que des mots courants comme le, et, si et ainsi de suite sont traités par une pensée rapide et intuitive et sont donc utilisés plus souvent. Ces mots forment une sorte de colonne vertébrale pour les phrases.

Cependant, des mots et des expressions moins courants comme hypothèse et Loi de Zipf nécessitent une réflexion beaucoup plus approfondie. Et à cause de cela, ils se produisent moins souvent.

En effet, lorsque Yu et co simulent ce double processus, cela conduit à la même structure à trois segments dans la distribution de fréquence des mots qu'ils ont mesurée dans 50 langues différentes.

Le premier segment reflète la répartition des mots courants, le dernier segment reflète la répartition des mots peu courants et le segment médian est le résultat du croisement de ces deux régimes. Ces résultats montrent que la loi de Zipf dans les langues est motivée par des mécanismes cognitifs comme le double traitement qui régissent les comportements verbaux humains, disent Yu et co.

C'est un travail intéressant. L'idée que le cerveau humain traite l'information de deux manières différentes a pris un essor considérable ces dernières années, notamment grâce au livre Penser, vite et lentement par le psychologue lauréat du prix Nobel Daniel Kahneman, qui a étudié cette idée en détail.

Un problème bien connu utilisé pour déclencher une réflexion rapide et lente est le suivant :

Une batte et une balle coûtent 1,10 $ au total. La batte coûte 1,00 $ de plus que la balle. Combien coûte le ballon ?

La réponse, bien sûr, est de 5 cents. Mais presque tout le monde a l'inclination initiale de penser à 10 cents. C'est parce que 10 cents semblent justes. C'est le bon ordre de grandeur et il est suggéré par le cadrage du problème. Cette réponse vient du côté rapide et intuitif de votre cerveau.

Mais c'est faux. La bonne réponse nécessite la partie la plus lente et la plus calculatrice de votre cerveau.

Yu et co disent que les deux mêmes processus sont impliqués dans la génération de phrases. le partie à réflexion rapide de ton le cerveau crée la structure basique du phrase ( la mots ici marqué dans audacieux). le d'autres mots exigent la Ralentissez, Suite partie calcul de votre cerveau.

C'est ce double processus qui conduit à la loi de Zipf à trois segments.

Cela devrait avoir des conséquences intéressantes pour les informaticiens travaillant sur le traitement du langage naturel. Ce domaine a bénéficié d'énormes progrès ces dernières années. Ceux-ci proviennent d'algorithmes d'apprentissage automatique mais aussi de grandes bases de données de textes rassemblées par des entreprises comme Google.

Mais générer du langage naturel est toujours difficile. Vous n'avez pas besoin de discuter longtemps avec Siri, Cortana ou l'assistant Google pour vous heurter à leurs limites de conversation.

Ainsi, une meilleure compréhension de la façon dont les humains génèrent des phrases pourrait aider de manière significative. Zipf aurait sûrement été fasciné.

Réf : arxiv.org/abs/1807.01855 : La loi de Zipf en 50 langues : son modèle structurel, son interprétation linguistique et sa motivation cognitive

cacher