Comment Mechanical Turkers a créé un énorme lexique de liens entre les mots et les émotions

L'analyse des sentiments est l'une des expressions à la mode associées au Web social. Il s'agit de la capacité de déterminer l'opinion ou l'état d'esprit d'une personne en analysant les mots qu'elle publie sur Twitter, Facebook ou un autre média.

Beaucoup de choses ont été promises avec cette méthode : la capacité de mesurer la satisfaction envers les politiciens, les films et les produits ; la capacité à mieux gérer la relation client ; la capacité de créer un dialogue pour les jeux sensibles aux émotions ; la capacité de mesurer le flux d'émotion dans les romans ; etc.

L'idée est d'automatiser entièrement ce processus, d'analyser la masse de mots produits par les sites Web sociaux à l'aide de techniques avancées d'exploration de données pour évaluer les sentiments à grande échelle.

Mais tout cela dépend de la façon dont nous comprenons l'émotion et la polarité (qu'elle soit négative ou positive) que les gens associent à chaque mot ou combinaison de mots.

Aujourd'hui, Saif Mohammad et Peter Turney du Conseil national de recherches du Canada à Ottawa dévoilent une énorme base de données de mots et de leurs émotions et polarités associées, qu'ils ont rassemblées rapidement et à moindre coût en utilisant le site Web de crowdsourcing Mechanical Turk d'Amazon. Ils disent que ce mécanisme de crowdsourcing permet d'augmenter la taille et la qualité de la base de données rapidement et facilement.

La plupart des psychologues pensent qu'il existe essentiellement six émotions de base – joie, tristesse, colère, peur, dégoût et surprise – ou au plus huit si vous incluez la confiance et l'anticipation. Ainsi, la tâche de tout lexique mot-émotion est de déterminer à quel point un mot est associé à chacune de ces émotions.

Une façon de le faire est d'utiliser un petit groupe d'experts pour associer des émotions à un ensemble de mots. L'une des bases de données les plus célèbres, créée dans les années 1960 et connue sous le nom de base de données General Inquirer, contient plus de 11 000 mots étiquetés avec 182 balises différentes, y compris certaines des émotions que les psychologues considèrent maintenant comme les plus élémentaires.

Une base de données plus moderne est le WordNet Affect Lexicon, qui contient quelques centaines de mots marqués de cette manière. Cela a utilisé un petit groupe d'experts pour marquer manuellement un ensemble de mots de départ avec les émotions de base. La taille de cette base de données a ensuite été considérablement augmentée en associant automatiquement les mêmes émotions à tous les synonymes de ces mots.

L'un des problèmes avec ces approches est le temps qu'il faut pour compiler une grande base de données. Mohammad et Turney ont donc essayé une approche différente.

Ces gars ont sélectionné environ 10 000 mots dans un thésaurus existant et les lexiques décrits ci-dessus, puis ont créé un ensemble de cinq questions à poser sur chaque mot qui révéleraient les émotions et la polarité qui lui sont associées. Cela représente un total de plus de 50 000 questions.

Ils ont ensuite posé ces questions à plus de 2000 personnes, ou Turkers, sur le site Web d'Amazon Mechanical Turk, en payant 4 cents pour chaque série de questions correctement répondues.

Le résultat est un lexique mot-émotion complet pour plus de 10 000 mots ou phrases de deux mots qu'ils appellent EmoLex.

Un facteur important dans cette recherche est la qualité des réponses fournies par le crowdsourcing. Par exemple, certains Turcs peuvent répondre au hasard ou même entrer délibérément des réponses erronées.

Mohammad et Turney ont abordé ce problème en insérant des questions de test qu'ils utilisent pour juger si le Turker répond bien ou non. Sinon, toutes les données de cette personne sont ignorées.

Ils ont testé la qualité de leur base de données en la comparant aux précédentes créées par des experts et disent qu'elle se compare bien. Nous avons comparé un sous-ensemble de notre lexique avec des données de référence existantes pour montrer que les annotations obtenues sont en effet de haute qualité, disent-ils.

Cette approche a un potentiel important pour l'avenir. Mohammad et Turney disent qu'il devrait être simple d'augmenter la taille de la base de données de dates et que la même technique peut être facilement adaptée pour créer des lexiques similaires dans d'autres langues. Et tout cela peut être fait à très bon marché : ils ont dépensé 2 100 $ pour Mechanical Turk dans ce travail.

L'essentiel est que l'analyse des sentiments ne peut jamais être aussi bonne que la base de données sur laquelle elle s'appuie. Avec EmoLex, les analystes disposent d'un nouvel outil pour leur boîte à astuces.

Réf : arxiv.org/abs/1308.6297 : Crowdsourcing d'un lexique d'association mot-émotion

cacher