L'algorithme d'apprentissage automatique exploite 16 milliards d'e-mails

Le courrier électronique joue un rôle extrêmement important dans la vie d'une grande partie de la population mondiale. Et pourtant, étrangement, on sait peu de choses sur la façon dont les gens utilisent le courrier électronique. Combien de conversations par e-mail les gens ont-ils ? Combien de temps durent ces conversations et comment se terminent-elles ? Et comment le volume de courrier entrant affecte-t-il le comportement des gens ?

Aujourd'hui, nous obtenons une réponse à une série de questions comme celles-ci grâce au travail des chercheurs de Yahoo Labs à Barcelone et en Californie et à l'Université de Californie du Sud. Ces gars-là ont étudié les modèles de comportement dans une base de données de 16 milliards d'e-mails échangés entre deux millions de personnes sur plusieurs mois. Nous pensons que la nôtre est la première analyse à grande échelle des conversations par e-mail, disent-ils.

Il s'avère que les modèles de courrier électronique sont si fiables qu'un algorithme d'apprentissage automatique peut prédire à l'avance combien de temps une réponse est susceptible d'être et quand une conversation par courrier électronique est susceptible de se terminer. Ces informations pourraient jouer un rôle important dans la prochaine génération de systèmes de messagerie.

Il est facile d'imaginer que les anthropologues computationnels ont dû se pencher sur de vastes bases de données de courrier électronique pour déterminer l'impact de cette forme relativement nouvelle de messagerie sur les modes de vie ordinaires.

Pas si. Les études relativement peu nombreuses ont été réalisées sur de petits échantillons de courriels et ont abouti à des découvertes relativement simples. Il s'agit notamment du fait que certaines personnes répondent aux e-mails dans l'ordre dans lequel ils arrivent tandis que d'autres sélectionnent et choisissent le plus important auquel répondre en premier.

Pour remédier à cette lacune dans nos connaissances, Farshad Kooti de l'Université de Californie du Sud et ses amis étudient une base de données de 16 milliards d'e-mails dans Yahoo Mail provenant de personnes qui avaient accepté d'autoriser l'utilisation de leurs données à des fins de recherche.

Étant donné qu'une grande partie des e-mails reçus sont des spams ou sont générés automatiquement, l'équipe n'a sélectionné que les e-mails qui ont été envoyés entre deux personnes lors d'une conversation d'au moins cinq échanges.

Ces 16 milliards d'e-mails provenaient des comptes de messagerie de deux millions d'utilisateurs uniques et ne comprenaient que des e-mails provenant de domaines commerciaux et d'autres utilisateurs de Yahoo qui avaient opté pour la recherche. Sur ces 16 milliards, 187 millions d'e-mails ont été échangés entre des paires d'utilisateurs dans l'ensemble de données. C'étaient essentiellement ceux qui nous intéressaient.

Les chercheurs ont ensuite pu étudier la nature statistique de cette forme de communication par paires à l'aide d'informations telles que l'identifiant de l'expéditeur, l'identifiant du destinataire, l'heure d'envoi, l'objet de l'e-mail, le corps de l'e-mail et le nombre de pièces jointes.

Pour garantir la confidentialité, les chercheurs ont anonymisé les expéditeurs et les destinataires et aucun humain n'a analysé le contenu des corps des e-mails. Au lieu de cela, les chercheurs ont utilisé des algorithmes pour extraire des statistiques des corps des e-mails, telles que leur longueur, le nombre d'identifiants d'e-mail dans un fil, etc.

L'équipe a regroupé les e-mails entre les individus s'ils partageaient la même ligne d'objet (tous sauf un commençant par Re :) et a classé les messages en fonction de leur horodatage.

Ils ont ensuite étudié différentes caractéristiques de ces chaînes d'e-mails, telles que le temps nécessaire pour répondre à un e-mail, la longueur de la réponse ainsi que la façon dont ces facteurs varient en fonction de l'âge et du sexe de l'expéditeur, etc. .

Les résultats rendent la lecture intéressante. Il s'avère que les jeunes envoient des réponses plus rapides et plus courtes et que les hommes envoient des réponses légèrement plus rapides et plus courtes que les femmes.

Le temps d'écriture est également un facteur. Nous avons constaté que les utilisateurs répondent plus rapidement aux e-mails reçus pendant les jours de semaine et les heures de travail, et que les réponses ont tendance à devenir plus courtes plus tard dans la journée et le week-end, disent Kooti and co.

Et les appareils mobiles ont aussi un impact. Les réponses des appareils mobiles étaient plus rapides et plus courtes que celles des ordinateurs de bureau, et les e-mails sans pièces jointes recevaient généralement des réponses plus rapides, disent-ils.

Un phénomène de plus en plus important est la surcharge des e-mails. Kooti et co ont découvert qu'à mesure que les gens reçoivent plus d'e-mails, ils augmentent le taux de réponse, mais pas suffisamment pour compenser la charge plus élevée.

En d'autres termes, à mesure que les gens deviennent plus surchargés, ils répondent à une plus petite fraction des e-mails entrants avec des réponses plus courtes. Cependant, leur réactivité est restée intacte et pourrait même être plus rapide, précisent les chercheurs.

L'équipe a également examiné les différences entre un e-mail et sa réponse, telles que le nombre de mots utilisés et le temps entre les réponses. Fait intéressant, au cours de la première moitié d'une conversation par e-mail, les réponses deviennent plus similaires, à la fois en termes de temps de réponse et de longueur. Cependant, tout cela change après le milieu de la menace lorsque le comportement de réponse devient de plus en plus différent.

Ces modèles ont permis à l'équipe de créer un algorithme d'apprentissage automatique pour repérer les différentes étapes des conversations par e-mail et prédire quand elles sont susceptibles de se terminer. Ils ont formé cet algorithme pour prédire l'heure et la longueur des réponses et si un e-mail était le dernier dans le fil.

Et bien que ces prédictions ne soient pas parfaites, elles sont suffisamment bonnes pour avoir un impact sur la façon dont les systèmes de messagerie pourraient être conçus à l'avenir. Selon l'équipe, la capacité de prédire avec précision les messages auxquels un utilisateur répondra peut être utilisée par les clients de messagerie pour classer les e-mails dans la boîte de réception des utilisateurs en fonction de leur priorité de réponse, contribuant ainsi à alléger le fardeau de la surcharge d'informations.

C'est un travail intéressant qui pourrait aider à déterminer la manière dont les algorithmes gèrent nos e-mails à l'avenir. Tout ce qui contribue utilement à alléger le fardeau de la surcharge de courrier électronique pourrait devenir une partie importante de la bureaucratie cachée de la communication.

Yahoo a un intérêt évident pour ce type de travail, il est donc surprenant que ce type d'étude ait été réalisé pour la première fois maintenant. Avec un peu de chance, le processus d'intégration de ces découvertes dans les futurs systèmes de messagerie ne prendra pas autant de temps.

Réf : un rxiv.org/abs/1504.00704 : Évolution des conversations à l'ère de la surcharge des e-mails

cacher