Comment Google classe les tweets

Pour fournir des retours de recherche utiles à partir du Web en temps réel, comme des tweets Twitter vieux de quelques secondes signalant des embouteillages, Google a adapté sa technologie de classement des pages et développé de nouvelles astuces et filtres algorithmiques pour garder les retours pertinents, selon un leader. Ingénieur Google.

Amit Singhal, Google Fellow

Google a déployé une technologie de recherche en temps réel le mois dernier, pour offrir aux chercheurs un accès à de tout nouveaux articles de blog et articles d'actualité beaucoup plus rapidement que les cinq à 15 minutes qu'il fallait auparavant aux robots d'exploration de Google pour découvrir les éléments nouvellement créés.

Bing, Cuil et d'autres moteurs de recherche fournissent également divers types de résultats en temps réel. Google et Bing ont également conclu des accords majeurs avec Twitter pour obtenir un accès en temps réel aux tweets, ces messages de microblog de 140 caractères envoyés par les membres de Twitter. Mais Google prétend offrir les résultats en temps réel les plus complets en analysant les titres de l'actualité, les blogs et les flux de Facebook, MySpace, Twitter et d'autres sources.

Les tweets sont un pilier des résultats en temps réel de Google, mais Google n'a pas encore expliqué comment il les classe. Une stratégie fondamentale de Google pour identifier la pertinence des tweets est analogue à celle utilisée par la technologie PageRank de Google, qui permet de trouver des pages Web pertinentes avec la recherche Web traditionnelle. Sous PageRank, Google juge l'importance des pages contenant un mot-clé de recherche donné en partie en examinant la structure des liens des pages. Plus il y a de pages qui renvoient vers une page – et plus il y a de pages qui renvoient aux éditeurs de liens – plus la page d'origine est pertinente.

Dans le cas des tweets, la clé est d'identifier les abonnés réputés, explique Amit Singhal, un Google Fellow, qui a dirigé le développement de la recherche en temps réel. (Les twitteurs suivent les commentaires des autres twitteurs qu'ils ont sélectionnés et sont eux-mêmes suivis.)

Vous gagnez de la réputation, puis vous donnez de la réputation. Si beaucoup de gens vous suivent, puis que vous suivez quelqu'un, alors même si cette [nouvelle personne] n'a pas beaucoup de followers, son tweet est considéré comme précieux car ses followers sont eux-mêmes largement suivis, dit Singhal. C'est définitivement, définitivement plus qu'un concours de popularité, ajoute-t-il.

Un utilisateur qui suit un autre dans les médias sociaux est analogue à une page reliant une autre sur le Web. Les deux sont une forme de recommandation, dit Singhal. Au fur et à mesure que les pages de haute qualité renvoient à une autre page du Web, la qualité de la page liée augmente. De même, dans les médias sociaux, à mesure que les utilisateurs établis suivent un autre utilisateur, la qualité de l'utilisateur suivi augmente également.

Mais les astuces de classement social de Google ne sont pas la seule méthode utilisée par le géant de la recherche pour extraire la pertinence des tweets. Google a également développé de nouvelles façons de choisir les tweets (le cas échéant) à afficher pour des termes courants comme Obama – et pour éviter le spam ou les tweets de mauvaise qualité – le tout en quelques secondes.

Un problème avec les tweets est que les gens les larguent souvent avec des hashtags. Ce sont des symboles qui commencent par un signe dièse (#) suivi d'un mot qui représente un sujet d'actualité très populaire, tel que Nexus One ou Earthquake ou tout autre sujet à la mode en ce moment. Lorsqu'un hashtag est inclus dans un tweet, le tweet résultant apparaîtra lorsque d'autres utilisateurs de Twitter cliqueront sur le mot du sujet du hashtag ailleurs sur le site.

Bien que de telles balises puissent utilement maximiser l'exposition d'un tweet, elles peuvent également servir de drapeaux rouges pour réduire la qualité des tweets et attirer un contenu de type spam, dit Singhal. Bien qu'il n'entre pas dans les détails, il a déclaré que Google avait modélisé ce comportement de hashtag de manière à réduire l'exposition des tweets de mauvaise qualité. Nous devions modéliser ce comportement de [hashtagging]. C'est le défi technique que nous avons relevé avec nos approches de modélisation, dit Singhal.

Autre problème : comment, si quelqu'un recherche Obama, passer au crible les tweets de la presse de la Maison Blanche et des milliers d'autres pour trouver les informations les plus actuelles et les plus d'actualité. Google scanne les tweets pour trouver le signal dans le bruit, dit-il. Un tel signal pourrait inclure une nouvelle vague de tweets et d'autres blogs qui mentionnent la police de Cambridge ou Harry Reid à proximité de mentions d'Obama. En recherchant de tels signaux, Google est en mesure de fournir des résultats en temps réel contenant les sujets les plus récents, même pour des termes de recherche très courants.

À l'avenir, Twitter et Google espèrent améliorer la pertinence des retours de recherche dans tous les contextes en ajoutant des données de géolocalisation, qui peuvent être ajoutées aux publications envoyées depuis les téléphones intelligents. En général, la recherche en temps réel évolue, explique Dylan Casey, chef de produit Google pour la recherche en temps réel. Je parle régulièrement avec les gars de Twitter pour savoir où va la fonctionnalité. Nous recevons des commentaires d'eux, nous leur donnons des commentaires et nos ingénieurs collaborent. C'est vraiment symbiotique.

Singhal a ajouté que Twitter n'est guère la seule source d'informations en temps réel. Twitter est en effet une composante très importante du Web en temps réel. Cependant, ce que nous observons, c'est que ce n'est qu'un des composants. Les actualités, les blogs et les pages Web qui sont générés en temps réel ont une grande valeur, car les agences de presse travaillent très dur pour atteindre un certain niveau de qualité, dit-il. Twitter est en effet utile car il s'agit de contenu abrégé. Cependant, nous constatons que le Web en temps réel est beaucoup plus vaste.

cacher