Statistiques Démasquer les faux avis en ligne

À la recherche d'hôtels dans des villes qu'ils n'ont jamais visitées, les gens se tournent souvent vers les avis rédigés par les clients sur des sites Web tels que TripAdvisor. Mais comment savent-ils que ces avis n'ont pas été rédigés par le directeur de l'hôtel ou par une personne payée pour publier de fausses opinions en ligne ? La Federal Trade Commission des États-Unis a infligé des amendes lorsqu'elle a découvert un tel spam d'opinion, mais il n'y a pas de moyen facile de le repérer.

Aujourd'hui, des chercheurs de l'Université d'État de New York, Stony Brook, ont mis au point une méthode scientifique pour détecter si quelqu'un a publié de fausses critiques en ligne. Leur technique, présentée au Conférence internationale sur les blogs et les médias sociaux à Dublin, en Irlande, au début du mois, n'identifie pas les avis frauduleux individuels. Au lieu de cela, il examine comment les fausses critiques faussent la distribution statistique des scores d'un hôtel, une sorte d'analyse médico-légale qui montre que quelque chose d'amusant se passe.

La technique est capable de déterminer où se trouvent les densités de faux avis pour un hôtel donné, explique Yejin Choi , professeur adjoint d'informatique à Stony Brook, qui a effectué le travail avec des collègues.

Si les notes d'examen pour un produit, y compris un hôtel, sont tracées sur un graphique, elles produisent naturellement un motif qui ressemble à peu près à la lettre J. C'est-à-dire que lorsqu'un élément est noté de une à cinq étoiles, il doit avoir une valeur relativement élevée. nombre de critiques une étoile, moins de deux, trois et quatre, puis un nombre élevé de notes cinq étoiles. Paul Pavou , professeur agrégé de systèmes de gestion de l'information à la Fox School of Business de l'Université Temple, qui étudie le commerce en ligne, explique que cette distribution est causée par une tendance des gens à acheter des choses qu'ils aiment, et donc à aimer ce qu'ils achètent. De plus, dit-il, si un achat répond généralement aux attentes, l'acheteur est généralement moins ému d'écrire un avis que si l'expérience était extrêmement positive ou extrêmement négative.

Mais de fausses critiques déforment cette forme normale. Pour trouver la distorsion et montrer ainsi qu'il y avait de fausses critiques dans le mélange, l'équipe de Stony Brook a d'abord sélectionné des critiques qu'elle jugeait plus fiables. Il s'agissait de ceux qui avaient écrit au moins 10 avis, à plus d'un jour ou deux d'intervalle, et dont la note ne s'écartait pas outrageusement de la moyenne de tous les hôtels.

Les chercheurs ont ensuite comparé les notes de ces examinateurs à celles des examinateurs ponctuels pour voir si ce deuxième ensemble avait un nombre inhabituellement élevé de critiques cinq étoiles. Les hôtels avec des écarts plus importants entre ces deux groupes d'évaluateurs ont été qualifiés de plus suspects. Choi a également comparé le rapport des critiques positives aux critiques négatives parmi différents groupes de critiques. Et elle a recherché des sursauts soudains d'activité d'examen qui pourraient faire partie d'une campagne de marketing.

Pour valider les résultats, Choi et ses collègues se sont tournés vers des travaux antérieurs qu'elle avait effectués avec un informaticien Jeff Hancock de l'Université Cornell. Ils avaient embauché des gens pour écrire de fausses critiques d'hôtels ; un algorithme d'apprentissage automatique a ensuite analysé les fausses critiques et repéré des indices textuels, comme trop de superlatifs, qui les ont fait se démarquer des vraies critiques. Cette fois, ils ont demandé à l'ordinateur de mesurer l'effet des fausses critiques connues sur la forme de la distribution. En comparant cela avec les résultats de l'autre approche de Choi, elle a trouvé une activité frauduleuse 72% du temps.

En utilisant une telle technique, un site comme TripAdvisor pourrait appliquer une correction aux notes moyennes des hôtels. Et les résultats suspects pourraient être associés à d'autres approches, telles que l'analyse textuelle, pour une conclusion plus sûre.

Choi admet que, parce qu'il est si difficile de savoir quelles critiques sont réellement fausses, l'approche est imparfaite, mais le fait que ses résultats soient nettement meilleurs que le hasard signifie que cela fonctionne. Il est vraiment peu probable qu'une stratégie aléatoire atteigne une précision de 72%, dit-elle. Pavou, qui n'a pas été impliqué dans la recherche, dit que l'approche semble valable.

Choi dit que les faux critiques pourraient penser que c'était un crime parfait, mais la vérité est qu'ils ont déformé la forme des notes des critiques de leurs propres hôtels, et cela laisse une empreinte de l'activité trompeuse, et plus ils le font, plus ils sont forts il devient.

cacher