Les outils éditoriaux automatisés peuvent-ils aider la main-d'œuvre bénévole en déclin de Wikipédia ?

Le résultat est de nombreux articles de haute qualité sur un large éventail de sujets dans plus de 200 langues. Mais il existe aussi des articles de mauvaise qualité et de véracité douteuse.

Cela soulève une question importante pour les visiteurs du site : quelle est la fiabilité d'un article donné sur Wikipédia ?

Aujourd'hui, nous obtenons une réponse grâce au travail de Xiangju Qin et Pádraig Cunningham à l'University College Dublin en Irlande. Ces gars-là ont développé un algorithme qui évalue la qualité des pages Wikipédia en fonction de l'autorité des éditeurs impliqués et de la longévité des modifications qu'ils ont apportées.

L'hypothèse est que les pages avec des contributions importantes de contributeurs faisant autorité sont susceptibles d'être des pages de haute qualité, disent-ils. Compte tenu de ces informations, les visiteurs de Wikipédia devraient être en mesure de juger la qualité de n'importe quel article avec beaucoup plus de précision.

Divers groupes ont étudié la qualité des articles de Wikipédia et comment la mesurer dans le passé. La nouveauté de ce travail est de combiner les mesures existantes d'une manière nouvelle.

Qin et Cunningham commencent par une méthode standard de mesure de la longévité d'un montage. L'idée ici est qu'une édition de haute qualité est plus susceptible de survivre à une révision future. Ils ont calculé cela en combinant la taille d'une révision effectuée par un auteur donné et la durée de cette révision après d'autres révisions.

Le vandalisme est un problème courant sur Wikipédia. Pour contourner ce problème, Qin et Cunningham ignorent toutes les contributions anonymes et prennent également une mesure moyenne de qualité qui tend à réduire l'impact des modifications malveillantes.

Ensuite, ils mesurent l'autorité de chaque éditeur. Wikipédia est bien connu pour avoir un nombre relativement restreint d'éditeurs dédiés qui jouent un rôle fondamental dans la communauté. Ces personnes aident à maintenir diverses normes éditoriales et à diffuser ces connaissances dans toute la communauté.

Dans cette communauté, Qin et Cunningham supposent qu'un lien existe entre deux éditeurs s'ils ont tous deux co-écrit un article. Ainsi, inévitablement, les éditeurs plus expérimentés ont tendance à être mieux connectés au réseau.

Il existe différentes manières de mesurer l'autorité. Qin et Cunningham examinent le nombre d'autres éditeurs auxquels un éditeur donné est lié. Ils évaluent la proportion de chemins les plus courts à travers le réseau qui passent par un éditeur donné. Et ils utilisent un algorithme itératif de type Pagerank pour mesurer l'autorité. (Le Pagerank est l'algorithme de Google dans lequel une page Web est considérée comme importante si d'autres pages Web importantes la pointent.)

Enfin, Qin et Cunningham combinent ces mesures de longévité et d'autorité pour produire une mesure de la qualité de l'article.

Pour tester l'efficacité de leur évaluation, ils ont utilisé leur algorithme pour évaluer la qualité de plus de 9 000 articles qui ont déjà été évalués par les éditeurs de Wikipédia. Ils disent que la longévité d'une édition en elle-même est déjà un bon indicateur de la qualité d'un article. Cependant, la prise en compte de l'autorité des éditeurs améliore généralement l'appréciation.

Les articles avec des contributions importantes de contributeurs faisant autorité sont susceptibles d'être de haute qualité, et ces articles de haute qualité impliquent généralement plus de communication et d'interaction entre les contributeurs, concluent-ils.

Il y a bien sûr quelques limites. Un type de modification courant, connu sous le nom de retour, remplace un article par sa version précédente, supprimant ainsi entièrement une modification. Ceci est souvent utilisé pour se débarrasser du vandalisme. À l'heure actuelle, nous n'avons aucun traitement spécial pour traiter les modifications annulées qui n'introduisent pas de nouveau contenu sur une page, admettent Qin et Cunningham. Il y a donc du travail à faire à l'avenir.

Cependant, la nouvelle approche pourrait être un outil utile dans l'arsenal d'un éditeur de Wikipédia. Qin et Cunningham suggèrent que cela pourrait aider à identifier de nouveaux articles qui sont de relativement bonne qualité et également à identifier les articles existants qui sont de qualité particulièrement faible et nécessitent donc une plus grande attention.

Avec le déclin bien documenté des effectifs bénévoles de Wikipédia, les outils éditoriaux automatisés sont clairement utiles pour réduire la charge de travail de ceux qui restent. Une question plus large est de savoir à quel point ces outils peuvent devenir bons et comment ils devraient être utilisés dans ce type d'efforts de crowdsourcing.

Réf : arxiv.org/abs/1206.2517 : Évaluer la qualité des pages Wikipédia à l'aide de la longévité d'édition et de la centralité des contributeurs

cacher