Cet algorithme parcourt Wikipedia pour générer automatiquement des manuels

Wikipédia

Apprentissage automatique : le guide complet est un tome lourd. Avec plus de 6 000 pages, ce livre est une introduction complète à l'apprentissage automatique, avec des chapitres à jour sur les réseaux de neurones artificiels, les algorithmes génétiques et la vision artificielle.

Mais ce n'est pas une publication ordinaire. C'est un Wikibook, un manuel auquel tout le monde peut accéder ou éditer, composé d'articles sur Wikipédia, la vaste encyclopédie en ligne.

C'est une force. Les informations participatives sont constamment mises à jour avec toutes les dernières avancées et systématiquement modifiées pour corriger les erreurs et les ambiguïtés.

Mais c'est aussi une faiblesse. Wikipédia est vaste. Décider ce qu'il faut inclure dans un tel manuel est une tâche difficile, ce qui explique peut-être pourquoi le livre est si énorme. Avec plus de 550 chapitres, ce n'est pas une lecture légère.

Cela soulève une question intéressante. Compte tenu des avancées de l'intelligence artificielle ces dernières années, existe-t-il un moyen d'éditer automatiquement le contenu de Wikipédia de manière à créer un ensemble cohérent utile comme manuel ?

Entrez Shahar Admati et ses collègues de l'Université Ben Gourion du Néguev en Israël. Ces gars-là ont développé un moyen de générer automatiquement des Wikibooks en utilisant l'apprentissage automatique. Ils appellent leur machine le Wikibook-bot. La nouveauté de notre technique est qu'elle vise à générer un Wikibook entier, sans intervention humaine, disent-ils.

L'approche est relativement simple. Les chercheurs ont commencé par identifier un ensemble de Wikibooks existants pouvant servir d'ensemble de données de formation. Ils ont commencé avec 6 700 Wikibooks inclus dans un ensemble de données mis à disposition par Wikipedia pour ce type d'étude universitaire.

Étant donné que ces Wikibooks forment une sorte d'étalon-or à la fois pour la formation et les tests, l'équipe avait besoin d'un moyen d'assurer leur qualité. Nous avons choisi de nous concentrer sur les Wikibooks qui ont été consultés au moins 1000 fois, en partant du principe que les Wikibooks populaires sont d'une qualité raisonnable, disent-ils.

Cela a laissé 490 Wikibooks qu'ils ont filtrés davantage, en fonction de facteurs tels que le fait d'avoir plus de 10 chapitres. Cela a laissé 407 Wikibooks que l'équipe a utilisés pour former leurs machines.

L'équipe a ensuite divisé la tâche de création d'un Wikibook en plusieurs parties, chacune nécessitant une compétence d'apprentissage automatique différente. La tâche commence par un titre généré par un humain, décrivant un concept quelconque, tel que Apprentissage automatique : le guide complet .

La première tâche consiste à trier l'ensemble des articles de Wikipédia pour déterminer ceux qui sont suffisamment pertinents pour être inclus. Cette tâche est difficile en raison du volume considérable d'articles qui existent sur Wikipédia et de la nécessité de sélectionner les articles les plus pertinents parmi des millions d'articles disponibles, disent Admati et co.

Pour faciliter cette tâche, l'équipe a utilisé la structure en réseau de Wikipédia - les articles pointent souvent vers d'autres articles à l'aide d'hyperliens. Il est raisonnable de supposer que l'article lié est susceptible d'être pertinent.

Ils ont donc commencé avec un petit noyau d'articles qui mentionnent le concept de semences dans le titre. Ils ont ensuite identifié tous les articles qui sont jusqu'à trois sauts de distance de ces graines sur le réseau.

Mais combien de ces articles liés devraient être inclus ? Pour le savoir, ils ont commencé par les titres des 407 Wikilivres créés par des humains et ont effectué l'analyse en trois sauts. Ils ont ensuite déterminé quelle part du contenu des livres créés par l'homme était incluse par l'approche automatisée.

Il s'avère que l'approche automatisée incluait souvent une grande partie du contenu original de Wikibook, mais bien plus encore. L'équipe avait donc besoin d'un autre moyen d'élaguer davantage le contenu.

Encore une fois, la science des réseaux entre en jeu. Chaque Wikibook généré par l'homme a sa propre structure de réseau, déterminée par le nombre de liens pointant vers d'autres articles, le nombre de liens pointant vers, le classement des pages des articles inclus, etc.

L'équipe a donc créé un algorithme qui examinait chaque article automatiquement sélectionné pour un sujet donné, puis déterminait si l'inclure dans un Wikibook rendrait la structure du réseau plus similaire aux livres générés par l'homme ou non. Sinon, l'article est omis.

L'étape suivante consiste à organiser les articles en chapitres. Il s'agit essentiellement d'une tâche de clustering ; regarder le réseau formé par l'ensemble des articles et trouver comment le diviser en groupes cohérents. Divers algorithmes de clustering sont disponibles pour ce type de tâche.

La dernière étape consiste à déterminer l'ordre dans lequel les articles doivent apparaître dans chaque chapitre. Pour ce faire, l'équipe organise les articles par paires et utilise un modèle basé sur le réseau pour déterminer lequel doit apparaître en premier. En répétant ceci pour toutes les combinaisons de paires d'articles, l'algorithme établit un ordre préféré pour les articles et ainsi les chapitres.

De cette façon, l'équipe a pu produire des versions automatisées de Wikibooks qui avaient déjà été créés par des humains. Il est difficile de juger à quel point ces livres automatisés se comparent à ceux générés par l'homme. Ils contiennent certainement une grande partie du même matériel, souvent dans un ordre similaire, ce qui est un bon début.

Mais Adamti et co ont un plan pour déterminer l'utilité de leur approche. Ils prévoient de produire une gamme de Wikibooks sur des sujets qui ne sont pas encore couverts par les livres générés par l'homme. Ils surveilleront ensuite les pages vues et les modifications apportées à ces livres pour voir à quel point ils deviennent populaires et à quel point ils sont modifiés, par rapport aux livres générés par l'homme. Ce sera un test réel pour notre approche, disent-ils.

C'est un travail intéressant qui a le potentiel de produire des manuels précieux sur un large éventail de sujets, et même de créer d'autres textes tels que des actes de conférence. Il reste à déterminer à quel point ils seront précieux pour les lecteurs humains. Mais nous surveillerons pour le savoir.

Réf : arxiv.org/abs/1812.10937 : Wikibook-Bot—Génération automatique d'un livre Wikipédia

cacher