Extraire le sens de millions de pages

Un moteur logiciel qui rassemble des faits en passant au peigne fin plus de 500 millions de pages Web a été développé par des chercheurs de l'Université de Washington. L'outil extrait des informations de milliards de lignes de texte en analysant les relations de base entre les mots.

Recherche de mot : TextRunner parcourt automatiquement 500 millions de pages Web pour extraire le sens des relations entre les mots.

Certains experts affirment que ce type d'extraction automatisée d'informations constituera probablement la base d'une recherche Web de prochaine génération beaucoup plus intelligente, dans laquelle des pépites d'informations sont d'abord glanées puis combinées intelligemment.

Le projet de l'Université de Washington représente une mise à l'échelle d'une technologie existante développée là-bas appelée TextRunner en termes à la fois du nombre de pages et de la portée des sujets qu'elle peut analyser.

L'importance de TextRunner est qu'il est évolutif car il n'est pas supervisé, explique Peter Norvig, directeur de la recherche chez Google, qui a fait don de la base de données des pages Web analysées par TextRunner. Il peut découvrir et apprendre des millions de relations, pas seulement une à la fois. Avec TextRunner, il n'y a pas d'humain dans la boucle : il trouve juste des relations par lui-même.

Norvig explique que les technologies précédentes ont nécessité plus de conseils de la part du programmeur. Par exemple, pour trouver les noms de PDG dans des millions de documents, vous devez d'abord former le logiciel avec d'autres exemples, tels que Steve Jobs est PDG d'Apple, Sheryl Sandberg est PDG de Facebook. Norvig ajoute que Google fait travail similaire et utilise déjà cette technologie dans des contextes limités.

TextRunner se débarrasse de ce travail manuel. Un utilisateur peut entrer, par exemple, tue les bactéries, et le moteur proposera des pages qui offrent des informations sur le fait que le chlore tue les bactéries ou que la lumière ultraviolette tue les bactéries ou que la chaleur tue les bactéries - des résultats appelés triples - et fournit des moyens de prévisualiser le texte et puis visitez la page Web dont il provient.

Le prototype a encore un interface assez simple et n'est pas tant destiné à la recherche publique qu'à démontrer l'extraction automatisée d'informations à partir de 500 millions de pages Web, dit Oren Etzioni , un informaticien de l'Université de Washington qui dirige le projet. Ce que nous montrons, c'est la capacité du logiciel à atteindre une compréhension rudimentaire du texte à une échelle et une portée sans précédent, dit-il.

Etizioni dit que la capacité de TextRunner à extraire du sens rapidement et à grande échelle découle de la découverte par son groupe d'un modèle général d'expression des relations en anglais qui s'applique quel que soit le sujet. Par exemple, le modèle simple « entité1, verbe, entité2 » couvre la relation « Edison a inventé l'ampoule » ainsi que « Microsoft a acquis Farecast » et bien d'autres, dit-il. TextRunner s'appuie sur ce modèle, qui est automatiquement appris à partir du texte, pour analyser des phrases et extraire des triplets avec une grande précision.

TextRunner sert également de point de départ pour construire des inférences à partir de requêtes en langage naturel, ce sur quoi le groupe travaille actuellement. Pour donner un exemple simple : si TextRunner trouve une page Web qui dit que les mammifères sont à sang chaud et une autre page Web qui dit que les chiens sont des mammifères, un moteur d'inférence produira l'information que les chiens sont probablement à sang chaud.

Ceci est analogue à la technologie développée par Powerset, qui a été rachetée par Microsoft l'année dernière. Peu de temps avant cette acquisition, Powerset a dévoilé un outil qui se limitait à extraire des faits d'environ deux millions de Wikipédia pages. La technologie TextRunner gère les pages Wikipedia ainsi que le texte arbitraire sur n'importe quelle page, y compris les articles de blog, les catalogues de produits, les articles de journaux, etc.

Cette ligne de travail a fait des progrès importants dans l'échelle à laquelle ces tâches peuvent être abordées, explique Jon Kleinberg, informaticien à l'Université Cornell qui a suivi les recherches de l'Université de Washington. Il a ajouté que ce travail reflète une tendance croissante vers la conception d'outils de recherche qui combinent activement les éléments d'information qu'ils trouvent sur le Web en une synthèse plus large.

cacher