Une base de données gratuite de l'ensemble du Web peut engendrer le prochain Google

Google a commencé comme un algorithme plus efficace pour classer les pages Web. Mais l'entreprise a également bâti son succès sur l'exploration du Web, en utilisant un logiciel qui visite chaque page afin de constituer un vaste index de contenu en ligne.

Un organisme sans but lucratif appelé Crawl commun utilise maintenant son propre robot d'indexation Web et fait une copie géante du Web qu'il rend accessible à tous. L'organisation propose plus de cinq milliards de pages Web, disponibles gratuitement, afin que les chercheurs et les entrepreneurs puissent essayer des choses autrement possibles uniquement pour ceux qui ont accès à des ressources à l'échelle de Google.

Le Web représente, pour autant que je sache, la plus grande accumulation de connaissances, et il y a tellement de choses sur lesquelles vous pouvez construire, explique l'entrepreneur Gilad Elbaz, qui a fondé Common Crawl. Mais le simple fait de faire l'énorme quantité de travail nécessaire pour obtenir toutes ces informations est un gros bloqueur ; peu d'organisations … ont eu les ressources pour le faire.

Les nouveaux moteurs de recherche ne sont qu'une des choses qui peuvent être construites à l'aide d'un index du Web, explique Elbaz, qui souligne que le logiciel de traduction de Google a été formé à l'aide de textes en ligne disponibles dans plusieurs langues. La seule façon pour eux de le faire était de commencer par un crawl massif. Cela les a mis sur la voie de la construction du Star Trek traducteur, dit-il. Disposer d'un corpus ouvert et partagé de connaissances humaines n'est qu'un moyen de démocratiser l'accès à l'information fondamentale pour l'innovation.

Elbaz dit qu'il a remarqué il y a environ cinq ans que les chercheurs avec de nouvelles idées sur la façon d'utiliser les données Web se sentaient obligés de travailler chez Google, car c'était le seul endroit où ils pouvaient tester ces idées. Il dit que les données de Common Crawl permettront aux nouvelles idées de gagner plus facilement du terrain, à la fois dans le monde des startups et dans la recherche universitaire.

Elbaz est le fondateur et PDG de la société Big Data Factuel , et avant cela, a fondé une société rachetée par Google pour constituer la base de son activité publicitaire pour les pages Web. Common Crawl a également le directeur de la recherche de Google, Peter Norvig , et directeur du MIT Media Lab Joi Ito au sein de son conseil consultatif.

Common Crawl a jusqu'à présent indexé plus de cinq milliards de pages, totalisant 81 téraoctets de données, mis à disposition via le service de cloud computing d'Amazon. Pour environ 25 $, un programmeur pourrait créer un compte chez Amazon et se mettre au travail pour analyser les données de Common Crawl, explique Lisa Green, directrice de Common Crawl. le Archives Internet , une autre organisation à but non lucratif, compile également une copie du Web et propose un service appelé le Machine de retour qui peut afficher les anciennes versions d'une page particulière. Cependant, il ne permet à personne d'analyser toutes ses données à la fois de cette manière.

Common Crawl a déjà inspiré ou aidé de nouvelles startups Web. TinEye , un moteur de recherche inversé qui trouve des images similaires à celles fournies par l'utilisateur, a utilisé les premières données de Common Crawl pour commencer. Le projet personnel d'un programmeur utilisant les données Common Crawl pour mesurer combien de pages Web se connectent à Facebook— quelque 22 pour cent, a-t-il conclu —conduit à obtenir un financement pour une startup, huître porte-bonheur , basé sur le fait d'aider les gens à trouver des informations utiles dans leurs données sociales.

D'autres idées permises par le projet ont émergé d'un concours organisé l'année dernière qui a décerné des prix pour le meilleurs cas d'utilisation . L'un des gagnants utilisé les liens Wikipedia dans les données d'exploration pour créer un service capable de définir le sens des mots ; un autre a essayé de déterminer attitudes du public à l'égard de la législation du Congrès en analysant le contenu des discussions en ligne sur les nouvelles lois.

Rich Skrenta, cofondateur et PDG de la startup du moteur de recherche Blekko (voir As Google Tinkers With Search, Upstarts Gain Ground ), affirme que les données de Common Crawl répondent à un besoin certain de la communauté des startups. Il dit que Blekko a été approché par des startups dont la technologie a besoin d'accéder à de grandes collections de données en ligne. Ce type de données est désormais facilement disponible à partir de Common Crawl, explique Skrenta, dont la société a contribué certaines de ses propres données au projet en décembre 2012. Blekko a partagé des informations de son système qui catégorise les pages Web par contenu, par exemple en indiquant si elles contiennent de la pornographie. ou spam.

Ben Zhao , professeur agrégé à l'Université de Californie à Santa Barbara, qui utilise de vastes collections de données Web pour rechercher des activités sur les sites sociaux (voir Hidden Industry Dupes Social Media Users ), affirme que les données de Common Crawl sont probablement uniques. Les nouvelles analyses à grande échelle sont assez rares, et je ne connais pas personnellement les endroits où obtenir des données d'analyse volumineuses sur le Web, dit-il.

Cependant, Zhao note que certaines des parties les plus intéressantes et les plus précieuses du Web ne seront pas bien représentées dans les données de Common Crawl : les sites sociaux sont assez sensibles à leur contenu de nos jours, et beaucoup mettent en œuvre des mécanismes anti-crawling pour limiter la vitesse de chacun. peuvent accéder à leur contenu.

Pour accéder à ces données, les chercheurs doivent nouer des relations avec les entreprises et s'appuyer sur tout ce qu'elles publieront, une voie moins accessible aux startups qui peuvent être considérées comme des concurrents.

cacher