211service.com
Une toile d'araignée pour tout le monde
Alors que la quantité d'informations sur Internet ne cesse de croître, la question de savoir comment les traiter et les rendre utiles se pose également. Une startup appelée 80jambes , basée à Houston, Texas, espère qu'un service d'exploration Web distribué et peu coûteux pourrait aider les startups à rechercher des informations sur le Web sans avoir à créer les batteries de serveurs géantes utilisées par les principaux moteurs de recherche. L'entreprise a été lancée cette semaine à DEMO, une conférence à San Diego qui présente de nouvelles entreprises.
Les robots d'indexation, ou spiders, sont des logiciels qui visitent automatiquement des pages sur Internet et peuvent être utilisés pour les indexer et collecter des informations à partir de différentes pages. Les robots d'exploration sont utilisés par les moteurs de recherche, par exemple, pour surveiller l'emplacement des informations sur le Web. Mais l'échelle du Web signifie que l'exploration complète consomme beaucoup de puissance de traitement, ce qui signifie généralement la construction d'énormes centres de données pour alimenter le logiciel.
80legs espère rendre cette technologie plus accessible aux petites entreprises et aux particuliers en permettant un accès en location et en permettant aux clients de ne payer que pour ce qu'ils rampent.
La technologie d'exploration du Web est également cruciale pour les sites et services sémantiques conçus pour traiter les requêtes en langage naturel. Alors que 80legs s'attend à ce que les utilisateurs s'intéressent à la recherche et aux applications sémantiques, le PDG Shion Deysarkar a déclaré que ceux qui testaient le service comprenaient également des clients ayant des intérêts moins techniques. Certains chercheurs de marché, par exemple, utilisent 80legs pour découvrir des mentions d'entreprises ou de sujets spécifiques sur le Web.
Un utilisateur peut démarrer une analyse Web via l'interface Web de 80legs. Le formulaire sur le site de l'entreprise leur permet de définir les paramètres du projet et de télécharger le code personnalisé nécessaire pour contrôler la façon dont le robot d'exploration fait son travail. Par exemple, un utilisateur peut souhaiter que le robot d'exploration trouve des images et les compare à une base de données de celles protégées par le droit d'auteur. Deysarkar dit que les robots de son entreprise sont capables de traiter jusqu'à deux milliards de pages par jour. La société facture 2 $ pour chaque million de pages explorées, plus des frais de trois cents par heure de traitement utilisé.
De nombreuses startups ont du mal à trouver le financement nécessaire pour construire de grands centres de données, mais ce n'est pas l'approche adoptée par 80legs pour construire son infrastructure d'exploration Web. L'entreprise exécute plutôt ses logiciels sur un réseau distribué d'ordinateurs personnels, un peu comme ceux utilisés pour des projets tels queSETI à la maison. Le réseau informatique distribué est mis en place par Plura Processing, qui le loue à 80legs. Plura oblige les utilisateurs d'ordinateurs à fournir une puissance de traitement inutilisée en échange d'un accès à des jeux, de dons à des œuvres de bienfaisance et d'autres récompenses.
Deysarkar affirme que l'approche réduit considérablement les coûts pour 80 legs, permettant à l'entreprise d'offrir son service à un prix bien inférieur à ce qui serait possible si elle utilisait un centre de données, ou même un service de cloud computing tel qu'Amazon Web Services.
Daniel Tunkelang, cofondateur de la société de recherche Endeca , basé à Cambridge, MA, affirme qu'un bon service d'exploration du Web pourrait être utile pour les startups qui souhaitent se concentrer sur la création de l'expérience de recherche plutôt que sur la collecte des données. Mais Tunkelang dit que le succès de 80legs peut dépendre de la facilité avec laquelle les utilisateurs peuvent personnaliser le crawl. La grande question est de savoir dans quelle mesure le crawl est-il adaptatif et programmable ? il dit.
Tunkelang note également qu'il est important pour un robot d'exploration Web de capturer autant d'informations que possible. Par exemple, le chemin emprunté par un robot pour arriver à une page particulière peut fournir à une société de recherche des informations utiles sur le contenu de cette page.
Un service comme 80legs pourrait également être utile aux chercheurs universitaires. L'exploration à grande échelle est en effet un obstacle coûteux à franchir pour les projets de recherche expérimentale dans les universités, qui manquent souvent d'infrastructures à grande échelle, selon Kevin Chang , professeur agrégé d'informatique à l'Université de l'Illinois à Urbana-Champaign.
Chang pense que la nature distribuée de 80legs est une direction intéressante et semble prometteuse [pour réduire] le coût de l'exploration. Dans le même temps, il convient que beaucoup dépend de l'efficacité avec laquelle le système fonctionne et de l'efficacité avec laquelle les utilisateurs peuvent personnaliser les données qu'ils souhaitent traiter.
80legs prévoit de lancer un marché où les utilisateurs non techniques pourront acheter des applications capables de contrôler le fonctionnement d'un robot d'exploration. Les entreprises partenaires pourront également vendre l'accès aux applications qui contrôlent les robots d'exploration de 80legs.