211service.com
Vous aussi pouvez être le prochain Google
J'ai travaillé chez Google pendant quatre ans et Google a évidemment un peu plus d'ordinateurs que nous, déclare Tom Annau, vice-président de l'ingénierie chez Blekko, le moteur de recherche qui prétend être tout à fait l'égal des géants de la recherche existants Bing et Google - moins le pourriel.
En utilisant de nouveaux sites Web comme proxy, la croissance des connaissances humaines a ralenti…
Mais la quantité d'informations réelles, utiles et intéressantes sur Internet n'augmente pas aussi vite que la loi de Moore, ajoute-t-il.
La loi de Moore n'est pas tant une loi qu'une tendance générale dans l'industrie des microprocesseurs - autant le produit d'un effort de R&D de plusieurs décennies de la part d'entreprises comme Intel que le résultat de principes physiques sous-jacents. Il indique que le nombre de microprocesseurs que vous pouvez obtenir pour un dollar double à peu près tous les 18 mois. Cela signifie des puces plus petites et plus rapides dont les puissances ont augmenté de façon exponentielle depuis les années 1960, au moins.
En revanche, la croissance du Web peut être en train de se stabiliser . Même ainsi, comment une entreprise, et encore moins une startup, pourrait-elle espérer rivaliser avec l'infrastructure de serveurs et de réseau vraiment gigantesque d'entreprises comme Google et Microsoft ?
La recherche sur le Web est toujours une application qui repousse assez fortement les limites des appareils informatiques actuels, explique Annau. Mais Blekko réalise un index complet et à jour du Web avec moins de 1 000 serveurs (probablement moins que ce que l'on trouverait dans n'importe lequel des principaux centres de données de Google) en exploitant la réduction du problème à une taille gérable dans manières que les géants de la recherche ne peuvent pas ou ne veulent pas.
Nous essayons d'éviter d'explorer les spams et autres contenus malveillants, explique Annau. Je pense que d'autres moteurs ont une politique d'exploration, posez d'abord des questions plus tard. Une efficacité que nous gagnons est simplement de ne pas explorer les splogs [blogs de spam] et autres charabia générés par la machine.
Presque tout le contenu généré par la machine sur le Web est produit précisément pour piéger les robots des moteurs de recherche qui l'explorent et pour remplir leurs index de pages chargées d'annonces. Éviter ces sites tous ensemble, en utilisant des algorithmes de détection de spam et une curation humaine, permet à Blekko d'économiser d'énormes quantités de ressources.
Il y a une certaine mesure au-delà de laquelle, si vous continuez à explorer, vous n'allez plus explorer de choses plus intéressantes, utiles ou bonnes - il y a beaucoup de rendements décroissants sur une grande exploration Web, dit Annau.
Blekko utilise également une tactique utilisée par d'autres moteurs de recherche : une analyse fractionnée qui indexe de manière approfondie l'ensemble du Web, y compris une grande partie de son contenu statique, moins fréquemment qu'une analyse rapide qui réindexe constamment les sites qui changent fréquemment, tels que les actualités et les blogs.
Nous explorons agressivement de nombreuses sources de haute qualité et en évolution rapide, explique Annau. Vous pouvez le voir lorsque vous effectuez une recherche par date de barre oblique – vous pouvez voir des éléments qui sont arrivés il y a une minute à peine.
La loi de Moore continue.
(CC)Wgsimon
La vision à long terme d'Annau sur la recherche est que l'indexation de l'ensemble du Web - ou du moins des parties utiles - devient plus facile à gérer, pas moins. Dans ce calcul, Microsoft et Google et d'autres grands moteurs de recherche annoncent l'échelle de leurs centres de données en partie pour intimider leurs rivaux potentiels ; pour faire en sorte que les barrières à l'entrée dans le secteur de la recherche paraissent plus élevées qu'elles ne le sont en réalité.
Que nous réussissions ou échouions en tant que startup, il sera vrai que chaque année qui passe, les serveurs individuels deviendront de plus en plus puissants, et la capacité d'explorer et d'indexer les informations utiles sur le Web deviendra de plus en plus abordable, dit Annau.
Chaque startup est une hypothèse sur une certaine efficacité sur le marché qu'ils perçoivent, ajoute-t-il. Pour Blekko et d'autres startups de moteurs de recherche, telles que l'opération à un seul homme Duck Duck Go de Gabriel Weinberg, cette efficacité est que la somme des connaissances humaines sera facilement dépassée par le taux d'augmentation de la puissance de calcul.
Comme Rich Skrenta, PDG de Blekko, aime à le souligner, la croissance de Wikipédia se stabilise. Il n'y a tout simplement pas beaucoup de sujets dans le monde - les gens peuvent ajouter et modifier des pages, mais vous n'allez pas voir continuellement doubler sa taille, dit Annau.
