Les algorithmes d'Akamai

Vous faites le calcul. Tom Leighton, professeur au Laboratoire d'informatique du MIT, ou LCS, détient près de 10 millions d'actions d'Akamai Technologies, une société qu'il a cofondée en août 1998. En octobre dernier, Akamai est devenue publique, avec des prix à l'offre publique initiale (IPO ) à partir de 26 $ l'action ; à la fin de la journée, les investisseurs avaient offert le prix jusqu'à 145 $ par action. Un mois plus tard, l'action se vendait à 327 $ l'action. Peu importe à quel point vous êtes anxieux en mathématiques, vous comprenez que Tom Leighton est devenu un homme très riche.

Universitaire spécialisé dans les algorithmes parallèles et les mathématiques appliquées, Leighton est à première vue un candidat improbable pour une success story Internet tweeds-to-riches. Mais à y regarder de plus près, cela prend tout son sens. Pendant des années, Leighton a scruté le fonctionnement des réseaux complexes et comment ils peuvent être optimisés. Ainsi, il y a cinq ans, lorsque Tim Berners-Lee (l'inventeur du World Wide Web) est venu chez LCS chercher des moyens de mieux gérer le flux de trafic croissant sur Internet, Leighton et son équipe d'étudiants diplômés étaient une évidence. endroit pour déposer.

Cette histoire faisait partie de notre numéro de septembre 2000

• Voir le reste du numéro
• S'abonner

Au cours des années suivantes, Leighton et un mélange d'étudiants diplômés et de premier cycle du MIT ont essayé de trouver une meilleure façon de gérer et de distribuer le contenu sur le Web. Au début de 1998, le groupe, qui comprenait l'étudiant diplômé Daniel Lewin (qui, avec Leighton et Jonathan Seelig, étudiant à la Sloan School du MIT, a ensuite fondé Akamai), a participé au concours d'entrepreneuriat du MIT à 50 000 $. L'équipe était finaliste mais n'a pas gagné. Pourtant, les investisseurs en capital-risque sont venus frapper à la porte. Et le reste appartient à l'histoire d'Internet. Aujourd'hui, la société gère un réseau mondial de plus de 4 000 serveurs qui distribuent du contenu Web pour des clients tels que Yahoo!, CNN et C-SPAN ; si un utilisateur de PC demande, par exemple, une diffusion vidéo en continu depuis le site Web de C-SPAN, le système de serveurs d'Akamai aide à fournir ce contenu, évitant ainsi les goulots d'étranglement sur le site centralisé de C-SPAN. Le réseau distribué rend la diffusion de contenu sur le Web plus rapide et plus fiable.

Bien qu'il ait décroché le jackpot de l'introduction en bourse, le professeur à la voix douce du MIT (actuellement en congé des LCS) affiche peu de signes manifestes de succès matériel. Au nouveau siège social d'Akamai adjacent au campus du MIT, Leighton, le scientifique en chef de l'entreprise, occupe un modeste bureau d'angle supervisant un labyrinthe de cabines. C'est vraiment le bureau d'un professeur, et Leighton parle avec les mots patients et précis de quelqu'un habitué à expliquer comment les choses fonctionnent. Le rédacteur en chef de TR, David Rotman, a récemment suivi une leçon sur la gestion du trafic sur Internet d'aujourd'hui.

TR : Quand vous est-il venu à l'esprit que vous pouviez utiliser des algorithmes pour optimiser la diffusion de contenu sur le Web ?
LEIGHTON : La première fois que j'ai pensé à Internet, c'était en 1995. Mon bureau [au LCS du MIT] est à deux pas de Tim Berners-Lee et du Web Consortium. Au fil du temps, nous avons parlé de certains des problèmes auxquels est confronté Internet. C'est le genre de problèmes de réseautage à grande échelle sur lesquels notre groupe travaillait et pour lesquels j'ai un intérêt à long terme. Nous avons donc pris certains d'entre eux en tant que projets de recherche.

TR : Dans un sens, Internet est vraiment le défi de réseautage ultime, n'est-ce pas ?
LEIGHTON : Oui. C'est vrai.

TR : Quel était le problème avec lequel vous avez commencé en 95 ?
LEIGHTON : Nous cherchions des moyens de gérer le flash crowding et le hot-spotting. C'est là que beaucoup de gens se rendent sur un site à la fois et inondent le site et font tomber le réseau qui l'entoure - et rendent tout le monde mécontent.

TR : Pouvez-vous expliquer les technologies que vous avez développées ?
LEIGHTON : Aujourd'hui, nous sommes probablement l'un des plus grands réseaux distribués au monde. À un niveau élevé, nous servons du contenu ou gérons des applications pour les utilisateurs finaux, et nous le faisons à partir de serveurs proches des utilisateurs finaux. La fermeture est quelque chose qui change dynamiquement, en fonction des conditions du réseau, des performances du serveur et de la charge. Parce que nous sommes proches, nous pouvons éviter une grande partie des blocages, des retards et des pertes de paquets que vous pourriez rencontrer si vous êtes loin. Auparavant, vous aviez généralement votre interaction avec un site Web central. Et typiquement c'était loin. Maintenant, vous avez généralement beaucoup de vos interactions - pas toutes, mais beaucoup - avec un serveur Akamai qui est près de chez vous et qui est sélectionné en temps réel.

TR : Quelles sont les astuces et les défis pour faire fonctionner ce système distribué ?
LEIGHTON : C'est un domaine extrêmement difficile; vous ne pouvez pas aller jeter un tas de serveurs là-bas et les faire tous fonctionner les uns avec les autres. Les serveurs eux-mêmes vont tomber en panne. Les processeurs vont tomber en panne. Internet a toutes sortes de problèmes et de modes de défaillance. Donc, toutes ces sortes de choses doivent être intégrées dans l'approche algorithmique. Comment développez-vous un algorithme décentralisé avec des informations imparfaites qui fonctionnent toujours ? C'est un énorme défi. Mais c'est clairement ce qu'il faut faire. Vous ne pouvez pas avoir de point central de défaillance ou le système tombera en panne. Je ne peux pas penser à un composant ou à un élément matériel qui n'a pas échoué à un moment ou à un endroit. Donc, c'est une donnée [que vous avez besoin d'un système distribué].

Lorsqu'un client s'adresse à l'un de nos clients à la recherche de contenu, nous devons déterminer où se trouve ce client, lequel de nos emplacements à ce moment-là est le meilleur pour servir le client et quelles sont les conditions de charge, afin de ne pas surcharger quoi que ce soit. Nous devons gérer des foules flash qui sont à la fois géographiques et spécifiques au contenu. Nous devons reproduire le contenu immédiatement pour gérer ce genre de problèmes, mais vous ne pouvez pas vous permettre d'avoir des copies de tout partout. Vous devez prendre ces décisions et répondre aux clients en quelques millisecondes. Nous devons être automatiques. Et lorsque des pièces échouent, vous devez automatiquement compenser cela.

TR : C'est ce que vous appelez la tolérance aux pannes ?
LEIGHTON : Oui, et vous devez être tolérant aux pannes dans tous les aspects. Ensuite, il y a aussi les choses non évidentes. Comme la facturation. Nous servons des milliards d'appels par jour et nous facturons chaque appel. Nous devons déterminer à qui appartient ce contenu et combien d'octets il contient, et les facturer pour cela. En plus de cela, nous proposons un service à nos clients, où ils peuvent voir en 60 secondes le nombre de visites que nous leur avons servies au cours des 60 dernières secondes. De plus, nous pouvons ventiler pour nos clients d'où proviennent les hits par pays ou par état. C'est un problème algorithmique difficile. Comment fais-tu ça en fait ? Et le faire fonctionner avec une quantité limitée de matériel et de ressources ?

TR : Le matériel n'est pas vraiment la clé de tout cela, n'est-ce pas ?
LEIGHTON : Ce n'est même pas un élément majeur. Je ne veux pas rabaisser nos partenaires matériels, mais la clé ici est l'infrastructure algorithmique et logicielle. C'est critique.

TR : Quelle est votre concurrence dans l'offre d'un réseau distribué pour la diffusion de contenu ?
LEIGHTON : Il n'y a pas vraiment grand-chose. Nous sommes à une époque où il y a beaucoup de plans d'affaires et il y a beaucoup d'histoires. Il n'y a pas beaucoup de vrais services disponibles aujourd'hui. À peu près le seul concurrent dans notre espace est Digital Island, qui a récemment acquis Sandpiper [Networks]. Il y en a d'autres qui ont annoncé [des plans d'affaires] mais ne transportent pas encore activement de trafic. L'une des caractéristiques distinctives d'Akamai est la quantité d'efforts de recherche, d'ingénierie et de R&D consacrés à la conception du système. Il ne s'agit pas seulement de jeter un tas de boîtes là-bas. Il y a des entreprises qui ont essayé de le faire sans système distribué. Les entreprises qui ont annoncé des services basés sur cette approche il y a deux ou trois ans ne sont pas encore en activité. Cela n'a pas fonctionné.

TR : Quels sont les défis à venir pour la technologie? Est-ce pour diffuser du contenu plus rapidement ?
LEIGHTON : C'est un composant. Nous essayons de tenir la promesse d'Internet. Il y a l'idée qu'il y a une énorme révolution en train de se produire en ce qui concerne Internet. En même temps, il y a de la frustration à cause des limitations. Ce que nous essayons de faire, c'est de rendre Internet plus utile. Et un élément de cela le rend plus rapide et plus fiable. Un autre élément, quelque peu lié, est de permettre la livraison d'un contenu plus enrichissant et plus habilitant. Si nous pouvons améliorer le streaming, et dans ce cas, la vitesse n'est pas tant le problème, c'est la bande passante et l'absence de perte de paquets, vous obtiendrez une bien meilleure image sur votre écran ; vous en ferez plus avec, et plus de gens l'utiliseront pour transmettre du contenu et des informations. Et cela est inestimable pour enrichir la puissance d'Internet.

Mais tout ne pousse pas les bits. Akamai propose des services pour des fonctionnalités telles que la conférence Internet qui permettent, par exemple, l'apprentissage à distance. Grâce à ces services, les fournisseurs de contenu ou les entreprises clientes peuvent diffuser efficacement du contenu et interagir avec un public petit ou large sur le Web via l'audio et la vidéo en direct ; il existe des fonctionnalités pour partager des présentations, des sondages d'audience et des messages de modération.

TR : Lorsque vous introduisez une nouvelle fonction comme la conférence, par exemple, quelles exigences cela impose-t-il au réseau ?
LEIGHTON : Comment allez-vous le mettre en œuvre ? Comment allez-vous l'intégrer dans cette énorme plateforme distribuée ? Comment allez-vous le maintenir pour des milliers de clients ? Vous avez des milliers de clients et des centaines de millions de personnes qui accèdent à ces clients, et nous sommes assis entre les deux. Et tout doit fonctionner tout seul. Vous ne pouvez pas plaisanter. Organiser une conférence semble simple. Mais ce n'est pas si simple quand on parle de ce genre d'échelle. Lorsque les gens pensent à la diffusion en continu, ils pensent à une seule source d'où provient le contenu, puis il se ramifie en une arborescence via Internet. Ces endroits peuvent tomber en panne et toutes ces personnes en aval n'ont pas de chance. Nous avons développé une toute nouvelle façon de procéder afin qu'il n'y ait pas de point critique d'échec. Si la source meurt, alors vous êtes bloqué. Mais une fois [le contenu] sorti de la source, nous le reproduisons et le diffusons dans tout le système. Ce n'est donc pas un arbre.

TR : À quoi cela ressemble-t-il?
LEIGHTON : C'est difficile à décrire. La façon de penser est qu'entre la source et la destination, vous avez plusieurs transmissions en cours de sorte que vous pouvez perdre du contenu sur ces chemins ; vous pouvez avoir une perte de paquets sur tout ou partie d'entre eux, mais au point de terminaison, vous avez suffisamment d'informations provenant de ces emplacements pour que vous puissiez reconstruire le signal. Donc, si quelque chose est tué en cours de route, comme un chemin est tué, personne n'est affecté.

TR : Nous avons tous connu des frustrations avec le streaming vidéo. En termes de technologie, que faudra-t-il pour le rendre plus fiable ? Quand pourrons-nous regarder des webcasts aussi facilement que la télévision en plein écran ?
LEIGHTON : Pour que le streaming vidéo soit plus fiable, vous avez besoin d'un service de distribution de contenu pour fournir les bits de manière fiable à la périphérie du réseau, puis vous devez disposer d'une connexion fiable du dernier kilomètre à Internet. Si vous voulez une vidéo de haute qualité, vous feriez mieux d'avoir une connexion Internet à large bande passante. Il faudra encore un certain temps avant que vous puissiez obtenir des flux vidéo de qualité TV à grande échelle.

Nous avons démontré un flux en direct en mégabits par seconde. En fait, tout récemment, nous avons diffusé des milliers de flux d'un mégabit par seconde à des clients en direct accédant à un discours d'ouverture de la conférence par Steve Jobs [PDG d'Apple Computer]. C'est une étape importante pour Internet. Avec cette technologie, vous obtenez un flux vidéo de très haute qualité. Si le dernier kilomètre est à haut débit, alors vous êtes prêt à partir. Une chose sur laquelle nous travaillons est le profilage de la bande passante. L'idée est de détecter automatiquement la bande passante du dernier kilomètre. Le client dispose-t-il d'une connexion haut débit, d'un modem 28K, ou s'agit-il d'un téléphone portable à bande étroite ou autre ? Ensuite, nous livrons le contenu en fonction de cela. Ainsi, si vous détectez que le client dispose d'une bande passante élevée, il obtient la version à bande passante élevée - la version en streaming par opposition à la version statique. Ou dans le cas d'une bande passante étroite, vous obtenez une version imprimée par opposition aux graphiques.

TR : La nature même du Web semble changer avec des fonctions telles que le streaming vidéo et la conférence. Sur quoi Akamai va-t-il travailler dans cinq ans ? À votre avis, à quoi ressemblera Internet alors ?
LEIGHTON : Les choses vont si vite, c'est vraiment difficile à prévoir. Les gens qui essaient de prédire finissent par manger leurs mots. Je pense que nous ne sommes qu'au début de la révolution Internet. Je ne pense pas que nous ayons même commencé à penser à tout ce que nous pouvons faire sur Internet. Je ne peux pas vous dire quel sera le service chaud dans cinq ans. Je ne sais pas. J'espère que d'ici là, par exemple, la qualité du streaming est bien meilleure. Que cela fait partie de la vie quotidienne. Au moins, je m'attendrais à ce que l'expérience Web typique devienne plus riche, plus efficace et plus fiable qu'elle ne l'est aujourd'hui.

TR : Vous êtes considéré par beaucoup comme un modèle d'universitaire qui réussit en tant qu'entrepreneur dans la nouvelle économie. Que dites-vous à ceux qui cherchent à imiter votre succès ?
LEIGHTON : Je n'ai jamais eu l'ambition d'être entrepreneur. J'adore les universitaires et j'ai cofondé Akamai parce que nous pensions que c'était le meilleur moyen de transférer notre technologie d'un environnement de recherche à la pratique. C'était vraiment agréable de sortir la technologie, en particulier la technologie d'une université, et de faire une différence avec elle. C'est probablement la plus grande récompense. Il faut souvent 10 à 20 ans pour qu'une technologie dans une université se manifeste vraiment dans la pratique. Et cette fois, nous sommes en mesure de réduire considérablement ce temps. Je suis parfaitement heureux d'écrire un article que seulement cinq personnes lisent. Les gens assez intelligents le liront, et ça me plaît. C'est ce que j'ai passé toute ma vie à faire. Mais c'est quelque chose qui a une chance de faire la différence.

TR : Est-ce que vous manquez jamais les jours où, comme vous le dites, vous passiez votre temps à écrire des articles que peut-être cinq personnes étaient capables de lire et de comprendre ?
LEIGHTON : Oui, même si je n'ai pas beaucoup de temps pour y penser.

cacher