Google accapare-t-il le marché du Deep Learning ?

Combien valent une douzaine de chercheurs en deep learning ? Apparemment, plus de 400 millions de dollars.

Dans le 'Plex : Google dépense des centaines de millions pour créer des logiciels capables d'apprendre des informations stockées dans ses centres de données.

Cette semaine, Google aurait payé autant acquérir Technologies DeepMind , une startup basée à Londres qui comptait l'une des plus grandes concentrations de chercheurs travaillant sur l'apprentissage en profondeur, un domaine de recherche en intelligence artificielle relativement nouveau qui vise à accomplir des tâches telles que la reconnaissance de visages dans une vidéo ou de mots dans la parole humaine (voir Deep Learning ).

L'acquisition, visant à ajouter des experts qualifiés plutôt que des produits spécifiques, marque une accélération des efforts de Google, Facebook et d'autres sociétés Internet pour monopoliser les plus grands cerveaux de la recherche sur l'intelligence artificielle.

Dans une interview le mois dernier, avant l'acquisition de DeepMind, Peter Norvig , directeur de recherche chez Google, a estimé que son entreprise employait déjà moins de 50 %, mais certainement plus de 5 % des plus grands experts mondiaux en apprentissage automatique, la discipline plus large dont l'apprentissage en profondeur est la pointe.

Des entreprises comme Google s'attendent à ce qu'un apprentissage approfondi les aide à créer de nouveaux types de produits capables de comprendre et d'apprendre à partir des images, du texte et des vidéos qui encombrent le Web. Et dans une large mesure, des scientifiques universitaires de premier plan ont adopté la Silicon Valley, où ils peuvent commander des équipes d'ingénieurs au lieu d'étudiants et avoir accès aux ensembles de données les plus volumineux et les plus intéressants. C'est une combinaison des ressources informatiques dont nous disposons et des effectifs que nous pouvons offrir, a déclaré Norvig. Chez Google, si vous voulez une copie du Web, eh bien, il se trouve que nous en avons une qui traîne.

Yoshua Bengio , chercheur en IA à l'Université de Montréal, estime qu'il n'y a qu'une cinquantaine d'experts en apprentissage en profondeur dans le monde, dont beaucoup sont encore des étudiants diplômés. Il a estimé que DeepMind en employait une douzaine sur une cinquantaine d'employés. Je pense que c'est la principale raison pour laquelle Google a racheté DeepMind. Il possède l'une des plus grandes concentrations d'experts en apprentissage en profondeur, selon Bengio.

Des entreprises comme Amazon, Microsoft et Facebook, qui ont créé en septembre leur propre groupe d'apprentissage en profondeur (voir Facebook lance un effort d'IA avancé pour trouver du sens dans vos messages ). Il a peut-être recruté le scientifique en apprentissage en profondeur le plus connu au monde, Yann LeCun de l'Université de New York, pour l'exécuter. Son collègue de NYU, Rob Fergus , a également accepté un emploi sur le réseau social.

Jeux de guerre : Le logiciel de DeepMind a appris par lui-même à jouer à Space Invaders.

Alors que l'apprentissage automatique avancé passe d'une activité principalement scientifique à une activité à haute importance industrielle, le banc de Google est probablement le plus profond. Les noms qu'il a attirés du monde universitaire vers des rôles à temps plein ou à temps partiel incluent Sebastian Thrun (qui a travaillé sur le projet de voiture autonome de l'entreprise); Fernando Pereira, ancien informaticien de l'Université de Pennsylvanie ; Andrew Ng de Stanford; et le patron de la Singularity University Ray Kurzweil.

L'année dernière, Google a également attrapé le célèbre chercheur en apprentissage en profondeur de l'Université de Toronto, Geoff Hinton, et quelques-uns de ses étudiants lors de l'acquisition de la société de Hinton, DNNresearch. Hinton travaille maintenant à temps partiel chez Google. Nous avons dit à Geoff : « Nous aimons vos affaires. Aimeriez-vous faire fonctionner des modèles 100 fois plus gros que ceux de n'importe qui d'autre ? » C'était attrayant pour lui, a déclaré Norvig.

Tout le monde n'est pas content de l'arrivée du proverbial Google Bus dans l'un des quartiers les plus rares du monde universitaire. En décembre, lors d'une réunion scientifique à Lake Tahoe, Mark Zuckerberg, le fondateur et PDG de Facebook, a fait une apparition surprise accompagné de gardes en uniforme, selon Alex Rubinsteyn, chercheur en bio-informatique au Mount Sinai Medical Center, qui s'est plaint en un article de blog qu'une frontière culturelle entre le monde universitaire et la Silicon Valley avait été franchie.

Dans le milieu universitaire, le statut est le mérite de la recherche, c'est ce que vous savez, dit Rubinsteyn. Dans la Silicon Valley, c'est parce que vous dirigez une entreprise ou que vous êtes riche. Et puis les gens autour de ces gens pensent aussi à devenir riches.

Peter Lee, directeur de Microsoft Research, Raconté Semaine d'affaires Bloomberg que les experts en apprentissage profond étaient si demandés qu'ils commandent les mêmes types de salaires à sept chiffres que certains quarts-arrière de la NFL de première année.

Certains ont résisté à l'appel de l'industrie. Sur les trois informaticiens considérés parmi les initiateurs de l'apprentissage en profondeur - Hinton, LeCun et Bengio -, seul Bengio est jusqu'à présent resté dans la tour d'ivoire. Je ne pensais tout simplement pas que gagner 10 fois plus me rendrait plus heureux, dit-il. En tant qu'universitaire, je peux choisir sur quoi travailler et envisager des objectifs à très long terme. De plus, dit-il, les subventions de l'industrie ont commencé à affluer alors que les entreprises se rendent compte qu'elles seront bientôt à court de recrues. Cette année, il prévoit d'augmenter le nombre d'étudiants diplômés qu'il forme de quatre à 15.

DeepMind a été cofondé il y a deux ans par Demis Hassibis, un homme de 37 ans décrit par Les temps de Londres en tant que concepteur de jeux, neuroscientifique et ancien prodige des échecs. Les chercheurs de DeepMind étaient bien connus dans la communauté scientifique, participant à des réunions et publiant des articles d'assez haut niveau sur l'apprentissage automatique, bien qu'ils n'aient pas encore publié de produit, explique Bengio.

L'expertise de DeepMind se situe dans un domaine appelé apprentissage par renforcement, qui consiste à faire en sorte que les ordinateurs apprennent le monde même à partir de commentaires très limités. Imaginez si je vous disais seulement les notes que vous avez obtenues à un test, mais que je ne vous disais pas pourquoi ni quelles étaient les réponses, dit Bengio. C'est un problème difficile de savoir comment faire mieux.

Mais en décembre, DeepMind a publié un article montrant que son logiciel pouvait le faire en apprenant à jouer à sept jeux Atari2600 en n'utilisant comme entrées que les informations visibles sur un écran vidéo, comme la partition. Pour trois des jeux, les classiques Breakout, Enduro et Pong, l'ordinateur a fini par mieux jouer qu'un humain expert. Il a moins bien fonctionné sur Q*bert et Space Invaders, des jeux où la meilleure stratégie est moins évidente.

De tels programmes informatiques qualifiés pourraient avoir d'importantes applications commerciales, notamment l'amélioration des moteurs de recherche (voir Comment une base de données des connaissances mondiales façonne l'avenir de Google ), et pourraient être particulièrement utiles pour aider les robots à apprendre à naviguer dans le monde humain. L'année dernière, Google a acquis plusieurs sociétés de robotique de premier plan, y compris les fabricants de divers types de robots humanoïdes (voir La dernière acquisition de robot de Google est la plus intelligente encore.)

Certes, les grandes entreprises ne dépenseraient pas autant pour monopoliser les talents en intelligence artificielle à moins qu'elles ne croient que ces cerveaux informatiques leur donneront un avantage puissant. Cela peut ressembler à une intrigue de film, mais il est peut-être même temps de se demander ce que la première entreprise en possession d'une véritable IA ferait avec la puissance qu'elle fournissait.

Bengio dit de ne pas s'inquiéter à ce sujet. L'industrie souhaite appliquer l'apprentissage automatique, et en particulier l'apprentissage en profondeur, aux tâches qu'elle souhaite résoudre, dit-il. Ces [efforts] sont en route vers l'IA, mais encore loin de là.

cacher