Ce supercalculateur va essayer de trouver des renseignements sur Reddit

Est-il possible que le secret de la construction de l'intelligence artificielle réside dans le fait de passer des heures interminables à lire Reddit ?

C'est une question qu'une équipe de chercheurs de OpenAI , une organisation à but non lucratif soutenue par plusieurs sommités de la Silicon Valley, espère répondre avec un nouveau type de supercalculateur développé par le fabricant de puces Nvidia. Les chercheurs entraînent également des robots à faire la vaisselle par l'expérimentation, et ils construisent des algorithmes capables d'apprendre à jouer à une grande variété de jeux informatiques différents.

La nouvelle machine, appelée DGX-1, est optimisée pour la forme d'apprentissage automatique connue sous le nom d'apprentissage en profondeur, qui consiste à fournir des données à un vaste réseau de neurones grossièrement simulés et a entraîné de grands progrès dans l'intelligence artificielle ces dernières années. Le DGX-1 permettra aux chercheurs en intelligence artificielle de former plus rapidement des systèmes d'apprentissage en profondeur en utilisant davantage de données. À titre de comparaison approximative, les calculs qui prendraient 250 heures sur un ordinateur conventionnel prennent environ 10 heures sur le DGX-1.

Le PDG de Nvidia, Jen-Hsun Huang, livre le premier DGX-1 à OpenAI d'Elon Musk.

Chez OpenAI, l'amélioration des performances obtenue avec le nouveau matériel peut être perçue le plus immédiatement dans la compréhension du langage. Les chercheurs d'OpenAI alimentent les fils de messages du site Web populaire Reddit avec des algorithmes qui construisent une compréhension probabiliste de la conversation. S'il est nourri de suffisamment d'exemples, le modèle de langage sous-jacent sera assez bon pour tenir une conversation lui-même, espèrent les chercheurs. Et le matériel permettra d'introduire beaucoup plus d'extraits de texte dans le modèle et d'appliquer plus de puissance de calcul au problème.

Andrej Karpathy , chercheur à OpenAI, affirme que les techniques modernes d'apprentissage automatique ont tendance à devenir plus intelligentes à mesure qu'elles grandissent. L'apprentissage en profondeur est une classe très spéciale de modèles, car à mesure que vous agrandissez les modèles, ils fonctionnent toujours mieux, déclare Karpathy dans une vidéo publiée par Nvidia aujourd'hui.

Le langage reste un problème très délicat pour l'intelligence artificielle, mais ces dernières années, les chercheurs ont fait des progrès dans l'application de l'apprentissage en profondeur au problème (voir AI’s Language Problem ). Des chercheurs de Google, par exemple, ont alimenté le dialogue d'un film avec un système d'apprentissage en profondeur conçu à l'origine pour effectuer la traduction, puis montré qu'il pourrait répondre remarquablement bien à certaines questions.

Les chercheurs d'OpenAI prévoient également d'explorer si un robot pourrait apprendre à utiliser le langage en interagissant avec les gens et le monde réel. Cependant, cette recherche n'en est qu'à ses débuts et il sera plus facile d'intensifier le travail impliquant Reddit. Karpathy dit que les modèles formés sur les données Reddit pourraient passer de plusieurs mois de conversation à des années grâce au nouveau matériel.

Nvidia, qui fabrique des unités de traitement graphique pour les jeux, a bénéficié du boom du deep learning car son matériel est bien adapté aux calculs parallèles requis. Ces dernières années, la société a cherché à exploiter cet avantage, et le DGX-1, développé au coût d'environ 2 milliards de dollars, est essentiellement une banque de puces graphiques optimisée pour l'apprentissage en profondeur. Les puces peuvent traiter les données très rapidement (avec un pic d'environ 170 téraflops, soit un milliard de calculs arithmétiques par seconde) et peuvent partager les données plus facilement.

Andrew Ng, scientifique en chef de la société Internet chinoise Baidu, a examiné de près le DGX-1, que Baidu envisage d'utiliser. Les capacités qu'il offre nous permettront d'essayer de nouvelles façons de faire évoluer notre processus de formation, déclare Ng. Cela nous permettra de former des modèles sur des ensembles de données plus volumineux, ce qui, selon nous, conduit à des progrès dans l'IA.

OpenAI est impliqué dans une gamme de recherches de pointe sur l'IA. Outre l'apprentissage en profondeur, ses chercheurs se concentrent sur le développement d'algorithmes capables d'apprendre par de nombreux essais et erreurs, un domaine de recherche connu sous le nom d'apprentissage par renforcement.

OpenAI espère utiliser l'apprentissage par renforcement pour construire des robots capables d'effectuer des tâches utiles à la maison, bien que cela puisse s'avérer un défi chronophage (voir This Is the Robot Maid Elon Musk Is Funding et The Robot You Want Most Is Far from Reality).

Les chercheurs d'OpenAI explorent également des moyens permettant aux algorithmes d'IA d'apprendre beaucoup plus efficacement en générant leurs propres modèles, ou théories, sur la signification d'un ensemble de données. Un algorithme peut apprendre à jouer à une gamme de jeux informatiques, par exemple, en déterminant que la collecte de pièces contribue généralement à augmenter le score.

Ilya Sutskever , directeur de recherche chez OpenAI et figure éminente de l'IA, affirme que les travaux dans ce domaine pourraient à terme conduire à de meilleurs algorithmes capables d'apprendre plus efficacement. Une fois toutes ces améliorations apportées, il devrait être possible de créer des agents capables d'atteindre des objectifs plus sophistiqués en utilisant beaucoup moins d'expérience, dit-il.

OpenAI a été fondée en 2015 avec un financement de 1 milliard de dollars de personnalités de l'industrie technologique, dont Elon Musk, PDG de Tesla et SpaceX, et Sam Altman, président de Y Combinator. L'objectif de l'organisation à but non lucratif est de faire de la recherche ouverte sur l'IA et d'aider à garantir que l'IA profite à l'humanité.

Jen-Hsun Huang, PDG de Nvidia, a déclaré que la décision de donner le premier DGX-1 à OpenAI reflète une croyance dans les objectifs d'OpenAI. La stratégie de Nvidia est de démocratiser l'IA, a déclaré Huang dans une interview. Nous aimerions que cette technologie, aussi puissante soit-elle, aille dans un sens bon pour la société.

cacher