Un algorithme qui a fait évoluer les bots Starcraft forme également des voitures autonomes

Véhicule Waymo Waymo

Les voitures autonomes de Waymo ont maintenant quelque chose en commun avec les cerveaux qui guident les véhicules ordinaires : leur intelligence provient en partie du pouvoir de l'évolution.

Les ingénieurs de Waymo, propriété d'Alphabet, se sont associés à des chercheurs de DeepMind, une autre division d'Alphabet dédiée à l'IA, pour trouver un processus plus efficace pour former et affiner les algorithmes de conduite autonome de l'entreprise.

Ils ont utilisé une technique appelée formation basée sur la population (PBT), précédemment développé par DeepMind pour perfectionner les algorithmes de jeux vidéo. PBT, qui s'inspire de l'évolution biologique, accélère la sélection d'algorithmes et de paramètres d'apprentissage automatique pour une tâche particulière en faisant en sorte que le code candidat soit tiré des spécimens les plus aptes (ceux qui exécutent une tâche donnée le plus efficacement) dans une population algorithmique.

Affiner les algorithmes d'IA de cette manière peut également aider à donner un avantage à Waymo. Les algorithmes qui guident les voitures autonomes doivent être recyclés et recalibrés à mesure que les véhicules collectent plus de données et sont déployés dans de nouveaux endroits. Des dizaines d'entreprises font la course pour démontrer la meilleure technologie d'auto-conduite sur de vraies routes. Waymo explore divers autres moyens d'automatiser et d'accélérer le développement de ses algorithmes d'apprentissage automatique.

En effet, des méthodes plus efficaces de recyclage du code d'apprentissage automatique devraient permettre à l'IA d'être flexible et utile dans différents contextes.

L'un des principaux défis pour quiconque pratique l'apprentissage automatique dans un système industriel est de pouvoir reconstruire le système pour tirer parti du nouveau code, explique Matthieu Devin, directeur de l'infrastructure d'apprentissage automatique chez Waymo. Nous devons constamment recycler le net et réécrire notre code. Et lorsque vous vous recyclez, vous devrez peut-être ajuster vos paramètres.

Les voitures autonomes modernes sont contrôlées par une combinaison presque Rube Goldberg d'algorithmes et de techniques. De nombreux algorithmes d'apprentissage automatique sont utilisés pour repérer les lignes de route, les panneaux, les autres véhicules et les piétons dans les données des capteurs. Ceux-ci fonctionnent de concert avec un code conventionnel ou écrit à la main pour contrôler le véhicule et répondre à différentes éventualités. Chaque nouvelle itération d'un système autonome doit être rigoureusement testée en simulation.

Les véhicules autonomes d'aujourd'hui dépendent fortement de l'apprentissage en profondeur, en particulier. Mais configurer un réseau neuronal profond avec les bonnes propriétés et paramètres (les valeurs qui sont codées en dur au départ) est un art délicat. Les réseaux et paramètres candidats sont pour la plupart sélectionnés manuellement, ce qui prend du temps, ou modifiés au hasard par un ordinateur, ce qui nécessite une grande puissance de traitement.

Chez Waymo, nous formons des tonnes de réseaux de neurones différents, et les chercheurs passent beaucoup de temps à trouver la meilleure façon de former ces réseaux de neurones, explique Yu-hsin (Joyce) Chen, ingénieur en infrastructure d'apprentissage automatique chez Waymo. Nous en avions besoin et avons sauté sur l'occasion.

Chen dit que son équipe utilise maintenant PBT pour améliorer le développement du code d'apprentissage en profondeur utilisé pour détecter les marquages ​​au sol, les véhicules et les piétons, et pour vérifier l'exactitude des données étiquetées qui sont transmises à d'autres algorithmes d'apprentissage automatique. Elle dit que PBT a réduit de moitié environ la puissance informatique nécessaire pour recycler un réseau neuronal et a doublé ou triplé la vitesse du cycle de développement.

Google développe une gamme de techniques pour aider à automatiser le processus de formation des modèles d'apprentissage automatique, et il propose déjà certaines d'entre elles à ses clients via un projet connu sous le nom de ML automatique dans le cloud . Rendre la formation à l'IA plus efficace et automatisée s'avérera sans aucun doute crucial pour les efforts de commercialisation et de profit de la technologie.

Oriol Vinyals, chercheur principal chez DeepMind et l'un des inventeurs du PBT, explique que l'idée d'utiliser le PBT chez Waymo lui est venue lors de sa visite à Devin. DeepMind a d'abord développé la technique en 2017 pour accélérer la formation des réseaux de neurones, puis l'a utilisée pour aider un ordinateur à jouer à StarCraft II, un jeu vidéo de combat particulièrement difficile pour les machines (voir Innovators Under 35, 2016). La collaboration de DeepMind avec Waymo a commencé avant la publication de sa recherche StarCraft en janvier 2019.

Le processus de type évolution utilisé dans PBT permet également de comprendre plus facilement comment un algorithme d'apprentissage en profondeur a été modifié et optimisé, avec quelque chose qui ressemble à un arbre généalogique. L'une des choses intéressantes est que vous pouvez visualiser l'évolution des paramètres, explique Vinyals. C'est un bon moyen de vérifier que ce qui se passe a réellement du sens pour vous.

Mise à jour le 29 juillet pour refléter le fait que PBT a été développé avant que DeepMind ne commence à travailler sur StarCraft II.

cacher