Les voitures autonomes peuvent apprendre beaucoup en jouant à Grand Theft Auto

Passer des milliers d'heures à jouer à Grand Theft Auto pourrait avoir des avantages discutables pour les humains, mais cela pourrait aider à rendre les ordinateurs beaucoup plus intelligents.

Plusieurs groupes de recherche utilisent maintenant le jeu extrêmement populaire, qui propose des voitures rapides et diverses activités néfastes, pour former des algorithmes qui pourraient permettre à une voiture autonome de naviguer sur une vraie route.

Il y a peu de chances qu'un ordinateur apprenne un mauvais comportement en jouant à des jeux informatiques violents. Mais les décors incroyablement réalistes de Grand Theft Auto et d'autres mondes virtuels pourraient aider une machine à percevoir correctement les éléments du monde réel.

Une technique connue sous le nom d'apprentissage automatique permet aux ordinateurs de faire de nouvelles choses impressionnantes, comme identifier les visages et reconnaître la parole aussi bien qu'une personne le peut. Mais l'approche nécessite d'énormes quantités de données organisées, et il peut être difficile et long d'en rassembler suffisamment. Le décor de nombreux jeux est si fantastiquement réaliste qu'il peut être utilisé pour générer des données aussi bonnes que celles générées en utilisant des images du monde réel.

Une image de Grand Theft Auto dans laquelle différents éléments ont été automatiquement annotés.

Certains chercheurs construisent déjà des simulations 3D à l'aide de moteurs de jeu pour générer des données d'entraînement pour leurs algorithmes (voir To Get Truly Smart, AI Might Need to Play More Video Games ). Cependant, les jeux informatiques prêts à l'emploi, comportant des heures d'imagerie photoréaliste, pourraient fournir un moyen plus simple de collecter de grandes quantités de données d'entraînement.

Une équipe de chercheurs d'Intel Labs et de l'Université de Darmstadt en Allemagne a mis au point un moyen intelligent d'extraire des données d'entraînement utiles de Grand Theft Auto.

Les chercheurs ont créé une couche logicielle qui se situe entre le jeu et le matériel informatique, classant automatiquement différents objets dans les scènes de route présentées dans le jeu. Cela fournit les étiquettes qui peuvent ensuite être transmises à un algorithme d'apprentissage automatique, lui permettant de reconnaître les voitures, les piétons et d'autres objets affichés, que ce soit dans le jeu ou dans une rue réelle. Selon un document posté par l'équipe récemment, il serait presque impossible que les gens étiquettent manuellement toutes les scènes avec des détails similaires. Les chercheurs disent également que les images d'entraînement réelles peuvent être améliorées avec l'ajout de certaines images synthétiques.

Le logiciel scanne une scène de route et attribue des noms d'étiquettes aux objets (sur le panneau de gauche) tels que route, trottoir ou bâtiment.

L'un des grands défis de l'IA est de savoir comment étancher la soif de données manifestée par les algorithmes d'apprentissage automatique les plus puissants. Cela est particulièrement problématique pour les tâches du monde réel comme la conduite automatisée. Il faut des milliers d'heures pour collecter de vraies images de rue, et des milliers d'autres pour étiqueter toutes ces images. Il est également impossible de passer par tous les scénarios possibles dans la vie réelle, comme écraser une voiture contre un mur de briques à grande vitesse.

Annoter des données du monde réel est une opération coûteuse et les approches actuelles ne s'adaptent pas facilement, dit Alireza Shafaei , étudiant au doctorat à l'Université de la Colombie-Britannique qui a récemment coécrit un document montrant comment les jeux vidéo peuvent être utilisés pour entraîner un système de vision par ordinateur, dans certains cas, ainsi que des données réelles. Ensemble avec Marc Schmidt , professeur adjoint à l'UBC, et Jim Petit , professeur à l'UBC, Shafaei a montré que les jeux vidéo offrent également un moyen facile de faire varier les conditions environnementales trouvées dans les données d'entraînement.

Avec des environnements artificiels, nous pouvons sans effort collecter des données annotées avec précision à plus grande échelle avec une quantité considérable de variations dans les paramètres d'éclairage et de climat, explique Shafaei. Nous avons montré que ces données synthétiques sont presque aussi bonnes, voire parfois meilleures, que l'utilisation de données réelles pour l'entraînement.

Les chercheurs en IA utilisent déjà des jeux simples pour tester les capacités d'apprentissage de leurs algorithmes (voir Google AI Masters Space Invaders et Minecraft Is a Testing Ground for Human-AI Collaboration ). Mais il existe un intérêt croissant pour l'utilisation de décors de jeu pour alimenter les données d'entraînement visuel des algorithmes. Un groupe de l'Université Johns Hopkins à Baltimore, par exemple, est développer un outil qui peut être utilisé pour connecter un algorithme d'apprentissage automatique à n'importe quel environnement construit à l'aide du moteur de jeu populaire Unreal. Cela inclut des jeux tels que KiteRunner et Hellblade, mais aussi de nombreuses visualisations architecturales spectaculaires.

Rockstar Games, le studio à l'origine de la franchise Grand Theft Auto, a refusé l'opportunité de commenter cette pièce.

cacher