La technique qui a appris à l'IA à jouer au go ne peut toujours pas apprendre à conduire une voiture

Catégorie: Intelligence artificielle Posté 15 janvier

L'apprentissage par renforcement (RL), la catégorie d'apprentissage automatique qui repose sur des pénalités et des récompenses, peut être une technique puissante pour apprendre aux machines à s'adapter à de nouveaux environnements.

AlphaGo de Deepmind l'a utilisé pour vaincre le meilleur joueur de Go du monde alors qu'il ne l'avait jamais joué auparavant. Il s'est également révélé prometteur dans la création de robots capables de fonctionner dans des conditions changeantes.

Mais la technique a ses limites. Il faut une machine pour gaffer car elle affine lentement ses actions au fil du temps. C'est bien dans le laboratoire ou lorsque vous jouez à un jeu de société. C'est loin d'être idéal pour les applications, comme les voitures autonomes, où une erreur pourrait être fatale.

En réponse, les chercheurs ont développé différentes façons de contourner le besoin de formation dans le monde réel. Une voiture peut utiliser les données de trafic pour apprendre à conduire dans une réplique numérique sécurisée du monde physique, par exemple, pour dépasser son stade de gaffe sans mettre personne en danger.

Mais ce n'est pas une solution parfaite. Une machine peut encore commettre des erreurs coûteuses lorsqu'elle rencontre des situations au-delà de la portée de ses données d'entraînement. Dans un cas, des chercheurs de l'Université de New York ont ​​​​découvert qu'une voiture avait appris à faire des virages à 90 degrés dans le trafic venant en sens inverse (heureusement, dans le cadre d'une simulation) parce que son ensemble de données de formation n'englobait pas ce genre de scénarios. Inutile de dire que ce n'est pas viable pour former en toute sécurité une voiture autonome ou, disons, un chirurgien robotique.

La même équipe à NYU et le directeur de la recherche en IA chez Facebook, Yann Lecun, sont maintenant proposer une nouvelle méthode qui pourrait résoudre ce problème. En plus de pénaliser et de récompenser une voiture pour son comportement au volant, ils l'ont également pénalisée pour s'être égarée dans des scénarios où elle ne dispose pas de suffisamment de données d'entraînement.

En substance, cela oblige la voiture à avancer avec plus de prudence, explique Mikael Henaff, l'un des auteurs de l'étude, plutôt que d'effectuer des virages sauvages et autres manœuvres qui la placent carrément en territoire inconnu.

Lorsqu'ils ont testé leur nouvelle approche, ils ont constaté qu'elle était meilleure que les méthodes précédentes pour permettre à la voiture de naviguer en toute sécurité dans un trafic dense. Ce n'était toujours pas aussi bon que la performance humaine, donc il reste encore du travail à faire.

Cette histoire a paru à l'origine dans notre newsletter AI The Algorithm. Pour lire des histoires comme celle-ci en premier, recevez The Algorithm directement dans votre boîte de réception. Abonnez-vous ici gratuitement.