Le meilleur programme d'IA échoue toujours à un test scientifique de huitième année

Malgré tous les progrès remarquables réalisés dans le domaine de l'intelligence artificielle et les avertissements sur les bouleversements que cela pourrait entraîner, l'ordinateur le plus intelligent aurait encore du mal à passer la huitième année.

Un concours organisé par des chercheurs du Institut Allen pour l'intelligence artificielle (AI2) , ont invité les programmeurs à créer un programme capable de passer une version modifiée d'un test scientifique conventionnel de huitième année. Les résultats du concours ont été annoncés mardi lors de la réunion annuelle de l'Association pour l'avancement de l'intelligence artificielle (AAAI).

Le gagnant, un candidat basé en Israël appelé Chaim Linhart, a combiné plusieurs techniques d'apprentissage automatique établies avec de grandes bases de données d'informations scientifiques pour répondre correctement à 59% des questions. Comme d'autres participants, Linhart a alimenté son système informatique avec des centaines de milliers de questions associées à des réponses correctes afin qu'il puisse apprendre à trouver la bonne réponse.

Un score de près de 60 % pourrait décevoir la plupart des parents, mais c'est remarquable pour un ordinateur. Le test utilisé pour le concours a cependant été légèrement simplifié pour le rendre pratique pour les ordinateurs. Les diagrammes ont été supprimés, par exemple, et seules les questions avec des réponses à choix multiples ont été utilisées.

Oren Etzioni , un chercheur en IA qui dirige AI2, affirme que le défi du test de huitième année visait à pousser les chercheurs à développer des logiciels qui ne sont pas seulement superficiellement intelligents.

Ces dernières années, les programmes conçus pour effectuer des tâches spécifiques, en particulier celles qui impliquent une sorte de traitement visuel ou audio, ont progressé rapidement grâce à des algorithmes d'apprentissage automatique extrêmement efficaces, en particulier ceux basés sur de grands réseaux de neurones. Un exemple récent impressionnant est un programme Google conçu pour jouer au jeu de société Go, subtil et complexe en termes de calculs (voir Google AI Masters the Game of Go une décennie plus tôt que prévu).

Ce progrès a suscité des espoirs, et des craintes, que des machines vraiment intelligentes ne soient peut-être pas si loin. Mais Etzioni pense que de nouvelles techniques seront nécessaires pour atteindre même les compétences de base dans des tâches plus complexes, ce que les derniers résultats semblent confirmer. De même, le meilleur moyen d'évaluer les progrès de l'intelligence artificielle, le test de Turing, s'est avéré trop facile à truquer à l'aide d'astuces simples.

Thomas Dietrich , professeur à l'Oregon State University et président de l'AAAI, affirme que le concours AI2 est un exercice utile. Dietterich dit également que la combinaison de différentes techniques d'IA sera probablement nécessaire pour obtenir un score de test beaucoup plus élevé à l'avenir. L'intelligence est un mot, mais il fait référence à beaucoup de choses, dit-il. L'une des choses que j'aime à ce sujet est qu'il met l'accent sur l'étendue d'une manière que d'autres tests n'ont pas.

Gary Marcus, scientifique cognitif à l'Université de New York et fondateur d'une startup d'IA appelée Intelligence géométrique , travaille sur un concours d'IA qui comportera plusieurs éléments différents. L'intelligence est une variable multidimensionnelle, dit Marcus. Il n'y aura pas un seul test qui soit une mesure divine de l'intelligence.

Marcus ajoute que le concours AI2 met en évidence l'ampleur du défi qui reste pour les chercheurs en IA. Vous pouvez faire beaucoup mieux que de simplement deviner avec des techniques assez primitives, mais en même temps, 60% est loin de vraiment comprendre la science, ajoute-t-il. La meilleure chose qui en ressorte est que les gens pourraient réaliser à quel point les questions sont vraiment difficiles.

le concours a été organisé via Kaggle, une plate-forme populaire de coordination de concours dans lesquels les scientifiques des données s'affrontent pour créer l'algorithme le plus efficace pour une tâche particulière, comme prédire quels produits se vendront le plus en fonction des ventes précédentes ou du résultat du tournoi March Madness. L'année dernière, AI2 a publié un énorme ensemble de données de questions et réponses permettant aux participants de concevoir des algorithmes pour passer le test (voir AI Software Goes Up Against Fourth Graders on Science Test ).

Lors d'une conférence à la conférence AAAI, Etzioni a suggéré que la mise en place d'un test plus difficile, sur une période plus longue, avec un prix plus important, pourrait inspirer davantage de chercheurs en IA à s'impliquer. Je pense qu'un concours plus long et une IA «plus profonde» seront nécessaires pour passer de 60% à 80% ou plus, déclare Etzioni. Notre hypothèse est que vous ne pouvez pas faire cela avec des astuces bon marché - que vous devez faire quelque chose de plus intelligent.

cacher