Le logiciel d'IA affronte les élèves de quatrième année aux tests scientifiques

À quelle saison de l'année le pelage d'un lapin est-il le plus épais ? Un programme informatique appelé Aristo peut vous le dire parce qu'il a lu dans un guide d'étude de quatrième année des ours qui poussent des peaux plus épaisses pendant l'hiver, et il sait que les lapins sont aussi des mammifères. Il étudie pour les examens scientifiques standard de l'État de New York.

Aristo est développé par des chercheurs du Institut Allen pour l'intelligence artificielle à Seattle, qui veulent donner aux machines une mesure de bon sens sur le monde. Le PDG de l'institut, Oren Etzioni , dit que la meilleure façon de comparer le développement de leur progéniture numérique est d'utiliser des tests conçus pour les écoliers. Il essaie de convaincre d'autres chercheurs en IA d'adopter des tests scolaires standardisés comme moyen de mesurer les progrès dans le domaine.

Nous pouvons mettre notre compréhension des progrès de l'IA et du langage naturel sur une base objective, dit Etzioni. Pouvoir comparer les mérites de différentes approches devrait faciliter l'identification d'approches prometteuses et pourrait accélérer les progrès, dit-il.

Début octobre, l'Institut Allen lancera un concours mettant les chercheurs au défi de créer un logiciel pour répondre aux questions scientifiques de huitième année. Le concours est hébergé sur le site Web de la science des données Kagglé , où les participants pourront accéder à des milliers de questions pratiques pour former leur logiciel. Un prix de 50 000 $ sera décerné au créateur du logiciel qui obtiendra les meilleurs résultats sur des questions qu'il n'a jamais vues auparavant.

À l'heure actuelle, Aristo n'est pas près de réussir le test de sciences de quatrième année. Cela nécessite un score de 65 %. Aristo ne peut répondre qu'aux questions à choix multiples, qui représentent environ les deux tiers du test. Il obtient un score d'environ 75 % sur ceux qui n'impliquent pas de diagrammes et de 45 % sur ceux qui le font, explique Etzioni. Aristo obtient un score de 63 % sur les questions à choix multiples de huitième année qui excluent les diagrammes.

Vous pouvez voir Aristo répondre à des questions sélectionnées de quatrième année sur le site Web de l'Institut Allen. Le logiciel utilise des algorithmes de raisonnement pour répondre aux questions en utilisant les connaissances recueillies dans les guides d'étude et sur le Web.

Trouver un moyen de mettre ne serait-ce qu'un soupçon de bon sens dans les logiciels est un défi majeur en IA, et qui pourrait amener les ordinateurs à nous aider de nombreuses nouvelles façons. Si nous voulons construire des systèmes robustes et plus naturels pour les gens, ils auront besoin de ces capacités, explique Etzioni.

C'est un point de vue partagé par d'autres chercheurs de premier plan, y compris le laboratoire d'IA en pleine expansion de Facebook, qui souhaite permettre à des assistants virtuels capables d'une conversation de base (voir Enseigner aux machines de nous comprendre). L'une des raisons pour lesquelles les assistants virtuels existants tels que Siri d'Apple ou Cortana de Microsoft sont très limités est qu'ils doivent se débrouiller sans bon sens. Ils utilisent ce que vous dites pour sélectionner parmi un portefeuille de règles préprogrammées.

Ernest Davis , professeur à l'Université de New York, convient qu'un moyen de comparer le bon sens d'une machine pourrait aider le domaine. Mais il ne pense pas que l'utilisation de tests scolaires soit un bon choix.

L'utilisation de tests créés pour les enfants a l'avantage de garantir que les chercheurs ne rendent pas accidentellement ou intentionnellement la référence pour leur domaine trop facile, dit-il. Mais parce que les enfants comprennent tellement mieux le monde que les machines, les tests écrits pour eux ne peuvent pas être utilisés pour sonder les capacités les plus importantes pour progresser avec des logiciels intelligents, dit-il.

Ce qui est difficile pour les humains est très différent de ce qui est difficile pour les machines, explique Davis, qui travaille également à donner du bon sens aux logiciels. Les tests standardisés pour les humains ne couvrent pas très bien les types de problèmes qui sont difficiles pour les ordinateurs.

Davis dit qu'une meilleure alternative serait de créer des questions de style examen spécifiquement pour les machines. Un exemple de question qu'il a créé suggère qu'un examen scientifique conçu pour les machines pourrait sembler très basique à un élève de quatrième année : la vache préférée de Sally est morte hier. La vache sera probablement de nouveau en vie a) demain ; b) dans un délai d'une semaine ; c) dans un délai d'un an ; d) dans quelques années ; e) la vache ne vivra plus jamais.

Etzioni rétorque que bien que les questions des tests scolaires ne testent pas directement le bon sens très basique, elles l'exigent implicitement, car il est nécessaire pour interpréter les questions. Ce n'est qu'en utilisant des questions conçues pour les humains que nous pouvons vraiment dire que nous mesurons les machines par rapport à nos propres normes, dit-il. Mettre les humains et les machines sur un pied d'égalité a du sens.

cacher