Résultat du test de QI : la machine d'IA avancée correspond au score d'un enfant de quatre ans

Les progrès rapides des technologies de traitement de l'information ces dernières années ont créé des dispositifs informatiques dotés de formidables pouvoirs. Ces machines ont longtemps été meilleures que les humains pour l'arithmétique, certains jeux comme les échecs, et plus récemment pour les tâches avancées de reconnaissance de formes telles que la reconnaissance faciale.

Mais une question en suspens est : dans quelle mesure ces capacités s'additionnent-elles à l'équivalent de l'intelligence humaine ? Aujourd'hui, nous obtenons une sorte de réponse grâce au travail de Stellan Ohlsson de l'Université de l'Illinois et de quelques amis qui ont mis à l'épreuve l'une des machines d'intelligence artificielle les plus puissantes au monde en utilisant un test de QI standard administré aux humains.

Les résultats montrent que même si les ordinateurs sont devenus beaucoup plus puissants ces dernières années, ils ont du rattrapage à faire pour atteindre les niveaux de performance humaine.

Tout d'abord un peu de contexte. La science de la mesure des compétences et des performances humaines est connue sous le nom de psychométrie. En ce qui concerne l'intelligence humaine, le test psychométrique le plus largement accepté est le quotient intellectuel, ou test de QI.

Celui-ci se compose de deux parties. Le premier est une série de questions conçues pour tester divers aspects de la performance humaine. La seconde est une base de données des résultats des tests auxquels les résultats futurs peuvent être comparés. C'est ainsi que les humains sont évalués; comme supérieur ou inférieur à la moyenne par rapport à la base de données, par exemple.

Les tests de QI sont également conçus pour tester les humains à différentes étapes de leur vie. Il est donc peu probable qu'un test conçu pour les adultes fournisse beaucoup d'informations sur les performances des enfants de 10 ou 4 ans. Ainsi, le processus de conception des tests et de création de la base de données des résultats des tests doit être effectué pour chacun de ces groupes.

Au fil des ans, les informaticiens ont créé un certain nombre de machines d'IA qui ont tenté d'acquérir une compréhension rationnelle du monde qui les entoure. L'un des plus célèbres, appelé ConceptNet, est en cours de développement au MIT depuis les années 1990.

Pour évaluer son intelligence, Ohlsson et co ont utilisé un test de QI verbal conçu pour les enfants pour tester ConceptNet 4 (ConceptNet 5 a depuis été publié).

Ce test, connu sous le nom d'échelle d'intelligence préscolaire et primaire de Wechsler, mesure les performances des enfants dans cinq catégories : informations, vocabulaire, raisonnement de mots, compréhension et similitudes.

La catégorie d'information contient des questions telles que : Où peut-on trouver un pingouin ?

La catégorie vocabulaire contient des questions telles que : Qu'est-ce que ___ ? comme dans Qu'est-ce qu'une maison ?

Dans le raisonnement des mots, un enfant doit identifier quelque chose à partir de trois indices, tels que : vous pouvez voir à travers, c'est carré et vous pouvez l'ouvrir.

Les questions de similarités sont de la forme : Finis ce que je dis. X et Y sont tous les deux ___ comme dans Terminer ce que je dis. Le stylo et le crayon sont tous les deux ___. Cela nécessite que l'enfant comprenne deux concepts et trouve le chevauchement entre eux.

Et enfin, les questions de compréhension sont de la forme : Pourquoi les gens se serrent-ils la main ? Cela nécessite la construction d'une explication et va donc au-delà de la simple recherche d'informations.

Ohlsson et co ont administré ce test en soumettant les questions à la machine d'IA sous une forme modifiée. Cela nécessitait une certaine programmation pour permettre aux questions de s'interfacer avec la structure de connaissances de l'ordinateur sur le monde.

Et les résultats rendent la lecture intéressante. ConceptNet fait bien sur le vocabulaire et les similarités, médiocre sur l'information, et mal sur le raisonnement et la compréhension des mots, disent Ohlsson et co.

En particulier, les réponses qu'il a données étaient extrêmement sensibles à la façon dont il a interprété la question. Par exemple, dans la catégorie compréhension, on a demandé à la machine Pourquoi nous serrons-nous la main ?

Pour ConceptNet 4, cela se résume à une recherche liée à trois concepts, deux concepts à un mot de poignée de main et un concept à deux mots de poignée de main. S'il utilise tous ces concepts pour chercher une réponse, il produit une crise d'épilepsie.

Cependant, forcer la machine à ne considérer que des concepts uniques produit des réponses beaucoup plus satisfaisantes, merci, flirter et rencontrer des amis.

Mais cela ne fonctionne pas toujours. Par exemple, dans la catégorie information, on a demandé à la machine où trouver un enseignant ?

La machine décompose cela en une demande de trois concepts différents : ceux de trouver et d'enseigner et du concept en deux mots trouver enseignant. En utilisant tout cela, il donne la réponse correctement comme Mais si Ohlsson et co le forcent à ne considérer que le concept de deux mots trouver un enseignant, il donne les réponses déroutantes groupe ou piano.

La raison pour laquelle il a des problèmes avec ce type de raisonnement dans certaines circonstances n'est pas claire.

De plus, bon nombre des mauvaises réponses sont totalement différentes de celles que donneraient les enfants. Par exemple, dans la catégorie raisonnement des mots, ConceptNet 4 a reçu les indices suivants : Cet animal a une crinière s'il s'agit d'un mâle, c'est un animal qui vit en Afrique, et c'est un gros chat brun jaunâtre.

Mais ses cinq principales réponses étaient : chien, ferme, créature, maison et chat.

C'est aberrant. Le bon sens devrait au moins limiter la réponse aux animaux, et devrait également faire la simple déduction que, si les indices indiquent qu'il s'agit d'un chat, alors les types de chats sont les seules alternatives à considérer, disent Ohlsson et co.

Tout cela a conduit Ohlsson et co à une conclusion claire. Le système ConceptNet a obtenu un VIQ WPPSI-III qui est moyen pour un enfant de quatre ans, mais inférieur à la moyenne pour les enfants de cinq à sept ans, disent-ils.

C'est un résultat intéressant. Bien sûr, il existe plusieurs façons d'améliorer le test. L'une consiste à donner à l'ordinateur des capacités de traitement du langage naturel. Cela réduirait sa dépendance à l'égard de la programmation nécessaire pour saisir les questions et c'est déjà possible avec des assistants en ligne tels que Siri, Cortana et Google Now.

Le point le plus significatif est peut-être que ce travail a été effectué sur une version de ConceptNet 4 qui date de 2012. L'intelligence artificielle a rapidement évolué depuis. Le principal changement a été le passage de la collecte de connaissances à l'apprentissage. Ces systèmes exploitent désormais de vastes bases de données d'informations pour obtenir des informations sur le langage, les images et d'autres aspects du monde. Cela a conduit à une amélioration exponentielle des performances dans de nombreuses tâches, telles que la reconnaissance faciale.

En prenant le résultat d'Ohlsson et co au pied de la lettre, il a fallu 60 ans de recherche sur l'IA pour construire une machine en 2012 qui peut se rapprocher du raisonnement de bon sens d'un enfant de quatre ans. Mais la nature des améliorations exponentielles laisse entrevoir la perspective que les six prochaines années pourraient produire des améliorations tout aussi spectaculaires.

Donc, une question que nous devrions examiner de toute urgence est : à quel type de machine d'IA pourrions-nous nous attaquer en 2018 ?

Réf : arxiv.org/abs/1509.03390 : Mesurer les performances d'un système d'intelligence artificielle sur un test de QI verbal pour les jeunes enfants

cacher