La machine d'apprentissage en profondeur bat les humains dans le test de QI

Il y a un peu plus de 100 ans, le psychologue allemand William Stern a introduit le test du quotient intellectuel comme moyen d'évaluer l'intelligence humaine. Depuis lors, les tests de QI sont devenus une caractéristique standard de la vie moderne et sont utilisés pour déterminer l'aptitude des enfants à l'école et la capacité des adultes à effectuer des travaux.

Ces tests contiennent généralement trois catégories de questions : des questions logiques telles que des modèles dans des séquences d'images, des questions mathématiques telles que la recherche de modèles dans des séquences de nombres et des questions de raisonnement verbal, qui sont basées sur des analogies, des classifications, ainsi que des synonymes et des antonymes.

C'est cette dernière catégorie qui a intéressé Huazheng Wang et ses copains de l'Université des sciences et technologies de Chine et Bin Gao et ses copains de Microsoft Research à Pékin. Les ordinateurs n'ont jamais été bons dans ce domaine. Posez une question de raisonnement verbal à une machine de traitement du langage naturel et ses performances seront médiocres, bien pires que la capacité humaine moyenne.

Aujourd'hui, cela change grâce à Huazheng et à ses amis qui ont construit une machine d'apprentissage en profondeur qui surpasse la capacité humaine moyenne à répondre pour la première fois à des questions de raisonnement verbal.

Ces dernières années, les informaticiens ont utilisé des techniques d'exploration de données pour analyser d'énormes corpus de textes afin de trouver les liens entre les mots qu'ils contiennent. En particulier, cela leur donne une idée des statistiques des modèles de mots, comme la fréquence à laquelle un mot particulier apparaît à proximité d'autres mots. À partir de là, il est possible de déterminer comment les mots sont liés les uns aux autres, bien que dans un vaste espace de paramètres.

Le résultat final est que les mots peuvent être considérés comme des vecteurs dans cet espace de paramètres de grande dimension. l'avantage est qu'ils peuvent alors être traités mathématiquement : comparés, additionnés, soustraits comme les autres vecteurs. Cela conduit à des relations vectorielles comme celle-ci : roi – homme + femme = reine.

Cette approche a rencontré un énorme succès. Google l'utilise pour la traduction automatique de la langue en supposant que les séquences de mots dans différentes langues représentées par des vecteurs similaires ont une signification équivalente. Ils sont donc des traductions l'un de l'autre.

Mais cette approche a un défaut bien connu : elle suppose que chaque mot a un sens unique représenté par un vecteur unique. Non seulement ce n'est souvent pas le cas, mais les tests verbaux ont tendance à se concentrer sur des mots ayant plus d'un sens afin de rendre les questions plus difficiles.

Huazheng et ses amis s'y attaquent en prenant chaque mot et en recherchant d'autres mots qui apparaissent souvent à proximité dans un grand corpus de texte. Ils utilisent ensuite un algorithme pour voir comment ces mots sont regroupés. La dernière étape consiste à rechercher les différentes significations d'un mot dans un dictionnaire, puis à faire correspondre les groupes à chaque signification.

Cela peut être fait automatiquement car la définition du dictionnaire comprend des exemples de phrases dans lesquelles le mot est utilisé de différentes manières. Ainsi, en calculant la représentation vectorielle de ces phrases et en les comparant à la représentation vectorielle dans chaque cluster, il est possible de les faire correspondre.

Le résultat global est une manière de reconnaître les multiples sens différents que peuvent avoir certains mots.

Huazheng et ses amis ont un autre tour dans leur manche pour permettre à un ordinateur de répondre plus facilement aux questions de raisonnement verbal. Cela est dû au fait que ces questions appartiennent à plusieurs catégories qui nécessitent des approches légèrement différentes pour être résolues.

Leur idée est donc de commencer par identifier la catégorie de chaque question afin que l'ordinateur sache ensuite quelle stratégie de réponse il doit utiliser. C'est simple puisque les questions de chaque catégorie ont des structures similaires.

Donc, les questions qui impliquent des analogies sont comme celles-ci :

L'isotherme est-elle à la température ce qu'est l'isobare à la température ? (i) atmosphère, (ii) vent, (iii) pression, (iv) latitude, (v) courant.

et

Identifiez deux mots (un de chaque ensemble de parenthèses) qui forment une connexion (analogie) lorsqu'ils sont associés aux mots en majuscules : CHAPITRE (livre, verset, lecture), ACT (scène, public, jeu).

Les questions de classification de mots ressemblent à ceci :

Quel est l'intrus? (i) calme, (ii) calme, (iii) détendu, (iv) serein, (v) imperturbable.

Et les questions à la recherche de synonymes et d'antonymes ressemblent à celles-ci :

Quel mot est le plus proche d'IRRATIONNEL ? (i) intransigeant, (ii) irrécupérable, (iii) dangereux, (iv) perdu, (v) absurde.

Et

Quel mot est le plus opposé à MUSICAL ? (i) discordant, (ii) fort, (iii) lyrique, (iv) verbal, (v) euphonique.

Repérer chaque type de question est relativement simple pour un algorithme d'apprentissage automatique, étant donné suffisamment d'exemples pour apprendre. Et c'est exactement comme ça que font Huazheng et co.

Après avoir identifié le type de question, Huazheng et ses amis conçoivent ensuite un algorithme pour résoudre chacune en utilisant les méthodes vectorielles standard mais aussi la mise à niveau multi-sens qu'ils ont développée.

Ils comparent cette technique d'apprentissage en profondeur avec d'autres approches algorithmiques de tests de raisonnement verbal et aussi avec la capacité des humains à le faire. Pour cela, ils ont posé les questions à 200 personnes réunies via l'installation de crowdsourcing Mechanical Turk d'Amazon, ainsi que des informations de base sur leur âge et leur formation.

Et les résultats sont impressionnants. À notre grande surprise, la performance moyenne des êtres humains est un peu inférieure à celle de notre méthode proposée, disent-ils.

Les performances humaines à ces tests ont tendance à être en corrélation avec le niveau d'instruction. Ainsi, les personnes ayant fait des études secondaires ont tendance à moins bien réussir, tandis que celles qui ont un baccalauréat réussissent mieux et celles qui ont un doctorat réussissent mieux. Notre modèle peut atteindre le niveau d'intelligence entre les personnes titulaires d'un baccalauréat et celles titulaires d'une maîtrise, disent Huazheng et co.

C'est un travail fascinant qui révèle le potentiel des techniques d'apprentissage en profondeur. Huazheng et co sont clairement optimistes quant aux développements futurs. Avec des utilisations appropriées des technologies d'apprentissage en profondeur, nous pourrions faire un pas de plus vers la véritable intelligence humaine.

Les techniques d'apprentissage en profondeur déferlent actuellement sur l'informatique comme une traînée de poudre et la révolution qu'elles créent n'en est qu'à ses débuts. On ne sait pas où cette révolution nous mènera, mais une chose est sûre : William Stern serait étonné.

Réf : arxiv.org/abs/1505.07909 : Résoudre les questions de compréhension verbale dans le test de QI par l'incorporation de mots basée sur les connaissances

cacher