Un test de Turing plus difficile révèle la stupidité des chatbots

Utilisateur : Siri, appelle-moi une ambulance.

Siri : D'accord, à partir de maintenant, je t'appellerai une ambulance.

Apple a corrigé cette erreur peu de temps après la sortie de son assistant virtuel en 2011. Mais un nouveau concours montre que les ordinateurs n'ont toujours pas le bon sens nécessaire pour éviter de telles confusions embarrassantes.

Les résultats du concours ont été présentés lors d'une conférence universitaire à New York cette semaine, et ils donnent une idée de la quantité de travail qui reste à faire pour rendre les ordinateurs vraiment intelligents.

Illustration par Max Bode

le Défi du schéma de Winograd demande aux ordinateurs de donner un sens à des phrases ambiguës mais généralement simples à analyser pour les humains. La désambiguïsation des phrases du schéma de Winograd nécessite une compréhension de bon sens. Dans la phrase Les conseillers municipaux ont refusé un permis aux manifestants parce qu'ils craignaient la violence, on ne sait logiquement pas à qui le mot fait référence, bien que les humains comprennent en raison du contexte plus large.

Les programmes entrés dans le défi étaient un peu meilleurs qu'au hasard pour choisir le sens correct des phrases. Les deux meilleurs participants avaient raison dans 48 % des cas, contre 45 % si les réponses étaient choisies au hasard. Pour pouvoir prétendre au grand prix de 25 000 $, les participants devaient atteindre une précision d'au moins 90 %. Les meilleures candidatures conjointes sont venues de Quan Liu, chercheur à l'Université des sciences et technologies de Chine, et de Nicos Issak, chercheur à l'Open University of Cyprus.

Il n'est pas surprenant que les machines aient été à peine meilleures que le hasard, dit Gary Marcus , psychologue de recherche à l'Université de New York et conseiller du concours. C'est parce que donner aux ordinateurs des connaissances de bon sens est notoirement difficile. Le codage manuel des connaissances prend énormément de temps et il n'est pas simple pour les ordinateurs d'en apprendre davantage sur le monde réel en effectuant une analyse statistique du texte. La plupart des participants au Winograd Schema Challenge essaient d'utiliser une combinaison de compréhension de la grammaire codée à la main et d'une base de connaissances factuelles.

Marcus, qui est également le cofondateur d'une nouvelle startup d'IA, Geometric Intelligence, dit qu'il est à noter que Google et Facebook n'ont pas participé à l'événement, même si les chercheurs de ces entreprises ont suggéré qu'ils faisaient des progrès majeurs dans la compréhension du langage naturel. Il se peut que ces gars soient entrés dans cette pièce et aient obtenu cent pour cent et aient dit 'hah!' dit-il. Mais ça m'aurait étonné.

Le concours ne sert pas seulement à mesurer les progrès de l'IA. Cela montre également à quel point il sera difficile de créer des chatbots plus intuitifs et gracieux, et de former des ordinateurs pour extraire plus d'informations d'un texte écrit.

Les chercheurs de Google, Facebook, Amazon et Microsoft se tournent vers le langage. Ils utilisent les dernières techniques d'apprentissage automatique, en particulier les réseaux de neurones d'apprentissage en profondeur, pour développer des chatbots et des assistants personnels plus intelligents et plus intuitifs (voir Apprendre aux machines à nous comprendre ). En fait, avec la généralisation des chatbots et des assistants vocaux, et avec des progrès spectaculaires dans des domaines tels que la reconnaissance d'images et de la parole, vous pourriez penser que les machines devenaient assez douées pour comprendre le langage.

L'une des deux premières entrées a en fait utilisé une approche d'apprentissage automatique de pointe. Le groupe de Liu, qui comprenait des chercheurs de l'Université York de Toronto et du Conseil national de recherches du Canada, a utilisé l'apprentissage en profondeur pour entraîner un ordinateur à reconnaître la relation entre différents événements, comme jouer au basket et gagner ou se blesser, à partir de milliers de textes.

J'ai été ravi de voir l'apprentissage en profondeur utilisé, dit Léora Morgenstern , scientifique senior chez Leidos Corporation, une société de conseil en technologie, et l'un des organisateurs du défi.

L'équipe de Liu affirme qu'après avoir résolu un problème avec la façon dont son système a analysé les questions du concours, il est précis à près de 60 %. Morgenstern prévient cependant que même si ces affirmations étaient confirmées, la précision serait encore bien pire que celle d'un humain.

Les phrases du schéma de Winograd ont d'abord été mises en évidence comme un moyen d'évaluer la compréhension de la machine par Hector Levesque, un chercheur en intelligence artificielle à l'Université de Toronto. Ils portent le nom de Terry Winograd, un pionnier dans le domaine et professeur à l'Université de Stanford qui a construit l'un des premiers programmes informatiques conversationnels.

Le défi a été proposé en 2014 comme une amélioration du test de Turing. Alan Turing, un ancêtre de l'informatique et de l'intelligence artificielle qui, dans les années 1950, s'est demandé si les machines pourraient un jour penser comme les humains, a suggéré un moyen simple de tester l'intelligence d'une machine. Son idée était qu'une machine essaie de tromper une personne en lui faisant croire qu'elle conversait avec une personne réelle dans une conversation textuelle.

Le problème avec le test de Turing est qu'il est souvent facile pour un programme de tromper une personne en utilisant des astuces et des évasions simples. Mais un programme ne peut pas analyser Winograd Schema ou d'autres phrases ambiguës sans une certaine forme de connaissances générales.

Le concours pourrait avoir des implications pratiques importantes. Cela va arriver lorsque vous commencerez à soutenir les dialogues, dit Charlie Ortiz , chercheur principal principal chez Nuance, une société qui fabrique des logiciels de reconnaissance vocale et d'interface vocale, qui a parrainé le Winograd Schema Challenge. Ortiz dit qu'un raisonnement de bon sens sera nécessaire même pour des conversations simples avec des ordinateurs. Dans les courses, si je dis : ‘Je veux avoir un étui pour ma guitare ; il devrait être solide. Alors, est-ce que « ça » fait référence à l'étui ou à la guitare ?

Marcus ajoute que le raisonnement de bon sens deviendra plus important à mesure que les appareils tels que les appareils intelligents ou les gadgets portables deviendront plus courants. Lorsque vous souhaitez poser une question à votre montre, vous ne pouvez pas faire défiler 50 choix, dit-il. Lorsque vous commencez à parler à votre voiture ou à votre montre, que vous vous débarrassez de la modalité de frappe et que vous voulez avoir un ensemble de phrases connectées - ce discours conversationnel - les gens se réfèrent naturellement aux choses, et vous devez résoudre ces problèmes pour faire ça marche.

cacher