211service.com
Les assistants IA disent des choses stupides, et nous sommes sur le point de découvrir pourquoi
Frère Royaume-Uni | Flickr
Siri et Alexa sont clairement loin d'être parfaits, mais on espère que les progrès constants de l'apprentissage automatique les transformeront en aides articulées avant longtemps. Un nouveau test, cependant, peut aider à montrer qu'une approche fondamentalement différente est nécessaire pour que les systèmes d'IA maîtrisent réellement le langage.
Développé par des chercheurs du Institut Allen pour l'IA (AI2), une organisation à but non lucratif basée à Seattle, Défi de raisonnement AI2 (ARC) posera des questions scientifiques à choix multiples au niveau de l'école élémentaire. Chaque question nécessitera une certaine compréhension de la façon dont le monde fonctionne. Le projet est décrit dans un article connexe document de recherche (pdf).
Voici une question : Quel article ci-dessous n'est pas fabriqué à partir d'un matériau cultivé dans la nature ? (A) une chemise en coton (B) une chaise en bois (C) une cuillère en plastique (D) un panier d'herbe
Une telle question est facile pour quiconque sait que le plastique n'est pas quelque chose qui pousse. La réponse puise dans une image de bon sens du monde que même les jeunes enfants possèdent.
C'est ce bon sens qui manque à l'IA derrière les assistants vocaux, les chatbots et les logiciels de traduction. Et c'est une des raisons pour lesquelles ils sont si facilement confondus.
Les systèmes linguistiques qui reposent sur l'apprentissage automatique peuvent souvent fournir des réponses convaincantes aux questions s'ils ont déjà vu de nombreux exemples similaires. Un programme formé sur plusieurs milliers de chats de support informatique, par exemple, pourrait être en mesure de se faire passer pour un assistant de support technique dans des situations limitées. Mais un tel système échouerait si on lui demandait quelque chose qui nécessitait des connaissances plus larges.
Nous devons utiliser notre bon sens pour combler les lacunes autour du langage que nous voyons afin de former une image cohérente de ce qui est dit, déclare Peter Clark, chercheur principal du projet ARC. Les machines n'ont pas ce bon sens, et ne voient donc que ce qui est explicitement écrit, et passent à côté des nombreuses implications et hypothèses qui sous-tendent un morceau de texte.
Le nouveau test fait partie d'une initiative d'AI2 visant à imprégner les systèmes d'IA d'une telle compréhension du monde. Et c'est important parce qu'il peut être difficile de déterminer dans quelle mesure un système linguistique comprend ce qu'il dit.
Par exemple, en janvier, des chercheurs de Microsoft et d'un autre groupe d'Alibaba ont développé des programmes de questions-réponses qui ont surpassé les humains dans un test simple appelé Stanford Question Answering Dataset. Ces avancées étaient accompagnées de gros titres proclamant que les programmes d'IA pouvaient désormais lire mieux que les humains. Mais les programmes ne pouvaient pas répondre à des questions plus complexes ou s'appuyer sur d'autres sources de connaissances.
Les entreprises technologiques continueront de vanter les capacités des systèmes d'IA de cette manière. Microsoft annonce aujourd'hui avoir développé un logiciel capable de traduire des articles d'actualité en anglais vers le chinois, et vice versa, avec des résultats que des bénévoles indépendants jugent à la hauteur du travail de traducteurs professionnels. Les chercheurs de l'entreprise ont utilisé des techniques avancées d'apprentissage en profondeur pour atteindre un nouveau niveau de précision. Bien que cela soit potentiellement très utile, le système aurait du mal à traduire une conversation libre ou un texte d'un domaine inconnu, comme des notes médicales.
Gary Marcus , professeur à NYU qui a plaidé pour l'importance du bon sens dans l'IA, est encouragé par le défi AI2. Je pense que c'est un excellent antidote au genre de repères superficiels qui sont devenus si courants dans le domaine de l'apprentissage automatique, dit-il. Cela devrait vraiment forcer les chercheurs en IA à améliorer leur jeu.