Facebook affirme que son nouveau chatbot bat celui de Google comme le meilleur au monde

Malgré tous les progrès réalisés par les chatbots et les assistants virtuels, ils sont toujours de terribles causeurs. La plupart sont très axés sur les tâches : vous faites une demande et ils s'y conforment. Certains sont très frustrants : ils ne semblent jamais obtenir ce que vous recherchez. D'autres sont terriblement ennuyeux : il leur manque le charme d'un compagnon humain. C'est bien quand vous cherchez seulement à régler une minuterie. Mais à mesure que ces robots deviennent de plus en plus populaires en tant qu'interfaces pour tout, du commerce de détail aux soins de santé en passant par les services financiers, les insuffisances ne font que devenir plus apparentes.

Maintenant, Facebook a open-source un nouveau chatbot qu'il prétend pouvoir parler de presque n'importe quoi d'une manière engageante et intéressante. Blender pourrait non seulement aider les assistants virtuels à résoudre bon nombre de leurs lacunes, mais également marquer des progrès vers la plus grande ambition qui anime une grande partie de la recherche sur l'IA : reproduire l'intelligence. Le dialogue est en quelque sorte un problème « IA complet », explique Stephen Roller, ingénieur de recherche chez Facebook qui a co-dirigé le projet. Vous auriez à résoudre toute l'IA pour résoudre le dialogue, et si vous résolvez le dialogue, vous avez résolu toute l'IA.

La capacité de Blender vient de l'immense échelle de ses données d'entraînement. Il a d'abord été formé sur 1,5 milliard de conversations Reddit accessibles au public, pour lui donner une base pour générer des réponses dans un dialogue. Il a ensuite été affiné avec des ensembles de données supplémentaires pour chacune des trois compétences : conversations qui contenaient une sorte d'émotion , pour lui apprendre l'empathie (si un utilisateur dit que j'ai obtenu une promotion, par exemple, il peut dire Félicitations !) ; conversations riches en informations avec un expert, pour lui enseigner des connaissances ; et conversations entre personnes ayant des personnalités distinctes , pour lui apprendre la personnalité. Le modèle résultant est 3,6 fois plus grand que Meena, le chatbot de Google , qui a été annoncé en janvier, si grand qu'il ne peut pas tenir sur un seul appareil et doit fonctionner sur deux puces informatiques à la place.

Un exemple de conversation entre un humain et Blender.

FACEBOOK

À l'époque, Google proclamait que Meena était le meilleur chatbot du monde. Dans les propres tests de Facebook, cependant, 75% des évaluateurs humains ont trouvé Blender plus engageant que Meena, et 67% ont trouvé qu'il ressemblait plus à un humain. Le chatbot a également trompé les évaluateurs humains 49 % du temps en leur faisant croire que ses journaux de conversation étaient plus humains que les journaux de conversation entre de vraies personnes, ce qui signifie qu'il n'y avait pas beaucoup de différence qualitative entre les deux. Google n'avait pas répondu à une demande de commentaire au moment où cette histoire devait être publiée.

Malgré ces résultats impressionnants, cependant, les compétences de Blender sont encore loin de celles d'un humain. Jusqu'à présent, l'équipe n'a évalué le chatbot que sur de courtes conversations avec 14 tours. S'il continuait à discuter plus longtemps, les chercheurs soupçonnent que cela n'aurait bientôt plus de sens. Ces modèles ne sont pas capables d'aller très en profondeur, explique Emily Dinan, l'autre chef de projet. Ils ne sont pas capables de se souvenir de l'historique de la conversation au-delà de quelques tours.

Blender a également tendance à halluciner les connaissances ou à inventer des faits, une limitation directe des techniques d'apprentissage en profondeur utilisées pour les construire. Il génère finalement ses phrases à partir de corrélations statistiques plutôt que d'une base de données de connaissances. De ce fait, il peut enchaîner une description détaillée et cohérente d'une célébrité célèbre, par exemple, mais avec des informations complètement fausses. L'équipe prévoit d'expérimenter l'intégration d'une base de données de connaissances dans la génération de réponses du chatbot.

Des évaluateurs humains ont comparé des conversations multitours avec différents chatbots.

FACEBOOK

Un autre défi majeur avec tout système de chatbot ouvert est de l'empêcher de dire des choses toxiques ou biaisées. Parce que ces systèmes sont finalement formés sur les médias sociaux, ils peuvent finir par régurgiter le vitriol d'Internet. (Ceci est tristement arrivé à Le chatbot Tay de Microsoft en 2016.) L'équipe a tenté de résoudre ce problème en demandant aux crowdworkers de filtrer le langage nuisible des trois ensembles de données qu'elle utilisait pour le réglage fin, mais elle n'a pas fait de même pour l'ensemble de données Reddit en raison de sa taille. (Quiconque a passé beaucoup de temps sur Reddit saura pourquoi cela pourrait être problématique.)

L'équipe espère expérimenter de meilleurs mécanismes de sécurité, y compris un classificateur de langage toxique qui pourrait revérifier la réponse du chatbot. Les chercheurs admettent cependant que cette approche ne sera pas exhaustive. Parfois, une phrase comme Oui, c'est super peut sembler bien, mais dans un contexte sensible, comme en réponse à un commentaire raciste, elle peut prendre des significations nuisibles.

À long terme, l'équipe Facebook AI s'intéresse également au développement d'agents conversationnels plus sophistiqués qui peuvent répondre à des signaux visuels ainsi qu'à de simples mots. Un projet développe un système appelé Image Chat, par exemple, qui peut converser de manière sensée et avec personnalité sur les photos qu'un utilisateur pourrait envoyer.

cacher