Google affirme que son nouveau chatbot Meena est le meilleur au monde

Catégorie: Intelligence artificielle Posté 30 janvier

Google a publié un chatbot alimenté par un réseau de neurones appelé Méena qu'il prétend être meilleur que n'importe quel autre chatbot.

Slurp de données : Meena a été formée sur un énorme 341 gigaoctets de bavardage public sur les réseaux sociaux, soit 8,5 fois plus de données que le GPT-2 d'OpenAI. Google dit que Meena peut parler de presque tout et peut même se réconcilier (mauvaises) blagues .

Pourquoi est-ce important: Une conversation ouverte qui couvre un large éventail de sujets est difficile, et la plupart des chatbots ne peuvent pas suivre. À un moment donné, la plupart disent des choses qui n'ont aucun sens ou révèlent un manque de connaissances de base sur le monde. Un chatbot qui évite de telles erreurs contribuera grandement à rendre les IA plus humaines et à rendre les personnages des jeux vidéo plus réalistes.

Sens et spécificité : Pour mettre Meena à l'épreuve, Google a développé une nouvelle métrique qu'il appelle la moyenne de sensibilité et de spécificité (SSA), qui capture des attributs importants pour les conversations naturelles, comme si chaque énoncé a un sens dans le contexte - ce que de nombreux chatbots peuvent faire - et est spécifique à ce qui vient d'être dit, ce qui est plus difficile.

Que veux-tu dire? Par exemple, si vous dites que j'aime le tennis et qu'un chatbot répond que c'est bien, la réponse a du sens mais n'est pas spécifique. De nombreux chatbots s'appuient sur des astuces comme celle-ci pour cacher le fait qu'ils ne savent pas de quoi vous parlez. D'un autre côté, une réponse comme Moi aussi, je ne me lasse pas de Roger Federer est spécifique. Google a utilisé des crowdworkers pour générer des exemples de conversations et pour noter les énoncés dans environ 100 conversations. Meena a obtenu un score SSA de 79 %, contre 56 % pour Mitsuku, un chatbot à la pointe de la technologie qui a remporté le prix Loebner au cours des quatre dernières années. Même les interlocuteurs humains n'ont obtenu que 86 % dans ce nouveau test.

Puis-je parler à Meena ? Pas encore. Google dit qu'il ne publiera pas de démo publique tant qu'il n'aura pas vérifié le modèle pour la sécurité et la partialité, ce qui est probablement une bonne chose. Lorsque Microsoft a publié son chatbot Tay sur Twitter en 2016, il a commencé à cracher des invectives racistes et misogynes en quelques heures.