Comment réparer le chatbot offensif de Microsoft en utilisant les conseils de Marvin Minsky et Improv Comedy

Le chatbot Tay de Microsoft a été rapidement démantelé la semaine dernière après avoir commencé à tweeter des déclarations offensantes promulguant l'homophobie, le racisme et l'antisémitisme tout en attaquant des individus spécifiques.

Pourtant, trois termes quelque peu inappropriés circulent encore par rapport à Tay : IA, apprentissage et plus intelligent.

Nous pouvons discuter toute la journée de la nature de l'IA et de la proximité ou de l'éloignement de divers systèmes par rapport au raisonnement humain, mais c'est une conversation qui n'est tout simplement pas pertinente ici. Le système a été conçu pour incorporer le texte des interactions avec les utilisateurs dans les réponses personnelles et les tweets. Il est difficile d'appliquer l'apprentissage des mots à ce processus statistique d'enregistrement, de découpage et de réassemblage de chaînes de mots, sans parler d'appeler l'ensemble du système IA.

Les correctifs évidents à Tay ont déjà été suggérés. Les développeurs pourraient donner au système une liste de termes à éviter, l'empêcher d'apprendre d'un seul utilisateur, l'empêcher de faire des déclarations publiques basées sur du matériel nouvellement appris, ou même demander à un humain de modérer ce qu'il dit.

Pourtant, aucun de ces correctifs d'ingénierie fine ne résoudrait réellement la racine du problème du bot : Tay n'avait tout simplement aucune idée de ce qu'il disait. Les correctifs visent tous à aider un système qui n'est pas si brillant à traverser une conversation sans paraître carrément diabolique. Ils sont conçus pour faire paraître Tay plus intelligent sans le rendre réellement plus intelligent.

Alors qu'est-ce que cela signifierait de faire Tay sembler plus intelligent en fait le rendre plus intelligent ?

Une approche peut être vue chez Siri et ses sœurs (elles sont généralement qualifiées de femmes) comme Cortana. Ces systèmes reconnaissent les mots-clés associés à des tâches assez étroites et génèrent des réponses programmatiques. Ils ont un pouvoir considérable pour agir et générer des réponses précises dans les domaines qu'ils comprennent. Mais l'équipe Microsoft derrière Tay essayait clairement de faire quelque chose de plus largement conversationnel.

À l'autre extrémité du spectre se trouve l'approche complète de l'IA, dans laquelle le système ne voit jamais le jour tant qu'il n'a pas accès à toutes les connaissances nécessaires pour bien comprendre tout ce qui lui est dit, tout ce que ces énoncés impliquent, et le tour à tour toutes les implications de ses propres déclarations.

Un logiciel répondant à ces critères nécessiterait une représentation riche et complète du monde, une bibliothèque massive de règles d'inférence qui s'exécutent chaque fois qu'un nouveau fait apparaît, et la capacité de générer un langage basé sur chaque idée et combinaison d'idées qu'il rencontre ou se débrouille indépendamment. C'est un projet de recherche risqué de 20 ans plutôt qu'une feuille de route de produit.

Il existe cependant un juste milieu entre le simple fait de trancher et de découper des phrases et d'essayer de créer quelque chose qui puisse comprendre toute la création. Cela implique de ne donner au système qu'un tout petit peu de connaissances, suffisamment pour reconnaître quand un utilisateur essaie de déjouer le système. Vous n'êtes pas obligé de tout savoir. Vous devez juste savoir quand quelqu'un se moque de vous.

Étant donné que Microsoft notes de version pour Tay a déclaré que l'équipe comprenait des comédiens d'improvisation, je suis surpris que ce ne soit pas la voie empruntée.

Personnellement, j'ai pris suffisamment de suggestions du public pour savoir qu'à chaque enterrement de vie de jeune fille, une jeune femme ivre dans le dos criera des suggestions obscènes qu'elle regrettera pendant les deux prochaines années. Lorsque cela se produit, vous avez deux choix : soit respecter la suggestion et l'intégrer à une scène sans la perturber, soit dire poliment La première chose que j'ai entendue de l'avant était 'boîte aux lettres' et passer à autre chose. L'important est d'être en mesure de savoir quand cela se produit et d'avoir un plan d'action pour y faire face.

Rien ne neutralise un intimidateur ainsi que d'être appelé. Je suppose que si Tay a souligné qu'il savait qu'il était joué dans des interactions individuelles et a fourni une attribution pour les faits nouvellement appris lors de leur utilisation dans des tweets publics, l'effet honteux aurait été suffisant pour arrêter même les attaques les plus méchantes. .

Les grands causeurs ne savent pas tout. Ils connaissent la conversation. Et un système qui ne connaît rien du monde mais sait comment interagir et ne pas offenser serait génial. Mais pour réagir au jeu, vous devez reconnaître quand il est joué.

Le regretté Marvin Minsky a déclaré: Un peu de sémantique va un long chemin. Des systèmes comme Tay n'ont pas besoin de tout savoir sur le monde, mais ils doivent savoir ce qu'ils font et ce que les utilisateurs vont leur faire. Le petit élément crucial qui manquait à Tay était la capacité de savoir quand il était joué et la capacité de réagir en nature.

J'espère que Tay reviendra bientôt en ligne. Plus encore, j'espère qu'il fera un Reddit AMA où il expliquera la source de chacun de ses tweets et les leçons qu'il a tirées de l'intimidation dans la cour d'école qu'est Internet.

Kristian Hammond est professeur d'informatique à la Northwestern University et scientifique en chef et cofondateur de Sciences narratives , qui propose un logiciel qui génère automatiquement rapports écrits à partir de données . Pour des raisons que personne ne comprend très bien, il a passé environ 20 ans sur scène à faire de l'improvisation avec des gens bien plus talentueux que lui.

cacher