Un logiciel qui échange des mots peut désormais tromper l'IA derrière Alexa et Siri

Catégorie: Intelligence artificielle Posté 07 février

Les nouvelles: Un logiciel appelé TextFooler peut tromper les systèmes de traitement du langage naturel (TLN) pour qu'ils comprennent mal le texte simplement en remplaçant certains mots d'une phrase par des synonymes. Lors des tests, il a été en mesure de réduire considérablement la précision de trois systèmes NLP de pointe. Par exemple, le puissant réseau neuronal BERT de Google était pire d'un facteur de cinq à sept pour déterminer si les avis sur Yelp étaient positifs ou négatifs.

Ils ont testé l'attaque sur des systèmes NLP formés pour effectuer des tâches telles que l'identification de sujets d'actualité, la détection de fausses nouvelles et l'analyse des sentiments. Dans tous les cas, l'IA s'est considérablement aggravé .

Comment ça fonctionne: Le logiciel, développé par une équipe du MIT, recherche les mots dans une phrase qui sont les plus importants pour un classificateur NLP et les remplace par un synonyme qu'un humain trouverait naturel. Par exemple, changer la phrase Les personnages, jetés dans des situations incroyablement artificielles, sont totalement éloignés de la réalité en Les personnages, jetés dans des circonstances incroyablement conçues, sont complètement éloignés de la réalité ne fait aucune réelle différence dans la façon dont nous le lisons. Mais les ajustements ont permis à une IA d'interpréter les phrases complètement différemment.

Pourquoi est-ce important: Nous avons vu de nombreux exemples de telles attaques contradictoires, le plus souvent avec des systèmes de reconnaissance d'image, où de minuscules modifications de l'entrée peuvent perturber une IA et lui faire mal classer ce qu'elle voit. TextFooler montre que ce style d'attaque brise également le NLP, l'IA derrière les assistants virtuels, tels que Siri, Alexa et Google Home, ainsi que d'autres classificateurs de langue comme les filtres anti-spam et les détecteurs de discours haineux. Les chercheurs affirment que des outils comme TextFooler peuvent aider à rendre les systèmes NLP plus robustes, en révélant leurs faiblesses.