211service.com
Une IA pour générer de fausses nouvelles pourrait également aider à les détecter
Hendrik Strobelt et Sebastian Gehrmann
Le mois dernier, OpenAI a retenu de manière assez spectaculaire la publication de son nouveau modèle de langage, GPT-2, car il craignait qu'il ne soit utilisé pour automatiser la production de masse de désinformation. La décision a également accéléré la discussion en cours de la communauté de l'IA sur la façon de détecter ce type de fausses nouvelles. dans un nouveau expérience , des chercheurs du MIT-IBM Watson AI Lab et de HarvardNLP ont examiné si les mêmes modèles de langage capables d'écrire une prose aussi convaincante pouvaient également repérer d'autres passages générés par le modèle.
L'idée derrière cette hypothèse est simple : les modèles de langage produisent des phrases en prédisant le mot suivant dans une séquence de texte. Donc, s'ils peuvent facilement prédire la plupart des mots d'un passage donné, il est probable qu'il ait été écrit par l'un des leurs.
Les chercheurs ont testé leur idée en construisant un outil interactif basé sur la version rétrogradée accessible au public du GPT-2 d'OpenAI. Lorsque vous alimentez l'outil avec un passage de texte, il met en surbrillance les mots en vert, jaune ou rouge pour indiquer une facilité de prévisibilité décroissante ; il les met en évidence en violet s'il ne les aurait pas du tout prédits. En théorie, plus la fraction de mots rouges et violets est élevée, plus il y a de chances que le passage ait été écrit par un humain ; plus la part de mots verts et jaunes est grande, plus il est probable qu'il ait été écrit par un modèle de langage.
Un passage de compréhension de lecture d'un test standardisé américain, écrit par un humain. Hendrik Strobelt et Sebastian Gehrmann
Un passage écrit par le GPT-2 déclassé d'OpenAI. Hendrik Strobelt et Sebastian Gehrmann
En effet, les chercheurs ont découvert que les passages écrits par les versions déclassées et complètes de GPT-2 sortaient presque entièrement en vert et jaune, tandis que les résumés scientifiques écrits par des humains et le texte des passages de compréhension de lecture dans les tests standardisés américains avaient beaucoup de rouge et de violet.
Mais pas si vite. Janelle Shane, une chercheuse qui dirige le blog populaire Laisser les réseaux de neurones être bizarres et qui n'était pas impliqué dans la recherche initiale, mettre l'outil à un niveau plus test rigoureux . Plutôt que de simplement lui donner du texte généré par GPT-2, elle l'a également alimenté avec des passages écrits par d'autres modèles de langage, dont un formé sur les critiques d'Amazon et un autre formé sur les biographies de Donjons et Dragons. Elle a découvert que l'outil n'avait pas réussi à prédire une grande partie des mots dans chacun de ces passages, et il a donc supposé qu'ils étaient écrits par des humains. Cela identifie une idée importante : un modèle de langage peut être efficace pour détecter sa propre sortie, mais pas nécessairement la sortie des autres.
Cette histoire a paru à l'origine dans notre newsletter AI The Algorithm. Pour le recevoir directement dans votre boîte de réception, inscrivez-vous ici gratuitement.