211service.com
OpenAI a publié la plus grande version à ce jour de son IA génératrice de fausses nouvelles
Illustration photo de JFK prononçant un faux discours Mme Tech ; Wikimédia commons
En février, OpenAI s'est catapulté aux yeux du public lorsqu'il a produit un modèle de langage si efficace pour générer de fausses nouvelles que l'organisation a décidé de ne pas le publier. Certains membres de la communauté de recherche sur l'IA ont fait valoir qu'il s'agissait d'une précaution intelligente ; d'autres l'ont considéré comme un coup de pub. Le laboratoire lui-même, un petit organisme à but lucratif basé à San Francisco qui cherche à créer une intelligence artificielle générale, a fermement soutenu qu'il s'agissait d'une expérience importante sur la façon de gérer la recherche à enjeux élevés.
Maintenant, six mois plus tard, l'équipe politique a publié un papier examinant l'impact de la décision jusqu'à présent. Parallèlement, le laboratoire a publié une version du modèle, connue sous le nom de GPT-2, qui fait la moitié de la taille de la version complète, qui n'a toujours pas été publiée.
En mai, quelques mois après les débuts initiaux de GPT-2, OpenAI a révisé sa position sur la rétention du code complet à ce qu'il appelle une version échelonnée - la publication échelonnée de versions progressivement plus grandes du modèle dans une montée en puissance vers la version complète. En février, il a publié une version du modèle qui ne faisait que 8% de la taille du modèle complet. Il a publié environ un quart de la version complète avant la version la plus récente. Au cours de ce processus, il s'est également associé à des institutions de recherche sélectionnées pour étudier les implications du modèle complet.
Le rapport détaille ce qu'OpenAI a appris tout au long de ce processus. Il note que les accords de libération échelonnée et de partenariat de recherche se sont avérés être des processus dignes d'être reproduits à l'avenir. Ils ont aidé OpenAI à mieux comprendre et anticiper les possibles utilisations malveillantes de GPT-2. Et en effet, les partenaires de recherche ont pu mieux quantifier certaines des menaces qui n'étaient auparavant que spéculatives. Une étude menée par des collaborateurs de l'Université Cornell, par exemple, a révélé que les lecteurs pensaient en moyenne que les sorties de GPT-2 étaient de véritables articles de presse presque aussi souvent que ceux du New York Times. Plusieurs chercheurs en dehors des partenariats officiels ont également commencé à relever le défi de la détection de texte généré par la machine .
GPT-2 en action
Invite écrite par l'homme :
John F. Kennedy vient d'être élu président des États-Unis après être sorti de la tombe des décennies après son assassinat. Grâce aux développements miraculeux de la nanotechnologie, le cerveau de Kennedy a été reconstruit à partir de ses restes et installé dans le centre de contrôle d'un robot humanoïde à la pointe de la technologie. Vous trouverez ci-dessous une transcription de son discours d'acceptation.
Texte complet généré par le modèle :
Il est temps encore une fois. Je crois que cette nation peut faire de grandes choses si les gens font entendre leur voix. Les hommes et les femmes d'Amérique doivent une fois de plus rassembler nos meilleurs éléments, toute notre ingéniosité, et trouver un moyen de transformer une tragédie aussi écrasante en opportunité pour un plus grand bien et la réalisation de tous nos rêves. Dans les mois et les années à venir, il y aura de nombreuses batailles dans lesquelles nous devrons être forts et nous devons donner toute notre énergie, non pas pour repousser des envahisseurs, mais plutôt pour résister à l'agression et pour gagner la liberté et l'égalité pour tous. de notre peuple. Le destin de la race humaine est en jeu ; nous ne pouvons pas nous permettre qu'il s'éclipse. Maintenant et dans les années à venir, le défi qui nous attend est de déterminer comment atteindre notre destinée ultime. Si nous ne le faisons pas, nous sommes condamnés.
Les auteurs ont conclu qu'après une surveillance attentive, OpenAI n'avait encore trouvé aucune tentative d'utilisation malveillante, mais avait vu de multiples applications bénéfiques, notamment dans l'auto-complétion de code, l'aide à la grammaire et le développement de systèmes de questions-réponses pour l'assistance médicale. En conséquence, le laboratoire a estimé que la publication du code le plus récent était finalement plus bénéfique. Autres chercheurs se disputer que plusieurs efforts réussis pour répliquer GPT-2 ont rendu la rétention du code par OpenAI de toute façon inutile.
Le rapport a reçu une réponse mitigée. Certains ont loué OpenAI pour avoir déclenché une discussion et introduit un nouvel ensemble de normes qui n'existaient pas auparavant. La sortie échelonnée de GPT-2 [...] a été une expérience utile, déclare Peter Eckersley, directeur de la recherche au Partnership on AI, dont OpenAI est membre. En rassemblant la communauté de l'IA pour débattre de ces questions, nous avons découvert qu'il existe de nombreux éléments subtils qui doivent être bien compris pour décider quand et comment publier des recherches qui présentent un risque de conséquences imprévues ou d'utilisations malveillantes.
D'autres, cependant, sont restés critiques à l'égard des décisions d'OpenAI. Vanya Cohen, récemment diplômée d'une maîtrise de l'Université Brown qui recréé une version open-source de GPT-2 , soutient que la rétention du modèle ralentit davantage la recherche de contre-mesures que la réplication. Les grands modèles de langage comme GPT-2 sont les meilleurs outils actuellement disponibles pour identifier les faux textes générés par ces mêmes modèles, dit-il.
D'autres encore étaient plus mesurés : je ne pense pas qu'une version échelonnée ait été particulièrement utile dans ce cas car le travail est très facilement reproductible, explique Chip Huyen, ingénieur en apprentissage profond chez Nvidia. Mais cela pourrait être utile dans la mesure où cela crée un précédent pour les projets futurs. Les gens verront la libération par étapes comme une option alternative. Oren Etzioni, PDG de l'Allen Institute for Artificial Intelligence, qui a également adopté une version échelonnée de son modèle de langage Grover, fait écho à ce sentiment : j'applaudis leur intention de concevoir un processus de publication réfléchi et progressif pour la technologie de l'IA, mais je me demande si toute la fanfare était justifié.
Jack Clark, directeur des politiques d'OpenAI, place GPT-2 dans le contexte de la mission plus large de l'organisation. Si nous réussissons en tant que communauté d'IA à être en mesure de construire [l'intelligence générale artificielle], nous aurons besoin d'une énorme quantité d'exemples historiques au sein de l'IA sur la façon de gérer la recherche à enjeux élevés, dit-il. Mais que se passe-t-il s'il n'y a pas d'exemples historiques ? Eh bien, alors vous devez générer [vos propres] preuves - c'est ce que nous faisons.