La technologie derrière l'IA d'écriture de fiction et de fausses nouvelles d'OpenAI, expliquée

Bulles de mots montrant le début d'une histoire de science-fiction et un ordinateur poursuivant le récit Mme Tech

Jeudi dernier (14 février), la société de recherche à but non lucratif OpenAI a publié un nouveau modèle de langage capable de générer des passages de prose convaincants. Alors convaincant , en fait, que les chercheurs se sont abstenus d'ouvrir le code, dans l'espoir de bloquer sa militarisation potentielle comme moyen de produire en masse de fausses nouvelles .

Un employé d'OpenAI a imprimé cet échantillon écrit par l'IA et l'a posté près du bac de recyclage : https://t.co/PT8CMSU2AR pic.twitter.com/PuXEzxL7Xd

—Greg Brockman (@gdb) 14 février 2019

Bien que les résultats impressionnants soient un bond remarquable au-delà de ce que les modèles de langage existants ont réalisé, la technique impliquée n'est pas exactement nouvelle. Au lieu de cela, la percée a été principalement motivée par l'alimentation de l'algorithme toujours plus de données de formation - une astuce qui a également été responsable de la plupart des autres avancées récentes dans l'enseignement de l'IA à lire et à écrire. C'est un peu surprenant les gens en termes de ce que vous pouvez faire avec [...] plus de données et de modèles plus grands, déclare Percy Liang, professeur d'informatique à Stanford.

Les passages de texte produits par le modèle sont suffisamment bons pour se faire passer pour quelque chose d'écrit par l'homme. Mais cette capacité ne doit pas être confondue avec une véritable compréhension du langage - l'objectif ultime du sous-domaine de l'IA connu sous le nom de traitement du langage naturel (TAL). (Il existe un analogue dans la vision par ordinateur : un algorithme peut synthétiser des images très réalistes sans véritable compréhension visuelle.) En fait, amener les machines à ce niveau de compréhension est une tâche qui a largement échappé aux chercheurs en PNL. Cet objectif pourrait prendre des années, voire des décennies, à atteindre, présume Liang, et impliquera probablement des techniques qui n'existent pas encore.

Quatre philosophies différentes du langage pilotent actuellement le développement des techniques de PNL. Commençons par celui utilisé par OpenAI.

#1. Sémantique distributionnelle

Philosophie linguistique. Les mots tirent leur sens de la façon dont ils sont utilisés. Par exemple, les mots chat et chien ont un sens lié car ils sont utilisés plus ou moins de la même manière. Vous pouvez nourrir et caresser un chat, et vous pouvez nourrir et caresser un chien. Cependant, vous ne pouvez pas nourrir et caresser une orange.

Histoire connexe

Histoire connexe Nourri de milliards de mots, cet algorithme crée des articles convaincants et montre comment l'IA pourrait être utilisée pour tromper les gens à grande échelle.

Comment cela se traduit en PNL. Les algorithmes basés sur la sémantique distributionnelle ont largement contribué à les récentes percées en PNL . Ils utilisent l'apprentissage automatique pour traiter le texte, en trouvant des modèles en comptant essentiellement la fréquence et la proximité des mots utilisés les uns par rapport aux autres. Les modèles résultants peuvent ensuite utiliser ces modèles pour construire des phrases ou des paragraphes complets, et alimenter des éléments tels que la saisie semi-automatique ou d'autres systèmes de texte prédictifs. Ces dernières années, certains chercheurs ont également commencé à expérimenter en examinant les distributions de séquences de caractères aléatoires plutôt que de mots, afin que les modèles puissent gérer de manière plus flexible les acronymes, la ponctuation, l'argot et d'autres éléments qui n'apparaissent pas dans le dictionnaire, ainsi que langues qui n'ont pas de délimitations claires entre les mots.

Avantages. Ces algorithmes sont flexibles et évolutifs, car ils peuvent être appliqués dans n'importe quel contexte et apprendre à partir de données non étiquetées.

Les inconvénients. Les modèles qu'ils produisent ne comprennent pas réellement les phrases qu'ils construisent. En fin de compte, ils écrivent de la prose en utilisant des associations de mots.

#2. Sémantique des trames

Philosophie linguistique. Le langage est utilisé pour décrire des actions et des événements, de sorte que les phrases peuvent être subdivisées en sujets, verbes et modificateurs— qui , Quel , où , et lorsque .

Comment cela se traduit en PNL. Les algorithmes basés sur la sémantique des cadres utilisent un ensemble de règles ou de nombreuses données d'apprentissage étiquetées pour apprendre à déconstruire les phrases. Cela les rend particulièrement efficaces pour analyser des commandes simples, et donc utiles pour les chatbots ou les assistants vocaux. Si vous demandiez à Alexa de trouver un restaurant quatre étoiles pour demain, par exemple, un tel algorithme trouverait comment exécuter la phrase en la décomposant en action (trouver), le Quel (restaurant quatre étoiles), et le lorsque (demain).

Avantages. Contrairement aux algorithmes sémantiques distributionnels, qui ne comprennent pas le texte à partir duquel ils apprennent, les algorithmes sémantiques cadres peuvent distinguer les différentes informations dans une phrase. Ceux-ci peuvent être utilisés pour répondre à des questions telles que Quand cet événement a-t-il lieu ?

Les inconvénients. Ces algorithmes ne peuvent traiter que des phrases très simples et ne parviennent donc pas à saisir les nuances. Parce qu'ils nécessitent beaucoup de formation spécifique au contexte, ils ne sont pas non plus flexibles.

#3. Sémantique théorique du modèle

Philosophie linguistique. Le langage est utilisé pour communiquer les connaissances humaines.

Comment cela se traduit en PNL. La sémantique théorique des modèles est basée sur une vieille idée de l'IA selon laquelle toutes les connaissances humaines peuvent être codées, ou modelé , dans une série de règles logiques. Donc, si vous savez que les oiseaux peuvent voler et que les aigles sont des oiseaux, vous pouvez en déduire que les aigles peuvent voler. Cette approche n'est plus en vogue car les chercheurs se sont vite rendu compte qu'il y avait trop d'exceptions à chaque règle (par exemple, les pingouins sont des oiseaux mais ne peuvent pas voler). Mais les algorithmes basés sur la sémantique théorique des modèles sont toujours utiles pour extraire des informations à partir de modèles de connaissances, comme les bases de données. Comme les algorithmes de sémantique de trame, ils analysent les phrases en les déconstruisant en parties. Mais alors que la sémantique des cadres définit ces parties comme les qui , Quel , où , et lorsque , la sémantique théorique des modèles les définit comme les règles logiques codant les connaissances. Par exemple, considérons la question Quelle est la plus grande ville d'Europe en termes de population ? Un algorithme théorique de modèle le décomposerait en une série de requêtes autonomes : quelles sont toutes les villes du monde ? Lesquels sont en Europe ? Quelle est la population des villes ? Quelle population est la plus nombreuse ? Il serait alors capable de parcourir le modèle de connaissance pour vous apporter votre réponse finale.

Avantages. Ces algorithmes donnent aux machines la capacité de répondre à des questions complexes et nuancées.

Les inconvénients. Ils nécessitent un modèle de connaissances, qui prend du temps à construire, et ne sont pas flexibles dans différents contextes.

#4. Sémantique ancrée

Philosophie linguistique. Le langage tire son sens de l'expérience vécue. En d'autres termes, les humains ont créé le langage pour atteindre leurs objectifs, il doit donc être compris dans le contexte de notre monde axé sur les objectifs.

Comment cela se traduit en PNL. C'est l'approche la plus récente et celle qui, selon Liang, est la plus prometteuse. Il essaie d'imiter la façon dont les humains apprennent le langage au cours de leur vie : la machine commence par un état vide et apprend à associer les mots aux significations correctes par la conversation et l'interaction. Dans un exemple simple, si vous vouliez apprendre à un ordinateur comment déplacer des objets dans un monde virtuel, vous lui donneriez une commande comme Déplacer le bloc rouge vers la gauche, puis lui montrer ce que vous vouliez dire. Au fil du temps, la machine apprendrait à comprendre et à exécuter les commandes sans aide.

Avantages. En théorie, ces algorithmes devraient être très flexibles et se rapprocher le plus possible d'une véritable compréhension du langage.

Les inconvénients. L'enseignement prend beaucoup de temps et tous les mots et expressions ne sont pas aussi faciles à illustrer que Déplacez le bloc rouge.

À court terme, pense Liang, le domaine du TAL verra beaucoup plus de progrès grâce à l'exploitation des techniques existantes, en particulier celles basées sur la sémantique distributionnelle. Mais à plus long terme, estime-t-il, ils ont tous des limites. Il y a probablement un écart qualitatif entre la façon dont les humains comprennent le langage et perçoivent le monde et nos modèles actuels, dit-il. Combler cet écart nécessiterait probablement une nouvelle façon de penser, ajoute-t-il, ainsi que beaucoup plus de temps.

Ceci est apparu à l'origine dans notre newsletter AI The Algorithm. Pour le recevoir directement dans votre boîte de réception, inscrivez-vous ici gratuitement.

cacher