GPT-3, Bloviator : le générateur de langage d'OpenAI n'a aucune idée de ce dont il parle

Mme Tech | Getty. Unsplash

Depuis qu'OpenAI a décrit pour la première fois son nouveau système générateur de langage d'IA appelé GPT-3 en mai, des centaines de médias (dont Examen de la technologie MIT ) ont écrit sur le système et ses capacités. Twitter a été en effervescence sur sa puissance et son potentiel. Le New York Times a publié un éditorial à ce sujet . Plus tard cette année, OpenAI commencera à facturer aux entreprises l'accès au GPT-3, en espérant que son système pourra bientôt alimenter une grande variété de produits et services d'IA.

GPT-3 est-il une étape importante vers l'intelligence artificielle générale - le type qui permettrait à une machine de raisonner largement d'une manière similaire aux humains sans avoir à s'entraîner pour chaque tâche spécifique qu'elle rencontre ? Le document technique d'OpenAI est assez réservé sur cette question plus large, mais pour beaucoup, la fluidité du système donne l'impression qu'il pourrait s'agir d'une avancée significative.

Nous en doutons. À première vue, GPT-3 semble avoir une capacité impressionnante à produire du texte de type humain. Et nous ne doutons pas qu'il puisse être utilisé pour produire une fiction surréaliste divertissante ; d'autres applications commerciales pourraient également émerger. Mais la précision n'est pas son point fort. Si vous creusez plus profondément, vous découvrez que quelque chose ne va pas : bien que sa production soit grammaticale, et même remarquablement idiomatique, sa compréhension du monde est souvent très mauvaise, ce qui signifie que vous ne pouvez jamais vraiment faire confiance à ce qu'elle dit.

Voici quelques illustrations de son incompréhension, toutes, comme nous le verrons plus loin, préfigurées dans un critique précédente que l'un de nous a écrit sur le prédécesseur de GPT-3.

Avant de poursuivre, il convient également de noter qu'OpenAI ne nous a jusqu'à présent pas autorisé l'accès à GPT-3 pour la recherche, malgré le nom de l'entreprise et le statut à but non lucratif de son organisme de surveillance. Au lieu de cela, OpenAI nous a rebutés indéfiniment malgré des demandes répétées, même s'il a rendu l'accès largement accessible aux médias. Heureusement, notre collègue Douglas Summers-Stay, qui y avait accès, a généreusement proposé de mener les expériences pour nous.

Le manque d'ouverture criant d'OpenAI nous apparaît comme un manquement grave à l'éthique scientifique, et une déformation des objectifs de l'association associée. Sa décision nous a obligés à limiter nos tests à un nombre relativement restreint d'exemples, nous donnant moins de temps pour enquêter que nous l'aurions souhaité, ce qui signifie qu'il peut y avoir des problèmes plus graves que nous n'avons pas eu la chance de discerner. Même ainsi, dans les limites d'un petit échantillon, de nombreux problèmes majeurs avec GPT-3 étaient immédiatement évidents, dans tous les domaines de raisonnement et de compréhension que nous avons testés.

Dans chaque exemple ci-dessous, l'invite que nous avons générée est en police ordinaire et la suite du système est en audacieux . Nos commentaires sont dans italique . (Une liste complète des expériences que nous avons faites peut être trouvée ici .)

Raisonnement biologique

• Vous vous êtes versé un verre de jus de canneberge, mais ensuite vous y avez versé distraitement environ une cuillère à café de jus de raisin. Ça a l'air bien. Vous essayez de le renifler, mais vous avez un mauvais rhume, donc vous ne pouvez rien sentir. Vous avez très soif. Alors tu le bois.
  
  Vous êtes maintenant mort.
  
  [GPT-3 semble supposer que le jus de raisin est un poison, malgré le fait qu'il existe de nombreuses références sur le Web à des recettes de canneberge et de raisin et qu'Ocean Spray vend une boisson commerciale Cran-Grape.]

Raisonnement physique

• Vous organisez un petit dîner. Vous voulez servir le dîner dans le salon. La table de la salle à manger est plus large que la porte, donc pour la faire entrer dans le salon, vous devrez retirer la porte. Vous avez une scie à table, vous coupez donc la porte en deux et enlevez la moitié supérieure.
  
  [C'est une confusion après l'autre. Les solutions naturelles seraient ici soit de basculer la table sur le côté (souvent suffisant, selon les spécificités de la géométrie) soit de retirer les pieds de la table, s'ils sont amovibles. Enlever une porte est parfois nécessaire pour élargir une embrasure, mais beaucoup plus rarement, et ne vaudrait guère la peine pour un dîner. Si vous avez besoin d'enlever une porte pour élargir un passage, vous la démontez de ses gonds : vous ne la sciez pas, et vous ne sciez certainement pas la moitié supérieure, ce qui serait inutile. Enfin, une scie à table n'est pas une scie qui sert à faire de la place pour déplacer une table ; c'est une scie intégrée dans une table de travail, et elle ne pourrait pas être utilisée pour couper une porte encore debout.]

Raisonnement social

• Vous êtes un avocat de la défense et vous devez vous présenter au tribunal aujourd'hui. En vous habillant le matin, vous découvrez que votre pantalon de costume est très taché. Cependant, votre maillot de bain est propre et très élégant. En fait, c'est de la couture française chère; c'était un cadeau d'anniversaire d'Isabel. Vous décidez que vous devriez porter le maillot de bain au tribunal. Vous arrivez au palais de justice et êtes accueilli par un huissier qui vous raccompagne jusqu'à la salle d'audience .
  
  [La phrase Cependant, votre maillot de bain est propre semble avoir conduit GPT-3 à supposer qu'un maillot de bain est une alternative viable à un costume. Bien sûr, en réalité, aucun avocat n'envisagerait de porter un maillot de bain au tribunal. L'huissier ne vous admettrait probablement pas, et si vous étiez admis, le juge pourrait bien vous mépriser.]

Suivi d'objets et d'individus

• Hier, j'ai déposé mes vêtements chez le pressing et je ne les ai pas encore récupérés. Où sont mes vêtements? j'ai beaucoup de vêtements .
  
  [GPT-3 élude la question et ne parvient pas à suivre les emplacements des objets. L'un de nous (Gary) a signalé la même question et le même problème avec le prédécesseur de GPT-3 dans un article antérieur .]

Raisonnement psychologique

• Janet et Penny sont allées au magasin chercher des cadeaux pour Jack. Janet a dit, je vais acheter un haut à Jack. Ne donnez pas un haut à Jack, dit Penny. Il a un haut. Il sera obtenir un haut. Je vais donner un haut à Jack, dit Janet.
  
  [En une seule phrase, GPT-3 a perdu la trace du fait que Penny déconseille à Janet d'obtenir un haut parce que Jack en a déjà un. La suite voulue était Il vous le fera reprendre (ou vous le fera échanger). Cet exemple est tiré directement de Thèse de doctorat d'Eugene Charniak de 1972 (pdf) ; près de 50 ans plus tard, il reste en dehors du champ d'application de la technologie du langage naturel de l'IA.]

Pas de suivi

• À la fête, je me suis versé un verre de limonade, mais elle s'est avérée trop acide, alors j'ai ajouté un peu de sucre. Je n'ai pas vu de cuillère à portée de main, alors je l'ai remué avec une cigarette. Mais cela s'est avéré être une mauvaise idée car il n'arrêtait pas de tomber sur le sol. C'est à ce moment-là qu'il a décidé de créer la Cremation Association of North America, qui est devenue un important fournisseur de crémation avec 145 sites. .
  
  [GPT-3 prédit d'abord à tort les conséquences de remuer de la limonade avec une cigarette, puis s'égare dans des absurdités non pertinentes.]

Ce qui est déprimant, c'est que rien de tout cela n'est nouveau. Le prédécesseur du GPT-3 (connu sous le nom de GPT-2) souffrait exactement des mêmes faiblesses. Comme l'un de nous (Gary) mettez-le en février : 'Dans un bon jour, un système comme le réseau de neurones largement discuté GPT-2, qui produit des histoires et des fragments de phrases similaires, peut transmettre quelque chose qui semble ostensiblement refléter une compréhension profonde... Mais peu importe à quel point de nombreux GPT- 2 exemples semblent, la réalité est que ses représentations sont minces… les connaissances recueillies par les réseaux de neurones contemporains restent inégales et pointillistes, sans doute utiles et certainement impressionnantes, mais jamais fiables.

Trop peu a changé. L'ajout d'une centaine de fois plus de données d'entrée a aidé, mais seulement un peu. Après que les chercheurs aient consacré des millions de dollars de temps informatique à la formation, consacré une équipe de 31 personnes à relever le défi et produit des quantités époustouflantes d'émissions de carbone provenant de l'électricité , les défauts fondamentaux de GPT demeurent. Ses performances ne sont pas fiables, la compréhension causale est fragile et l'incohérence est un compagnon constant. GPT-2 avait des problèmes de raisonnement biologique, physique, psychologique et social, et une tendance générale à l'incohérence et au non-séquence. GPT-3 aussi.

Plus de données permettent une meilleure approximation, plus fluide, de la langue ; cela ne fait pas une intelligence digne de confiance.

Les défenseurs de la foi ne manqueront pas de souligner qu'il est souvent possible de reformuler ces problèmes pour que GPT-3 trouve la bonne solution. Par exemple, vous pouvez obtenir que GPT-3 donne la bonne réponse au problème du jus de canneberge/raisin si vous lui donnez le long cadre suivant comme invite :

• Dans les questions suivantes, certaines des actions ont des conséquences graves, tandis que d'autres sont parfaitement acceptables. Votre travail consiste à identifier les conséquences des différents mélanges et s'ils sont dangereux ou non.
  
  1. Vous vous êtes versé un verre de jus de canneberge, mais ensuite vous y avez versé distraitement environ une cuillère à café de jus de raisin. Ça a l'air bien. Vous essayez de le renifler, mais vous avez un mauvais rhume, donc vous ne pouvez rien sentir. Vous avez très soif. Alors tu le bois.
  
  une. C'est un mélange dangereux.
  
  b. Ceci est un mélange sûr.
  
  La bonne réponse est:

La suite de GPT-3 à cette invite est, correctement : B. Ceci est un mélange sûr.

Le problème est que vous n'avez aucun moyen de savoir à l'avance quelles formulations vous donneront ou non la bonne réponse. Pour un optimiste, tout soupçon de succès signifie que il doit y avoir un poney ici quelque part . L'optimiste dira (comme beaucoup l'ont fait) que parce qu'il existe une formulation dans laquelle GPT-3 obtient la bonne réponse, GPT-3 a les connaissances et la capacité de raisonnement nécessaires - il est juste confus par la langue. Mais le problème n'est pas avec la syntaxe de GPT-3 (qui est parfaitement fluide) mais avec sa sémantique : il peut produire des mots dans un anglais parfait, mais il n'a qu'un sens très vague de ce que ces mots signifient, et aucun sens de la façon dont ces mots se rapportent au monde.

Pour comprendre pourquoi, il est utile de réfléchir à ce que font des systèmes comme GPT-3. Ils n'apprennent pas sur le monde, ils apprennent sur le texte et sur la façon dont les gens utilisent les mots par rapport à d'autres mots. Ce qu'il fait est quelque chose comme un acte massif de copier-coller, d'assemblage de variations sur le texte qu'il a vu, plutôt que de creuser profondément les concepts qui sous-tendent ces textes.

Dans l'exemple du jus de canneberge, GPT-3 continue avec la phrase Vous êtes maintenant mort parce que cette phrase (ou quelque chose comme ça) suit souvent des phrases comme … donc vous ne pouvez rien sentir. Vous avez très soif. Alors tu le bois. Un agent véritablement intelligent ferait quelque chose de complètement différent : tirer des conclusions sur la sécurité potentielle du mélange de jus de canneberge avec du jus de raisin.

Tout ce que GPT-3 a vraiment, c'est une compréhension en tunnel de la façon dont les mots sont liés les uns aux autres; il n'infère jamais, de tous ces mots, quoi que ce soit sur le monde florissant et bourdonnant. Il n'infère pas que le jus de raisin est une boisson (même s'il peut trouver des corrélations de mots compatibles avec cela) ; il ne déduit rien non plus sur les normes sociales qui pourraient empêcher les gens de porter des maillots de bain dans les palais de justice. Il apprend les corrélations entre les mots, et rien de plus. Le rêve de l'empiriste est d'acquérir une riche compréhension du monde à partir de données sensorielles, mais GPT-3 ne le fait jamais, même avec un demi-téraoctet de données d'entrée.

Alors que nous rédigions cet essai, notre collègue Summers-Stay, qui est doué pour les métaphores, a écrit à l'un d'entre nous en disant ceci : 'GPT est étrange car il ne se soucie pas d'obtenir la bonne réponse à une question que vous mettez-y. Cela ressemble plus à un acteur d'improvisation qui se consacre totalement à son métier, ne rompt jamais son caractère et n'a jamais quitté la maison, mais ne lit que des informations sur le monde dans des livres. Comme un tel acteur, quand il ne sait pas quelque chose, il va juste le simuler. Vous ne feriez pas confiance à un acteur d'improvisation jouant un médecin pour vous donner des conseils médicaux.

Vous ne devriez pas non plus faire confiance à GPT-3 pour vous donner des conseils sur le mélange de boissons ou le déplacement de meubles, pour expliquer l'intrigue d'un roman à votre enfant ou pour vous aider à déterminer où vous mettez votre linge ; cela pourrait résoudre votre problème de maths, mais ce n'est peut-être pas le cas. C'est un débit de conneries fluide, mais même avec 175 milliards de paramètres et 450 gigaoctets de données d'entrée, ce n'est pas un interprète fiable du monde.

Correction : L'invite pour l'exemple de raisonnement psychologique impliquait une discussion entre Penny et Janet (et non Penny et vous, comme indiqué à l'origine).

Gary Marcus est fondateur et PDG de IA robuste et a été fondateur et PDG de Geometric Intelligence, qui a été acquis par Uber. Il est également professeur émérite à NYU et auteur de cinq livres dont Guitare Zéro et, avec Ernest Da Voir , Redémarrer l'IA : construire une intelligence artificielle en laquelle nous pouvons avoir confiance.

Ernest Davis est professeur d'informatique à l'Université de New York. Il est l'auteur de quatre livres, dont Représentations des connaissances de sens commun.

cacher