Le nouveau générateur de langage d'OpenAI, GPT-3, est étonnamment bon et complètement stupide

lettres qui tombent

Getty





Jouer avec GPT-3, c'est comme voir l'avenir, Arram Sabeti, développeur et artiste basé à San Francisco, tweeté la semaine dernière . Cela résume à peu près la réponse sur les médias sociaux au cours des derniers jours à la dernière IA génératrice de langage d'OpenAI.

OpenAI d'abord décrit GPT-3 dans un article de recherche publié en mai. Mais la semaine dernière, il a commencé à distribuer le logiciel au goutte-à-goutte à des personnes sélectionnées qui ont demandé accès à une bêta privée . Pour l'instant, OpenAI souhaite que des développeurs extérieurs l'aident à explorer ce que GPT-3 peut faire, mais il prévoit de transformer l'outil en un produit commercial plus tard cette année, offrant aux entreprises un abonnement payant à l'IA via le cloud.

GPT-3 est le modèle de langage le plus puissant jamais conçu. Son prédécesseur, GPT-2, sorti l'année dernière , était déjà capable de cracher des flux de texte convaincants dans une gamme de styles différents lorsqu'il était invité avec une phrase d'ouverture. Mais GPT-3 est un grand pas en avant. Le modèle compte 175 milliards de paramètres (les valeurs qu'un réseau de neurones essaie d'optimiser pendant l'entraînement), contre 1,5 milliard déjà considérables pour le GPT-2. Et avec les modèles de langage, la taille compte vraiment .

Sabeti lié à un article de blog où il a montré des histoires courtes, des chansons, des communiqués de presse, des manuels techniques et bien plus encore qu'il avait générés à l'aide de l'IA. GPT-3 peut également produire des pastiches d'écrivains particuliers. Mario Klingemann, un artiste qui travaille avec l'apprentissage automatique, a partagé une courte histoire intitulée L'importance d'être sur Twitter, écrite dans le style de Jerome K. Jerome, qui commence : C'est un fait curieux que la dernière forme de vie sociale restante dans qui intéresse toujours les Londoniens, c'est Twitter. J'ai été frappé de ce fait curieux quand je suis allé passer une de mes vacances périodiques au bord de la mer, et j'ai trouvé tout l'endroit gazouillant comme une cage d'étourneaux. Klingemann dit que tout ce qu'il a donné à l'IA était le titre, le nom de l'auteur et l'initiale It. Il y a même un article raisonnablement informatif sur GPT-3 entièrement écrit par GPT-3 .

D'autres ont découvert que GPT-3 peut générer n'importe quel type de texte, y compris des tablatures de guitare ou du code informatique. Par exemple, en ajustant GPT-3 pour qu'il produise du HTML plutôt qu'un langage naturel, le développeur Web Sharif Shameem a montré qu'il pouvait le faire créer des mises en page de pages Web en lui donnant des invites comme un bouton qui ressemble à une pastèque ou un gros texte en rouge qui dit BIENVENUE DANS MA NEWSLETTER et un bouton bleu qui dit S'abonner. Même le légendaire codeur John Carmack, qui a été le pionnier de l'infographie 3D dans les premiers jeux vidéo comme Doom et qui est maintenant consultant CTO chez Oculus VR, était énervé : La découverte récente, presque accidentelle, que GPT-3 peut en quelque sorte écrire du code génère un léger frisson.

Pourtant, malgré ses nouvelles astuces, GPT-3 est toujours enclin à cracher un langage sexiste et raciste haineux. Le réglage fin du modèle a permis de limiter ce type de sortie dans GPT-2.



Il n'est pas non plus surprenant que beaucoup aient rapidement commencé à parler d'intelligence. Mais la sortie humaine et la polyvalence frappante du GPT-3 sont le résultat d'une excellente ingénierie, et non d'une véritable intelligence. D'une part, l'IA fait toujours des hurlements ridicules qui révèlent un manque total de bon sens. Mais même ses succès manquent de profondeur, se lisant davantage comme des copier-coller que comme des compositions originales.



Ce qui se passe exactement à l'intérieur de GPT-3 n'est pas clair. Mais ce qu'il semble être bon, c'est de synthétiser le texte qu'il a trouvé ailleurs sur Internet, ce qui en fait une sorte de vaste album éclectique créé à partir de millions et de millions d'extraits de texte qu'il colle ensuite de manière étrange et merveilleuse à la demande.

Il ne s'agit pas de minimiser la réussite d'OpenAI. Et un outil comme celui-ci a de nombreuses nouvelles utilisations, à la fois bonnes (alimenter de meilleurs chatbots pour aider les gens à coder) et mauvaises (alimenter de meilleurs robots de désinformation pour aider les enfants à tricher sur leurs devoirs).

Mais lorsqu'un nouveau jalon de l'IA arrive, il est trop souvent enterré dans le battage médiatique. Même Sam Altman, qui a cofondé OpenAI avec Elon Musk, a essayé de atténuer les choses : Le battage médiatique GPT-3 est beaucoup trop. C'est impressionnant (merci pour les gentils compliments !) mais il a encore de sérieuses faiblesses et fait parfois des bêtises. L'IA va changer le monde, mais GPT-3 n'est qu'un tout premier aperçu. Nous avons encore beaucoup à découvrir.

Nous avons un barre basse quand il s'agit de repérer l'intelligence . Si quelque chose a l'air intelligent, il est facile de se leurrer. La plus grande astuce jamais réalisée par l'IA a été de convaincre le monde qu'elle existe. GPT-3 est un énorme bond en avant, mais c'est toujours un outil fabriqué par des humains, avec tous les défauts et limitations que cela implique.

cacher