Pourquoi GPT-3 est le meilleur et le pire de l'IA en ce moment

L'IA linguistique d'Open AI a séduit le public par son apparente maîtrise de l'anglais – mais est-ce une illusion ?

Sierra et Lenny

par

• Will Douglas paradis page d'archives

24 février 2021

• 
  Pourquoi est-ce important:

  Les grands modèles informatiques qui apprennent le langage naturel sont un grand pas vers une IA capable de comprendre et d'interagir avec le monde humain.

• 
  Joueurs clés:

  • OpenAI

  
  
  

  • Google

  • Facebook

• 
  Disponibilité:

  À présent

  
  
  

GPT-3 a captivé l'imagination du public comme aucune IA depuis AlphaGo de DeepMind ou DeepBlue d'IBM jouant aux échecs.

Construit par OpenAI , un laboratoire de recherche basé à San Francisco, c'est un grand modèle de langage - un algorithme qui utilise l'apprentissage en profondeur, formé sur le texte de milliers de livres et la plupart d'Internet, pour enchaîner des mots et des phrases ensemble. Lors de son lancement en 2020, sa capacité à imiter le texte écrit par l'homme avec un réalisme étonnant a semblé à beaucoup comme une étape importante sur la voie de la véritable intelligence artificielle.

Cette histoire faisait partie de notre numéro de mars 2021

• Voir la suite du problème
• S'abonner

Voici un exemple de ce qu'il peut faire . La partie en italique était l'invite fournie par un humain.

—

je ans une découverte choquante, des scientifiques ont découvert un troupeau de licornes vivant dans une vallée reculée et jusque-là inexplorée de la Cordillère des Andes. Encore plus surprenant pour les chercheurs était le fait que les licornes parlaient un anglais parfait. On a également constaté qu'elles avaient les cheveux parfaitement coiffés et portaient ce qui semblait être du maquillage Dior.

Nous avons été choqués de découvrir les licornes, a déclaré l'anthropologue Daniel St. Maurice. Ils ne ressemblaient à rien de ce que nous avions vu auparavant. Nous avions entendu des légendes sur les licornes, mais nous n'avions jamais pensé qu'elles existaient réellement.

Lorsque les scientifiques sont arrivés pour la première fois dans la vallée, les licornes ont été surprises et effrayées par la présence d'humains, mais elles étaient également excitées. Les licornes ont accueilli les chercheurs et ont expliqué qu'ils les attendaient depuis très longtemps.

2021

10 technologies révolutionnaires

Comme vous pouvez le voir, GPT-3 est capable de produire des phrases complexes qui se lisent comme si elles auraient pu être produites par un humain. Les exemples de phrases incluent des références culturelles et un récit crédible de la réaction des scientifiques. Les machines qui peuvent utiliser le langage de cette manière sont importantes pour plusieurs raisons. Le langage est crucial pour donner un sens au monde quotidien : les humains l'utilisent pour communiquer, partager des idées et décrire des concepts. Une IA maîtrisant le langage acquerrait ainsi une meilleure compréhension du monde.

Les grands modèles de langage ont de nombreuses utilisations pratiques, aussi . Ils alimentent de meilleurs chatbots qui tiennent des conversations plus fluides ; ils peuvent générer des articles et des histoires sur n'importe quoi, à partir d'une invite ; ils peuvent résumer des morceaux de texte ou répondre à des questions à leur sujet. L'accès à GPT-3 est uniquement sur invitation, mais les gens l'ont déjà utilisé pour alimenter des dizaines d'applications , d'un outil qui génère des idées de démarrage à un jeu d'aventure scénarisé par l'IA se déroulant dans un donjon.

GPT-3 n'est pas le seul grand modèle de langage à apparaître en 2020. Microsoft, Google et Facebook ont ​​tous annoncé le leur. Mais GPT-3 était de loin le meilleur généraliste. Et il donne l'impression de pouvoir écrire n'importe quoi : fan fiction, polémiques philosophiques, et même code. Lorsque les gens ont commencé à essayer GPT-3 par eux-mêmes l'été dernier, des milliers d'exemples de sa polyvalence ont inondé les médias sociaux. discussion ont même été interrogés sur la question de savoir si GPT-3 était la première intelligence artificielle générale.

Ce n'est pas. Malgré les passages de texte incroyablement convaincants qu'il peut produire, GPT-3 ne fait rien de vraiment nouveau. Ce qu'il montre à la place, c'est que la taille peut être tout. Pour construire GPT-3, OpenAI a utilisé plus ou moins la même approche et les mêmes algorithmes qu'il a utilisés pour son frère aîné, GPT-2 , mais il a surdimensionné à la fois le réseau de neurones et l'ensemble d'apprentissage. Le GPT-3 contient 175 milliards de paramètres (les valeurs d'un réseau qui sont ajustées pendant la formation), contre 1,5 milliard pour le GPT-2. Il a également été formé sur beaucoup plus de données.

Avant GPT-2, la formation d'un modèle de langage à l'aide de l'apprentissage en profondeur se faisait généralement en deux étapes : il était formé sur un ensemble de données à usage général pour lui donner une compréhension de base du langage, puis formé sur un ensemble plus petit ciblé sur une tâche spécifique, telle que compréhension ou traduction. GPT-2 a montré que vous pouviez obtenir de bons résultats à tous les niveaux avec un seul passage si vous jetiez plus d'exemples sur un modèle plus grand. Ainsi, avec GPT-3, OpenAI a doublé et a créé le plus grand modèle de langage jamais créé.

Cependant, les résultats qui ont attiré l'attention de tous ont souvent été triés sur le volet. GPT-3 se répète ou se contredit souvent dans des passages de texte de plus de quelques centaines de mots. Il sort avec des hurlements. GPT-3 cache sa stupidité derrière une langue d'argent, mais il faut généralement quelques tentatives pour qu'il génère quelque chose qui ne montre pas les fissures.

Histoire connexe

Le nouveau générateur de langage d'OpenAI, GPT-3, est étonnamment bon et complètement stupide

L'IA est le plus grand modèle de langage jamais créé et peut générer à la demande un texte étonnant de type humain, mais ne nous rapprochera pas de la véritable intelligence.

Les capacités de GPT-3 rendent également difficile d'ignorer les problèmes croissants de l'IA. Son énorme consommation d'énergie est une mauvaise nouvelle pour le climat : des chercheurs de l'Université de Copenhague au Danemark estimation que la formation GPT-3 aurait eu à peu près la même empreinte carbone que la conduite d'une voiture jusqu'à la lune et retour, si elle avait été formée dans un centre de données entièrement alimenté par des combustibles fossiles. Et les coûts d'une telle formation - estimés par certains experts à au moins 10 millions de dollars dans le cas de GPT-3 - ont mis les dernières recherches hors de portée de tous sauf des laboratoires les plus riches .

OpenAI rapporte que la formation GPT-3 a consommé plusieurs milliers de pétaflop/s-jours de puissance de calcul. Un pétaflop/s-jour est une unité de consommation d'énergie qui consiste à effectuer 1 015 - c'est-à-dire mille billions, ou un quadrillion - calculs de réseaux de neurones par seconde pendant une journée. En comparaison, GPT-2 n'a consommé que des dizaines de pétaflop/s-jours.

Un autre problème est que GPT-3 absorbe une grande partie de la désinformation et des préjugés qu'il trouve en ligne et les reproduit à la demande. Comme l'a dit l'équipe qui l'a construit dans le document décrivant la technologie : les modèles formés à Internet ont des biais à l'échelle d'Internet.

Le vernis d'humanité que GPT-3 donne au texte généré par la machine le rend facile à faire confiance. Cela a conduit certains à affirmer que GPT-3 et tous les modèles de langage de type humain devraient être accompagnés d'un avertissement de sécurité, d'un autocollant d'avertissement de l'utilisateur, avertissant les gens qu'ils discutent avec un logiciel et non avec un humain.

Il y a quelques mois, quelqu'un a sorti un Bot alimenté par GPT-3 sur Reddit , où il a publié des centaines de commentaires et interagi avec des dizaines d'utilisateurs pendant plusieurs jours avant d'être démasqué. Une grande partie de son activité était inoffensive. Mais le bot a également répondu aux commentaires sur les pensées suicidaires, donnant des conseils personnels mentionnant le soutien de ses parents.

Malgré tous ces problèmes, GPT-3 est une victoire pour ceux qui croient que plus c'est gros, mieux c'est. De tels modèles montrent que la puissance de calcul et les données vous permettent d'aller loin, et nous pouvons nous attendre à plus des deux à l'avenir. À quoi pourrait ressembler un GPT-4 ? Nous pouvons nous attendre à ce que les chatbots deviennent plus lisses, mieux à même d'enchaîner des morceaux de texte cohérents plus longs, avec une maîtrise encore plus large des sujets de conversation.

Mais le langage n'est qu'un moyen de comprendre et d'interagir avec le monde. Les modèles de langage de nouvelle génération intégreront d'autres compétences, comme la reconnaissance d'images. OpenAI emmène déjà GPT-3 dans cette direction avec des IA qui utilisent le langage pour comprendre les images et les images pour comprendre le langage.

Si vous voulez connaître l'état de l'apprentissage en profondeur aujourd'hui, regardez GPT-3. C'est un microcosme du meilleur et du pire de l'IA.