Des modèles de langage comme GPT-3 pourraient annoncer un nouveau type de moteur de recherche

Pixabay

En 1998, un couple d'étudiants diplômés de Stanford a publié un article décrivant un nouveau type de moteur de recherche : Dans cet article, nous présentons Google, un prototype de moteur de recherche à grande échelle qui exploite fortement la structure présente dans l'hypertexte. Google est conçu pour explorer et indexer le Web efficacement et produire des résultats de recherche beaucoup plus satisfaisants que les systèmes existants.

Histoire connexe

Cette IA qui sait tout apprend en lisant l'intégralité du Web sans arrêt Diffbot construit le plus grand graphe de connaissances jamais réalisé en appliquant la reconnaissance d'images et le traitement du langage naturel à des milliards de pages Web.

L'innovation clé était un algorithme appelé PageRank, qui classait les résultats de recherche en calculant leur pertinence par rapport à la requête d'un utilisateur sur la base de leurs liens vers d'autres pages sur le Web. Grâce au PageRank, Google est devenu la passerelle vers Internet, et Sergey Brin et Larry Page ont construit l'une des plus grandes entreprises au monde.

Maintenant, une équipe de chercheurs de Google a publié une proposition de refonte radicale qui rejette l'approche de classement et la remplace par un seul grand modèle de langage d'IA - une future version de BERT ou GPT-3 . L'idée est qu'au lieu de rechercher des informations dans une vaste liste de pages Web, les utilisateurs poseraient des questions et qu'un modèle de langage formé sur ces pages leur répondrait directement. L'approche pourrait changer non seulement le fonctionnement des moteurs de recherche, mais aussi la façon dont nous interagissons avec eux.

De nombreux problèmes avec les modèles de langage existants devront d'abord être résolus. Pour commencer, ces IA peuvent parfois générer des réponses biaisées et toxiques aux requêtes - un problème que les chercheurs de Google et d'ailleurs ont fait remarquer .

Repenser le PageRank

Les moteurs de recherche sont devenus plus rapides et plus précis, alors même que le Web a explosé en taille. L'IA est maintenant utilisée pour classer les résultats, et Google utilise BERT pour comprendre les requêtes de recherche mieux. Pourtant, sous ces ajustements, tous les moteurs de recherche traditionnels fonctionnent toujours de la même manière qu'il y a 20 ans : les pages Web sont indexées par des robots d'exploration (un logiciel qui lit le Web en continu et maintient une liste de tout ce qu'il trouve), les résultats qui correspondent à la requête d'un utilisateur sont recueillies à partir de cet indice, et les résultats sont classés.

Ce modèle d'indexation puis de classement a résisté à l'épreuve du temps et a rarement été remis en question ou sérieusement repensé, écrivent Donald Metzler et ses collègues de Google Research. (Metzler a refusé une demande de commentaire.)

Le problème est que même les meilleurs moteurs de recherche aujourd'hui répondent toujours avec une liste de documents qui incluent les informations demandées, et non avec les informations elles-mêmes. Les moteurs de recherche ne sont pas non plus efficaces pour répondre aux requêtes qui nécessitent des réponses provenant de plusieurs sources. C'est comme si vous demandiez conseil à votre médecin et receviez une liste d'articles à lire au lieu d'une réponse directe.

Metzler et ses collègues s'intéressent à un moteur de recherche qui se comporte comme un expert humain. Il devrait produire des réponses en langage naturel, synthétisées à partir de plusieurs documents, et étayer ses réponses par des références à des preuves à l'appui, comme les articles de Wikipédia visent à le faire.

Histoire connexe

Pourquoi GPT-3 est le meilleur et le pire de l'IA en ce moment

L'IA linguistique d'Open AI a séduit le public par son apparente maîtrise de l'anglais – mais est-ce une illusion ?

Les grands modèles de langage nous font faire une partie du chemin. Formé sur la majeure partie du Web et des centaines de livres, GPT-3 puise des informations provenant de plusieurs sources pour répondre aux questions en langage naturel. Le problème est qu'il ne garde pas trace de ces sources et ne peut pas fournir de preuves pour ses réponses. Il n'y a aucun moyen de savoir si le GPT-3 répète des informations fiables ou de la désinformation, ou s'il crache simplement des bêtises de sa propre fabrication.

Metzler et ses collègues appellent les modèles linguistiques des dilettantes - Ils sont perçus comme en sachant beaucoup, mais leurs connaissances sont superficielles. La solution, affirment-ils, est de construire et de former les futurs BERT et GPT-3 pour conserver des enregistrements de l'origine de leurs mots. Aucun modèle de ce type n'est encore capable de le faire, mais c'est possible en principe, et il y a des travaux préliminaires dans cette direction.

Il y a eu des décennies de progrès dans différents domaines de recherche, de la réponse aux requêtes à la synthèse de documents en passant par la structuration des informations, explique Ziqi Zhang de l'Université de Sheffield, au Royaume-Uni, qui étudie la recherche d'informations sur le Web. Mais aucune de ces technologies n'a remanié la recherche car elles traitent chacune de problèmes spécifiques et ne sont pas généralisables. La prémisse passionnante de cet article est que les grands modèles de langage sont capables de faire toutes ces choses en même temps, dit-il.

Pourtant, Zhang note que les modèles linguistiques ne fonctionnent pas bien avec des sujets techniques ou spécialisés car il y a moins d'exemples dans le texte sur lequel ils sont formés. Il y a probablement des centaines de fois plus de données sur le commerce électronique sur le Web que de données sur la mécanique quantique, dit-il. Les modèles linguistiques d'aujourd'hui sont également biaisés en faveur de l'anglais, ce qui laisserait les parties non anglophones du Web mal desservies.

Hanna Hajishirzi, qui étudie le traitement du langage naturel à l'Université de Washington, accueille favorablement l'idée mais avertit qu'il y aurait des problèmes dans la pratique. «Je pense que les grands modèles de langage sont très importants et représentent potentiellement l'avenir des moteurs de recherche, mais ils nécessitent de grandes ressources de mémoire et de calcul», déclare-t-elle. 'Je ne pense pas qu'ils remplaceraient l'indexation.'

Pourtant, Zhang est enthousiasmé par les possibilités. Cela n'a pas été possible dans le passé, car les grands modèles linguistiques n'ont décollé que récemment, dit-il. Si cela fonctionne, cela transformerait notre expérience de recherche.

Mise à jour : nous avons modifié le texte pour représenter plus clairement les problèmes avec les grands modèles de langage existants.

cacher