Cette IA qui sait tout apprend en lisant l'intégralité du Web sans arrêt

Mme Tech

En juillet, OpenAI dernier modèle de langage, GPT-3 , ébloui par sa capacité à produire des paragraphes qui semblent avoir pu être écrits par un humain. Les gens ont commencé à montrer comment GPT-3 pouvait également saisir automatiquement du code ou remplir des blancs dans des feuilles de calcul.

Dans un exemple, l'employé de Twitter, Paul Katsen, a tweeté la fonction de feuille de calcul pour les gouverner tous, dans laquelle GPT-3 remplit les colonnes par lui-même, en extrayant des données pour les États américains : la population du Michigan est de 10,3 millions d'habitants, l'Alaska est devenu un État en 1906, etc.

Sauf que GPT-3 peut être un peu une connerie. La population du Michigan n'a jamais été de 10,3 millions d'habitants et l'Alaska est devenu un État en 1959.

Les modèles de langage comme GPT-3 sont mimiques incroyables , mais ils ont peu de sens de ce qu'ils disent réellement. Ils sont vraiment doués pour générer des histoires sur les licornes, déclare Mike Tung, PDG de la startup de Stanford Diffbot. Mais ils ne sont pas formés pour être factuels.

C'est un problème si nous voulons que les IA soient dignes de confiance. C'est pourquoi Diffbot adopte une approche différente. Il construit une IA qui lit chaque page sur l'ensemble du Web public, dans plusieurs langues, et extrait autant de faits que possible de ces pages.

Comme GPT-3, le système de Diffbot apprend en aspirant de grandes quantités de texte écrit par l'homme trouvé en ligne. Mais au lieu d'utiliser ces données pour former un modèle de langage, Diffbot transforme ce qu'il lit en une série de factoïdes en trois parties qui relient une chose à une autre : sujet, verbe, objet.

Pointé du doigt ma biographie, par exemple, Diffbot apprend que Will Douglas Heaven est journaliste ; Will Douglas Heaven travaille au MIT Technology Review; MIT Technology Review est une entreprise de médias; etc. Chacun de ces factoïdes est associé à des milliards d'autres dans un vaste réseau de faits interconnectés. C'est ce qu'on appelle un graphe de connaissances.

Les graphes de connaissances ne sont pas nouveaux. Ils existent depuis des décennies et constituaient un concept fondamental dans les premières recherches sur l'IA. Mais la construction et la maintenance des graphes de connaissances se font généralement à la main, ce qui est difficile. Cela a également empêché Tim Berners-Lee de réaliser ce qu'il a appelé le Web sémantique, qui aurait inclus des informations pour les machines ainsi que pour les humains, afin que les bots puissent réserver nos vols, faire nos courses ou donner des réponses plus intelligentes aux questions que les moteurs de recherche.

Il y a quelques années, Google a également commencé à utiliser des graphes de connaissances. Recherchez Katy Perry et vous obtiendrez une boîte à côté des principaux résultats de recherche vous indiquant que Katy Perry est une auteure-compositrice-interprète américaine dont la musique est disponible sur YouTube, Spotify et Deezer. Vous pouvez voir en un coup d'œil qu'elle est mariée à Orlando Bloom, qu'elle a 35 ans et qu'elle vaut 125 millions de dollars, etc. Au lieu de vous donner une liste de liens vers des pages sur Katy Perry, Google vous donne un ensemble de faits à son sujet tirés de son graphe de connaissances.

Mais Google ne le fait que pour ses termes de recherche les plus populaires. Diffbot veut le faire pour tout. En automatisant entièrement le processus de construction, Diffbot a pu créer ce qui pourrait être le plus grand graphe de connaissances jamais créé.

Avec Google et Microsoft, c'est l'une des trois seules entreprises américaines à explorer l'intégralité du Web public. Il est tout à fait logique d'explorer le Web, déclare Victoria Lin, chercheuse chez Salesforce qui travaille sur le traitement du langage naturel et la représentation des connaissances. Sinon, beaucoup d'efforts humains peuvent être consacrés à la création d'une large base de connaissances. Heiko Paulheim de l'Université de Mannheim en Allemagne est d'accord : l'automatisation est le seul moyen de construire des graphes de connaissances à grande échelle.

Super surfeur

Pour recueillir ses faits, l'IA de Diffbot lit le Web comme le ferait un humain, mais beaucoup plus rapidement. À l'aide d'une version suralimentée du navigateur Chrome, l'IA affiche les pixels bruts d'une page Web et utilise des algorithmes de reconnaissance d'image pour classer la page dans l'un des 20 types différents, y compris la vidéo, l'image, l'article, l'événement et le fil de discussion. . Il identifie ensuite les éléments clés de la page, tels que le titre, l'auteur, la description du produit ou le prix, et utilise la PNL pour extraire des faits de n'importe quel texte.

Chaque factoïde en trois parties est ajouté au graphe de connaissances. Diffbot extrait des faits à partir de pages écrites dans n'importe quelle langue, ce qui signifie qu'il peut répondre aux questions sur Katy Perry, par exemple, en utilisant des faits tirés d'articles en chinois ou en arabe même s'ils ne contiennent pas le terme Katy Perry.

Naviguer sur le Web comme un humain permet à l'IA de voir les mêmes faits que nous voyons. Cela signifie également qu'il a dû apprendre à naviguer sur le Web comme nous. L'IA doit faire défiler vers le bas, basculer entre les onglets et cliquer sur les fenêtres contextuelles. L'IA doit jouer sur le Web comme un jeu vidéo juste pour découvrir les pages, explique Tung.

Diffbot parcourt le Web sans arrêt et reconstruit son graphe de connaissances tous les quatre à cinq jours. Selon Tung, l'IA ajoute 100 à 150 millions d'entités chaque mois à mesure que de nouvelles personnes apparaissent en ligne, que des entreprises sont créées et que des produits sont lancés. Il utilise davantage d'algorithmes d'apprentissage automatique pour fusionner de nouveaux faits avec d'anciens, en créant de nouvelles connexions ou en écrasant celles qui sont obsolètes. Diffbot doit ajouter du nouveau matériel à son centre de données à mesure que le graphe de connaissances se développe.

Les chercheurs peuvent accéder gratuitement au graphe de connaissances de Diffbot. Mais Diffbot compte également environ 400 clients payants. Le moteur de recherche DuckDuckGo l'utilise pour générer ses propres boîtes de type Google. Snapchat l'utilise pour extraire les faits saillants des pages d'actualités. L'application de planification de mariage populaire Zola l'utilise pour aider les gens à faire des listes de mariage, en tirant des images et des prix. Le NASDAQ, qui fournit des informations sur le marché boursier, l'utilise pour la recherche financière.

Fausses chaussures

Adidas et Nike l'utilisent même pour rechercher sur le Web des chaussures contrefaites. Un moteur de recherche renverra une longue liste de sites qui mentionnent les baskets Nike. Mais Diffbot permet à ces entreprises de rechercher des sites qui vendent réellement leurs chaussures, plutôt que d'en parler.

Pour l'instant, ces entreprises doivent interagir avec Diffbot en utilisant du code. Mais Tung prévoit d'ajouter une interface en langage naturel. En fin de compte, il veut construire ce qu'il appelle un système universel de réponse aux questions factoïdes : une IA qui pourrait répondre à presque tout ce que vous lui demandez, avec des sources pour étayer sa réponse.

Tung et Lin conviennent que ce type d'IA ne peut pas être construit uniquement avec des modèles de langage. Mais mieux encore serait de combiner les technologies, en utilisant un modèle de langage comme GPT-3 pour créer un front-end humain pour un bot qui sait tout.

Pourtant, même une IA qui a raison sur ses faits n'est pas nécessairement intelligente. Nous n'essayons pas de définir ce qu'est l'intelligence, ou quelque chose comme ça, dit Tung. Nous essayons juste de construire quelque chose d'utile.

cacher