Cela pourrait conduire à la prochaine grande percée de l'IA de bon sens

Mme Tech | Pexels

Vous nous avez probablement entendu dire cela d'innombrables fois : GPT-3, l'IA gargantuesque qui crache un langage étrangement humain, est une merveille. C'est aussi en grande partie regarder . Vous pouvez le dire avec une astuce simple : demandez-lui la couleur des moutons , et ça va suggérer noir aussi souvent que blanc, reflétant l'expression mouton noir dans notre langue vernaculaire.

C'est le problème avec les modèles de langage : parce qu'ils ne sont formés que sur du texte, ils manquent de bon sens. Maintenant, des chercheurs de l'Université de Caroline du Nord, Chapel Hill, ont conçu une nouvelle technique pour changer cela. Ils appellent cela la vocénisation, et cela donne aux modèles de langage comme GPT-3 la capacité de voir.

Ce n'est pas la première fois que les gens cherchent à combiner des modèles de langage avec la vision par ordinateur. Il s'agit en fait d'un domaine de recherche en IA en pleine croissance. L'idée est que les deux types d'IA ont des forces différentes. Les modèles de langage tels que GPT-3 sont formés via un apprentissage non supervisé, qui ne nécessite aucun étiquetage manuel des données, ce qui les rend faciles à mettre à l'échelle. Les modèles d'images comme les systèmes de reconnaissance d'objets, en revanche, apprennent plus directement de la réalité. En d'autres termes, leur compréhension ne repose pas sur le type d'abstraction du monde que le texte fournit. Ils peuvent voir sur des photos de moutons qu'ils sont en fait blancs.

Histoire connexe

Ces photos étranges et troublantes montrent que l'IA devient plus intelligente Les modèles apprennent à générer des images à partir de légendes, signe qu'ils comprennent mieux notre monde.

Les modèles d'IA capables d'analyser à la fois le langage et les entrées visuelles ont également des utilisations très pratiques. Si nous voulons construire des assistants robotiques, par exemple, ils ont besoin de la vision par ordinateur pour naviguer dans le monde et du langage pour communiquer à ce sujet aux humains.

Mais combiner les deux types d'IA est plus facile à dire qu'à faire. Ce n'est pas aussi simple que d'assembler un modèle de langage existant avec un système de reconnaissance d'objets existant. Cela nécessite de former un nouveau modèle à partir de zéro avec un ensemble de données qui comprend du texte et des images, autrement connu sous le nom d'ensemble de données en langage visuel.

L'approche la plus courante pour organiser un tel ensemble de données consiste à compiler une collection d'images avec des légendes descriptives. Une image comme celle ci-dessous, par exemple, serait sous-titrée Un chat orange est assis dans la valise prête à être emballée. Cela diffère des ensembles de données d'image typiques, qui étiquetteraient la même image avec un seul nom, comme chat. Un ensemble de données de langage visuel peut donc enseigner à un modèle d'IA non seulement comment reconnaître des objets, mais comment ils se rapportent et agissent les uns sur les autres, en utilisant des verbes et des prépositions.

Mais vous pouvez voir pourquoi ce processus de conservation des données prendrait une éternité. C'est pourquoi les ensembles de données de langage visuel qui existent sont si chétifs. Un ensemble de données textuel populaire comme Wikipedia anglais (qui inclut en effet presque toutes les entrées de Wikipedia en anglais) pourrait contenir près de 3 milliards de mots. Un ensemble de données en langage visuel comme Microsoft Common Objects in Context, ou MS COCO, n'en contient que 7 millions. Il n'y a tout simplement pas assez de données pour former un modèle d'IA pour quoi que ce soit d'utile.

La vocalisation contourne ce problème en utilisant des méthodes d'apprentissage non supervisées pour adapter la petite quantité de données de MS COCO à la taille de Wikipedia anglais. Le modèle de langage visuel qui en résulte surpasse les modèles de pointe dans certains des tests les plus difficiles utilisés pour évaluer la compréhension du langage de l'IA aujourd'hui.

Vous ne battez pas l'état de l'art sur ces tests en essayant juste un peu, dit Thomas Wolf, cofondateur et directeur scientifique de la startup de traitement du langage naturel Hugging Face, qui ne faisait pas partie de la recherche. Ce n'est pas un test de jouet. C'est pourquoi c'est super excitant.

Des jetons aux vokens

Établissons d'abord un peu de terminologie. Qu'est-ce qu'un voken ?

Dans le langage de l'IA, les mots utilisés pour former les modèles de langage sont appelés jetons. Les chercheurs de l'UNC ont donc décidé d'appeler l'image associée à chaque jeton dans leur modèle de langage visuel un voken. Vokéniseur est ce qu'ils appellent l'algorithme qui trouve des vokens pour chaque jeton, et vokénisation est ce qu'ils appellent l'ensemble du processus.

Le but n'est pas seulement de montrer à quel point les chercheurs en IA aiment inventer des mots. (Ils le font vraiment.) Cela aide également à décomposer l'idée de base derrière la vocénisation. Au lieu de commencer avec un ensemble de données d'image et d'écrire manuellement des phrases pour servir de légendes - un processus très lent - les chercheurs de l'UNC ont commencé avec un ensemble de données linguistiques et ont utilisé un apprentissage non supervisé pour faire correspondre chaque mot avec une image pertinente (plus à ce sujet plus tard). Il s'agit d'un processus hautement évolutif.

La technique d'apprentissage non supervisé, ici, est finalement l'apport de l'article. Comment trouvez-vous réellement une image pertinente pour chaque mot ?

Vokénisation

Revenons un instant au GPT-3. GPT-3 fait partie d'une famille de modèles de langage connus sous le nom de transformateurs, qui ont représenté une avancée majeure dans l'application de l'apprentissage non supervisé au traitement du langage naturel lorsque le premier a été introduit en 2017. Les transformateurs apprennent les modèles du langage humain en observant comment les mots sont utilisé dans le contexte, puis en créant une représentation mathématique de chaque mot, connue sous le nom d'incorporation de mots, basée sur ce contexte. L'intégration du mot chat peut montrer, par exemple, qu'il est fréquemment utilisé autour des mots miaou et orange mais moins souvent autour des mots écorce ou bleu.

C'est ainsi que les transformateurs se rapprochent de la signification des mots et comment GPT-3 peut écrire de telles phrases humaines. Il s'appuie en partie sur ces imbrications pour lui indiquer comment assembler des mots en phrases et des phrases en paragraphes.

Il existe une technique parallèle qui peut également être utilisée pour les images. Au lieu de scanner le texte pour les modèles d'utilisation des mots, il analyse les images pour les modèles visuels. Il calcule la fréquence à laquelle un chat, par exemple, apparaît sur un lit par rapport à un arbre, et crée un chat incorporant ces informations contextuelles.

L'idée des chercheurs de l'UNC était qu'ils devraient utiliser les deux techniques d'intégration sur MS COCO. Ils ont converti les images en intégrations visuelles et les légendes en intégrations de mots. Ce qui est vraiment intéressant à propos de ces intégrations, c'est qu'elles peuvent ensuite être représentées graphiquement dans un espace tridimensionnel, et vous pouvez littéralement voir comment elles sont liées les unes aux autres. Les représentations visuelles étroitement liées aux représentations de mots apparaîtront plus près dans le graphique. En d'autres termes, l'intégration visuelle du chat devrait (en théorie) chevaucher l'intégration textuelle du chat. Plutôt cool.

Vous pouvez voir où cela mène. Une fois que les représentations incorporées sont toutes représentées graphiquement, comparées et liées les unes aux autres, il est facile de commencer à faire correspondre des images (vokens) avec des mots (tokens). Et rappelez-vous, parce que les images et les mots sont appariés en fonction de leurs intégrations, ils sont également appariés en fonction du contexte. Ceci est utile lorsqu'un mot peut avoir des significations totalement différentes. La technique gère cela avec succès en trouvant différents vokens pour chaque instance du mot.

Par example:

Voici elle prendre contact.

Certains chats aiment l'humain prendre contact .

Le jeton est le mot contact dans les deux exemples. Mais dans la première phrase, le contexte suggère que le mot fait référence aux informations de contact, donc le voken est l'icône de contact. Dans la deuxième phrase, le contexte suggère que le mot fait référence au toucher, de sorte que le voken montre un chat caressé.

Les chercheurs ont utilisé les incorporations visuelles et de mots qu'ils ont créées avec MS COCO pour former leur algorithme de vokenizer. Une fois formé, le vokenizer a ensuite pu trouver des vokens pour les jetons dans Wikipedia anglais. Ce n'est pas parfait. L'algorithme n'a trouvé de vokens que pour environ 40 % des jetons. Mais cela représente encore 40 % d'un ensemble de données contenant près de 3 milliards de mots.

Avec ce nouvel ensemble de données, les chercheurs ont recyclé un modèle de langage connu sous le nom de BERT, un transformateur open source développé par Google et antérieur à GPT-3. Ils ont ensuite testé le nouveau BERT amélioré sur six tests de compréhension linguistique différents, y compris SQuAD, l'ensemble de données de réponse aux questions de Stanford, qui demande aux modèles de répondre à des questions de compréhension en lecture sur une série d'articles, et SWAG, qui tente de faire trébucher les modèles avec des subtilités de la langue anglaise pour déterminer s'il s'agit simplement d'imiter et de mémoriser. Le BERT amélioré a mieux fonctionné sur chacun d'eux, ce qui, selon Wolf, n'est pas à éternuer.

Les chercheurs, Hao Tan, doctorant, et Mohit Bansal, son directeur, présenteront leur nouvelle technique de vokenisation dans deux semaines à la Conférence sur les méthodes empiriques en traitement du langage naturel. Bien que le travail soit encore précoce, Wolf considère leur travail comme une percée conceptuelle importante pour faire fonctionner l'apprentissage non supervisé pour les modèles de langage visuel. C'était une étincelle similaire qui a contribué à faire progresser considérablement le traitement du langage naturel à l'époque.

En PNL, nous avons eu cette énorme percée il y a plus de deux ans, et puis tout à coup, la PNL était un domaine où beaucoup de choses se passaient et elle devançait en quelque sorte tous les autres domaines de l'IA, dit-il. Mais nous avons ce problème de connexion du texte avec d'autres choses. C'est donc comme ce robot qui ne peut que parler mais ne peut pas voir, ne peut pas entendre.

Ce document est un exemple où ils ont réussi à le connecter à une autre modalité et cela fonctionne mieux , il dit. Vous pouvez imaginer que certaines de ces techniques pourraient être réutilisées lorsque vous souhaitez tirer parti de ce modèle de langage vraiment puissant dans un robot. Peut-être que vous utilisez la même chose pour connecter les sens du robot au texte.

cacher