Ces photos étranges et troublantes montrent que l'IA devient plus intelligente

Institut Allen pour l'IA

De tous les modèles d'IA dans le monde, GPT-3 d'OpenAI a le plus captivé l'imagination du public. Il peut cracher des poèmes, des nouvelles et des chansons avec peu d'incitation, et il a été démontré tromper les gens en pensant que ses sorties ont été écrites par un humain. Mais son éloquence est plutôt un tour de passe-passe, à ne pas confondre avec une réelle intelligence.

Néanmoins, les chercheurs pensent que les techniques utilisées pour créer le GPT-3 pourraient contenir le secret d'une IA plus avancée. GPT-3 s'est entraîné sur une énorme quantité de données textuelles. Et si les mêmes méthodes étaient entraînées à la fois sur le texte et sur les images ?

Aujourd'hui, de nouvelles recherches de l'Allen Institute for Artificial Intelligence, AI2, ont poussé cette idée à un niveau supérieur. Les chercheurs ont développé un nouveau modèle de texte et d'image, également connu sous le nom de modèle de langage visuel, qui peut générer des images avec une légende. Les images ont l'air troublantes et bizarres - rien à voir avec les deepfakes hyperréalistes générés par les GAN – mais ils pourraient démontrer une nouvelle direction prometteuse pour obtenir une intelligence plus généralisable, et peut-être aussi des robots plus intelligents.

Remplir les trous

GPT-3 fait partie d'un groupe de modèles connus sous le nom de transformateurs, qui sont devenus populaires pour la première fois avec le succès du BERT de Google. Avant BERT, les modèles de langage étaient plutôt mauvais. Ils avaient suffisamment de puissance prédictive pour être utiles pour des applications comme la saisie semi-automatique, mais pas assez pour générer une longue phrase qui suivait les règles de grammaire et le bon sens.

BERT a changé cela en introduisant une nouvelle technique appelée masquage . Il s'agit de cacher différents mots dans une phrase et de demander au modèle de remplir le blanc. Par example:

• La femme est allée au ___ pour s'entraîner.
• Ils ont acheté un ___ de pain pour faire des sandwichs.

L'idée est que si le modèle est forcé de faire ces exercices, souvent des millions de fois, il commence à découvrir des modèles dans la façon dont les mots sont assemblés en phrases et les phrases en paragraphes. En conséquence, il peut mieux générer et interpréter le texte, le rapprochant de la compréhension du sens du langage. (Google utilise maintenant BERT proposera des résultats de recherche plus pertinents dans son moteur de recherche .) Après que le masquage s'est avéré très efficace, les chercheurs ont cherché à l'appliquer à des modèles de langage visuel en masquant des mots dans des légendes, comme ceci :

Un ____ se tient sur un sol en terre près d'un arbre.

AI2

Cette fois, le modèle pourrait regarder à la fois les mots environnants et le contenu de l'image pour combler le vide. Grâce à des millions de répétitions, il pourrait alors découvrir non seulement les motifs entre les mots, mais aussi les relations entre les mots et les éléments de chaque image.

Il en résulte des modèles capables d'associer des descriptions textuelles à des références visuelles, tout comme les bébés peuvent établir des liens entre les mots qu'ils apprennent et les choses qu'ils voient. Les modèles peuvent regarder la photo ci-dessous, par exemple, et écrire une légende sensée comme Femmes jouant au hockey sur gazon. Ou ils peuvent répondre à des questions à ce sujet comme Quelle est la couleur de la balle ? en reliant le mot boule avec l'objet circulaire dans l'image.

Un modèle de langage visuel serait en mesure de légender cette photo de manière sensée : « Femmes jouant au hockey sur gazon ».

JOHN TORCASIO / UNSPLASH

Une image vaut mieux que mille mots

Mais les chercheurs d'AI2 ont voulu savoir si ces modèles avaient réellement développé une compréhension conceptuelle du monde visuel. Un enfant qui a appris le mot pour un objet peut non seulement conjurer le mot pour identifier l'objet, mais aussi dessiner l'objet lorsqu'il est invité avec le mot, même si l'objet lui-même n'est pas présent. Les chercheurs ont donc demandé aux modèles de faire de même : générer des images à partir de légendes. Tous crachent à la place des motifs de pixels absurdes.

C'est un oiseau! C'est un avion ! Non, c'est juste du charabia généré par l'IA.

AI2

C'est logique : transformer du texte en images est beaucoup plus difficile que l'inverse. Une légende ne précise pas tout le contenu d'une image, explique Ani Kembhavi, qui dirige l'équipe de vision par ordinateur d'AI2. Ainsi, un modèle doit s'appuyer sur beaucoup de bon sens sur le monde pour remplir les détails.

Si on lui demande de dessiner une girafe marchant sur une route, par exemple, il doit également en déduire que la route est plus susceptible d'être grise que rose vif et plus susceptible d'être à côté d'un champ d'herbe qu'à côté de l'océan— bien qu'aucune de ces informations ne soit explicite.

Alors Kembhavi et ses collègues Jaemin Cho, Jiasen Lu et Hannaneh Hajishirzi ont décidé de voir s'ils pouvaient enseigner à un modèle toutes ces connaissances visuelles implicites en peaufinant leur approche du masquage. Plutôt que de former le modèle uniquement pour prédire les mots masqués dans les légendes des photos correspondantes, ils l'ont également formé pour prédire les pixels masqués dans les photos sur la base de leurs légendes correspondantes.

Les images finales générées par le modèle ne sont pas exactement réalistes. Mais ce n'est pas le sujet. Ils contiennent les bons concepts visuels de haut niveau - l'équivalent IA d'un enfant dessinant un bonhomme allumette pour représenter un humain. (Vous pouvez essayer le modèle par vous-même ici .)

Exemples d'images générées par le modèle d'AI2 à partir des légendes ci-dessous.

AI2

La capacité des modèles de langage visuel à faire ce genre de génération d'images représente une avancée importante dans la recherche sur l'IA. Cela suggère que le modèle est en fait capable d'un certain niveau d'abstraction, une compétence fondamentale pour comprendre le monde.

À long terme, cela pourrait avoir des implications pour la robotique. Plus un robot est apte à comprendre son environnement visuel et à utiliser le langage pour communiquer à son sujet, plus les tâches qu'il sera capable d'effectuer seront complexes. À court terme, ce type de visualisation pourrait également aider les chercheurs à mieux comprendre exactement ce que les modèles d'IA boîte noire apprennent, explique Hajishirzi.

À l'avenir, l'équipe prévoit d'expérimenter davantage pour améliorer la qualité de la génération d'images et d'élargir le vocabulaire visuel et linguistique du modèle pour inclure davantage de sujets, d'objets et d'adjectifs.

La génération d'images a vraiment été une pièce manquante du puzzle, dit Lu. En activant cela, nous pouvons faire en sorte que le modèle apprenne de meilleures représentations pour représenter le monde.

cacher