Ce fauteuil en avocat pourrait être l'avenir de l'IA

IA ouverte

Avec GPT-3 , OpenAI a montré qu'un seul modèle d'apprentissage en profondeur pouvait être formé pour utiliser le langage de différentes manières simplement en lui lançant de grandes quantités de texte. Il a ensuite montré que en remplaçant le texte par des pixels , la même approche pourrait être utilisée pour entraîner une IA à compléter des images à moitié terminées. GPT-3 imite la façon dont les humains utilisent les mots ; L'image GPT-3 prédit ce que nous voyons.

Maintenant, OpenAI a rassemblé ces idées et construit deux nouveaux modèles, appelés LUI DONNER et AGRAFE , qui combinent le langage et les images d'une manière qui permettra aux IA de mieux comprendre les mots et ce à quoi ils se réfèrent.

Nous vivons dans un monde visuel, déclare Ilya Sutskever, scientifique en chef chez OpenAI. À long terme, vous aurez des modèles qui comprennent à la fois le texte et les images. L'IA sera en mesure de mieux comprendre le langage car elle peut voir ce que signifient les mots et les phrases.

Histoire connexe

Le nouveau générateur de langage d'OpenAI, GPT-3, est étonnamment bon et complètement stupide

L'IA est le plus grand modèle de langage jamais créé et peut générer à la demande un texte étonnant de type humain, mais ne nous rapprochera pas de la véritable intelligence.

Malgré tout le flair du GPT-3, sa sortie peut sembler détachée de la réalité, comme si elle ne savait pas de quoi elle parle. C'est parce que ce n'est pas le cas. En ancrant le texte dans les images, les chercheurs d'OpenAI et d'ailleurs tentent de donner aux modèles de langage une mieux appréhender les concepts du quotidien que les humains utilisent pour donner un sens aux choses.

DALL·E et CLIP abordent ce problème sous des angles différents. À première vue, CLIP (Contrastive Language-Image Pre-training) est encore un autre système de reconnaissance d'images. Sauf qu'il a appris à reconnaître les images non pas à partir d'exemples étiquetés dans des ensembles de données organisés, comme le font la plupart des modèles existants, mais à partir d'images et de leurs légendes prises sur Internet. Il apprend ce qu'il y a dans une image à partir d'une description plutôt qu'une étiquette d'un mot comme chat ou banane.

CLIP est formé en lui faisant prédire quelle légende parmi une sélection aléatoire de 32 768 est la bonne pour une image donnée. Pour cela, CLIP apprend à relier une grande variété d'objets avec leurs noms et les mots qui les décrivent. Cela lui permet ensuite d'identifier des objets dans des images en dehors de son ensemble d'apprentissage. La plupart des systèmes de reconnaissance d'images sont formés pour identifier certains types d'objets, tels que les visages dans les vidéos de surveillance ou les bâtiments dans les images satellites. Comme GPT-3, CLIP peut généraliser toutes les tâches sans formation supplémentaire. Il est également moins probable que d'autres modèles de reconnaissance d'images à la pointe de la technologie d'être induits en erreur par des exemples contradictoires, qui ont été subtilement modifiés d'une manière qui confond généralement les algorithmes, même si les humains ne remarquent peut-être pas de différence.

Au lieu de reconnaître des images, DALL·E (qui, je suppose, est un jeu de mots WALL·E/Dali) les dessine. Ce modèle est une version plus petite de GPT-3 qui a également été formée sur des paires texte-image extraites d'Internet. Étant donné une courte légende en langage naturel, comme une peinture d'un capybara assis dans un champ au lever du soleil ou une vue en coupe d'une noix, DALL·E génère de nombreuses images qui lui correspondent : des dizaines de capybaras de toutes formes et tailles devant des fonds orange et jaunes ; rangée après rangée de noix (mais pas toutes en coupe).

Obtenez surréaliste

Les résultats sont frappants, bien que toujours mitigés. La légende d'un vitrail avec une image de fraise bleue produit de nombreux résultats corrects mais aussi certains qui ont des fenêtres bleues et des fraises rouges. D'autres ne contiennent rien qui ressemble à une fenêtre ou à une fraise. Les résultats présenté par l'équipe OpenAI dans un article de blog n'ont pas été triés sur le volet mais classés par CLIP, qui a sélectionné les 32 images DALL·E pour chaque légende qui, selon lui, correspondent le mieux à la description.

Le texte à l'image est un défi de recherche qui existe depuis un certain temps, explique Mark Riedl, qui travaille sur la PNL et la créativité informatique au Georgia Institute of Technology à Atlanta. Mais c'est un ensemble impressionnant d'exemples.

Images dessinées par DALL·E pour la légende Un bébé radis daikon en tutu promenant un chien

Pour tester la capacité de DALL·E à travailler avec de nouveaux concepts, les chercheurs lui ont donné des légendes décrivant des objets qu'ils pensaient qu'il n'aurait pas vus auparavant, comme un fauteuil en avocat et une illustration d'un bébé radis daikon dans un tutu promenant un chien. Dans ces deux cas, l'IA a généré des images qui combinaient ces concepts de manière plausible.

Les fauteuils en particulier ressemblent tous à des chaises et des avocats. Ce qui m'a le plus surpris, c'est que le modèle peut prendre deux concepts sans rapport et les assembler d'une manière qui aboutit à quelque chose de fonctionnel, déclare Aditya Ramesh, qui a travaillé sur DALL·E. C'est probablement parce qu'un avocat coupé en deux ressemble un peu à un fauteuil à haut dossier, avec le noyau comme coussin. Pour d'autres légendes, comme un escargot en harpe, les résultats sont moins bons, avec des images mêlant escargots et harpes de manière étrange.

DALL·E est le genre de système que Riedl a imaginé soumettre au Test Lovelace 2.0 , une expérience de pensée qu'il a imaginée en 2014. Le test est destiné à remplacer le test de Turing comme référence pour mesurer l'intelligence artificielle. Il suppose qu'une marque d'intelligence est la capacité de mélanger des concepts de manière créative. Riedl suggère que demander à un ordinateur de dessiner une image d'un homme tenant un pingouin est un meilleur test d'intelligence que de demander à un chatbot de duper un humain dans une conversation, car c'est plus ouvert et moins facile à tricher.

Le véritable test consiste à voir jusqu'où l'IA peut être poussée en dehors de sa zone de confort, explique Riedl.

Images dessinées par DALL·E pour la légende escargot en harpe

La capacité du modèle à générer des images synthétiques à partir de textes plutôt fantaisistes me semble très intéressante, déclare Ani Kembhavi de l'Allen Institute for Artificial Intelligence (AI2), qui a également développé un système qui génère des images à partir de texte . Les résultats semblent obéir à la sémantique souhaitée, ce qui, à mon avis, est assez impressionnant. Jaemin Cho, un collègue de Kembhavi, est également impressionné : les générateurs de texte à image existants n'ont pas montré ce niveau de contrôle en dessinant plusieurs objets ou les capacités de raisonnement spatial de DALL·E, dit-il.

Pourtant, DALL·E montre déjà des signes de fatigue. Inclure trop d'objets dans une légende étend sa capacité à garder une trace de ce qu'il faut dessiner. Et reformuler une légende avec des mots qui signifient la même chose donne parfois des résultats différents. Il y a aussi des signes que DALL·E imite les images qu'il a rencontrées en ligne plutôt que d'en générer de nouvelles.

Je me méfie un peu de l'exemple du daikon, qui suggère stylistiquement qu'il a peut-être mémorisé des œuvres d'art sur Internet, déclare Riedl. Il note qu'une recherche rapide fait apparaître de nombreuses images de dessins animés de daïkons anthropomorphisés. GPT-3, sur lequel DALL·E est basé, est connu pour sa mémorisation, dit-il.

Pourtant, la plupart des chercheurs en IA s'accordent à dire que fonder le langage sur la compréhension visuelle est un bon moyen de rendre les IA plus intelligentes.

L'avenir consistera en des systèmes comme celui-ci, dit Sutskever. Et ces deux modèles sont une étape vers ce système.

cacher