Pourquoi l'IA de Google peut écrire de belles chansons mais ne peut toujours pas raconter une blague

Jérémy Portje

Créer des airs de piano nouilles et des configurations sans fin de dessins de chat avec l'IA peut ne pas sembler un projet évident pour Google, mais cela a beaucoup de sens pour Douglas Eck.

Eck a passé environ 15 ans à étudier l'intelligence artificielle et la musique. Aujourd'hui, il est chercheur dans l'équipe Google Brain et dirige Magenta, le projet de recherche open source de Google qui vise à créer de l'art et de la musique avec l'apprentissage automatique.

Il a parlé à Examen de la technologie MIT sur la façon dont Google produit de nouveaux sons avec des réseaux de neurones profonds, où Magenta prend de la musique AI et pourquoi les ordinateurs sont nuls pour raconter des blagues.

Vous trouverez ci-dessous un extrait édité de l'interview. Prime Examen de la technologie MIT les abonnés peuvent écouter l'intégralité de l'interview.

L'utilisation de l'IA pour créer de l'art n'est pas nouvelle, alors qu'est-ce qui est unique dans l'approche de Google ?

Nous explorons cette direction très spécifique liée aux réseaux de neurones profonds et aux réseaux de neurones récurrents et à d'autres types d'apprentissage automatique. Et nous nous efforçons également d'impliquer à la fois la communauté artistique, les codeurs créatifs et les développeurs open source, nous en avons donc fait un projet open source.

Beaucoup de Magenta est axé sur la musique. Pourquoi l'IA est-elle bonne pour créer et augmenter la musique ?

Pour être honnête, c'est juste un parti pris de ma part. Toute ma carrière de chercheur a porté sur la musique et l'audio. Je pense que la portée de Magenta a toujours été l'art en général, la narration, la musique, la narration, l'imagerie et essayer de comprendre comment utiliser l'IA comme outil créatif. Mais tu dois commencer à quelque part. Et je pense que si vous faites de sérieux progrès sur quelque chose d'aussi compliqué que la musique, et d'aussi important pour nous que la musique, alors j'espère qu'une partie de cela se répercutera également sur d'autres domaines.

Pouvons-nous écouter de la musique qui a été faite avec Magenta ?

Cette est de la musique d'un modèle appelé Performance RNN .

Écoutez et faites juste attention à la texture et à tout ce qui s'y trouve. C'est une sorte de composition musicale mais c'est aussi en même temps une performance musicale, parce que le modèle ne génère pas seulement des noires - il décide à quelle vitesse elles vont être jouées, à quel niveau elles vont être jouées, et en fait, il reproduit ce sur quoi il a été formé, c'est-à-dire un ensemble de performances au piano réalisées dans le cadre d'un concours de piano.

Comme le montre cette pièce, la musique qui a été créée jusqu'à présent avec Magenta est essentiellement de l'improvisation. L'IA peut-elle être utilisée pour créer un morceau de musique cohérent et structuré ?

Nous travaillons là-dessus. Donc, l'une des principales directions de recherche futures pour nous et, franchement, pour tout le domaine des modèles génératifs - j'entends par là des modèles d'apprentissage automatique qui peuvent essayer de générer quelque chose de nouveau - est l'apprentissage de la structure. Et cela se voit dans la musique ici. Vous entendez qu'il n'y a pas de modèle global qui décide en quelque sorte où les choses doivent aller.

Si nous voulions lui donner des changements d'accord, même les symboles du changement d'accord, et apprendre contextuellement comment tirer parti de ces changements d'accord, nous pourrions le faire. Nous pourrions même avoir un modèle séparé qui génère des changements d'accords. Notre objectif est de proposer ce modèle de bout en bout qui comprend à lui seul tous ces niveaux de structure.

Parle moi de Esquisse-RNN , qui est une expérience Magenta récente qui vous permet dessiner avec un réseau neuronal récurrent - en gros, vous commencez à dessiner un ananas, puis Sketch-RNN prend le relais et le complète, encore et encore, dans de nombreux styles différents.

Nous avons pu utiliser un tas de dessins réalisés par des personnes jouant à Pictionary contre un algorithme d'apprentissage automatique - c'était [des données d'une autre expérience de dessin Google AI réalisée par Google Creative Lab,] Dégainer rapidement!

Il y a des limites aux données. Il y a tellement de choses que vous allez retirer de ces minuscules petits dessins de 20 secondes. Mais je pense que le travail effectué par le chercheur principal [Sketch-RNN], David Ha, était vraiment magnifique. Il a essentiellement formé un réseau neuronal récurrent pour apprendre à reproduire ces dessins. Il a en quelque sorte forcé le modèle à apprendre ce qui est important. Le modèle n'était pas assez puissant pour mémoriser tout le dessin. Parce qu'il ne peut pas mémoriser tous les coups qu'il voit, son travail consiste simplement à reproduire beaucoup de chats ou quoi que ce soit, il est obligé d'apprendre ce qui est important chez les chats - quels sont les aspects communs des dessins de chats à travers des millions de dessins de chats ? Ainsi, lorsque vous jouez avec ce modèle, vous pouvez lui demander de générer de nouveaux chats à partir de rien. Cela génère des chats vraiment intéressants qui ressemblent, je pense, étrangement à la façon dont les gens dessineraient des chats.

TensorFlow

J'ai lu que vous travailliez avec Magenta pour apprendre aux ordinateurs à raconter des blagues. Quel genre de blagues les ordinateurs génèrent-ils ? (Ce n'était pas en soi la première ligne d'une blague.)

Le projet était très préliminaire, très exploratoire, posant la question : pouvons-nous comprendre cette composante de la blague qui concerne la surprise ? Surtout les blagues et les jeux de mots liés aux punchlines, il y a clairement un point où tout se déroule normalement, je pense que je sais ce qui se passe avec cette phrase, et puis, boum ! À droite? Et je pense aussi, intuitivement, qu'il y a une géométrie dans la ligne de frappe. C'est surprenant si le bâtiment s'effondre sur votre tête; [a punch line is] pas ce genre de surprise. C'est, comme, oh, d'accord, je comprends! Tu sais? Et ce sentiment que je comprends est, je pense, une sorte de retour en arrière que vous êtes obligé de faire pour l'obtenir. Nous examinions donc des types particuliers de modèles d'apprentissage automatique qui peuvent générer ces éléments appelés vecteurs de vérité qui essaient de comprendre ce qui se passe sémantiquement dans une phrase, puis pouvons-nous les manipuler activement pour obtenir un effet différent ?

Et le genre de blague dont on entendait parler était… La magicienne était tellement en colère qu'elle a sorti son lièvre. Et le jeu de mots du lièvre et des cheveux, et du lapin - vous avez compris, n'est-ce pas ?

Ouais. Mais vous devez en savoir beaucoup sur les mots et la langue pour le comprendre.

Oui, il faut en savoir beaucoup. Non seulement ce modèle n'a pas raconté de blagues, drôles ou non, mais nous n'avons pas réussi à faire converger le code.

Qu'êtes-vous en train d'essayer de comprendre avec Magenta en ce moment ?

Essayer de mieux comprendre la structure à long terme de la musique et essayer également de se lancer dans une autre question intéressante, à savoir : pouvons-nous apprendre des retours, non pas d'un artiste, mais d'un public ?

C'est considérer le processus artistique comme une sorte d'itération. Les Beatles avaient 12 albums et chacun d'eux était différent. Et ils montraient tous que ces musiciens apprennent des commentaires qu'ils reçoivent de leurs pairs et de la foule, mais aussi d'autres choses qui se passent avec d'autres artistes. Ils sont vraiment liés à la culture. Les artistes ne sont pas statiques.

Et cette idée très simple : pouvez-vous avoir quelqu'un qui crée quelque chose avec un modèle génératif, le diffuse, mais profite ensuite du fait que les commentaires qu'il reçoit ? Oh, c'était bien, c'était mal. Ces commentaires que nous obtenons, l'artiste peut en tirer des leçons d'une certaine manière, mais peut-être que le modèle d'apprentissage automatique peut également en tirer des leçons et dire : 'Oh, je vois, voici tous les gens et voici ce qu'ils pensent de ce que Je fais, et j'ai ces paramètres. Et nous pouvons définir ces paramètres vis-à-vis du feedback, en utilisant l'apprentissage par renforcement, et nous y travaillons également.

En écoutant de la musique créée avec Magenta, je me demande : si vous utilisez des données pour former l'intelligence artificielle, l'IA peut-elle alors créer quelque chose de vraiment original, ou sera-t-elle simplement dérivée de ce sur quoi elle a été formée, que ce soit des chansons de Madonna ou peintures impressionnistes, ou les deux ?

Je pense que cela dépend de ce que nous entendons par original. Je pense qu'il est peu probable pour moi qu'un algorithme d'apprentissage automatique apparaisse et génère une nouvelle façon transformatrice de faire de l'art. Je pense qu'une personne travaillant avec cette technologie pourrait être capable de le faire. Et je pense que nous sommes tellement, tellement, tellement loin que cette IA ait une idée de ce qu'est vraiment le monde. Comme si c'était tellement, tellement loin. En même temps, je pense que beaucoup d'art est original dans un autre sens. Comme, je fais une autre chanson EDM cool avec la goutte au bon endroit, c'est amusant de danser et c'est nouveau, mais peut-être que ce n'est pas, comme, créer un genre complètement nouveau. Et je pense que ce genre de créativité est vraiment intéressant de toute façon. Que dans l'ensemble, la plupart de ce que nous faisons est assis dans un genre que nous comprenons en quelque sorte, et nous essayons de nouvelles choses, et ce genre de créativité, je pense que l'IA que nous avons maintenant peut jouer un rôle énorme. l'ensemble de données, non ? C'est mélanger les choses.

cacher