Comment pouvons-nous être sûrs que l'IA se comportera ? Peut-être en le regardant se disputer avec lui-même.

Blog OpenAI

Un jour, il pourrait être parfaitement normal de voir un système d'IA se battre contre lui-même.

Le concept vient des chercheurs de OpenAI , une organisation à but non lucratif fondée par plusieurs sommités de la Silicon Valley, dont Sam Altman, partenaire de Y Combinator, Reid Hoffman, président de LinkedIn, Peter Thiel, membre du conseil d'administration de Facebook et fondateur de Palantir, et Elon Musk, directeur de Tesla et SpaceX.

Les chercheurs d'OpenAI ont déjà montré que les systèmes d'IA qui s'entraînent eux-mêmes peuvent parfois développer des habitudes inattendues et indésirables. Par exemple, dans un jeu vidéo, un agent peut comprendre comment problème son chemin vers un score plus élevé. Dans certains cas, il peut être possible pour une personne de superviser le processus de formation . Mais si le programme d'IA fait quelque chose d'incroyablement complexe, cela pourrait ne pas être faisable. Les chercheurs suggèrent donc que deux systèmes discutent plutôt d'un objectif particulier.

Nous pensons que cette approche ou une approche similaire pourrait éventuellement nous aider à former des systèmes d'IA pour effectuer des tâches bien plus avancées sur le plan cognitif que les humains ne sont capables, tout en restant conformes aux préférences humaines, écrivent les chercheurs dans un article de blog décrivant le concept.

Prenez, par exemple, un système d'IA conçu pour se défendre contre les pirates humains ou IA. Pour empêcher le système de faire quoi que ce soit de nuisible ou contraire à l'éthique, il peut être nécessaire de le contester pour expliquer la logique d'une action particulière. Cette logique peut être trop complexe à comprendre pour une personne, alors les chercheurs suggèrent qu'une autre IA débatte de la sagesse de l'action avec le premier système, en utilisant le langage naturel, pendant que la personne observe. D'autres détails apparaissent dans un document de recherche .

Faire en sorte que les programmes d'IA se disputent les uns avec les autres nécessite une technologie plus sophistiquée que celle qui existe actuellement. Jusqu'à présent, les chercheurs d'OpenAI n'ont exploré l'idée qu'avec quelques exemples extrêmement simples. L'un implique deux systèmes d'IA essayant de convaincre un observateur d'un personnage caché en révélant lentement des pixels individuels.

Les chercheurs ont créé un site Web où deux personnes peuvent essayer de jouer les rôles des systèmes d'IA de débat tandis qu'une troisième sert de juge. Les deux participants s'affrontent pour convaincre le juge de la nature d'une image tout en en mettant en valeur certaines parties. Finalement, il devient plus facile pour l'observateur de dire qui est honnête.

Vincent Conitzer , chercheur à l'Université Duke qui étudie les questions éthiques liées à l'IA, affirme que les travaux en sont à leurs débuts mais qu'ils sont prometteurs. La création de systèmes d'IA capables d'expliquer leurs décisions est un programme de recherche ambitieux, dit-il. En cas de succès, cela peut grandement contribuer à l'utilisation responsable de l'IA.

En l'état et malgré quelques bizarre déclarations des goûts d'Elon Musk (un bailleur de fonds d'OpenAI et jusqu'à récemment membre de son conseil d'administration) - nous sommes encore loin d'avoir des systèmes d'IA capables de nous tromper et de nous déjouer dans le type de scénario décrit dans des films comme Ex-Machina et Sa .

Pourtant, certains chercheurs en IA explorent des moyens de s'assurer que la technologie ne se comporte pas de manière involontaire. Cela peut devenir plus important à mesure que les programmes d'IA deviennent plus complexes et impénétrables (voir Le sombre secret au cœur de l'IA ).

Je pense que l'idée de l'alignement des valeurs par le débat est très intéressante et potentiellement utile, dit Ariel Procaccia , professeur d'informatique à la CMU qui étudie la prise de décision avec des systèmes autonomes.

Cependant, Procaccia note que le travail est très préliminaire, et que le concept peut même contenir une contradiction fondamentale. Afin de débattre des questions chargées de valeurs d'une manière compréhensible pour un juge humain, les agents de l'IA peuvent avoir besoin d'avoir une solide compréhension des valeurs humaines en premier lieu, dit-il. L'approche consiste donc sans doute à mettre la charrue avant les boeufs.

Iyad Rawan , chercheur au laboratoire Media du MIT, ajoute que les chercheurs devraient faire attention à ce qu'une paire d'IA ne se lance pas dans une dispute circulaire. Je pense qu'ils vont résoudre très rapidement des problèmes très délicats, dit-il. Premièrement, comment automatiser l'argumentation en langage naturel, qui est encore un problème non résolu.

cacher