211service.com
Facebook veut améliorer l'IA en demandant aux gens de la casser
Yatheesh Gowda / Pixabay
Les succès explosifs de l'IA au cours de la dernière décennie sont généralement attribués à de nombreuses données et à une grande puissance de calcul. Mais les références jouent également un rôle crucial dans la conduite des progrès - des tests auxquels les chercheurs peuvent comparer leur IA pour voir à quel point elle est avancée. Par exemple, ImageNet, un ensemble de données publiques de 14 millions d'images, fixe un objectif pour la reconnaissance d'images. Le MNIST a fait de même pour la reconnaissance de l'écriture manuscrite et GLUE (General Language Understanding Evaluation) pour le traitement du langage naturel, menant à une percée modèles de langage comme GPT-3 .
Un objectif fixe est rapidement dépassé. ImageNet est en cours de mise à jour et GLUE a été remplacé par SuperGLUE, un ensemble de tâches linguistiques plus difficiles. Pourtant, tôt ou tard, les chercheurs rapporteront que leur IA a atteint des niveaux surhumains, surpassant les gens dans tel ou tel défi. Et c'est un problème si nous voulons que les repères continuent de faire avancer les choses.
Facebook lance donc un nouveau type de test qui oppose les IA aux humains qui font de leur mieux pour les faire trébucher. Appelé Dynabench , le test sera aussi difficile que les gens choisiront de le faire.
Les benchmarks peuvent être très trompeurs, déclare Douwe Kiela de Facebook AI Research, qui a dirigé l'équipe derrière l'outil. Trop se concentrer sur les repères peut signifier perdre de vue des objectifs plus larges. Le test peut devenir la tâche.
Vous vous retrouvez avec un système qui est meilleur au test que les humains mais pas meilleur à la tâche globale, dit-il. C'est très trompeur, car cela donne l'impression que nous sommes beaucoup plus loin que nous ne le sommes réellement.
Kiela pense que c'est un problème particulier avec la PNL en ce moment. Un modèle de langage comme GPT-3 semble intelligent car il est si bon pour imiter le langage. Mais il est difficile de dire à quel point ces systèmes comprennent réellement.
Pensez à essayer de mesurer l'intelligence humaine, dit-il. Vous pouvez faire passer des tests de QI aux gens, mais cela ne vous dit pas s'ils maîtrisent vraiment un sujet. Pour ce faire, vous devez leur parler, poser des questions.
Dynabench fait quelque chose de similaire, en utilisant des personnes pour interroger les IA. Publié en ligne aujourd'hui, il invite les gens à se rendre sur le site Web et à interroger les modèles derrière. Par exemple, vous pouvez donner à un modèle de langage une page Wikipédia, puis lui poser des questions, en notant ses réponses.
À certains égards, l'idée est similaire à la façon dont les gens jouent déjà avec GPT-3, testant ses limites, ou à la façon dont les chatbots sont évalués pour le prix Loebner, un concours où les bots essaient de se faire passer pour des humains. Mais avec Dynabench, les défaillances qui surgissent pendant les tests seront automatiquement réinjectées dans les futurs modèles, les améliorant ainsi en permanence.
Pour l'instant, Dynabench se concentrera sur les modèles de langage car ils sont l'un des types d'IA les plus faciles à interagir avec les humains. Tout le monde parle une langue, dit Kiela. Vous n'avez pas besoin de connaissances réelles sur la façon de casser ces modèles.
Mais l'approche devrait également fonctionner pour d'autres types de réseaux neuronaux, tels que les systèmes de reconnaissance vocale ou d'image. Vous auriez juste besoin d'un moyen pour que les gens téléchargent leurs propres images - ou qu'ils dessinent des choses - pour le tester, dit Kiela : La vision à long terme pour cela est de l'ouvrir afin que n'importe qui puisse faire tourner son propre modèle et commencer à collecter leurs propres données.
Nous voulons convaincre la communauté de l'IA qu'il existe une meilleure façon de mesurer les progrès, ajoute-t-il. Espérons que cela se traduira par des progrès plus rapides et une meilleure compréhension des raisons pour lesquelles les modèles d'apprentissage automatique échouent toujours.