211service.com
Pourquoi et comment Baidu a triché un test d'intelligence artificielle
Le sport des logiciels d'entraînement pour agir intelligemment vient d'avoir son premier scandale de tricherie. Le mois dernier, la société de recherche chinoise Baidu a annoncé que son logiciel de reconnaissance d'images avait devancé celui de Google sur un test de précision standardisé. Mardi, la société a admis avoir obtenu ces résultats en enfreignant les règles de ce test.
Les experts universitaires qui maintiennent ce test disent que rend les affirmations de Baidu de battre Google dénuées de sens . Ren Wu, le chercheur de Baidu qui a dirigé les travaux sur le logiciel en question, s'est excusé et a déclaré que la société examinait ses résultats. La société a modifié un document technique il a publié sur son logiciel.
Nous ne savons pas s'il s'agissait de l'action d'un individu ou d'une stratégie de l'équipe dans son ensemble. Mais pourquoi une entreprise de plusieurs milliards de dollars pourrait prendre la peine de tricher à un test obscur opéré par des universitaires sur une base volontaire est en fait assez claire.
Baidu, Google, Facebook et d'autres grandes sociétés informatiques ont beaucoup dépensé ces dernières années pour créer des groupes de recherche dédiés à l'apprentissage en profondeur, une approche de la création de logiciels d'apprentissage automatique qui a fait de grands progrès dans la reconnaissance de la parole et des images. Ces entreprises ont travaillé dur pour embaucher des experts de premier plan dans le petit domaine - souvent les unes des autres (voir Est-ce que Google accapare le marché du Deep Learning ). Une poignée de tests standardisés développés dans le milieu universitaire sont la monnaie par laquelle ces groupes de recherche comparent les progrès des uns et des autres et promeuvent leurs réalisations auprès du public.
Baidu a obtenu un avantage injuste en exploitant la conception du test. Pour que votre logiciel soit noté par rapport au ImageNet Challenge, vous devez d'abord l'entraîner avec un ensemble standardisé de 1,5 million d'images. Ensuite, vous soumettez le code au serveur ImageNet Challenge afin que sa précision puisse être testée sur une collection de 100 000 images de validation que le logiciel n'a jamais vues auparavant.
Les règles du défi stipulent que vous ne devez tester votre code que deux fois par semaine, car il y a un élément de hasard dans les résultats.
Baidu a admis avoir utilisé plusieurs comptes de messagerie pour tester son code environ 200 fois en un peu moins de six mois, soit plus de quatre fois ce que les règles autorisent.
Oren Etzioni, PDG de Institut Allen pour l'intelligence artificielle , compare ce que Baidu a fait à l'achat de plusieurs billets de loterie. Si vous achetez deux billets par semaine, vous avez une certaine chance si vous en achetez 200 par semaine, vous avez plus de chance, dit-il. En plus de cela, tester un code légèrement différent sur de nombreux tests pourrait aider une équipe de recherche à optimiser son logiciel pour les particularités de la collection d'images de validation qui ne se reflètent pas dans les photos du monde réel.
Le succès de l'apprentissage en profondeur sur ce test particulier est tel que même un petit avantage pourrait faire la différence. Baidu avait signalé avoir atteint un taux d'erreur de seulement 4,58 %, battant le meilleur précédent de 4,82 %, rapporté par Google en mars. En fait, certains experts ont noté que les petites marges de victoire dans la course pour s'améliorer sur ce test particulier le rendent de plus en plus dénué de sens. Le fait que Baidu et d'autres continuent tout de même de claironner leurs résultats - et soient même disposés à enfreindre les règles - suggère qu'être le meilleur en matière d'apprentissage automatique est très important pour eux.