Les chercheurs ont du mal à reproduire les études sur l'IA

Catégorie: Intelligence artificielle Posté 16 février

Le code et les données manquants rendent difficile la comparaison du travail d'apprentissage automatique, ce qui peut nuire aux progrès.

Le problème: La science rapports que sur un échantillon de 400 articles lors de grandes conférences sur l'IA ces dernières années, seuls 6% des présentateurs ont partagé du code. Juste un tiers partageait des données et un peu plus de la moitié partageait des résumés de leurs algorithmes, connus sous le nom de pseudocode.

Pourquoi est-ce important: Sans accès à ces informations, il est difficile de reproduire les résultats d'une étude. Cela rend pratiquement impossible la comparaison des outils nouvellement développés avec ceux existants, il est donc difficile pour les chercheurs de savoir dans quelle direction pousser les recherches futures.

Comment le résoudre: Parfois, un manque de partage peut être compréhensible, par exemple, si la propriété intellectuelle appartient à une entreprise privée. Mais il semble y avoir une culture plus répandue consistant à garder les détails secrets. Certaines réunions et revues incitent désormais au partage ; peut-être que d'autres devraient suivre.