Une conférence de premier plan sur l'IA tente de résoudre la crise de reproductibilité du domaine

Catégorie: Intelligence artificielle Posté 9 avril

La semaine dernière, les organisateurs de la Neural Information Processing Systems Conference (NeurIPS), l'une des plus grandes conférences annuelles de recherche sur l'IA au monde, mis à jour leur politique pour les soumissions papier exige ce qu'ils appellent une liste de contrôle de reproductibilité. Il s'agit d'un petit changement dans une lutte plus vaste pour enrayer la crise croissante de la reproductibilité en science, où un nombre déconcertant de résultats de recherche ne sont pas reproduits avec succès par d'autres chercheurs, jetant le doute sur la validité des résultats initiaux.

En février, un statisticien de l'Université Rice a averti que les techniques d'apprentissage automatique alimentaient probablement cette crise car les résultats qu'elles produisent sont difficiles à auditer. C'est un problème préoccupant car l'apprentissage automatique est de plus en plus appliqué dans des domaines importants tels que les soins de santé et la recherche sur les médicaments.

La liste de contrôle de reproductibilité de NeurIPS tente de résoudre le problème. Entre autres choses, les chercheurs doivent fournir une description claire de leur algorithme ; une description complète de leur processus de collecte de données ; un lien vers tout environnement de simulation qu'ils ont utilisé pendant la formation ; et un aperçu complet des données qu'ils ont conservées, jetées et pourquoi. L'idée est de créer une nouvelle norme de transparence pour que les chercheurs montrent comment ils sont arrivés à leurs conclusions.

En tant que conférence sur l'IA la plus importante au monde, a écrit Jack Clark, directeur des politiques de l'organisation à but non lucratif OpenAI, dans son bulletin hebdomadaire Import AI, la politique NeurIPS 2019 aura [un] effet d'entraînement sur [l'ensemble] de l'écosystème de l'IA.

Cette histoire a été initialement publiée dans notre newsletter sur l'IA nominée par Webby, The Algorithm. Pour le recevoir directement dans votre boîte de réception, inscrivez-vous ici gratuitement.