211service.com
Les ensembles de données truffés d'erreurs déforment notre perception de la qualité réelle de l'IA
Jérémy Lwanga/Unsplash
le Selon une nouvelle étude du MIT , et cela déforme notre compréhension des progrès du domaine.
Dorsale de données : Les ensembles de données sont l'épine dorsale de la recherche en IA, mais certains sont plus critiques que d'autres. Il en existe un ensemble de base que les chercheurs utilisent pour évaluer les modèles d'apprentissage automatique afin de suivre l'évolution des capacités de l'IA au fil du temps. L'un des plus connus est l'ensemble de données canoniques de reconnaissance d'images ImageNet, qui a lancé la révolution moderne de l'IA. Il y a aussi MNIST, qui compile des images de nombres manuscrits entre 0 et 9. D'autres ensembles de données testent des modèles formés pour reconnaître l'audio, le texte et les dessins à la main.
Oui mais: Ces dernières années, des études ont montré que ces ensembles de données peuvent contenir de graves défauts. ImageNet, par exemple, contient étiquettes racistes et sexistes ainsi que des photos de visages de personnes obtenus sans consentement . La dernière étude se penche maintenant sur un autre problème : de nombreuses étiquettes sont tout simplement erronées. Un champignon est étiqueté cuillère, une grenouille est étiquetée chat et une note aiguë d'Ariana Grande est étiquetée sifflet. L'ensemble de test ImageNet a un taux d'erreur d'étiquette estimé à 5,8 %. Pendant ce temps, l'ensemble de test pour QuickDraw, une compilation de dessins à la main, a un taux d'erreur estimé à 10,1 %.
Comment a-t-il été mesuré ? Chacun des 10 ensembles de données utilisés pour évaluer les modèles a un ensemble de données correspondant utilisé pour les entraîner. Les chercheurs, les étudiants diplômés du MIT Curtis G. Northcutt et Anish Athalye et l'alun Jonas Mueller, ont utilisé les ensembles de données de formation pour développer un modèle d'apprentissage automatique, puis l'ont utilisé pour prédire les étiquettes dans les données de test. Si le modèle n'était pas d'accord avec l'étiquette d'origine, le point de données était signalé pour examen manuel. Cinq critiques humains sur Amazon Mechanical Turk ont été invités à voter sur l'étiquette - le modèle ou l'original - qu'ils pensaient être correcte. Si la majorité des examinateurs humains étaient d'accord avec le modèle, l'étiquette d'origine était comptabilisée comme une erreur, puis corrigée.
Est-ce important? Oui. Les chercheurs ont examiné 34 modèles dont les performances avaient déjà été mesurées par rapport à l'ensemble de test ImageNet. Ensuite, ils ont remesuré chaque modèle par rapport aux quelque 1 500 exemples où les étiquettes de données se sont avérées erronées. Ils ont constaté que les modèles qui ne fonctionnaient pas si bien sur l'original Incorrect les étiquettes étaient parmi les plus performantes après que les étiquettes aient été corrigées. En particulier, les modèles les plus simples semblaient mieux s'en tirer sur les données corrigées que les modèles plus compliqués utilisés par les géants de la technologie comme Google pour la reconnaissance d'images et supposés être les meilleurs dans le domaine. En d'autres termes, nous pouvons avoir une idée exagérée de la qualité de ces modèles compliqués en raison de données de test erronées.
Maintenant quoi? Northcutt encourage le domaine de l'IA à créer des ensembles de données plus propres pour évaluer les modèles et suivre les progrès du domaine. Il recommande également aux chercheurs d'améliorer l'hygiène de leurs données lorsqu'ils travaillent avec leurs propres données. Sinon, dit-il, si vous avez un ensemble de données bruyant et un tas de modèles que vous essayez, et que vous allez les déployer dans le monde réel, vous pourriez finir par sélectionner le mauvais modèle. À cette fin, il a ouvert le code il a utilisé dans son étude pour corriger les erreurs d'étiquetage, ce qui, selon lui, est déjà utilisé dans quelques grandes entreprises technologiques.