Vision par ordinateur dans l'IA : les données nécessaires pour réussir

Fourni par Allégion

Développer la capacité d'annoter d'énormes volumes de données tout en maintenant la qualité est une fonction du cycle de vie du développement du modèle que les entreprises sous-estiment souvent. Cela demande beaucoup de ressources et nécessite une expertise spécialisée.

Au cœur de toute initiative d'apprentissage automatique/intelligence artificielle (ML/AI) réussie se trouve un engagement envers des données de formation de haute qualité et une voie vers des données de qualité éprouvées et bien définies. Sans ce pipeline de données de qualité, l'initiative est vouée à l'échec.

Les équipes de vision par ordinateur ou de science des données se tournent souvent vers des partenaires externes pour développer leur pipeline de formation aux données, et ces partenariats stimulent les performances des modèles.

Il n'y a pas de définition unique de la qualité : les données de qualité dépendent entièrement du projet spécifique de vision par ordinateur ou d'apprentissage automatique. Cependant, il existe un processus général que toutes les équipes peuvent suivre lorsqu'elles travaillent avec un partenaire externe, et ce chemin vers des données de qualité peut être divisé en quatre phases hiérarchisées.

Critères d'annotation et exigences de qualité

La qualité des données d'entraînement est une évaluation de l'aptitude d'un ensemble de données à remplir son objectif dans un cas d'utilisation ML/AI donné.

L'équipe de vision par ordinateur doit établir un ensemble de règles sans ambiguïté décrivant ce que la qualité signifie dans le contexte de son projet. Les critères d'annotation sont l'ensemble des règles qui définissent les objets à annoter, comment les annoter correctement et quels sont les objectifs de qualité.

Les objectifs d'exactitude ou de qualité définissent le résultat acceptable le plus bas pour les mesures d'évaluation telles que l'exactitude, le rappel, la précision, le score F1, etc. En règle générale, une équipe de vision par ordinateur aura des objectifs de qualité concernant la précision avec laquelle les objets d'intérêt ont été classés, la précision avec laquelle les objets ont été localisés et la précision avec laquelle les relations entre les objets ont été identifiées.

Formation de la main-d'œuvre et configuration de la plateforme n

Paramétrage de la plateforme. La conception des tâches et la configuration du flux de travail nécessitent du temps et de l'expertise, et une annotation précise nécessite des outils spécifiques à la tâche. À ce stade, les équipes de science des données ont besoin d'un partenaire expérimenté pour les aider à déterminer la meilleure façon de configurer les outils d'étiquetage, les taxonomies de classification et les interfaces d'annotation pour la précision et le débit.

Tests et notation des travailleurs. Pour étiqueter avec précision les données, les annotateurs ont besoin d'un programme de formation bien conçu afin qu'ils comprennent parfaitement les critères d'annotation et le contexte du domaine. La plate-forme d'annotation ou le partenaire externe doit garantir l'exactitude en suivant activement les compétences de l'annotateur par rapport aux tâches de données d'or ou lorsqu'un jugement est modifié par un travailleur ou un administrateur plus qualifié.

Vérité terrain ou données d'or. Les données de terrain sont cruciales à ce stade du processus en tant que référence pour évaluer les travailleurs et mesurer la qualité des résultats. De nombreuses équipes de vision par ordinateur travaillent déjà avec un ensemble de données de vérité terrain.

Sources d'autorité et assurance qualité

Il n'existe pas d'approche d'assurance qualité (AQ) unique qui réponde aux normes de qualité de tous les cas d'utilisation de ML. Des objectifs commerciaux spécifiques, ainsi que le risque associé à un modèle sous-performant, détermineront les exigences de qualité. Certains projets atteignent la qualité cible en utilisant plusieurs annotateurs. D'autres nécessitent des examens complexes par rapport à des données de terrain ou des flux de travail d'escalade avec vérification par un expert en la matière.

Il existe deux principales sources d'autorité qui peuvent être utilisées pour mesurer la qualité des annotations et qui sont utilisées pour noter les travailleurs : les données d'or et l'examen par des experts.

• Données d'or : les données d'or ou l'ensemble d'enregistrements de vérité terrain peuvent être utilisés à la fois comme outil de qualification pour tester et noter les travailleurs au début du processus et également comme mesure de la qualité des résultats. Lorsque vous utilisez des données d'or pour mesurer la qualité, vous comparez les annotations des travailleurs à vos annotations d'experts pour le même ensemble de données, et la différence entre ces deux réponses indépendantes et aveugles peut être utilisée pour produire des mesures quantitatives telles que l'exactitude, le rappel, la précision et les scores F1. .

• Examen par un expert : cette méthode d'assurance qualité repose sur l'examen par un expert d'un travailleur hautement qualifié, d'un administrateur ou d'un expert côté client, parfois les trois. Il peut être utilisé en conjonction avec l'AQ des données d'or. L'examinateur expert examine la réponse donnée par le travailleur qualifié et l'approuve ou apporte les corrections nécessaires, produisant une nouvelle réponse correcte. Initialement, un examen par un expert peut avoir lieu pour chaque instance de données étiquetées, mais au fil du temps, à mesure que la qualité des travailleurs s'améliore, l'examen par un expert peut utiliser un échantillonnage aléatoire pour un contrôle qualité continu.

Itérer sur le succès des données

Une fois qu'une équipe de vision par ordinateur a lancé avec succès un pipeline de données de formation de haute qualité, elle peut accélérer la progression vers un modèle prêt pour la production. Grâce à une assistance, une optimisation et un contrôle qualité continus, un partenaire externe peut les aider à :

• Vitesse de suivi : pour une mise à l'échelle efficace, il est bon de mesurer le débit d'annotation. Combien de temps faut-il aux données pour parcourir le processus ? Le processus s'accélère-t-il ?
• Ajuster la formation des travailleurs : à mesure que le projet prend de l'ampleur, les exigences en matière d'étiquetage et de qualité peuvent évoluer. Cela nécessite une formation et une notation continues de la main-d'œuvre.
• Entraînez-vous sur les cas extrêmes : au fil du temps, les données d'entraînement devraient inclure de plus en plus de cas extrêmes afin de rendre votre modèle aussi précis et robuste que possible.

Sans données de formation de haute qualité, même les projets ML/AI les mieux financés et les plus ambitieux ne peuvent pas réussir. Les équipes de vision par ordinateur ont besoin de partenaires et de plates-formes en qui elles peuvent avoir confiance pour fournir la qualité de données dont elles ont besoin et pour alimenter des modèles ML/AI qui changent la vie dans le monde.

Alegion est le partenaire éprouvé pour construire le pipeline de données de formation qui alimentera votre modèle tout au long de son cycle de vie. Contactez Alegion au [email protected] .

Ce contenu a été produit par Alegion. Il n'a pas été écrit par la rédaction de MIT Technology Review.

cacher