Une nouvelle technique radicale permet à l'IA d'apprendre avec pratiquement aucune donnée

Le mythique rhinocorn. Mme Tech / Pixabay

L'apprentissage automatique nécessite généralement des tonnes d'exemples. Pour qu'un modèle d'IA reconnaisse un cheval, vous devez lui montrer des milliers d'images de chevaux. C'est ce qui rend la technologie coûteuse en termes de calcul et très différente de l'apprentissage humain. Un enfant a souvent besoin de voir quelques exemplaires d'un objet, voire un seul, avant de pouvoir le reconnaître pour la vie.

En fait, les enfants n'ont parfois pas besoin quelconque exemples pour identifier quelque chose. Lorsqu'on leur montre des photos d'un cheval et d'un rhinocéros, et qu'on leur dit qu'une licorne est quelque chose entre les deux, ils peuvent reconnaître la créature mythique dans un livre d'images la première fois qu'ils la voient.

Hum... d'accord, pas tout à fait.

MS TECH / PIXABAY

À présent à nouveau papier de l'Université de Waterloo en Ontario suggère que les modèles d'IA devraient également être capables de le faire - un processus que les chercheurs appellent moins d'apprentissage ponctuel ou LO-shot. En d'autres termes, un modèle d'IA devrait être capable de reconnaître avec précision Suite objets que le nombre d'exemples sur lesquels il a été entraîné. Cela pourrait être un gros problème pour un domaine qui est devenu de plus en plus coûteux et inaccessible à mesure que les ensembles de données utilisés deviennent de plus en plus volumineux.

Comment fonctionne l'apprentissage moins ponctuel

Les chercheurs ont d'abord démontré cette idée en expérimentant l'ensemble de données de vision par ordinateur connu sous le nom de MNIST . MNIST, qui contient 60 000 images d'entraînement de chiffres manuscrits de 0 à 9, est souvent utilisé pour tester de nouvelles idées sur le terrain.

Dans un article précédent , les chercheurs du MIT avaient introduit une technique pour distiller des ensembles de données géants en minuscules, et comme preuve de concept, ils avaient compressé MNIST à seulement 10 images. Les images n'ont pas été sélectionnées à partir de l'ensemble de données d'origine, mais soigneusement conçues et optimisées pour contenir une quantité d'informations équivalente à l'ensemble complet. En conséquence, lorsqu'il est formé exclusivement sur les 10 images, un modèle d'IA pourrait atteindre presque la même précision que celui formé sur toutes les images du MNIST.

Exemples d'images de l'ensemble de données MNIST.

WIKIMÉDIA

Les 10 images « distillées » du MNIST qui peuvent former un modèle d'IA pour atteindre une précision de reconnaissance de 94 % sur les chiffres manuscrits.

TONGZHOU WANG ET AL.

Les chercheurs de Waterloo ont voulu pousser plus loin le processus de distillation. S'il est possible de réduire 60 000 images à 10, pourquoi ne pas les réduire en cinq ? L'astuce, ont-ils réalisé, consistait à créer des images qui mélangent plusieurs chiffres, puis à les intégrer dans un modèle d'IA avec des étiquettes hybrides ou souples. (Pensez à un cheval et un rhinocéros ayant des caractéristiques partielles d'une licorne.)

Si vous pensez au chiffre 3, il ressemble aussi au chiffre 8, mais rien à voir avec le chiffre 7, explique Ilia Sucholutsky, doctorante à Waterloo et auteure principale de l'article. Les étiquettes logicielles tentent de capturer ces fonctionnalités partagées. Ainsi, au lieu de dire à la machine : 'Cette image est le chiffre 3', nous disons : 'Cette image est à 60 % le chiffre 3, 30 % au chiffre 8 et 10 % au chiffre 0'.

Les limites de l'apprentissage LO-shot

Une fois que les chercheurs ont utilisé avec succès des étiquettes souples pour réaliser l'apprentissage LO-shot sur MNIST, ils ont commencé à se demander jusqu'où cette idée pouvait réellement aller. Y a-t-il une limite au nombre de catégories que vous pouvez enseigner à un modèle d'IA à identifier à partir d'un petit nombre d'exemples ?

Étonnamment, la réponse semble être non. Avec des étiquettes souples soigneusement conçues, même deux exemples pourraient théoriquement coder n'importe quel nombre de catégories. Avec deux points, vous pouvez séparer mille classes ou 10 000 classes ou un million de classes, dit Sucholutsky.

Tracer les pommes (points verts et rouges) et les oranges (points orange) en poids et en couleur.

ADAPTÉ DU DIAPOSITIVE 'MACHINE LEARNING 101' DE JASON MAYES

C'est ce que démontrent les chercheurs dans leur dernier article, à travers une exploration purement mathématique. Ils jouent le concept avec l'un des algorithmes d'apprentissage automatique les plus simples, connu sous le nom de k-plus proches voisins (kNN), qui classe les objets à l'aide d'une approche graphique.

Pour comprendre le fonctionnement de kNN, prenons la tâche de classer les fruits comme exemple. Si vous souhaitez former un modèle kNN pour comprendre la différence entre les pommes et les oranges, vous devez d'abord sélectionner les fonctionnalités que vous souhaitez utiliser pour représenter chaque fruit. Peut-être que vous choisissez la couleur et le poids, donc pour chaque pomme et orange, vous alimentez le kNN un point de données avec la couleur du fruit comme valeur x et le poids comme valeur y. L'algorithme kNN trace ensuite tous les points de données sur un graphique 2D et trace une ligne de démarcation au milieu entre les pommes et les oranges. À ce stade, l'intrigue est soigneusement divisée en deux classes, et l'algorithme peut maintenant décider si les nouveaux points de données représentent l'un ou l'autre en fonction de quel côté de la ligne ils tombent.

Pour explorer l'apprentissage LO-shot avec l'algorithme kNN, les chercheurs ont créé une série de minuscules ensembles de données synthétiques et ont soigneusement conçu leurs étiquettes souples. Ensuite, ils ont laissé le kNN tracer les lignes de démarcation qu'il voyait et ont trouvé qu'il avait réussi à diviser le tracé en plus de classes que de points de données. Les chercheurs avaient également un degré élevé de contrôle sur l'emplacement des lignes de démarcation. En utilisant divers ajustements aux étiquettes souples, ils ont pu faire en sorte que l'algorithme kNN dessine des motifs précis en forme de fleurs.

Les chercheurs ont utilisé des exemples à étiquetage souple pour former un algorithme kNN afin d'encoder des lignes de démarcation de plus en plus complexes, divisant le graphique en bien plus de classes que de points de données. Chacune des zones colorées sur les tracés représente une classe différente, tandis que les diagrammes circulaires à côté de chaque tracé montrent la distribution des étiquettes souples pour chaque point de données.

ILIA SUCHOLUTSKY ET AL.

Bien sûr, ces explorations théoriques ont des limites. Alors que l'idée de l'apprentissage LO-shot devrait être transférée à des algorithmes plus complexes, la tâche d'ingénierie des exemples à étiquetage souple devient considérablement plus difficile. L'algorithme kNN est interprétable et visuel, ce qui permet aux humains de concevoir les étiquettes ; les réseaux de neurones sont compliqués et impénétrables, ce qui signifie que la même chose peut ne pas être vraie. La distillation des données, qui fonctionne pour la conception d'exemples à étiquetage souple pour les réseaux de neurones, présente également un inconvénient majeur : elle vous oblige à commencer avec un ensemble de données géant afin de le réduire à quelque chose de plus efficace.

Sucholutsky dit qu'il travaille maintenant à trouver d'autres moyens de concevoir ces minuscules ensembles de données synthétiques, que cela signifie les concevoir à la main ou avec un autre algorithme. Malgré ces défis de recherche supplémentaires, l'article fournit les fondements théoriques de l'apprentissage LO-shot. La conclusion est que selon le type d'ensembles de données dont vous disposez, vous pouvez probablement obtenir des gains d'efficacité considérables, dit-il.

C'est ce qui intéresse le plus Tongzhou Wang, un étudiant au doctorat du MIT qui a dirigé les recherches précédentes sur la distillation des données. L'article s'appuie sur un objectif vraiment nouveau et important : apprendre des modèles puissants à partir de petits ensembles de données, dit-il à propos de la contribution de Sucholutsky.

Ryan Khurana, chercheur à l'Institut d'éthique de l'IA de Montréal, fait écho à ce sentiment : Plus important encore, l'apprentissage « en moins d'un » coup réduirait radicalement les besoins en données pour construire un modèle fonctionnel. Cela pourrait rendre l'IA plus accessible aux entreprises et aux industries qui ont jusqu'à présent été entravées par les exigences de données du domaine. Cela pourrait également améliorer la confidentialité des données, car moins d'informations devraient être extraites des individus pour former des modèles utiles.

Sucholutsky souligne que la recherche est encore précoce, mais il est excité. Chaque fois qu'il commence à présenter son article à des collègues chercheurs, leur première réaction est de dire que l'idée est impossible, dit-il. Quand ils réalisent soudainement que ce n'est pas le cas, cela ouvre un tout nouveau monde.

cacher