De minuscules modèles d'IA pourraient suralimenter la correction automatique et les assistants vocaux sur votre téléphone

Catégorie: Intelligence artificielle Posté 04 octobre

Les chercheurs ont réussi à réduire un modèle de langage géant pour l'utiliser dans des applications commerciales.

Qui compte ? Au cours de l'année écoulée, les modèles de langage naturel se sont considérablement améliorés au prix d'une augmentation considérable . En octobre de l'année dernière, par exemple, Google a publié un modèle appelé BERT qui a passé une référence de compréhension en lecture de longue date dans le domaine. La version plus grande du modèle contenait 340 millions de paramètres de données, et sa formation une seule fois coûtait suffisamment d'électricité pour alimenter un ménage américain pendant 50 jours.

Quatre mois plus tard, OpenAI l'a rapidement dépassé avec son modèle GPT-2. Le modèle a démontré un talent impressionnant pour construire une prose convaincante; il a également utilisé 1,5 milliard de paramètres. Maintenant, MegatronLM, le dernier et le plus grand modèle de Nvidia, a 8,3 milliards de paramètres . (Oui, les choses deviennent incontrôlables.)

Le gros, le méchant, le laid : Les chercheurs en intelligence artificielle sont de plus en plus inquiets des conséquences de cette tendance. En juin, un groupe de l'Université du Massachusetts, à Amherst, a montré le bilan climatique du développement et de la formation de modèles à une si grande échelle. La formation BERT, ont-ils calculé, émettait presque autant de carbone qu'un vol aller-retour entre New York et San Francisco; GPT-2 et MegatronLM, par extrapolation, en émettraient probablement beaucoup plus.

La tendance pourrait également accélérer la concentration de la recherche sur l'IA entre les mains de quelques géants de la technologie. Les laboratoires sous-financés dans les universités ou les pays disposant de moins de ressources n'ont tout simplement pas les moyens d'utiliser ou de développer des modèles aussi coûteux en calculs.

Chérie, j'ai rétréci l'IA : En réponse, de nombreux chercheurs se concentrent sur réduire la taille des modèles existants sans perdre leurs capacités. Maintenant, deux nouveaux articles, publiés à moins d'un jour l'un de l'autre, ont réussi à le faire avec la version plus petite de BERT, avec 100 millions de paramètres.

le premier article, des chercheurs de Huawei, produit un modèle appelé TinyBERT qui fait moins d'un septième de la taille de l'original et près de 10 fois plus rapide. Il fonctionne également presque aussi bien dans la compréhension du langage que l'original. le seconde, des chercheurs de Google, en produit un autre plus petit d'un facteur supérieur à 60, mais sa compréhension du langage est légèrement inférieure à celle de la version Huawei.

Comment ils ont fait : Les deux articles utilisent des variantes d'une technique de compression commune connue sous le nom de distillation des connaissances. Cela implique d'utiliser le grand modèle d'IA que vous souhaitez réduire (l'enseignant) pour former un modèle beaucoup plus petit (l'élève) à son image. Pour ce faire, vous alimentez les mêmes entrées dans les deux, puis ajustez l'élève jusqu'à ce que ses sorties correspondent à celles de l'enseignant.

Hors laboratoire : En plus d'améliorer l'accès à l'IA de pointe, les petits modèles aideront à apporter les dernières avancées de l'IA aux appareils grand public. Ils évitent d'avoir à envoyer les données des consommateurs vers le cloud, ce qui améliore à la fois la vitesse et la confidentialité. Pour les modèles en langage naturel en particulier, une prédiction de texte et une génération de langage plus puissantes pourraient améliorer une myriade d'applications comme la saisie semi-automatique sur votre téléphone et les assistants vocaux comme Alexa et Google Assistant.

Pour recevoir plus d'histoires comme celle-ci directement dans votre boîte de réception, inscrivez-vous à notre newsletter AI nominée par Webby, The Algorithm. C'est gratuit.