Nvidia vient de faciliter la création de chatbots plus intelligents et de fausses nouvelles plus lisses

Image d'un assistant vocal à côté d'ondes sonores Mme Tech ; image originale : HARMON KARDON

L'intelligence artificielle a fait des progrès impressionnants au cours de la dernière décennie, mais les machines sont encore mauvaises pour comprendre le langage. Essayez simplement d'engager Alexa dans une plaisanterie pleine d'esprit.

Nvidia, la société qui fabrique les puces informatiques qui alimentent de nombreux algorithmes d'IA, pense que cela est sur le point de changer et cherche à capitaliser sur une explosion anticipée.

Le logiciel que le fabricant de puces publie facilite la création de programmes d'IA sur son matériel capables d'utiliser le langage avec plus de grâce. Le nouveau code pourrait accélérer le développement de nouveaux algorithmes de langage et rendre les chatbots et les assistants vocaux plus rapides et plus intelligents.

Nvidia fabrique déjà les puces les plus populaires pour la formation de modèles d'IA d'apprentissage en profondeur, qui maîtrisent des tâches telles que la classification d'images. Traditionnellement, cependant, il a été beaucoup plus difficile d'appliquer des méthodes statistiques d'apprentissage automatique telles que l'apprentissage en profondeur à l'écrit ou à l'oral, car la langue est si ambiguë et complexe.

Mais il y a eu des progrès significatifs ces derniers temps. Deux nouvelles approches d'apprentissage en profondeur du langage de Google, connues sous le nom de Transformer et BERT, se sont révélées particulièrement aptes à traduire entre les langues, à répondre aux questions sur un morceau de texte et même à générer un texte réaliste. Cela a suscité une augmentation de l'intérêt des universitaires et de l'industrie pour faire progresser le langage à l'aide de l'apprentissage automatique.

La combinaison de Transformer et de BERT a eu un impact considérable, déclare Alexandre Rush , professeur à l'Université de Harvard spécialisé dans le sous-domaine de l'IA connu sous le nom de traitement du langage naturel (NLP). Il est fondamentalement à la pointe de la technologie dans chaque référence et permet à un étudiant de premier cycle de produire des modèles de classe mondiale en cinq lignes de code.

Nvidia est passé maître dans l'art de suivre les dernières tendances en matière de recherche sur l'IA. Si sa dernière intuition s'avère correcte, les assistants vocaux pourraient passer de la simple réponse aux commandes aboyées à l'enchaînement cohérent de plusieurs mots. Les chatbots, quant à eux, peuvent devenir moins stupides, tandis que la fonction de saisie semi-automatique que l'on trouve dans de nombreux programmes et applications peut commencer à suggérer des paragraphes entiers au lieu des quelques mots suivants.

Nous avons beaucoup de demande pour la modélisation du langage, dit Bryan Catanzaro , vice-président de l'apprentissage profond appliqué chez Nvidia. Et si vous regardez le rythme des progrès linguistiques, cela semble être un endroit évident pour nous de faire des investissements.

Nvidia a développé son logiciel en optimisant de nombreuses parties du processus utilisé pour former des modèles de langage sur ses GPU. Cela a accéléré la formation des modèles d'IA (de plusieurs jours à moins d'une heure), a accéléré les performances des modèles de langage formés (de 40 millisecondes à un peu plus de 2 millisecondes) et a permis de former des modèles de langage beaucoup plus grands (le modèle de langage de Nvidia , appelé Megatron, est plusieurs fois plus grand que tout ce qui a été fait auparavant, avec 8,6 milliards de paramètres).

Autocomplétion pas de mal

Les progrès de la langue peuvent cependant avoir un côté plus sombre. Des algorithmes plus intelligents pourraient être utilisés pour produire en masse de fausses critiques, des publications sur les réseaux sociaux et des reportages plus convaincants et personnalisés. D'autres groupes de recherche ont montré à quel point des modèles linguistiques puissants peuvent créer un texte d'apparence réaliste après avoir ingéré de grandes quantités d'écrits provenant d'Internet.

Nvidia a un plan simple pour prévenir les abus potentiels : il ne publiera pas le plus grand modèle de langage qu'il a développé et prévoit de s'appuyer sur les chercheurs pour utiliser ses outils avec précaution. Nous publions un code qui montre comment utiliser les GPU pour former ces grands modèles, déclare Catanzaro. Nous pensons que la communauté utilisera ce code de manière responsable, mais gardez à l'esprit que la formation de modèles de cette taille nécessite une puissance de calcul importante, ce qui la met hors de portée de la plupart des gens.

Même si les progrès se poursuivent à un rythme soutenu, il faudra sans doute attendre longtemps avant que les machines puissent réellement dialoguer avec nous. Le langage est trompeusement difficile à comprendre pour les machines, en partie à cause de sa complexité de composition : les mots peuvent être réarrangés pour libérer un sens infini. Saisir le sens d'une phrase nécessite souvent aussi une sorte de compréhension de bon sens du monde, ce que les ordinateurs n'ont pas.

Nous assistons à une renaissance des capacités de la PNL, déclare Oren Etzioni, PDG de Institut Allen pour l'intelligence artificielle (Ai2) , une organisation à but non lucratif de Seattle dédiée à la recherche de pointe sur l'IA. Cela se traduira par de meilleurs chatbots et assistants vocaux, dit-il, même s'ils souffriront d'un manque de bon sens. Un assistant vocal aussi utile qu'un concierge d'hôtel habile est toujours au-delà de l'horizon, dit Etzioni.

Ai2 a récemment lancé un outil, appelé Grover , qui utilise les avancées de la PNL pour capturer le texte qui semble avoir été produit par l'IA. Etzioni souligne que les bots trompent déjà les gens sur Facebook et Twitter. Le faux texte généré automatiquement est déjà là, dit-il, et est susceptible d'augmenter de façon exponentielle.

cacher