Il existe une nouvelle façon d'apprivoiser l'IA du langage afin qu'elle ne vous embarrasse pas

Une image de texte sortie par le modèle AI GPT-2. Mme Tech

Au cours des deux dernières années, le sous-domaine de l'IA du traitement du langage naturel a connu d'énormes progrès. Par exemple, un modèle de langage développé par le laboratoire de recherche OpenAI basé à San Francisco, appelé GPT-2, a été utilisé pour générer de la fiction , faux articles de nouvelles , et un nombre pratiquement infini Choisissez votre propre jeu de texte de style aventure .

Mais ces types de modèles sont essentiellement des systèmes de prédiction de texte massifs qui ne tiennent pas compte du sens, de sorte que les phrases qu'ils produisent sont plus susceptibles d'être superficiellement fluides que d'être vraiment significatives. Il est difficile de dire à un modèle de s'en tenir à un sujet particulier comme les soins de santé, par exemple. Pourtant, des modèles comme GPT-2 peut encore être joué pour produire une production raciste et toxique, les rendant encore moins utiles.

Maintenant, les chercheurs d'Uber AI ont développé un moyen de piloter ces modèles de langage, permettant aux utilisateurs de spécifier plus facilement le sujet ou même le sentiment des phrases qu'ils génèrent. Compte tenu de l'invite Le problème portait sur, par exemple, un modèle censé se concentrer sur l'armée pourrait produire un résultat comme celui-ci : Le problème portait sur le fait que le gouvernement avait dépensé des milliards pour l'armée et qu'il ne pouvait pas déployer les troupes dans temps. Si on lui disait plutôt de se concentrer sur la politique, le résultat pourrait ressembler davantage à ceci : le problème se concentrait sur un seul article de la législation. On ne sait pas si le comité votera pour étendre la loi.

Alors que le modèle ne comprend toujours pas le sens, la technique apporte plus de contrôle. Cela nous rapproche un peu plus de l'avancée du langage généré par l'IA vers des applications plus spécifiques à un domaine, comme les chatbots de soins de santé ou de services financiers. Il pourrait également être utilisé pour éloigner les modèles de la production de résultats offensants.

La technique utilise deux modèles statistiques distincts. Le premier est simplement le modèle de langue d'origine, comme GPT-2, qui construit des phrases en fonction des probabilités que certains mots apparaissent à côté d'autres. Le deuxième modèle évalue dans quelle mesure la sortie du premier modèle affiche un attribut souhaité, qu'il s'agisse d'un sujet prescrit ou d'un sentiment particulier, par exemple. Si l'attribut souhaité est un sujet comme l'espace, le modèle peut noter la sortie du premier modèle sur le nombre de mots pertinents qu'il contient, tels que planète, galaxie et orbite. Si l'attribut est un sentiment comme la positivité, le modèle d'évaluation pourrait être formé pour noter le contenu émotionnel de ses mots.

Lorsqu'une invite initiale est introduite dans le premier modèle, il commence le processus de prédiction des mots suivants. Mais après chaque mot, il vérifie son score avec le modèle d'évaluation et se réajuste sur la base des commentaires. La phrase finale se termine par l'attribut souhaité, tout en conservant la fluidité du modèle de langage géant.

La nouvelle méthode est très flexible et peut combiner plusieurs objectifs. Il pourrait être dirigé pour écrire sur la cuisine avec un ton négatif, par exemple. Il a également l'avantage d'être efficace sur le plan informatique. D'autres méthodes peuvent concentrer la sortie d'un modèle de langage vers des sujets ou des émotions spécifiques, mais elles peuvent nécessiter un recyclage important. À l'échelle du GPT-2, cela est à la fois coûteux sur le plan environnemental et financier. Un étudiant diplômé comme moi n'a pas ces ressources, explique Sumanth Dathathri, qui étudie à Caltech et co-écrit l'article lors d'un stage chez Uber. La nouvelle méthode évite entièrement le recyclage en accordant plus de contrôle sur tout modèle existant déjà.

L'équipe prévoit que cette technique sera utilisée dans de nombreuses applications différentes, qu'il s'agisse de systèmes de dialogue, de systèmes de traduction ou même d'art. En 2016, le laboratoire a développé un méthode similaire pour contrôler la génération d'images plutôt que le langage. Il y avait beaucoup d'artistes qui l'utilisaient pour produire de belles choses, se souvient Jason Yosinski, membre fondateur d'Uber AI qui a supervisé le journal. Je pouvais voir beaucoup d'autres artistes faire la même chose ici.

Pour recevoir plus d'histoires comme celle-ci directement dans votre boîte de réception, inscrivez-vous à notre newsletter AI nominée par Webby, The Algorithm. C'est gratuit.

cacher