Une IA forme des conseillers pour s'occuper des adolescents en crise

Mme Tech | Unsplash, Pexels

Les conseillers bénévoles du projet Trevor doivent être préparés pour leur première conversation avec un adolescent LGBTQ qui pourrait penser au suicide. Alors d'abord, ils pratiquent. L'une des façons dont ils le font est de parler à des personnages fictifs comme Riley, un jeune de 16 ans de Caroline du Nord qui se sent un peu déprimé et déprimé. Avec un membre de l'équipe jouant le rôle de Riley, les stagiaires peuvent approfondir ce qui se passe : ils peuvent découvrir que l'adolescent est anxieux à l'idée de sortir avec sa famille, l'a récemment dit à des amis et que cela ne s'est pas bien passé, et a déjà eu des pensées suicidaires, sinon à le moment.

Maintenant, cependant, Riley n'est pas joué par un employé de Trevor Project, mais est plutôt alimenté par l'IA.

Tout comme le personnage d'origine, cette version de Riley - formée sur des milliers de transcriptions passées de jeux de rôle entre les conseillers et le personnel de l'organisation - doit encore être un peu persuadée pour s'ouvrir, exposant une situation qui peut tester ce que les stagiaires ont appris. sur les meilleures façons d'aider les adolescents LGBTQ.

Les conseillers ne sont pas censés faire pression sur Riley pour qu'il sorte. L'objectif est plutôt de valider les sentiments de Riley et, si nécessaire, d'aider à élaborer un plan pour rester en sécurité.

Les lignes d'assistance en cas de crise et les services de chat en font une promesse fondamentale : contactez-nous et nous vous mettrons en contact avec un véritable humain qui peut vous aider. Mais le besoin peut dépasser la capacité même des services les plus performants. Le projet Trevor estime que 1,8 million de jeunes LGBTQ en Amérique envisagent sérieusement de se suicider chaque année. Les 600 conseillers existants pour ses services basés sur le chat ne peuvent pas répondre à ce besoin. C'est pourquoi le groupe, comme un nombre croissant d'organisations de santé mentale, s'est tourné vers des outils alimentés par l'IA pour aider à répondre à la demande. C'est un développement qui a beaucoup de sens, tout en soulevant simultanément des questions sur les performances de la technologie actuelle de l'IA dans des situations où la vie de personnes vulnérables est en jeu.

Prendre des risques et les évaluer

Le projet Trevor croit comprendre cet équilibre et souligne ce que Riley ne fait pas.

Nous n'avons pas prévu et ne prévoyons pas de concevoir un système d'IA qui remplacera un conseiller, ou qui interagira directement avec une personne qui pourrait être en crise, explique Dan Fichter, responsable de l'IA et de l'organisation. ingénierie. Ce lien humain est important dans tous les services de santé mentale, mais il pourrait être particulièrement important pour les personnes desservies par le projet Trevor. Selon les propres recherches de l'organisation en 2019, les jeunes LGBTQ ayant au moins un adulte acceptant dans leur vie étaient 40 % moins susceptibles signaler une tentative de suicide au cours de l'année précédente.

Le jeu de rôle de formation alimenté par l'IA, appelé simulateur de contact de crise et soutenu par l'aide financière et technique de Google, est le deuxième projet que l'organisation a développé de cette manière : il utilise également un algorithme d'apprentissage automatique pour aider à déterminer qui est le plus à risque. de péril. (Il a testé plusieurs autres approches, dont beaucoup n'utilisaient pas l'IA, mais l'algorithme a simplement donné les prédictions les plus précises pour savoir qui éprouvait le besoin le plus urgent.)

L'évaluation des risques basée sur l'IA n'est pas nouvelle dans les services de prévention du suicide : le ministère des Anciens Combattants utilise également l'apprentissage automatique pour identifier les anciens combattants à risque dans ses pratiques cliniques, comme le Le New York Times a rapporté à la fin de l'année dernière.

Les opinions varient sur l'utilité, la précision et le risque d'utiliser l'IA de cette manière. Dans des environnements spécifiques, l'IA peut être plus précise que les humains pour évaluer le risque de suicide des personnes, affirme Thomas Joiner, professeur de psychologie à la Florida State University qui étudie le comportement suicidaire. Dans le monde réel, avec plus de variables, l'IA semble fonctionner à peu près aussi bien que les humains. Ce qu'il peut faire, cependant, c'est évaluer plus de personnes à un rythme plus rapide.

Ainsi, il est préférable de l'utiliser pour aider les conseillers humains, pas pour les remplacer. Le projet Trevor compte toujours sur les humains pour effectuer des évaluations complètes des risques sur les jeunes qui utilisent ses services. Et une fois que les conseillers ont terminé leurs jeux de rôle avec Riley, ces transcriptions sont examinées par un humain.

Comment fonctionne le système

Le simulateur de contact de crise a été développé parce que faire des jeux de rôle prend beaucoup de temps au personnel et est limité aux heures de travail normales, même si la majorité des conseillers prévoient de faire du bénévolat pendant les quarts de nuit et de week-end. Mais même si l'objectif était de former plus de conseillers plus rapidement et de mieux s'adapter aux horaires des bénévoles, l'efficacité n'était pas la seule ambition. Les développeurs voulaient toujours que le jeu de rôle paraisse naturel et que le chatbot s'adapte avec agilité aux erreurs des volontaires. Algorithmes de traitement du langage naturel , qui était récemment devenu très bon pour imiter les conversations humaines, semblait être un bon choix pour relever le défi. Après avoir testé plusieurs options, le projet Trevor a opté pour L'algorithme GPT-2 d'OpenAI .

Histoire connexe

Le nouveau générateur de langage d'OpenAI, GPT-3, est étonnamment bon et complètement stupide

L'IA est le plus grand modèle de langage jamais créé et peut générer à la demande un texte étonnant de type humain, mais ne nous rapprochera pas de la véritable intelligence.

Le chatbot utilise GPT-2 pour ses capacités conversationnelles de base. Ce modèle est formé sur 45 millions de pages du Web, ce qui lui enseigne la structure et la grammaire de base de la langue anglaise. Le projet Trevor l'a ensuite formé davantage sur toutes les transcriptions des conversations de jeu de rôle précédentes de Riley, ce qui a donné au bot le matériel dont il avait besoin pour imiter le personnage.

Tout au long du processus de développement, l'équipe a été surprise par les performances du chatbot. Il n'y a pas de base de données stockant les détails de la biographie de Riley, mais le chatbot est resté cohérent car chaque transcription reflète le même scénario.

Mais l'utilisation de l'IA présente également des compromis, en particulier dans des contextes sensibles avec des communautés vulnérables. GPT-2, et d'autres algorithmes de langage naturel similaires, sont connus pour intégrer des idées profondément racistes, sexistes et homophobes. Plus d'un chatbot a été égaré de manière désastreuse de cette façon, le plus récent étant un chatbot sud-coréen appelé Lee Luda qui avait le personnage d'un étudiant universitaire de 20 ans. Après avoir rapidement gagné en popularité et interagi avec de plus en plus d'utilisateurs, il a commencé à utiliser des insultes pour décrire les communautés queer et handicapées.

Le projet Trevor en est conscient et a conçu des moyens de limiter les risques de problèmes. Alors que Lee Luda était censé s'entretenir avec les utilisateurs de tout, Riley est très concentré. Les volontaires ne s'écarteront pas trop des conversations sur lesquelles ils ont été formés, ce qui minimise les risques de comportement imprévisible.

Cela facilite également le test complet du chatbot, ce que le projet Trevor dit faire. Ces cas d'utilisation hautement spécialisés et bien définis, et conçus de manière inclusive, ne présentent pas un risque très élevé, explique Nenad Tomasev, chercheur chez DeepMind.

D'humain à humain

Ce n'est pas la première fois que le domaine de la santé mentale tente d'exploiter le potentiel de l'IA pour fournir une assistance inclusive et éthique sans blesser les personnes qu'elle est censée aider. Des chercheurs ont développé des voies prometteuses de détecter la dépression à partir d'une combinaison de signaux visuels et auditifs. Les bots thérapeutiques, bien qu'ils ne soient pas équivalents à un professionnel humain, sont lancés comme alternatives pour ceux qui ne peuvent pas accéder à un thérapeute ou sont mal à l'aise se confier à une personne.

Chacun de ces développements, et d'autres similaires, nécessite de réfléchir à la quantité d'outils d'IA de l'agence pour le traitement des personnes vulnérables. Et le consensus semble être qu'à ce stade, la technologie n'est pas vraiment adaptée pour remplacer l'aide humaine.

Pourtant, Joiner, le professeur de psychologie, dit que cela pourrait changer avec le temps. Bien que remplacer les conseillers humains par des copies de l'IA soit actuellement une mauvaise idée, cela ne signifie pas que c'est une contrainte permanente, dit-il. Les gens, ont des amitiés et des relations artificielles avec des services d'IA déjà . Tant que les gens ne sont pas amenés à penser qu'ils ont une discussion avec un humain lorsqu'ils parlent à une IA, dit-il, cela pourrait être une possibilité à terme.

En attendant, Riley n'affrontera jamais les jeunes qui envoient des SMS au projet Trevor : il ne servira que d'outil de formation pour les bénévoles. La connexion interhumaine entre nos conseillers et les personnes qui nous contactent est essentielle à tout ce que nous faisons, déclare Kendra Gaunt, responsable des données et des produits d'IA du groupe. Je pense que cela nous rend vraiment uniques, et quelque chose que je ne pense pas qu'aucun d'entre nous veuille remplacer ou changer.

Correction: Nous avons modifié une phrase indiquant que le projet Trevor a testé deux algorithmes pour son chatbot. Il en a testé plusieurs.

cacher