Une nouvelle salle de classe immersive utilise l'IA et la réalité virtuelle pour enseigner le chinois mandarin

Une image d'étudiants debout dans l'environnement virtuel immersif Institut polytechnique Rensselaer

Souvent, la meilleure façon d'apprendre une langue est de s'immerger dans un environnement où les gens la parlent. L'exposition constante, ainsi que la pression de communiquer, vous aide à apprendre et à pratiquer rapidement un nouveau vocabulaire. Mais tout le monde n'a pas la possibilité de vivre ou d'étudier à l'étranger.

Dans le cadre d'une nouvelle collaboration avec IBM Research, le Rensselaer Polytechnic Institute (RPI), une université basée à Troy, New York, propose désormais à ses étudiants qui étudient le chinois une autre option : un environnement virtuel à 360 degrés qui les téléporte dans les rues animées de Pékin ou un restaurant chinois bondé. Les étudiants peuvent marchander avec des vendeurs de rue ou commander de la nourriture, et l'environnement est équipé de différentes capacités d'IA pour y répondre en temps réel. Bien que la salle de classe soit en grande partie expérimentale, elle est utilisée pour la première fois dans un cours de six semaines donnant droit à des crédits à l'université cet été.

Le projet a été inspiré par deux membres du corps professoral du RPI qui utilisaient souvent des jeux de rôle pour aider leurs étudiants à apprendre le chinois. Parallèlement, ces dernières années, nombreuses études ont constaté que les environnements d'apprentissage interactifs peuvent améliorer la compréhension et la rétention de la langue. Une étude publiée en 2018 également trouvé que l'apprentissage du japonais dans un environnement virtuel 3D rendait les étudiants plus susceptibles d'acquérir le vocabulaire qu'ils rencontraient accidentellement lors de la simulation. Sur la base de ces idées, les professeurs ont conclu une collaboration avec IBM Research pour déterminer s'ils pouvaient reproduire ces avantages pour leurs propres étudiants.

En plus d'entourer les élèves de projections numériques d'une scène, l'environnement utilise plusieurs types de capteurs pour s'adapter dynamiquement aux paroles et aux actions des élèves. Des microphones, portés par les participants, transmettent leur son directement aux algorithmes de reconnaissance vocale. Les caméras suivent leurs mouvements et gestes pour enregistrer lorsqu'ils pointent vers divers objets ou se dirigent vers différents agents virtuels. Si un étudiant pointe vers un plat de nourriture dans la scène du restaurant et demande ce que c'est, par exemple, un agent virtuel peut répondre avec le nom et la description. La technologie de génération de narration permet également à chaque agent de construire des réponses plus sophistiquées à des questions spontanées (Quelle est l'histoire du plat ?) en utilisant les connaissances de Wikipedia. (Les sujets de conversation sont encore quelque peu limités, cependant, à la tâche que l'étudiant essaie d'accomplir.)

Des caméras et des capteurs suivent les gestes des élèves afin qu'ils puissent pointer librement les objets d'une scène pour s'engager. Institut polytechnique Rensselaer

De nombreuses technologies dans l'environnement sont des produits disponibles dans le commerce qui ont été tissés ensemble dans une expérience cohérente. Mais quelques-uns ont dû être développés spécifiquement pour le projet. Le chinois mandarin a cinq tons, par exemple, qui sont difficiles pour de nombreux nouveaux apprenants mais cruciaux pour transmettre du sens. Dites le mot vendre (卖 affûtage ) un peu décalé et vous pourriez finir par dire acheter (买 mǎi ) plutôt. Les chercheurs ont donc créé un algorithme pour analyser les tons de la prononciation des élèves. Il les compare à ceux de locuteurs natifs et montre où ils diffèrent, puis fournit un retour audio et visuel directement dans l'environnement. Il permet aux étudiants de demander à un agent virtuel comment dire quelque chose et de commencer immédiatement à pratiquer le nouveau vocabulaire.

Hui Su, directeur du Cognitive and Immersive Systems Laboratory, la collaboration entre IBM Research et RPI qui a dirigé l'initiative, affirme que son équipe en est encore aux premiers stades de la compréhension de son efficacité. Mais dans un projet pilote fin 2017, les chercheurs ont constaté qualitativement que cela augmentait l'engagement et le plaisir des étudiants dans l'apprentissage des langues, et les aidait à acquérir rapidement de nouveaux mots.

Avant un exercice de commande au restaurant, par exemple, les étudiants n'ont pas appris à payer leur nourriture, mais en observant leurs pairs et en conversant avec les agents virtuels, beaucoup ont acquis le vocabulaire nécessaire pour le faire. C'était un peu une surprise, dit Su. L'un des étudiants a fait remarquer que cela devrait être la façon d'enseigner la langue, ajoute-t-il.

Un algorithme donne aux étudiants un retour visuel sur leur prononciation. Institut polytechnique Rensselaer

Au cours de la première année, le nouveau cours utilisera l'environnement virtuel près de la moitié du temps et une salle de classe traditionnelle le reste, bien que cet arrangement puisse changer à l'avenir.

Si la classe fournit des preuves solides de l'amélioration des résultats d'apprentissage des élèves, elle pourrait servir de modèle pour les autres. L'idée la plus évidente serait de l'étendre à d'autres langues. Mais il pourrait également être utilisé au-delà des universités pour coacher des cadres, former du personnel gouvernemental ou mener toute autre activité de préparation qui pourrait bénéficier de la simulation de scénarios et du jeu de rôle.

En fin de compte, l'initiative aidera la mission à plus long terme des chercheurs à comprendre comment les environnements cognitifs et immersifs peuvent affecter l'apprentissage, la collaboration et la création de sens, dit Su.

Pour recevoir plus d'histoires comme celle-ci directement dans votre boîte de réception, inscrivez-vous à notre newsletter AI nominée par Webby, The Algorithm. C'est gratuit.

cacher