Transcrivant la voix dans ta tête

Lorrie Lejeune / MIT

Des chercheurs du MIT ont développé une interface informatique capable de transcrire des mots que l'utilisateur verbalise en interne mais ne prononce pas réellement à haute voix.

Les électrodes de l'appareil portable captent les signaux neuromusculaires dans la mâchoire et le visage qui sont déclenchés en prononçant des mots dans votre tête mais qui sont indétectables à l'œil humain. Les signaux sont transmis à un système d'apprentissage automatique qui a été formé pour corréler des signaux particuliers avec des mots particuliers.

L'appareil, appelé AlterEgo, comprend également des écouteurs à conduction osseuse, qui transmettent les vibrations à travers les os du visage jusqu'à l'oreille interne. Parce que les écouteurs n'obstruent pas le conduit auditif, le système peut transmettre des informations sans interrompre la conversation ni interférer avec l'expérience auditive.

AlterEgo fournit un canal privé et discret pour transmettre et recevoir des informations, permettant aux porteurs de faire des choses telles que poser et recevoir des réponses indétectables à des problèmes de calcul difficiles ou signaler en silence les mouvements de leurs adversaires dans une partie d'échecs et tout aussi silencieusement recevoir des réponses recommandées par l'ordinateur.

Nous ne pouvons fondamentalement pas vivre sans nos téléphones portables, déclare Pattie Maes, professeur d'arts et de sciences médiatiques et directeur de thèse pour Arnav Kapur, l'étudiant diplômé du Media Lab qui a dirigé le développement du système. Mais pour le moment, l'utilisation de ces appareils est très perturbatrice. Si je veux rechercher quelque chose qui est pertinent pour une conversation que j'ai, je dois trouver mon téléphone et taper le mot de passe et ouvrir une application et taper un mot-clé de recherche. L'objectif d'AlterEgo était de construire un système d'augmentation de l'intelligence non invasif qui serait entièrement contrôlé par l'utilisateur.

L'idée que les verbalisations internes ont des corrélats physiques existe depuis le 19e siècle et a été sérieusement étudiée dans les années 1950. L'un des objectifs du mouvement de lecture rapide des années 1960 était d'éliminer cette sous-vocalisation, comme on l'appelle.

Mais la sous-vocalisation en tant qu'interface informatique est largement inexplorée. Pour déterminer quels emplacements faciaux fournissent les signaux neuromusculaires les plus fiables, les chercheurs ont attaché 16 électrodes aux visages des sujets de recherche et leur ont fait sous-vocaliser la même série de mots quatre fois.

Les chercheurs ont écrit un code pour analyser les données résultantes et ont découvert que les signaux provenant de sept emplacements d'électrodes étaient systématiquement capables de distinguer les mots subvocalisés. Dans un article qu'ils ont présenté à la conférence ACM Intelligent User Interface de l'Association for Computing Machinery, ils ont décrit un prototype d'interface vocale silencieuse portable, qui s'enroule autour de la nuque comme un casque téléphonique et possède des appendices incurvés en forme de tentacule qui touchent le visage à sept endroits de chaque côté de la bouche et le long des mâchoires.

Mais dans des expériences ultérieures, les chercheurs ont obtenu des résultats comparables en utilisant seulement quatre électrodes le long d'une mâchoire, ce qui pourrait rendre l'appareil moins gênant.

Après avoir sélectionné les emplacements des électrodes, les chercheurs ont collecté des données sur quelques tâches de calcul avec des vocabulaires d'environ 20 mots chacun. L'un était l'arithmétique, dans lequel l'utilisateur subvocalisait de grands problèmes d'addition ou de multiplication; une autre était l'application d'échecs, dans laquelle l'utilisateur signalait les coups en utilisant le système de numérotation standard des échecs.

Ensuite, pour chaque application, ils ont utilisé un réseau neuronal trouver des corrélations entre des signaux neuromusculaires particuliers et des mots particuliers.

À l'aide de l'interface prototype, les chercheurs ont mené une étude d'utilisabilité dans laquelle 10 sujets ont passé environ 15 minutes à personnaliser l'application arithmétique en fonction de leur propre neurophysiologie et 90 minutes supplémentaires à l'utiliser pour exécuter des calculs. Dans cette étude, la précision de la transcription était en moyenne d'environ 92 %. Mais, selon Kapur, les performances devraient s'améliorer avec davantage de données d'entraînement, qui pourraient être collectées lors d'une utilisation normale.

Dans le cadre de travaux en cours, les chercheurs collectent des données sur des conversations plus élaborées, dans l'espoir de créer des applications avec des vocabulaires beaucoup plus étendus. Dit Kapur, je pense que nous parviendrons un jour à une conversation complète.

cacher