211service.com
Recherche de conférences vidéo
Des chercheurs du MIT ont publié un outil de recherche vidéo et audio qui résout l'un des problèmes les plus difficiles dans le domaine : comment diviser un long cours universitaire en morceaux gérables, localiser l'emplacement des mots-clés et diriger l'utilisateur vers eux. Annoncé le mois dernier, le MIT Navigateur de cours site Web donne au grand public un accès détaillé à plus de 200 conférences accessibles au public par le biais de l'université OpenCourseWare initiative. Le moteur de recherche s'appuie sur des décennies de recherche en reconnaissance vocale au MIT et dans d'autres institutions pour convertir l'audio en texte et le rendre consultable.
Regarder des conférences : Le MIT propose un outil de recherche vidéo qui peut identifier des mots-clés dans des conférences audio et vidéo. Ici, une recherche d'exosquelette et d'essence aboutit à ce clip vidéo. La transcription automatisée de la conférence apparaît sous la vidéo.
Le navigateur de conférences arrive à un moment où de plus en plus d'universités, dont l'Université Carnegie Mellon et l'Université de Californie à Berkeley, publient des vidéos et des podcasts de conférences en ligne. Bien que ce contenu soit utile, la localisation d'informations spécifiques dans les cours peut s'avérer difficile, ce qui peut frustrer les étudiants habitués à trouver ce dont ils ont besoin en moins d'une seconde avec Google.
Il s'agit d'un problème croissant pour les universités à travers le pays car il devient plus facile d'enregistrer des cours en classe, dit Jim Verre, chercheur au MIT. C'est un vrai challenge de savoir les diffuser et de permettre aux étudiants d'accéder plus facilement aux parties du cours qui pourraient les intéresser. C'est comme trouver une aiguille dans une botte de foin.
Les éléments fondamentaux du navigateur de conférences ont été utilisés dans les laboratoires de recherche du MIT et dans des lieux tels que BBN Technologies à Boston, Carnegie Mellon, ISR International à Palo Alto, en Californie, et à l'Université de Californie du Sud pendant plus de 30 ans. Leurs efforts ont produit un logiciel qui est finalement assez bon pour trouver son chemin vers la personne moyenne, explique Premkumar Natarajan, scientifique au BBN. Il y a environ trois décennies de travail où de nombreux problèmes fondamentaux ont été résolus, dit-il. La technologie est suffisamment mature maintenant qu'il y a un sentiment croissant dans la communauté qu'il est temps [de tester les applications dans le monde réel]. Nous avons fait tout ce que nous pouvions en laboratoire.
Une poignée d'entreprises, telles que les moteurs de recherche audio et vidéo en ligne Blinkx et Tout le monde (qui possède la technologie sous licence de BBN) utilisent un logiciel qui convertit la parole audio en texte interrogeable. (Voir Surfer sur la télévision sur Internet et Recherche vidéo plus précise.) Mais les chercheurs du MIT ont été confrontés à des défis particuliers avec les conférences universitaires. D'une part, de nombreux conférenciers ne sont pas de langue maternelle anglaise, ce qui rend la transcription automatique difficile pour les systèmes formés aux accents anglais américain. Deuxièmement, les mots préférés dans les cours de sciences peuvent être assez obscurs. Enfin, dit Régina Barzilay , professeur d'informatique au MIT, les conférences ont très peu de structure discernable, ce qui les rend difficiles à séparer et à organiser pour une recherche facile. Les transitions topiques sont très subtiles, dit-elle. Les cours ne sont pas organisés comme un texte normal.
Pour résoudre ces problèmes, les chercheurs ont d'abord configuré le logiciel qui convertit l'audio en texte. Ils ont entraîné le logiciel à comprendre des accents particuliers en utilisant des transcriptions précises de courts extraits de discours enregistrés. Pour aider le logiciel à identifier les mots peu courants, de la drosophile aux intégrales en boucle fermée, les chercheurs lui ont fourni des données supplémentaires, telles que du texte de livres et de notes de cours, qui aident le logiciel à transcrire avec précision jusqu'à quatre mots sur cinq. Si le système est utilisé avec un anglophone non natif dont il n'a pas été formé à reconnaître l'accent et le vocabulaire, la précision peut chuter à 50 %. (Une précision aussi faible ne serait pas utile pour la transcription directe, mais peut toujours être utile pour les recherches par mot-clé.)
La prochaine étape, explique Barzilay, consiste à ajouter une structure aux mots transcrits. Il existait déjà un logiciel capable de décomposer de longues chaînes de phrases en concepts de haut niveau, mais elle a découvert que cela ne faisait pas l'affaire avec les conférences. Son groupe a donc conçu le sien. L'une des distinctions clés, dit-elle, est que, pendant une conférence, vous parlez librement ; vous radotez et marmonnez.
Pour organiser le texte transcrit, son groupe a créé un logiciel qui divise le texte en morceaux qui correspondent souvent à des phrases individuelles. Le logiciel place ces morceaux dans une structure de réseau ; les morceaux qui ont des mots similaires ou qui ont été prononcés étroitement ensemble dans le temps sont placés plus près les uns des autres dans le réseau. La distance relative des morceaux dans le réseau permet au logiciel de décider quelles phrases appartiennent à chaque sujet ou sous-sujet de la conférence.
Le résultat, dit-elle, est une transcription cohérente. Lorsqu'une personne recherche un mot-clé, le navigateur propose des résultats sous la forme d'une chronologie vidéo ou audio divisée en sections. La section de la conférence qui contient le mot-clé est mise en surbrillance ; en dessous se trouvent des extraits de texte qui entourent chaque instance du mot-clé. Lorsqu'une vidéo est en cours de lecture, le navigateur affiche le texte transcrit en dessous.
Barzilay dit que le navigateur reçoit actuellement en moyenne 21 000 visites par jour, et bien qu'il se révèle populaire, il reste encore du travail à faire. Au cours des prochains mois, son équipe ajoutera une fonctionnalité qui joint automatiquement un plan de texte aux conférences afin que les utilisateurs puissent accéder à la section souhaitée. Plus loin, les chercheurs donneront aux utilisateurs la possibilité d'apporter des corrections à la transcription de la même manière que les gens contribuent à Wikipédia. Bien que de telles améliorations semblent simples, elles posent des défis techniques, dit Barzilay. Ce n'est pas anodin, car vous voulez une interface qui ne soit pas fastidieuse, et vous devez propager la correction tout au long du cours et aux autres cours. Elle dit qu'amener les gens dans la boucle de transcription pourrait améliorer la précision du système de quelques points de pourcentage, rendant l'expérience utilisateur encore meilleure.