La saisie semi-automatique de Google pour la parole peut couvrir les problèmes dans les appels vidéo

Catégorie: Intelligence artificielle Posté 6 avril

Les nouvelles: Étant donné que beaucoup d'entre nous comptent désormais sur les appels vidéo pour une interaction en face à face, les connexions saccadées sont plus frustrantes que jamais. Une intelligence artificielle qui imite la façon de parler d'un locuteur individuel peut aplanir les fissures en comblant de petits trous avec des extraits de discours générés. Développée par une équipe de Google, la technologie est maintenant utilisée dans L'application d'appel vidéo Duo de Google .

Quel est le problème? Lorsque vous passez un appel en ligne, votre voix est découpée en de nombreux petits morceaux qui sont compressés sur Internet dans des blocs de données appelés paquets. Les paquets arrivent souvent à l'autre bout mélangés et le logiciel doit les réorganiser. Mais parfois, les paquets n'arrivent pas du tout, ce qui crée des problèmes et des lacunes dans une conversation. Cela arrive dans le meilleur des cas. Selon Google, 99 % des appels Duo doivent traiter des paquets brouillés ou perdus. Un dixième de ces appels perdent plus de 8 % de leur audio.

Génération de discours : Pour résoudre le problème, l'équipe s'est appuyée sur un réseau de neurones développé par DeepMind qui peut générer un discours réaliste à partir d'un texte . Appelé WaveNetEQ, le nouveau réseau de neurones a ensuite été formé sur un vaste ensemble de données de 100 voix humaines enregistrées parlant 48 langues différentes jusqu'à ce qu'il puisse compléter automatiquement de courtes sections de discours basées sur des modèles communs dans la façon dont les gens parlent. Étant donné que Duo est chiffré de bout en bout, l'IA s'exécute sur l'appareil, pas sur le cloud. Pendant un appel, WaveNetEQ est capable d'apprendre les caractéristiques de la voix d'un locuteur et génère des extraits audio qui correspondent à la fois au style et au contenu de ce que dit le locuteur. Lorsqu'un paquet est perdu, la voix générée par l'IA est insérée à sa place.

Pour l'instant, l'IA ne peut générer que des syllabes plutôt que des mots ou des phrases entiers. Mais court exemples Google mis en ligne montrent que les résultats peuvent être assez réalistes. Dans un cas, l'IA remplace la deuxième syllabe du mot trouble par une voix qui imite exactement le locuteur masculin.