Les traducteurs humains sont toujours au top, pour l'instant

Vous avez peut-être manqué l'éclatement des bouchons de champagne et la pluie de ruban adhésif, mais ces derniers mois, les linguistes informatiques ont commencé à affirmer que la traduction automatique neuronale correspond désormais aux performances des traducteurs humains.

La technique consistant à utiliser un réseau de neurones pour traduire un texte d'une langue dans une autre s'est améliorée à pas de géant ces dernières années, grâce aux percées continues de l'apprentissage automatique et de l'intelligence artificielle. Il n'est donc pas vraiment surprenant que les machines se soient approchées des performances des humains. En effet, les linguistes informatiques ont de bonnes preuves pour étayer cette affirmation.

Mais aujourd'hui, Samuel Laubli de l'Université de Zurich et quelques collègues disent que le champagne devrait retourner sur la glace. Ils ne contestent pas les résultats de leurs collègues mais affirment que le protocole de test ne tient pas compte de la façon dont les humains lisent des documents entiers. Lorsque cela est évalué, les machines accusent un retard considérable par rapport aux humains, disent-ils.

La question est de savoir comment évaluer la traduction automatique. Cela se fait actuellement sur deux mesures : l'adéquation et la fluidité. L'adéquation d'une traduction est déterminée par des traducteurs humains professionnels qui lisent à la fois le texte original et la traduction pour voir dans quelle mesure il exprime le sens de la source. La fluidité est jugée par des lecteurs monolingues qui ne voient que la traduction et déterminent la qualité de son expression en anglais.

Les linguistes informatiques conviennent que ce système donne des évaluations utiles. Mais selon Laubli et co, le protocole actuel ne compare que les traductions au niveau de la phrase, alors que les humains évaluent également le texte au niveau du document.

Ils ont donc développé un nouveau protocole pour comparer les performances des traducteurs automatiques et humains au niveau du document. Ils ont demandé à des traducteurs professionnels d'évaluer dans quelle mesure les machines et les humains traduisaient plus de 100 articles de presse écrits en chinois vers l'anglais. Les examinateurs ont évalué chaque traduction en fonction de son adéquation et de sa fluidité au niveau de la phrase mais, surtout, au niveau de l'ensemble du document.

Les résultats rendent la lecture intéressante. Pour commencer, Laubli et co n'ont trouvé aucune différence significative dans la façon dont les traducteurs professionnels ont évalué l'adéquation des phrases traduites par machine et par l'homme. Selon cette mesure, les humains et les machines sont également de bons traducteurs, ce qui est conforme aux conclusions précédentes.

Cependant, lorsqu'il s'agit d'évaluer l'intégralité du document, les traductions humaines sont jugées plus adéquates et plus fluides que les traductions automatiques. Les évaluateurs humains évaluant l'adéquation et la fluidité montrent une plus forte préférence pour la traduction humaine par rapport à la traduction automatique lors de l'évaluation des documents par rapport aux phrases isolées, disent-ils.

Les chercheurs pensent savoir pourquoi. Nous supposons que l'évaluation au niveau du document dévoile des erreurs telles que la mauvaise traduction d'un mot ambigu, ou des erreurs liées à la cohésion et à la cohérence textuelles, qui restent difficiles ou impossibles à repérer dans une évaluation au niveau de la phrase, disent-ils.

Par exemple, l'équipe donne l'exemple d'une nouvelle application appelée 微信挪车, que les humains traduisent systématiquement par WeChat Move the Car mais que les machines traduisent souvent de plusieurs manières différentes dans le même article. Les machines traduisent cette phrase par Twitter Move Car, WeChat mobile et WeChat Move. Ce genre d'incohérence, disent Laubli et co, rend les documents plus difficiles à suivre.

Cela suggère que la manière dont la traduction automatique est évaluée doit s'éloigner d'un système où les machines considèrent chaque phrase de manière isolée.

À mesure que la qualité de la traduction automatique s'améliore, les traductions deviendront plus difficiles à distinguer en termes de qualité, et il est peut-être temps de passer à une évaluation au niveau du document, ce qui donne aux évaluateurs plus de contexte pour comprendre le texte original et sa traduction, et expose également les erreurs de traduction liées aux phénomènes de discours qui restent invisibles dans une évaluation au niveau de la phrase, disent Laubli et co.

Ce changement devrait contribuer à l'amélioration de la traduction automatique. Ce qui signifie qu'il est encore prêt à surpasser la traduction humaine, mais pas encore.

Réf : arxiv.org/abs/1808.07048 : La traduction automatique a-t-elle atteint la parité humaine ? Un cas pour l'évaluation au niveau du document

cacher