Fabriquer des outils deepfake ne doit pas être irresponsable. Voici comment.

Un exemple diffusé par Facebook de deux femmes faisant du café : l'une est un deepfake. Facebook

Les technologies de médias synthétiques, communément appelées deepfakes, ont un réel potentiel d'impact positif. La synthèse vocale, par exemple, nous permettra de parler dans des centaines de langues avec notre propre voix. La synthèse vidéo peut nous aider à simuler des accidents de voiture autonome pour éviter les erreurs à l'avenir. Et la synthèse de texte peut accélérer notre capacité à écrire à la fois des programmes et de la prose.

Mais ces avancées peuvent avoir un coût gargantuesque si nous n'y prenons pas garde : les mêmes technologies sous-jacentes peuvent également permettre la tromperie avec des ramifications mondiales.

Heureusement, nous pouvons à la fois permettre la promesse de la technologie et atténuer son péril. Il faudra juste un travail acharné.

Ce que je dis ici est censé être un appel à l'action pour faire ce travail - et un guide pour soutenir ceux d'entre nous qui créent une telle technologie, que nous fassions des recherches révolutionnaires, que nous développions de nouveaux produits ou que nous fassions simplement des systèmes source pour le plaisir. Cela s'adresse également à ceux qui investissent ou financent de tels travaux, aux journalistes qui pourraient aider à garantir que les créateurs de technologie prennent leurs impacts au sérieux, et aux amis ou à la famille de ceux qui créent cette technologie.

Nous ne pouvons plus nous décharger de nos responsabilités en disant que nous ne pouvons rien faire si les gens utilisent mal nos outils. Parce qu'il y a des choses que nous pouvons faire; c'est juste que souvent nous ne nous embêtons pas. Un autre argument, cette technologie sera fabriquée de toute façon, n'est pas entièrement faux, mais le comment et le quand comptent considérablement et peuvent changer en fonction de nos choix. (Pour en savoir plus à ce sujet, y compris sur la modélisation des menaces, veuillez consulter notre papier complet , en particulier la section 2 sur ce qui cause un préjudice.) Enfin, nous ne pouvons pas nous cacher derrière la reconnaissance banale qu'il y a toujours eu tromperie tout en ignorant les différences significatives de degré et d'impact.

Les coûts de la technologie deepfake ne sont pas seulement théoriques. Vidéos synthétiques d'échange de visage harceler les journalistes jusqu'au silence ; des voix synthétiques sont utilisées pour grandes transactions frauduleuses , et les visages synthétiques ont espionnage prétendument soutenu . Tout cela en dépit des défis actuels liés à l'utilisation de logiciels de qualité bêta piratés. Les obstacles à l'utilisation des médias synthétiques sont encore trop élevés pour que la technologie soit convaincante pour la plupart des acteurs malveillants, mais à mesure qu'elle passe des versions bêta boguées aux mains de milliards de personnes, nous avons la responsabilité d'éviter pire cas scénarios en rendant aussi difficile que possible l'utilisation de deepfakes pour le mal. Comment?

Approche 1 : Limiter qui peut utiliser un outil... et comment

Il y a plusieurs choses que nous pouvons faire pour rendre l'utilisation malveillante beaucoup moins probable. Une approche évidente, simple et efficace consiste à soigneusement vétérinaire ceux qui peuvent utiliser un outil. C'est ce que les entreprises aiment Synthèse font - essentiellement, en travaillant uniquement avec des clients d'entreprise approuvés.

Une alternative consiste à limiter l'utilisation : pour limiter ce que les utilisateurs peuvent synthétiser ou manipuler. Par exemple, il est possible de créer des outils pour s'assurer que seules des voix ou des visages particuliers pré-choisis peuvent être manipulés. C'est quoi Humen , par exemple, est en train de faire, en fournissant un ensemble limité de mouvements que la personne dans une vidéo générée peut effectuer.

Ceux-ci peuvent ne pas être une option pour de nombreux systèmes, cependant. Alors que peut-on faire d'autre ?

Approche 2 : décourager les utilisations malveillantes

Pour les outils de médias synthétiques qui sont généraux et peuvent être rendus largement disponibles, il existe encore de nombreuses façons de réduire l'utilisation malveillante. Voici quelques exemples.

• Divulgation claire : Demandez que les médias synthétisés soient clairement indiqués comme tels, en particulier le matériel qui pourrait être utilisé pour induire en erreur. Les outils peuvent être en mesure de prendre en charge cela en incluant des avis visuels ou sonores clairs dans les fichiers de sortie, tels que des avertissements visibles ou des divulgations vocales. Au minimum, les métadonnées doivent indiquer comment les médias ont été synthétisés ou manipulés.
• Protection du consentement : Exiger le consentement de ceux dont l'identité est usurpée. L'outil de clonage de voix Oiseau-lyre oblige les utilisateurs à prononcer des phrases particulières afin de modéliser leur voix. Cela rend plus difficile l'usurpation de l'identité de quelqu'un sans son consentement, ce qui serait très possible si cela générait simplement des voix à l'aide de n'importe quel ensemble de données fourni. Ceci, bien sûr, ne s'applique qu'aux outils qui permettent l'emprunt d'identité.
• Facilité de détection : Assurez-vous que le média synthétisé n'est pas excessivement difficile à détecter ; tenir à jour les outils de détection ; collaborer avec ceux qui travaillent sur la détection pour les tenir au courant des nouveaux développements.
• Filigranes masqués : Intégrez le contexte de la synthèse, ou même du support d'origine, grâce à des filigranes robustes, à la fois en utilisant des méthodes accessibles à toute personne disposant des outils appropriés, et grâce à des approches secrètes et difficiles à supprimer. (Par example, Module.ai filigrane l'audio qu'il génère, tandis que des produits comme Imatag et leurs équivalents open source permettent le filigrane pour les images.)
• Journaux d'utilisation : Stockez les informations sur l'utilisation et les sorties médiatiques de manière à ce que les chercheurs et les journalistes puissent y accéder pour identifier si, par exemple, une vidéo a probablement été synthétisée à l'aide d'un outil particulier. Cela pourrait inclure le stockage des horodatages de la synthèse avec un hachage robuste ou une intégration multimédia.
• Restrictions d'utilisation : Fournir et appliquer des conditions d'utilisation contractuelles qui interdisent et pénalisent les actions indésirables, telles que la tentative de suppression de divulgations ou de filigranes, ou la violation du consentement d'autres personnes. Une version plus forte de cette approche consiste à élaborer explicitement les utilisations autorisées de la technologie ou les résultats qui en résultent.

Toutes ces stratégies ne sont pas applicables à tous les systèmes. Certains peuvent avoir leurs risques, et aucun n'est parfait ou suffisant par lui-même. Ils font tous partie d'une défense en profondeur, où plus c'est plus. Même si nous avons des vérifications ou des contraintes, ces approches rendent toujours un système plus robuste contre les adversaires. Et bien que suivre ces règles puisse mieux fonctionner pour les logiciels en tant que systèmes de service, qui sont livrés sans révéler le moindre code source, ils pourraient toujours apporter une certaine valeur aux outils et modèles open source : de nombreux acteurs malveillants n'auront pas la capacité technique d'obtenir autour de ces mesures de protection. ( Le papier complet explore quand publier le code source en premier lieu).

Soutenir les outils de deepfake éthiques

Faire un travail supplémentaire pour protéger les gens peut être difficile à justifier dans l'environnement commercial concurrentiel d'aujourd'hui, jusqu'à ce qu'une catastrophe irréversible se produise. Alors, comment pouvons-nous contribuer à garantir que ces approches sont mises en œuvre avant qu'il ne soit trop tard ? Voici quatre choses que les bailleurs de fonds, les gouvernements, les journalistes et le public peuvent faire maintenant pour soutenir ceux qui fabriquent des outils médiatiques synthétiques éthiques.

Faire la bonne chose facilement

Cela signifie que nous devons investir dans la recherche dans tous ces domaines afin de disposer d'outils largement disponibles, bien financés et open source pour mettre en œuvre ces approches. L'histoire de la sécurité de l'information montre que lorsque des outils open source faciles à utiliser peuvent être utilisés pour assurer la sécurité, beaucoup plus de choses finissent par être sécurisées. La même logique s'applique ici : à tout le moins, nous devons de toute urgence faciliter la fourniture de métadonnées de divulgation, de filigranes et de journalisation standardisés. Nous avons également besoin de recherches pour déterminer s'il est possible d'intégrer la détectabilité dans des modèles entraînés avant leur distribution. Sans ce type d'infrastructure et de recherche, nous verrons de nombreux nouveaux outils bien intentionnés être utilisés de manière horrible.

Favoriser l'expertise dans l'atténuation des abus

Tout comme dans le domaine de la confidentialité et de la sécurité, nous devons soutenir les communautés axées sur le renforcement des systèmes et la lutte contre les mauvais acteurs, et les entreprises doivent payer des personnes pour faire ce travail, soit en tant que consultants, soit en interne.

Évitez de financer, de créer et de distribuer des outils irresponsables

Si une entreprise ou un outil n'essaie pas au moins de réduire les risques d'utilisation abusive, les bailleurs de fonds et les développeurs ne doivent pas le soutenir. Les fabricants d'outils qui ne mettent pas en œuvre les meilleures pratiques énumérées ci-dessus doivent avoir de très bonnes raisons, et les magasins d'applications devraient les exiger par défaut.

Créer des normes en tenant les gens responsables

S'ils sont négligents, nous devrions les appeler, même s'il s'agit de nos filiales, collègues, amis ou famille. Nous pouvons créer des normes éthiques en félicitant ceux qui font ce qu'il faut et en poussant ceux qui ne le font pas à faire mieux.

Les organisations qui font progresser la technologie deepfake, comme Nvidia, Adobe, Facebook et Google, devraient investir massivement dans tout ce qui précède. Les capital-risqueurs et les fondations devraient également faire leur part pour soutenir ce travail et faire attention à qui ils soutiennent.

Ce n'est qu'une partie d'un ensemble beaucoup plus large d'efforts qui sont nécessaires et, dans de nombreux cas, ils ne nous feront gagner qu'un peu plus de temps. Cela signifie qu'il est impératif de veiller à ce que les plateformes et les décideurs utilisent ce temps à bon escient pour rendre notre écosystème de l'information plus résilient.

Notre passé est jonché de ceux qui auraient souhaité avoir introduit leurs inventions avec plus de soin - et nous n'avons qu'un seul avenir. Ne la gâchons pas.

—Aviv Ovadya est le fondateur de la Projet technologique réfléchi et membre non résident de l'Alliance for Securing Democracy du German Marshall Fund. Voir l'article complet sur l'atténuation des impacts négatifs de la recherche sur les médias synthétiques, co-écrit avec Jess Whittlestone, ici .

cacher