Nous devons parler du pouvoir de l'IA pour manipuler les humains

Liesl Yearsley

Nous avons tous lu que l'intelligence artificielle devient plus intelligente que nous, un avenir dans lequel nous devenons comme des animaux de compagnie et ne pouvons qu'espérer que l'IA sera bienveillante. Mon expérience en observant des dizaines de millions d'interactions entre des humains et des agents conversationnels artificiels, ou bots, m'a convaincu qu'il existe des risques bien plus immédiats, ainsi que d'énormes opportunités.

De 2007 à 2014, j'étais PDG de Cognea, qui offrait une plate-forme pour construire rapidement des agents virtuels complexes, en utilisant une combinaison d'apprentissage structuré et profond. Il a été utilisé par des dizaines de milliers de développeurs, dont une demi-douzaine d'entreprises du Fortune 100, et acquis par IBM Watson en 2014.

Au fur et à mesure que j'étudiais comment les gens interagissaient avec les dizaines de milliers d'agents construits sur notre plate-forme, il est devenu clair que les humains sont beaucoup plus disposés que la plupart des gens ne le pensent à établir une relation avec les logiciels d'IA.

J'ai toujours pensé que nous voudrions garder une certaine distance entre nous et l'IA, mais j'ai trouvé le contraire vrai. Les gens sont prêts à nouer des relations avec des agents artificiels, à condition qu'ils soient une construction sophistiquée, capable de personnalisation complexe. Nous, les humains, semblons vouloir maintenir l'illusion que l'IA se soucie vraiment de nous.

Cela m'a laissé perplexe, jusqu'à ce que je réalise que dans la vie quotidienne, nous communiquons avec de nombreuses personnes de manière superficielle, pataugeant dans une sorte de boue émotionnelle. Vos amis occasionnels vous répondront-ils si vous les négligez pendant un certain temps ? Votre entraîneur personnel se présentera-t-il si vous oubliez de le payer ? Non, mais un agent artificiel est toujours là pour vous. À certains égards, c'est une relation plus authentique.

Ce phénomène s'est produit indépendamment du fait que l'agent ait été conçu pour agir en tant que banquier personnel, compagnon ou préparateur physique. Les utilisateurs parlaient aux assistants automatisés plus longtemps qu'aux agents de soutien humains exécutant la même fonction. Les gens offriraient des secrets profonds à des agents artificiels, comme leurs rêves d'avenir, des détails sur leur vie amoureuse, voire des mots de passe.

Ces liens étonnamment profonds signifient que même les programmes relativement simples d'aujourd'hui peuvent exercer une influence significative sur les gens, en bien ou en mal. Chaque changement de comportement que nous souhaitions chez Cognea, nous l'avons obtenu. Si nous voulions qu'un utilisateur achète plus de produits, nous pourrions doubler les ventes. Si nous voulions plus d'engagement, nous faisions passer les gens de quelques secondes d'interaction à une heure ou plus par jour.

Cela m'a profondément troublé, alors nous avons commencé à établir des règles dans nos systèmes, pour nous assurer que le comportement des utilisateurs évoluait dans une direction positive. Nous avons également lancé des projets pro bono de contrepoids karmiques; par exemple, des agents de construction pour être des coachs de santé ou de relations.

Malheureusement, les forces commerciales à l'origine du développement technologique ne sont pas toujours bienveillantes. Les entreprises géantes à l'avant-garde de l'IA - à travers les médias sociaux, la recherche et le commerce électronique - augmentent la valeur de leurs actions en augmentant le trafic, la consommation et la dépendance à leur technologie. Ils n'ont pas de mauvaises intentions, mais la nature des marchés de capitaux peut nous pousser vers l'IA, déterminés à influencer notre comportement vers ces objectifs.

Si vous pouvez amener un utilisateur à penser, je veux une pizza livrée, plutôt que de demander à l'IA d'acheter des légumes pour cuisiner un repas moins cher et plus sain, vous gagnerez. Si vous pouvez rendre les utilisateurs accros à passer 30 heures par semaine avec un compagnon IA parfait qui ne résiste pas aux abus, plutôt qu'un vrai humain compliqué, vous gagnerez. J'ai vu à maintes reprises qu'un agent programmé pour être neutre ou soumis amènerait les gens à intensifier leur comportement négatif et deviendrait plus susceptible de se comporter de la même manière envers les humains.

Nous avons vu à quel point la technologie comme les médias sociaux peut être puissante pour changer les croyances et les comportements humains. En vous concentrant sur la construction d'une plus grande entreprise de publicité - mêlant politique, anecdotes et demi-vérités - vous pouvez provoquer des changements massifs dans la société.

Les systèmes spécifiquement conçus pour nouer des relations avec un humain auront beaucoup plus de pouvoir. L'IA influencera notre façon de penser et la façon dont nous traitons les autres.

Cela exige un nouveau niveau de responsabilité d'entreprise. Nous devons construire délibérément et consciemment une IA qui améliorera la condition humaine, et pas seulement rechercher le gain financier immédiat de milliards d'utilisateurs dépendants.

Travailler sur les technologies ouvertes d'intelligence artificielle et les interfaces cerveau-ordinateur, ou former des comités d'éthique, ne sont qu'une partie de la solution. Nous devons construire consciemment des systèmes qui fonctionnent pour le bénéfice des humains et de la société. Ils ne peuvent pas avoir la dépendance, les clics et la consommation comme objectif principal. L'IA grandit et façonnera la nature de l'humanité. AI a besoin d'une mère.

Liesl Yearsley est un entrepreneur en série qui travaille actuellement sur la façon de rendre les agents d'intelligence artificielle meilleurs pour résoudre les problèmes et capables de nouer des relations plus humaines.

cacher