Comment Facebook utilise l'apprentissage automatique pour détecter les faux comptes

Un faux compte Facebook Mme Tech

En 2019, Facebook a supprimé en moyenne près de 2 milliards faux comptes par trimestre. Les fraudeurs utilisent ces faux comptes pour diffuser du spam, des liens de phishing ou des logiciels malveillants. C'est une activité lucrative qui peut être dévastatrice pour tous les utilisateurs innocents qu'elle piège.

Facebook publie maintenant des détails sur le système d'apprentissage automatique qu'il utilise pour relever ce défi. Le géant de la technologie distingue deux types de faux comptes. Il y a d'abord les comptes d'utilisateurs mal classés, les profils personnels d'entreprises ou d'animaux de compagnie qui sont censés être des Pages. Celles-ci sont relativement simples à gérer - elles sont simplement converties en pages. Les comptes en violation, en revanche, sont plus graves. Il s'agit de profils personnels qui se livrent à l'escroquerie et au spam ou qui violent autrement les conditions d'utilisation de la plate-forme. Les comptes en infraction doivent être supprimés le plus rapidement possible sans jeter un filet trop large et accrocher également les vrais comptes.

Pour ce faire, Facebook utilise des règles codées à la main et l'apprentissage automatique pour bloquer un faux compte avant qu'il ne soit créé ou avant qu'il ne devienne actif. En d'autres termes, avant que cela ne puisse nuire aux vrais utilisateurs. La dernière étape est après la mise en ligne d'un faux compte. C'est à ce moment que la détection devient beaucoup plus délicate et qu'intervient le nouveau système d'apprentissage automatique, connu sous le nom de Deep Entity Classification (DEC).

Aller en profondeur

DEC apprend à différencier les faux et les vrais utilisateurs par leurs modèles de connexion sur le réseau. Il appelle ces fonctionnalités profondes, et elles incluent des éléments tels que l'âge moyen ou la répartition par sexe des amis de l'utilisateur. Facebook utilise plus de 20 000 fonctionnalités approfondies pour caractériser chaque compte, fournissant un aperçu de la façon dont chaque profil se comporte pour rendre difficile pour les attaquants de déjouer le système en changeant de tactique.

Le système commence par utiliser un grand nombre d'étiquettes de faible précision générées par la machine. Ceux-ci sont générés par un mélange de règles et d'autres modèles d'apprentissage automatique qui estiment si les utilisateurs sont réels ou faux. Une fois que ces données sont utilisées pour former un réseau de neurones, le modèle est ensuite affiné avec un petit lot de données étiquetées à la main de haute précision, générées par des personnes du monde entier qui comprennent les normes culturelles locales.

Le système de classification final peut identifier l'un des quatre types de faux profils : les comptes illégitimes non représentatifs de la personne, les comptes compromis d'utilisateurs réels qui ont été pris en charge par des attaquants, les spammeurs qui envoient à plusieurs reprises des messages générateurs de revenus et les escrocs qui manipulent les utilisateurs dans divulguer des renseignements personnels. Depuis la mise en œuvre de DEC, Facebook affirme avoir maintenu le volume de faux comptes sur la plate-forme à environ 5 % des utilisateurs actifs mensuels.

Les détails des efforts de nettoyage de Facebook surviennent au milieu des inquiétudes concernant la manipulation lors de la prochaine élection présidentielle américaine, en particulier autour des deepfakes. En décembre, le New York Times signalé une campagne de désinformation coordonnée utilisant des deepfakes pour créer en masse de faux comptes avec des photos de profil convaincantes.

Sécuriser l'élection

L'équipe de Facebook a déclaré que le moment de sa sortie n'était qu'une coïncidence. Il s'agit simplement de repérer les violations en général ; il ne cible spécifiquement aucun type de sujets électoraux, explique Daniel Bernhardt, responsable de l'ingénierie de l'équipe Community Integrity de Facebook. Mais le DEC serait complémentaire aux autres efforts de la plateforme pour réprimer la falsification des élections. Parce que le système s'appuie sur des fonctionnalités profondes pour catégoriser chaque profil, il résistera à être trompé par des images de profil deepfake, par exemple.

Aviv Ovadya, qui a fondé le Thoughtful Technology Project à but non lucratif et étudie la conception et la gouvernance de la plate-forme, déclare que les efforts de Facebook pour être plus transparents avec ses procédures de nettoyage sont louables. Il peut être vraiment utile et puissant de parler soigneusement des décisions architecturales - et de la manière dont les systèmes de sécurité fonctionnent - qui peuvent être imitées par d'autres entreprises, dit-il. Parce que les entreprises comme Facebook ont ​​beaucoup plus de ressources à investir que les petites entreprises, il est utile d'avoir ce partage de connaissances.

Mais les efforts de nettoyage ont également un long chemin à parcourir. Avec 2,5 milliards d'utilisateurs actifs mensuels, 5%, c'est encore 125 millions de faux comptes. L'apprentissage automatique n'ira pas non plus loin : quelle que soit la quantité de données sur lesquelles un modèle est formé, il ne détectera jamais tous les mauvais comptes avec une précision parfaite. La plate-forme devra probablement se tourner vers d'autres combinaisons d'humains et de machines pour s'améliorer.

Mettre à jour: Une version antérieure de cet article faisait référence à des chiffres obsolètes sur l'impact du système DEC de Facebook. Ils ont été mis à jour pour refléter les informations les plus récentes.

cacher