Les logiciels qui surveillent les étudiants pendant les tests perpétuent les inégalités et violent leur vie privée

Photo par Iris Wang sur Unsplash

La pandémie de coronavirus a été une aubaine pour l'industrie de la surveillance des tests. Environ une demi-douzaine d'entreprises aux États-Unis affirment que leur logiciel peut détecter et empêcher avec précision la triche dans les tests en ligne. Examen , HonorLock , Proctorio , ProctorU , Réponse et d'autres se sont rapidement développés depuis que les collèges et les universités sont passés aux cours à distance.

Bien qu'il n'y ait pas de décompte officiel, il est raisonnable de dire que des millions de tests surveillés par algorithme ont lieu chaque mois dans le monde. Proctorio a déclaré au New York Times en mai, cette activité avait augmenté de 900 % au cours des premiers mois de la pandémie, au point que la société a surveillé 2,5 millions de tests dans le monde rien qu'en avril.

Je suis bibliothécaire universitaire et j'ai vu de près les impacts de ces systèmes. Mon propre employeur, l'Université du Colorado à Denver, a un contrat avec Proctorio.

Il est devenu clair pour moi que la surveillance algorithmique est une technologie de surveillance moderne qui renforce la suprématie blanche, le sexisme, le capacitisme et la transphobie. L'utilisation de ces outils est une atteinte à la vie privée des étudiants et, souvent, une violation des droits civils.

Si vous êtes un étudiant qui passe un test surveillé par algorithme, voici comment cela fonctionne : lorsque vous commencez, le logiciel commence à enregistrer la caméra, l'audio et les sites Web que vous visitez. Il mesure votre corps et vous surveille pendant toute la durée de l'examen, suivant vos mouvements pour identifier ce qu'il considère comme des comportements de triche. Si vous faites quelque chose que le logiciel juge suspect, il alertera votre professeur pour qu'il visualise l'enregistrement et lui fournisse une probabilité codée par couleur de votre inconduite académique.

Selon la société qui a créé le logiciel, il utilisera une combinaison d'apprentissage automatique, d'IA et de biométrie (y compris la reconnaissance faciale, la détection faciale ou le suivi des yeux) pour faire tout cela. Le problème est que la reconnaissance et la détection faciales se sont avérées raciste , sexiste , et transphobe sur , et sur , et sur encore.

En général, la technologie a un modèle de renforcement de l'oppression structurelle Comme racisme et sexisme . Aujourd'hui, ces mêmes biais apparaissent dans les logiciels de surveillance des tests qui nuisent de manière disproportionnée aux étudiants marginalisés.

Une femme noire de mon université m'a dit un jour que chaque fois qu'elle utilisait le logiciel de surveillance des tests de Proctorio, cela l'incitait toujours à éclairer davantage son visage. Le logiciel n'a pas pu valider son identité et elle s'est vu refuser l'accès aux tests si souvent qu'elle a dû se rendre chez son professeur pour prendre d'autres dispositions. Ses pairs blancs n'ont jamais eu ce problème.

Des types de discrimination similaires peuvent se produire si un élève est trans ou non binaire. Mais si vous êtes un homme cis blanc (comme la plupart des développeurs qui fabriquent des logiciels de reconnaissance faciale), tout ira probablement bien.

Les étudiants avec enfants sont également pénalisés par ces dispositifs. Si vous avez déjà essayé de répondre à des e-mails tout en vous occupant d'enfants, vous savez à quel point il peut être impossible de passer même quelques minutes ininterrompues devant l'ordinateur. Mais plusieurs programmes de surveillance signaleront les bruits dans la pièce ou toute personne qui quitte le champ de vision de la caméra comme néfaste. Cela signifie que les étudiants ayant des problèmes de santé qui doivent utiliser la salle de bain ou administrer fréquemment des médicaments seraient considérés comme suspects de la même manière.

Au-delà de toutes les manières dont les logiciels de surveillance peuvent discriminer les étudiants, la surveillance algorithmique est également une atteinte importante à la vie privée. Ces produits filment les étudiants chez eux et les obligent souvent à effectuer des scans de la pièce, ce qui implique d'utiliser leur caméra pour montrer leur environnement. Dans de nombreux cas, les professeurs peuvent accéder aux enregistrements de leurs étudiants à tout moment, et même télécharger ces enregistrements sur leurs machines personnelles. Ils peuvent également voir l'emplacement de chaque élève en fonction de son adresse IP.

La confidentialité est primordiale pour les bibliothécaires comme moi, car les clients nous confient leurs données. Après le 11 septembre, lorsque le Patriot Act a autorisé le département américain de la Sécurité intérieure à accéder aux dossiers des usagers de la bibliothèque dans leur recherche de terroristes, de nombreux bibliothécaires ont commencé à utiliser un logiciel qui supprimait le dossier d'un client une fois qu'un livre était rendu. Les produits qui violent la vie privée des gens et les discriminent vont à l'encontre de mon éthique professionnelle , et il est profondément inquiétant de voir de tels produits adoptés avec empressement par les établissements d'enseignement supérieur.

Ce zèle serait un peu plus compréhensible s'il y avait la moindre preuve que ces programmes ont réellement fait ce qu'ils prétendent. À ma connaissance, il n'existe pas une seule étude évaluée par des pairs ou contrôlée qui montre que les logiciels de surveillance détectent ou empêchent efficacement la tricherie. Étant donné que les universités sont fières de prendre des décisions fondées sur des preuves, il s'agit d'un oubli flagrant.

Heureusement, des mouvements sont en cours pour interdire les logiciels de surveillance et interdire les technologies de reconnaissance faciale sur les campus , aussi bien que projets de loi du Congrès d'interdire au gouvernement fédéral américain d'utiliser la reconnaissance faciale. Mais même si la technologie de reconnaissance faciale était interdite, le logiciel de surveillance pourrait toujours exister en tant que programme qui suit les mouvements des yeux et du corps des élèves. Bien que ce soit moins raciste, ce serait encore discriminer contre les personnes handicapées, les parents qui allaitent et les personnes neuroatypiques. Ces produits ne peuvent pas être réformés ; ils devraient être abandonnés.

La tricherie n'est pas la menace pour la société que les sociétés de surveillance des tests voudraient vous faire croire. Cela ne dilue pas la valeur des diplômes ni ne dégrade la réputation des établissements, et les étudiants n'essaient pas de tricher pour devenir votre chirurgien . La technologie n'a pas inventé les conditions de la tricherie et ce n'est pas elle qui l'arrêtera. La meilleure chose que nous puissions faire dans l'enseignement supérieur est de partir de l'idée radicale de faire confiance aux étudiants . Choisissons la compassion plutôt que la surveillance.

Karité Swauger est bibliothécaire universitaire et chercheur à l'Université du Colorado à Denver.

cacher