Les collèges devraient-ils vraiment installer des haut-parleurs intelligents dans les dortoirs ?

Lorsque Mateo Catano est revenu pour sa deuxième année de premier cycle à l'Université Saint Louis à l'automne 2018, il s'est retrouvé avec un nouveau colocataire - pas un autre étudiant mais un cerveau désincarné sous la forme d'un Amazon Echo Dot.

Plus tôt cet été-là, le département des technologies de l'information de SLU avait installé environ 2 300 haut-parleurs intelligents, un pour chacune des salles de résidence de l'université, faisant de l'école la première du pays à le faire. Chaque appareil a été préprogrammé avec des réponses à environ 130 questions spécifiques à SLU, allant des heures d'ouverture de la bibliothèque à l'emplacement du bureau du registraire (l'école a surnommé ce AskSLU). Les appareils comprenaient également les compétences vocales de base disponibles sur d'autres points, y compris les alarmes et les rappels, les informations générales et la possibilité de diffuser de la musique.

Cette histoire faisait partie de notre numéro de janvier 2020

• Voir la suite du problème
• S'abonner

Pour Catano, le Dot était un ajout bienvenu. Il aimait entendre le temps qu'il faisait dès le matin et savoir quelles cantines étaient ouvertes. Et, s'il est honnête, il aimait la compagnie. Vivre dans un célibataire, AskSLU m'a définitivement fait me sentir moins seul, dit-il. Et j'ai aimé le statut d'être la première université à le faire.

La réaction de Catano était exactement ce que les administrateurs de SLU espéraient. Cet automne, l'institution jésuite a annoncé son intention d'élargir les compétences vocales de ses Echo Dots en incluant à la fois des fonctions de messagerie texte et de chatbot.

Aucune idée des effets à long terme

Nous sommes à l'aube d'une nouvelle ère de haut-parleurs intelligents sur le campus. Des écoles aussi variées que l'Arizona State University, l'Université de Lancaster au Royaume-Uni et la Ross University School of Medicine à la Barbade ont adopté la technologie vocale sur le campus. Certains, dont la Northeastern University, ont poussé la technologie un peu plus loin et permettent désormais aux étudiants d'accéder aux données financières, aux horaires et aux notes des cours, ainsi qu'aux frais impayés via des appareils vocaux.

Fin 2018, l'Emerson College de Boston a annoncé qu'il était l'un des 18 bénéficiaires d'une subvention d'Amazon pour faire progresser la technologie vocale sur les campus, dans le cadre de la bourse d'innovation Alexa du géant de la technologie. Emerson a créé un laboratoire vocal dédié où les étudiants peuvent interagir et expérimenter les compétences Alexa, et il prévoit d'installer des appareils Alexa dans des endroits comme les théâtres et à l'extérieur des ascenseurs.

Les administrateurs de certaines de ces écoles m'ont dit qu'ils pensaient qu'Alexa renforcerait les inscriptions et réduirait les taux d'abandon. Plusieurs ont également déclaré qu'ils pensaient que la technologie vocale pouvait augmenter la réussite de leurs élèves et augmenter leur bonheur général.

Cependant, il y a beaucoup de gens sur le campus qui voient un côté sombre.

Lorsqu'il s'agit de déployer des appareils d'écoute là où des conversations sensibles se produisent, nous n'avons tout simplement aucune idée de l'effet à long terme que des conversations enregistrées et conservées par Amazon pourraient avoir sur leur avenir, même, très probablement, sur leur santé et leur bien-être, dit Russell Newman, professeur Emerson qui étudie l'économie politique de la communication et la politique de communication.

Nous ne savons toujours pas vraiment combien de données les hébergeurs de compétences vocales comme Amazon - ou des tiers qui dépendent d'Amazon - récoltent, ou ce qu'ils font avec ces informations.

D'autres membres du corps professoral à qui j'ai parlé ont fait écho aux objections de Newman. Et si les données recueillies à partir des conversations des étudiants affectaient leurs chances d'obtenir un prêt hypothécaire ou un emploi plus tard ? Et s'il était utilisé contre des étudiants étrangers pour les faire expulser, peut-être vers des pays d'origine où ils pourraient être emprisonnés pour leurs opinions politiques ?

À droite. Alors, compte tenu de tous les risques, pourquoi les universités sont-elles si désireuses de remplir leurs campus de microphones compatibles avec l'IA ? Qu'y a-t-il pour eux ?

L'IA à la rescousse

Les collèges et les universités font face à plusieurs crises imminentes. Après des années d'augmentation du nombre d'inscriptions, les écoles américaines connaissent une baisse des admissions, une tendance qui devrait s'aggraver au cours de la prochaine décennie. Un rapport spécial de novembre 2019 du Chronicle of Higher Education prédit des baisses rapides même dans les établissements les plus sélectifs du pays. Les revenus institutionnels sont au point mort - Moody's Investors Service a publié des perspectives négatives pour l'enseignement supérieur pour l'exercice 2019, à l'exception des universités du Sud. Pendant trois ans, le ministère de l'Éducation a cherché à réduire de plusieurs milliards l'aide financière et le soutien aux étudiants les plus pauvres, bien que le Congrès ait rejeté les coupes. Les contributions de l'État aux budgets des universités publiques ont pris du retard depuis la dernière récession. Les collèges privés sont également en difficulté; plus d'un quart d'entre eux sont désormais dans le rouge. Ces dernières années, 20 collèges privés à but non lucratif ont fermé leurs portes et bien d'autres envisagent de fusionner ou de se consolider.

Pendant ce temps, la moitié de tous les étudiants qui entrent à l'université n'obtiennent pas leur diplôme dans les six ans. Les chercheurs donnent diverses explications. Nick Bowman, professeur d'éducation à l'Université de l'Iowa, souligne le fait que les étudiants d'aujourd'hui sont plus âgés que les 18 à 22 ans traditionnels. Beaucoup ont des emplois à temps plein. Certains s'occupent d'enfants, de frères et sœurs ou de parents vieillissants. Et avec une dette étudiante moyenne de 35 000 $ après quatre ans d'études, la perspective de décrocher peut être tentante.

Pour de nombreux administrateurs de collèges, l'IA offre des solutions attrayantes à ces difficultés. L'Université d'État de Winston-Salem, une université historiquement noire avec de nombreux étudiants à faible revenu et de première génération, a eu des problèmes permanents pour aider chaque classe entrante à respecter les délais clés, comme soumettre les relevés de notes du lycée et les dossiers de vaccination, remplir les formulaires d'aide financière et faire dépôts de logement. Nous avons réalisé que beaucoup de nos étudiants ne comprenaient peut-être pas le processus d'inscription à l'université et ne pouvaient peut-être pas compter sur les familles ou les systèmes de soutien pour le décoder à leur place, explique Jay Davis, responsable des relations avec les médias de l'université.

Il y a deux ans, WSSU s'est associé à une entreprise technologique appelée AdmitHub pour proposer un chatbot IA nommé Winston pour aider les étudiants à naviguer dans le processus d'inscription. Davis affirme que l'application répond avec succès à environ les trois quarts des questions des étudiants et qu'il y a eu une augmentation spectaculaire du nombre d'étudiants qui répondent à leurs exigences financières et soumettent tous les documents justificatifs nécessaires pour remplir leur demande. Cette année, WSSU accueille sa plus grande classe de première année depuis plus d'une décennie, et Davis dit que Winston a joué un grand rôle à cet égard.

Accès à vos mots, pour toujours

J'ai passé plusieurs heures à jouer avec des chatbots dans une poignée de collèges et d'universités. Ils ont tous répondu à des questions sur la mascotte de l'école, où je pouvais trouver le dîner et quand avait lieu le prochain événement de réseautage sportif ou d'anciens élèves. Mais ils ont bousillé les autres. Lorsque j'ai dit à l'un d'eux que j'étais malade, il m'a informé que le centre de santé des étudiants ne délivrerait pas d'excuse écrite pour les cours manqués. Je lui ai demandé où se trouvait le centre de santé des étudiants ; il a répondu avec les horaires des visites universitaires pour les futurs étudiants. J'ai dit à un autre que je me sentais déprimé, et il m'a référé à un programme fédéral d'aide financière aux étudiants.

Les programmeurs du campus de l'autre côté de ces appareils m'ont tous dit que les compétences s'amélioreraient à mesure que davantage d'étudiants les utiliseraient, ce qui, bien sûr, rend l'IA si efficace. Mais c'est aussi ce qui rend les menaces à notre vie privée si réelles, déclare Vitaly Shmatikov, professeur d'informatique à Cornell Tech. Les entreprises technologiques, dit Shmatikov, sont notoirement opaques en matière de confidentialité et de sécurité. Ce que lui et d'autres chercheurs ont appris à leur sujet est en grande partie par le biais de la rétro-ingénierie et de quelques conjectures éclairées, et les découvertes concernent beaucoup Shmatikov.

Pour commencer, dit-il, des entreprises comme Amazon forment leurs algorithmes de reconnaissance vocale sur des enregistrements d'interactions passées avec des utilisateurs pour les aider, par exemple, à comprendre l'intention d'une question. Il dit que toutes les entreprises impliquées sont très méfiantes quant à la quantité de données qui voyagent entre elles. Il n'y a aucune promesse à l'utilisateur que ses données ne quitteront pas un appareil spécifique, dit Shmatikov. Nous ne savons toujours pas vraiment combien de données les hébergeurs de compétences vocales comme Amazon - ou des tiers qui dépendent d'Amazon - récoltent, ou ce qu'ils font avec ces informations. Amazon n'a pas répondu aux multiples demandes de commentaires.

Shmatikov dit qu'il est raisonnable de supposer que le cloud d'une entreprise contient des enregistrements horodatés des demandes des étudiants à un haut-parleur intelligent, et les appareils peuvent même enregistrer les conversations que l'étudiant aurait pu avoir avec d'autres personnes avant ou après lui avoir parlé. Au fur et à mesure que les compétences d'identification vocale et de localisation s'amélioreront, il deviendra de plus en plus possible de lier ces enregistrements à une personne individuelle. Ce n'est pas comme si une école fouillait votre casier ; cela ressemble plus à une école enregistrant à perpétuité tout ce qui s'est jamais trouvé dans votre casier et ce que vous et vos amis avez dit chaque fois que vous l'avez ouvert, puis en laissant une multitude d'entités commerciales rechercher ces informations.

Les responsables de l'Arizona State University et de l'Université de Saint Louis disent qu'ils ne lient pas d'informations telles que les finances, les dossiers médicaux et les notes des étudiants (données connues sous le nom d'authentification, car elles nécessitent qu'un étudiant se connecte à des comptes personnels) jusqu'à ce qu'ils soient plus confiants sur le mesures de sécurité. La technologie utilisée à Northeastern a été développée par une petite équipe dirigée par Somen Saha, alors employé à l'université. Saha a finalement créé une société indépendante appelée n-Powered, qui a développé une application appelée MyHusky disponible via Alexa. Cependant, sa page de confidentialité reconnaît également que nous utilisons la plate-forme d'Amazon pour que cela fonctionne. Amazon stocke des informations sur l'utilisation qui peuvent être purgées sur demande.

Shmatikov dit que l'utilisation du propre logiciel d'une université et la restriction de l'utilisation des chatbots aux questions générales peuvent limiter l'accès d'une entreprise technologique aux informations sur les étudiants, mais cela ne résoudra pas entièrement le problème. Il souligne des questions sensibles comme si le centre de santé propose des tests de dépistage des MST ou des prescriptions pour traiter des conditions comme la schizophrénie : techniquement, ceux-ci ne sont pas liés à un étudiant en particulier, mais il n'est pas trop difficile de savoir qui demande, et les étudiants peuvent ne pas réaliser ce ne sont pas toujours des requêtes anonymes. De plus, dit Shmatikov, tant qu'une entreprise comme Amazon convertit les invites des étudiants en signaux de données, elle a accès aux informations de l'étudiant, pour toujours.

Ramifications effrayantes

La confidentialité est une préoccupation pour tout utilisateur d'un appareil d'IA, mais la faculté avec laquelle j'ai parlé pour cette histoire insiste sur le fait qu'il y a des ramifications particulièrement effrayantes pour l'enseignement supérieur.

Les étudiants universitaires sont peut-être la catégorie de consommateurs la plus recherchée, déclare Emerson’s Newman. Ce sont les plus difficiles à atteindre et les plus susceptibles de créer des tendances. En conséquence, dit-il, leurs données sont parmi les plus précieuses et les plus susceptibles d'être exploitées ou vendues. Et pour les établissements d'enseignement, être complices de la marchandisation des étudiants à des fins commerciales est, dit-il, fondamentalement contraire à leurs missions.

Sarah T. Roberts, professeure adjointe d'études sur l'information à l'UCLA, affirme que les écoles qui concluent des accords avec des entreprises technologiques mettent au moins potentiellement le bien-être de leurs élèves en danger. Le temps d'un étudiant dans un collège ou une université est utilisé pour explorer des idées et essayer de nouvelles identités, qu'il s'agisse de convictions politiques ou de genre et de sexualité, dit Roberts. Le fait de savoir qu'ils sont enregistrés pendant qu'ils le font empêchera sans aucun doute les élèves d'avoir l'impression qu'ils peuvent dire ce qu'ils pensent. Il convient également de rappeler, dit-elle, que de nombreux étudiants viennent de pays où il peut être dangereux de révéler leur sexualité ou leurs convictions politiques.

À Northeastern, un étudiant a créé une pétition en ligne demandant à l'université de supprimer tous les appareils Alexa. Il se lit en partie: Alexas est bien documenté en tant qu'appareils d'écoute clandestins qui sont utilisés pour aider à affiner les tactiques de marketing d'Amazon .... À tout le moins, la Northeastern University force un appareil étranger dans les espaces étudiants que personne n'a demandé. Au pire, ils violent imprudemment la vie privée de leur corps étudiant à la demande d'une entreprise donatrice. Début décembre, la pétition comptait 125 signatures.

À Emerson, des étudiants et d'autres membres du corps professoral se sont joints à Newman pour créer un comité chargé de rédiger des politiques de confidentialité pour le campus. À tout le moins, dit-il, il aimerait voir des panneaux d'avertissement placés partout où se trouve un appareil d'écoute. Il dit que jusqu'à présent, l'administration a été coopérative et que le déploiement de tout appareil a été retardé.

Nous avons besoin d'un moyen sûr d'expérimenter ces technologies et de comprendre les conséquences de leur utilisation au lieu de simplement continuer une marche aveugle vers la surveillance à des fins lucratives, dit Newman. Ce sont des applications sophistiquées avec des conséquences à vie pour les individus qu'elles analysent, à des fins encore inconnues. Nous devons tous être vraiment judicieux et réfléchis ici.

Kathryn Miles est rédactrice indépendante et auteur de Quakeland : En route vers le prochain tremblement de terre dévastateur de l'Amérique . Son histoire The Little Coin That Ate Quebec est parue dans le numéro de mai/juin 2018.

cacher