La débâcle des examens au Royaume-Uni nous rappelle que les algorithmes ne peuvent pas réparer les systèmes défectueux

Mme Tech | AP, Getty

Lorsque le Royaume-Uni s'est mis pour la première fois à trouver une alternative aux diplômes de fin d'études, la prémisse semblait parfaitement raisonnable. Covid-19 avait fait dérailler toute possibilité pour les étudiants de passer les examens en personne, mais le gouvernement voulait toujours un moyen de les évaluer pour les décisions d'admission à l'université.

Au premier rang de ses préoccupations figurait une question d'équité. Les enseignants avaient déjà fait des prédictions sur les résultats des examens de leurs élèves, mais études précédentes avaient montré que ceux-ci pouvaient être biaisés sur la base de l'âge, du sexe et de l'origine ethnique. Après une série de panels d'experts et consultations , Ofqual, l'Office of Qualifications and Examinations Regulation, s'est tourné vers un algorithme. À partir de là, les choses se sont horriblement mal passées.

Près de 40 % des étudiants ont fini par recevoir des notes d'examen déclassées par rapport aux prédictions de leurs professeurs, menaçant de leur coûter leurs places à l'université. Analyse de l'algorithme a également révélé qu'il avait nui de manière disproportionnée aux élèves des communautés ouvrières et défavorisées et gonflé les scores des élèves des écoles privées. Le 16 août, des centaines de personnes ont scandé Fuck l'algorithme devant le bâtiment du ministère de l'Éducation du Royaume-Uni à Londres pour protester contre les résultats. Le lendemain, Ofqual avait est revenu sur sa décision . Les élèves recevront désormais soit les scores prédits par leur enseignant, soit ceux de l'algorithme, selon le plus élevé.

La débâcle ressemble à un exemple classique de discrimination algorithmique . Ceux qui ont depuis disséqué l'algorithme ont souligné à quel point il était prévisible que les choses tournent mal ; il a été formé, en partie, non seulement sur les performances académiques passées de chaque élève, mais également sur les performances passées de l'examen d'entrée de l'école de l'élève. L'approche n'aurait pu conduire qu'à punir les valeurs aberrantes exceptionnelles en faveur d'une moyenne cohérente.

Mais la racine du problème est plus profonde que de mauvaises données ou une mauvaise conception algorithmique. Les erreurs les plus fondamentales ont été commises avant de Ofqual a même choisi de poursuivre un algorithme. Au fond, l'organisme de réglementation a perdu de vue l'objectif ultime : aider les étudiants à faire la transition vers l'université pendant les périodes d'anxiété. Dans cette situation inédite, le système d'examen aurait dû être entièrement repensé.

Il n'y a eu qu'un échec spectaculaire de l'imagination, explique Hye Jung Han, chercheur à Human Rights Watch aux États-Unis, qui se concentre sur les droits des enfants et la technologie. Ils n'ont tout simplement pas remis en question le principe même de tant de leurs processus, même lorsqu'ils auraient dû le faire.

À un niveau de base, Ofqual était confronté à deux objectifs potentiels après l'annulation des examens. Le premier était d'éviter l'inflation des notes et de normaliser les scores; le second était d'évaluer les étudiants aussi précisément que possible d'une manière utile pour les admissions à l'université. En vertu d'une directive du secrétaire d'État, il a donné la priorité au premier objectif. Je pense vraiment que c'est le moment qui a posé problème, déclare Hannah Fry, maître de conférences à l'University College de Londres et auteur de Hello World : Comment être humain à l'ère de la machine . Ils optimisaient pour la mauvaise chose. Ensuite, peu importe quel est l'algorithme, il n'allait jamais être parfait.

Il y avait juste un échec spectaculaire de l'imagination.

Hye Jung Han

L'objectif a complètement façonné la façon dont Ofqual s'est attaqué au problème. Le besoin de standardisation l'emportait sur tout le reste. Le régulateur a alors logiquement choisi l'un des meilleurs outils de standardisation, un modèle statistique, pour prédire une distribution des notes aux examens d'entrée pour 2020 qui correspondrait à la distribution de 2019.

Si Ofqual avait choisi l'autre objectif, les choses se seraient passées très différemment. Il aurait probablement abandonné l'algorithme et travaillé avec les universités pour changer la façon dont les notes des examens sont pondérées dans leurs processus d'admission. S'ils n'avaient fait qu'aller au-delà de leur problème immédiat et s'étaient penchés sur le but des notes - aller à l'université, pouvoir trouver un emploi - ils auraient pu travailler de manière flexible avec les universités et les lieux de travail pour dire : 'Hé, cette année les notes vont être différentes, ce qui signifie que toutes les décisions importantes qui étaient traditionnellement prises en fonction des notes doivent également être flexibles et doivent être modifiées, explique Han.

En se concentrant sur l'équité perçue d'une solution algorithmique, Ofqual s'est aveuglé sur les inégalités flagrantes du système global. Il y a une injustice inhérente à définir le problème pour prédire les notes des élèves comme si une pandémie ne s'était pas produite, dit Han. Il ignore en fait ce que nous savons déjà, à savoir que la pandémie a révélé toutes ces fractures numériques dans l'éducation.

Les échecs d'Ofqual ne sont pas uniques. Dans un rapport publié la semaine dernière par l'Oxford Internet Institute, les chercheurs ont découvert que l'un des pièges les plus courants dans lesquels tombent les organisations lors de la mise en œuvre d'algorithmes est la croyance qu'ils résoudront des problèmes structurels vraiment complexes. Ces projets se prêtent à une sorte de pensée magique, explique Gina Neff, professeure agrégée à l'institut, qui a co-écrit le rapport. D'une manière ou d'une autre, l'algorithme éliminera tout parti pris de l'enseignant, éliminera toute tentative de tricherie ou de jouer avec le système.

Je pense que c'est la première fois qu'une nation entière ressent simultanément l'injustice d'un algorithme.

Hannah Fry

Mais la vérité est que les algorithmes ne peuvent pas réparer les systèmes défectueux. Ils héritent des failles des systèmes dans lesquels ils sont placés. Dans ce cas, les étudiants et leur avenir ont finalement subi le plus gros du mal. Je pense que c'est la première fois qu'une nation entière ressent l'injustice d'un algorithme simultanément, dit Fry.

Fry, Neff et Han craignent tous que ce ne soit pas la fin des gaffes algorithmiques. Malgré la nouvelle prise de conscience publique des problèmes, concevoir et mettre en œuvre des algorithmes équitables et bénéfiques est franchement très difficile.

Néanmoins, ils exhortent les organisations à tirer le meilleur parti des leçons tirées de cette expérience. Tout d'abord, revenez à l'objectif et réfléchissez de manière critique pour savoir si c'est le bon. Deuxièmement, évaluez les problèmes structurels qui doivent être résolus pour atteindre l'objectif. (Lorsque le gouvernement a annulé l'examen en mars, cela aurait dû être le signal pour proposer une autre stratégie permettant à une écologie beaucoup plus large de décideurs d'évaluer équitablement les performances des étudiants, dit Neff.)

Enfin, choisissez une solution facile à comprendre, à mettre en œuvre et à contester, surtout en période d'incertitude. Dans ce cas, dit Fry, cela signifie renoncer à l'algorithme en faveur des scores prédits par les enseignants : je ne dis pas que c'est parfait, dit-elle, mais c'est au moins un système simple et transparent.

cacher