Les sondeurs se sont trompés lors des élections de 2016. Maintenant, ils veulent une autre chance.

Il y a une nouvelle foule d'oracles potentiels, déterminés à ne pas reproduire les erreurs de leurs prédécesseurs. Par

• Robert Arthur page d'archives

14 février 2020

Karsten Petrat

Dans la nuit du 8 novembre 2016, Charles Franklin, comme des millions d'autres Américains, a vu les résultats de l'élection présidentielle tomber avec ce qu'il a décrit comme un sentiment de naufrage. Mais Franklin , sondeur du Wisconsin et professeur de droit et de politique publique à l'Université Marquette, n'était pas affligé par ses préférences politiques personnelles ; il avait sa réputation en jeu. Juste une semaine plus tôt, son propre sondage avait montré Hillary Clinton en hausse de six points dans le Wisconsin. Au lieu de cela, elle était là, perdant par sept dixièmes de point.

Franklin était de service avec ABC's Decision Desk, un membre d'une équipe d'experts en coulisses chargée d'appeler les États pour Clinton ou Donald Trump au fur et à mesure que les décomptes arrivaient. Alors qu'il regardait les retours s'accumuler jusqu'à quatre heures du matin, il est devenu clairement que son sondage était éteint.

Cette histoire faisait partie de notre numéro de mars 2020

• Voir la suite du problème
• S'abonner

Personne ne veut se tromper, dit-il en regardant en arrière. Donc, dans ce sens, c'était très déprimant.

Il n'était pas le seul sondeur à avoir mal interprété l'élection. Selon RealClearPolitics , chacun des plus de 30 sondages dans le Wisconsin au cours des mois précédant les élections a permis à Clinton de remporter l'État par des marges allant de 2 à 16 points. Et ces erreurs ont été encore amplifiées car elles ont ensuite été utilisées comme carburant pour les algorithmes informatiques qui prédisaient une victoire globale de Clinton.

Après que Donald Trump ait prononcé son discours de victoire et que la poussière se soit dissipée, tout le monde a commencé à admettre ses erreurs.

Ça m'a vidé de réaliser que j'avais eu tort, a écrit Natalie Jackson, data scientist au Huffington Post, qui avait donné à Clinton 98 % de chances de gagner.

Les médias, y compris de nombreux médias dont les propres prévisions avaient donné à Clinton une forte probabilité de victoire, ont commencé à dénoncer l'échec des algorithmes de prédiction. Certains critiques étaient plus circonspects que d'autres, reconnaissant que certains prévisionnistes avaient décrit avec précision une victoire de Trump comme simplement improbable. Mais beaucoup ont mis en doute l'idée même de prédire les élections. Certains ont même utilisé l'élection comme munition pour attaquer tout le domaine de la science des données.

Pourtant, près de quatre ans plus tard, et avec un autre concours qui se profile, les prévisionnistes commencent à publier des prévisions précoces pour 2020. Le contrecoup de 2016 ne les a pas dissuadés - en fait, il y a maintenant une toute nouvelle foule d'oracles potentiels, déterminés à ne pas reproduire les erreurs de leurs prédécesseurs.

Qu'est ce qui ne s'est pas bien passé

Un cocktail de problèmes a conduit aux sondages manqués de 2016. Certaines enquêtes n'ont pas réussi à contacter suffisamment d'électeurs blancs moins instruits, tandis que certains partisans de Trump ont refusé d'admettre dans quel sens ils voteraient. La stratégie non conventionnelle de Trump a également produit plus de citoyens dans les comtés ruraux fortement républicains. Les sondeurs ont supposé à tort que ces personnes resteraient à l'écart comme elles l'avaient fait lors des élections précédentes, ce qui a fait paraître la base de Trump plus petite qu'elle ne l'était réellement.

Mais alors que les sondeurs ont reçu la majorité du blâme, peut-être aurait-il fallu davantage condamner les prévisionnistes, qui transforment les données des sondeurs en prédictions.

Deux grands prévisionnistes avaient Hillary Clinton à 99% pour gagner, dit G. Elliott Morris, un journaliste de données à l'Economist qui travaille sur les prévisions électorales. Quand elle ne l'a pas fait, beaucoup d'entre eux ont simplement blâmé les sondeurs, car c'est facile pour eux.

Il y a eu au moins deux erreurs majeures commises par certains des scientifiques des données qui ont aidé à concevoir les algorithmes de prédiction. Premièrement, ils ont supposé que si les chances d'être en dehors de près de sept points dans le Wisconsin étaient faibles, les chances d'une erreur comparable dans d'autres États critiques comme le Michigan et la Pennsylvanie étaient minuscules. En fait, les problèmes de sondage dans un État étaient corrélés à des erreurs dans d'autres États similaires. Supposer que les sondages étaient entièrement indépendants les uns des autres - plutôt que de refléter les mêmes réactions aux mêmes problèmes - a produit un excès de confiance dans l'avance de Clinton.

Deuxièmement, les algorithmes de prédiction n'ont pas réussi à enregistrer le nombre record d'électeurs indécis comme signe d'avertissement. Parce que tant d'électeurs étaient sur la clôture jusqu'au jour du scrutin – et finiraient par se briser fortement pour Trump – les marges de Clinton étaient beaucoup moins sûres qu'elles ne le semblaient.

Karsten Petrat

Il nous regardait droit dans les yeux, dit Rachel Bitecofer , professeur de sciences politiques à la Christopher Newport University. S'il y avait eu plus de sondages dans les États étroitement contestés juste avant le jour du scrutin, suggère-t-elle, les analystes auraient peut-être relevé le nombre inhabituellement élevé d'électeurs qui ont décidé de se rendre au dernier moment.

Ce n'était pas seulement la faute des prévisionnistes, cependant. Même lorsque leurs probabilités pour chaque candidat étaient exactes, le public semblait avoir du mal à comprendre la signification de ces chiffres.

Pendant les derniers jours de la campagne électorale, je travaillais chez FiveThirtyEight, l'un des plus importants médias faisant des prédictions. Mon travail n'impliquait pas la course présidentielle : à la place, je couvrais les World Series de baseball. Lorsque les Cubs de Chicago ont perdu trois matchs contre un dans la série de sept matchs contre les Indians de Cleveland, j'ai noté que leurs chances de gagner, à environ un sur six, étaient un cheveu en dessous des chances de Trump de prendre la Maison Blanche. Six équipes l'avaient déjà fait au cours des 113 ans d'histoire des World Series, et sept autres l'avaient réussi lors d'autres tours éliminatoires, donc c'était tout à fait possible, mais ce n'était pas typique. Ensuite, lorsque les Cubs et Trump ont gagné contre toute attente, j'ai reçu un déluge de tweets haineux me reprochant d'avoir en quelque sorte créé la malédiction de deux tournures du destin très possibles.

Si vous entendez qu'il va y avoir 20% de risque de pluie, vous n'apportez pas votre parapluie. Et puis il pleut et vous êtes tous cochés et c'est probablement de votre faute, dit Steven Shepard, rédacteur en chef et prévisionniste électoral à Politico. Mais cette occurrence de 20% n'est pas nécessairement si improbable.

Beaucoup de gens semblaient regarder quel candidat était censé gagner (généralement Clinton) sans considérer à quel point les prévisionnistes étaient certains. Une chance de 70% d'une victoire de Clinton favorisait certainement le démocrate, mais aurait dû être considérée très différemment d'une chance de 99%.

Pourtant, certains ont dit 99%, et ils étaient sans aucun doute trop agressifs. Sam Wang du Princeton Election Consortium a estimé les chances de Trump à moins de 1% et s'est même engagé à manger un bug si Trump obtenait plus de 240 votes électoraux.

Lorsque le résultat des élections est tombé, Wang est resté fidèle à sa parole. Une semaine après le jour du scrutin, il est apparu sur CNN avec une boîte de grillons gastronomiques (gourmands du point de vue d'un animal de compagnie, a-t-il précisé) et a décrié le spectacle que son pari avait causé. J'espère que nous pourrons revenir aux données et réfléchir attentivement à la politique et aux problèmes, a-t-il déclaré avant de plonger un grillon dans du miel et, avec une expression peinée, d'avaler l'insecte.

Triple menace

Toutes les prévisions n'étaient pas aussi éloignées que celles de Wang. Certains anticipaient même une victoire de Trump. Pour comprendre pourquoi ils sont arrivés si différemment, il est utile d'examiner la gamme d'approches, qui se répartissent en trois grandes classes.

Les premières prévisions de chaque cycle électoral proviennent de ce qu'on appelle les modèles fondamentaux. Ceux-ci sont généralement construits à partir des cotes d'approbation présidentielles, des statistiques économiques et des indicateurs démographiques. Une économie forte présage la victoire du parti du titulaire, tout comme un taux d'approbation élevé pour le titulaire. La composition démographique d'un État peut également être utilisée pour prédire le résultat - par exemple, les électeurs blancs sans formation universitaire avaient tendance à voter pour Trump en 2016, de sorte que les États qui en ont beaucoup sont plus susceptibles de suivre son chemin en 2020 comme bien.

Étant donné que ces facteurs sont relativement stables, des prévisions fiables sur les fondamentaux peuvent être faites beaucoup plus tôt que la plupart des autres types de prévisions. Des modèles comme celui-ci semblent trop simples pour capturer toutes les bizarreries et les scandales de la campagne moderne de deux ans. Mais ils ont étonnamment bien performé en 2016 : six sur 10 ont prédit le vote populaire final à moins d'un point de pourcentage.

Cependant, la présidence n'est pas choisie par un vote populaire national direct, et c'est une limitation clé des approches fondamentales : peu de gens prédisent les résultats finaux du collège électoral.

Les modèles fondamentaux ont une autre faiblesse. Si des nouvelles de dernière minute surviennent, comme un scandale en fin de course ou un changement soudain de l'économie (la crise financière de 2008 en est un bon exemple), ces prévisions stables peuvent soudainement devenir terriblement obsolètes. Pour compenser cela, il y a une dizaine d'années, les statisticiens ont commencé à populariser de nouveaux types de modèles quantitatifs qui ne sont pas aussi vulnérables à ces surprises d'octobre. Ils traitent les données des sondages au fur et à mesure qu'ils sortent et produisent une estimation au jour le jour de qui gagnera, afin qu'ils puissent réagir si l'opinion publique change.

RealClearPolitics et le Bilan du New York Times les deux ont des modèles quantitatifs bien considérés, mais aucun modèle n'a plus de renommée - ou, sans doute, un meilleur bilan - que les prévisions FiveThirtyEight de Nate Silver, du nom du nombre total de votes au Collège électoral. L'algorithme de FiveThirtyEight se décline en plusieurs variantes, mais tous prennent soin d'ajuster les sondages en fonction de la fiabilité de l'organisme d'enquête et de la tendance de ses résultats à pencher systématiquement vers les démocrates ou les républicains. L'ingestion minutieuse des données de sondage et l'attention que Silver accorde à l'incertitude l'ont traditionnellement distingué des autres prévisions. FiveThirtyEight est l'étalon-or, m'a dit Bitecofer.

Parmi les principales prédictions électorales quantitatives, celle de FiveThirtyEight était la le plus conservateur , attribuant à Clinton 71,4% de chances de gagner à la veille de l'élection. Rétrospectivement, cela sonne à peu près en ce moment, dit Charles Franklin : la victoire de Trump était un résultat improbable, mais pas impossible.

Enfin, il existe des prédicteurs qui évitent complètement les approches mathématiques, s'appuyant plutôt sur une combinaison d'intuition, de sondage et de sortie de tous les autres types de modèles réunis. Ces prédictions qualitatives s'exécutent sur l'un des moteurs de calcul les plus sophistiqués et pourtant sujets aux erreurs que nous connaissons : le cerveau humain.

Plutôt que des estimations numériques précises, les prévisionnistes qualitatifs regroupent généralement les courses dans l'une des quatre catégories sur une échelle allant de la sécurité à l'échec.

Le tirage au sort signifie qu'il n'y a pas de favori : une sorte de pile ou face, dit Kyle Kondik , un prévisionniste qualitatif avec le bulletin d'analyse politique Crystal Ball de l'Université de Virginie. Lean, dit-il, est un petit avantage d'un côté ou de l'autre. Il y a probablement un bord plus grand d'un côté ou de l'autre. Et sûr, dit-il, signifie que nous serions choqués si ce parti perdait. Certains prédicteurs qualitatifs soutiennent que ces regroupements verbaux aident les lecteurs à mieux comprendre les probabilités relatives que les nombres plus exacts proposés ailleurs.

Bien que ces prédictions puissent sembler moins scientifiques que celles basées sur des chiffres, certaines affichent un niveau de précision impressionnant. Aux mi-mandats 2018, selon une évaluation indépendante de plusieurs prévisions professionnelles , c'est la boule de cristal bien nommée qui a fait le mieux, pas l'algorithme statistique de FiveThirtyEight. Cependant, les performances ont tendance à fluctuer d'un cycle à l'autre : la meilleure pratique, selon les sondeurs et les universitaires, consiste à utiliser une grande variété de prévisions - qualitatives, quantitatives et fondamentales.

Et ensuite ?

Presque tous les prévisionnistes à qui j'ai parlé avaient reçu des courriers haineux au vitriol après les résultats de 2016. Pourtant, des dizaines de nouveaux modélistes ont jeté leur chapeau dans le ring pour 2020.

Ils déploieront leurs prévisions pour la première fois cette année, et ils ont l'intention d'éviter les erreurs des cycles électoraux passés. Morris, le prévisionniste de The Economist, est l'un de ceux qui entrent dans le domaine. Il a qualifié les prédictions antérieures, sujettes aux erreurs, de mensonges et de fautes éditoriales. Nous devrions en tirer des leçons, dit-il.

The Economist construira son algorithme à l'aide de sondages publiés par des organisations extérieures, mais il mènera également ses propres enquêtes pour étayer les résultats dans des états et des races ambigus, ce qui, espère Morris, peut conduire à une plus grande précision.

Le Washington Post, lui aussi, fait son premier pari sur les prédictions, mais en empruntant une voie différente. Il reste en dehors du jeu des prévisions jusqu'à ce que les retours commencent à arriver. Ce n'est qu'une fois que les premières circonscriptions commenceront à annoncer les totaux des votes le jour du scrutin que le Post déploiera son modèle analytique pour juger de la probabilité que des candidats spécifiques prennent l'État ou le district pour lequel ils sont en compétition. En attendant que les premiers bulletins de vote soient comptés, les scientifiques des données du Post prévoient de réduire considérablement l'erreur de prédiction du reste des votes, mais au prix de ne pas pouvoir publier une projection précoce.

Les prévisionnistes et les sondeurs expérimentés ne sont pas non plus les bras croisés. Les constructeurs de modèles fondamentaux commencent à relever le défi de prédire le collège électoral au lieu du seul vote populaire. Bitecofer a conçu un modèle basé principalement sur la démographie qui prédit déjà une victoire électorale étroite pour le challenger démocrate, quel qu'il soit.

Les concepteurs de ces algorithmes quantitatifs problématiques semblent avoir retenu la leçon sur les erreurs corrélées entre états. Le Huffington Post a publié un mea culpa pour sa prédiction à 98% d'une victoire de Clinton. Wang, le professeur mangeur d'insectes de Princeton, s'est engagé à mettre à jour son algorithme afin qu'il soit beaucoup moins confiant en 2020, admettre sur son blog que son modèle précédent était une erreur.

ON CROIT QUE LES SONDAGES SUR LES COURSES DE CHEVAUX ACCROÎTENT LE CYNISME... IL PERMET AUX GENS DE CONSIDÉRER LA POLITIQUE COMME UN JEU, OÙ ILS SORTENT ET S'ENGAGENT POUR LEUR ÉQUIPE.

Les prévisionnistes qualitatifs, quant à eux, ont tiré diverses leçons de 2016. Avec le recul, j'aurais aimé que nous nous concentrions un peu plus, mais je dirais que les modèles basés sur les fondamentaux étaient les meilleurs en cette élection, dit Kondik de l'Université de Virginie. Je souhaite que nous leur accordions tous une plus grande attention.

Kondik et d'autres soulignent la nécessité d'être prudent face à toute prédiction étant donné l'impopularité historique du président en exercice, qui devrait diminuer ses chances, et la vigueur de l'économie, qui devrait les augmenter. Ces facteurs de duel signifient que la course est incertaine jusqu'au jour du scrutin.

Karsten Petrat

Ailleurs, les organisations médiatiques ont également commencé à fournir leurs estimations de manière à donner au lecteur une meilleure compréhension plus intuitive de ce que signifient les probabilités. Plutôt que d'écrire que les démocrates avaient 87,9% de chances de remporter la Chambre lors des élections de mi-mandat de 2018, par exemple, FiveThirtyEight a souligné qu'ils auraient pu s'attendre à gagner sept fois sur huit.

Les psychologues ont découvert que les gens comprenaient mieux ces types de [nombres], a écrit Yphtach Lelkes, professeur de communication à l'Université de Pennsylvanie.

Enfin, les sondeurs améliorent également leur jeu. L'Association américaine pour la recherche sur l'opinion publique (AAPOR) a publié une rétrospective de 2016 avec des leçons pour les élections futures. Les conseils incluent l'utilisation d'astuces statistiques pour s'assurer que les échantillons de population sont plus représentatifs de l'État interrogé et la réalisation de plus de sondages dans les derniers jours de la campagne afin de capturer les penchants des électeurs tardifs, qui se sont avérés si essentiels à la victoire de Trump.

Franklin, le sondeur du Wisconsin, était l'un des auteurs de l'autopsie de l'AAPOR. L'échec systématique de dizaines d'enquêtes dans plusieurs États suggère que l'erreur de son sondage était due à un véritable changement dans les derniers jours de la course, plutôt qu'à une erreur antérieure plus fondamentale. Pourtant, il se demande ce qui aurait pu être : et si nous avions sondé le week-end avant les élections ? Aurions-nous capturé le basculement vers Trump dans ces données ?

Interrogation quantique

Mais si les erreurs d'il y a quatre ans peuvent être corrigées, de nouvelles difficultés peuvent également surgir pour le cycle 2020. Certains peuvent même être motivés par la prévision elle-même. Certains experts soutiennent que les prédictions électorales peuvent influencer les résultats mêmes qu'ils essaient de prédire.

DES ÉTUDES SUGGÈRENT QUE LORSQUE LES GENS PENSENT QUE LE RÉSULTAT D'UNE ÉLECTION EST CERTAIN, ILS SONT MOINS PROBABLES DE VOTER.

Selon un étude récente , un public extrêmement libéral à l'écoute de ces prévisions quantitatives trop confiantes en 2016. Des études publiées précédemment suggèrent que lorsque les gens croient que le résultat d'une élection est certain, ils sont moins susceptibles de voter, surtout si la certitude est empilée en faveur de leur élu. candidat. Ainsi, dans une variante de ce que l'on appelle l'effet d'observateur - dans lequel le simple fait de regarder quelque chose change le résultat - nourrir un public fortement démocrate avec un régime régulier de sondages trop confiants comme celui de Wang aurait pu réduire considérablement la participation. Étant donné que la course a été essentiellement décidée par seulement 107 000 voix dans trois États, toute réduction aurait pu être importante.

Clinton a perdu par si peu de voix qu'il est certainement possible que des prévisions probabilistes aient poussé suffisamment de démocrates à rester chez eux pour que cela ait affecté le résultat, a écrit Lelkes. Clinton elle-même l'a suggéré. Je ne sais pas comment nous pourrons jamais calculer combien de personnes pensaient que c'était dans le sac, parce que les pourcentages n'arrêtaient pas d'être jetés sur les gens : 'Oh, elle a 88 % de chances de gagner !', a-t-elle déclaré dans une interview à New York. Revue d'York.

Même si les prévisions électorales n'ont pas changé le résultat en 2016, cela pourrait avoir plus d'impact sur les futures campagnes.

On pense que les sondages sur les courses de chevaux augmentent le cynisme politique, affectent la participation, augmentent la polarisation et supplante probablement les informations sur les questions de fond, a écrit Lelkes. Cela amène les gens à considérer la politique comme un jeu, où ils sortent et encouragent leur équipe, plutôt que de soutenir des candidats en fonction de leurs positions politiques. Et si ces effets sont réels, ils sont susceptibles de devenir plus puissants à mesure que de nouvelles prévisions se produisent.

Certains prévisionnistes, comme Silver, ont rejeté cette préoccupation. Ils soutiennent que ce n'est pas leur travail de dire aux gens de voter ou non, ou de dire aux médias ce qu'ils doivent couvrir. D'autres, cependant, prennent plus au sérieux les conseils de Lelkes et de ses collègues.

Nous expérimentons des moyens de transmettre l'incertitude qui ne dissuadera pas les gens [de voter], déclare Morris de l'économiste. Mais je pense que c'est toujours un problème que les prévisionnistes vont avoir… Je ne sais pas comment nous contournons certaines des implications sociétales de notre travail.

Rob Arthur est un journaliste indépendant et consultant en science des données basé à Chicago.

cacher