Comment Obama a utilisé le Big Data pour rallier les électeurs, partie 1

Deux ans après l'élection de Barack Obama à la présidence, les démocrates ont subi leur pire défaite depuis des décennies. Les majorités au Congrès qui avaient donné à Obama ses succès législatifs, réformant l'assurance maladie et les marchés financiers, ont été balayées lors des élections de mi-mandat ; le contrôle de la Chambre a basculé et l'avance des démocrates au Sénat s'est réduite à une marge incontrôlable. Les experts ont eu du mal à expliquer la montée du Tea Party. La déception des électeurs vis-à-vis de l'agenda d'Obama était évidente alors que les indépendants ont cassé la droite et que les démocrates sont restés chez eux. En 2010, le Comité national démocrate a échoué à son premier test de l'ère Obama : il n'avait pas maintenu la coalition Obama.

Mais pour les démocrates, il y avait une triste consolation dans tout cela : Dan Wagner l'avait vu venir. Lorsque Wagner a été embauché en tant que directeur du ciblage du DNC, en janvier 2009, il est devenu responsable de la collecte des informations sur les électeurs et de leur analyse pour aider le comité à approcher les électeurs individuels par publipostage et par téléphone. Mais il a compris que la matière première qu'il alimentait dans ses modèles statistiques se résumait à une série d'enquêtes sur les attitudes et les préférences des électeurs. Il a demandé au département technologique de la DNC de développer un logiciel qui pourrait transformer ces informations en tableaux, et il a appelé le résultat Survey Manager.

Cet automne-là, lorsqu'une élection spéciale a eu lieu pour pourvoir un siège vacant au Congrès dans le nord de l'État de New York, Wagner a prédit avec succès la marge finale à moins de 150 voix, bien avant le jour du scrutin. Des mois plus tard, les sondeurs ont prédit que Martha Coakley était certaine de remporter une autre élection spéciale, pour occuper le siège du Sénat du Massachusetts laissé vacant par la mort de Ted Kennedy. Mais le responsable de l'enquête de Wagner a correctement prédit que le républicain Scott Brown était susceptible de l'emporter dans l'État fortement démocrate. C'est une chose d'avoir raison lorsque vous allez gagner, déclare Jeremy Bird, qui a été directeur national adjoint de Organizing for America, la campagne d'Obama en suspens, hébergée au DNC. C'est une autre chose d'avoir raison quand vous allez perdre.

C'est encore une autre chose d'avoir raison Cinq mois avant de perdre. À l'approche des mi-mandats de 2010, Wagner a construit des modèles statistiques pour certaines courses au Sénat et 74 districts du Congrès. À partir de juin, il a commencé à prédire les résultats des élections, prévoyant les marges de victoire avec une précision qui s'est avérée improbable. Mais il n'y était pas arrivé avec les sondages traditionnels. Il avait compté les votes un par un. Son premier indice que le parti était en difficulté est venu de milliers d'appels d'enquête individuels appariés à de riches profils statistiques dans les bases de données de la DNC. Les électeurs démocrates du noyau dur disaient aux appelants du DNC qu'ils étaient beaucoup moins susceptibles de voter que la probabilité statistique ne le suggérait. Wagner pouvait également calculer combien les programmes de mobilisation des démocrates feraient pour augmenter la participation des supporters, et dans la plupart des courses, il savait que cela ne suffirait pas à combler l'écart se révélant dans les tableaux de Survey Manager.

Ses prévisions du Congrès étaient erronées en moyenne de seulement 2,5 pour cent. C'était un point de preuve pour beaucoup de gens qui ne comprennent pas les mathématiques derrière tout cela, mais comprennent la valeur de ce que ces mathématiques produisent, explique Mitch Stewart, directeur de l'organisation pour l'Amérique. Une fois que cette première [élection] spéciale s'est produite, sa parole était l'étalon-or au DNC.

L'importance de la réussite de Wagner allait bien au-delà de sa capacité à déclarer les gagnants des mois avant le jour du scrutin. Sa démarche constitue une rupture décisive avec les outils de suivi de l'opinion publique du XXe siècle, qui s'articulent autour de la mise en quarantaine de petits échantillons pouvant être traités comme représentatifs de l'ensemble. Wagner était issu d'un groupe d'analystes qui considéraient les électeurs comme des individus et travaillaient à agréger des projections sur leurs opinions et leurs comportements jusqu'à ce qu'ils révèlent une image composite de chacun. Ses techniques ont marqué l'accomplissement d'une nouvelle façon de penser, une décennie en préparation, dans laquelle les électeurs n'étaient plus piégés dans d'anciennes géographies politiques ou attachés à des catégories démographiques traditionnelles, telles que l'âge ou le sexe, selon les attributs que les sondeurs demandaient ou comment les marketeurs les ont classés à des fins commerciales. Au lieu de cela, l'électorat pourrait être considéré comme un ensemble de citoyens individuels qui pourraient chacun être mesurés et évalués selon leurs propres termes. Maintenant, c'était à un candidat qui voulait amener ces personnes à construire une campagne qui interagirait avec eux de la même manière.

Dan Wagner, le directeur des analyses d'Obama 2012, a dirigé la Cave of data scientists de la campagne.

Après que les électeurs ont reconduit Obama au pouvoir pour un second mandat, sa campagne a été célébrée pour son utilisation de la technologie - en grande partie développée par une équipe inhabituelle de codeurs et d'ingénieurs - qui a redéfini la façon dont les individus pouvaient utiliser le Web, les médias sociaux et les smartphones pour participer au processus politique. Une application mobile permettait à un solliciteur de télécharger et de rendre des feuilles de marche sans jamais entrer dans un bureau de campagne ; une plate-forme Web appelée Dashboard a gamifié l'activité bénévole en classant les supporters les plus actifs ; et des protocoles de partage ciblés ont miné le réseau Facebook d'un partisan d'Obama à la recherche d'amis que la campagne souhaitait enregistrer, mobiliser ou persuader.

Mais au-dessous de tout cela se trouvaient des scores décrivant des électeurs particuliers : une nouvelle devise politique qui prédisait le comportement des humains individuels. La campagne ne savait pas seulement qui vous étiez ; il savait exactement comment il pouvait vous transformer en le type de personne qu'il voulait que vous soyez.

Les partitions

Quatre ans plus tôt, Dan Wagner travaillait dans un cabinet de conseil en économie de Chicago, utilisant des compétences de prévision développées en étudiant l'économétrie à l'Université de Chicago, lorsqu'il est tombé amoureux de Barack Obama et a décidé qu'il voulait travailler sur la campagne présidentielle de 2008 de son sénateur de l'État d'origine. Wagner, alors âgé de 24 ans, était bientôt à Des Moines, s'occupant de la saisie des données pour le fichier des électeurs de l'État qui a guidé Obama vers sa victoire cruciale dans les caucus de l'Iowa. Il a bondi d'un État à l'autre à travers le long calendrier primaire, se familiarisant avec les données des électeurs et les moyens d'utiliser des modèles statistiques pour trier intelligemment l'électorat. Pour les élections générales, il a été nommé cibleur principal pour la région des Grands Lacs et de la vallée de la rivière Ohio, le champ de bataille le plus intense du pays.

Après la victoire d'Obama, nombre de ses principaux conseillers ont décampé à Washington pour se préparer à gouverner. On a dit à Wagner de rester et de faire partie d'un groupe de travail post-électoral qui examinerait une campagne qui avait semblé, pour le monde extérieur, techniquement irréprochable.

Lors de l'élection présidentielle de 2008, les cibles d'Obama avaient attribué à chaque électeur du pays une paire de scores basée sur la probabilité que l'individu accomplisse deux actions distinctes importantes pour la campagne : voter et soutenir Obama. Ces scores ont été dérivés d'un volume sans précédent de travaux d'enquête en cours. Chaque semaine, pour chaque état du champ de bataille, les centres d'appels de la campagne ont mené 5 000 à 10 000 entretiens dits abrégés qui ont rapidement évalué les préférences d'un électeur, et 1 000 entretiens dans une version longue qui ressemblait davantage à un sondage traditionnel. Pour dériver des prédictions au niveau individuel, des algorithmes ont recherché des modèles entre ces opinions et les points de données que la campagne avait rassemblés pour chaque électeur - jusqu'à un millier de variables chacune, tirées des dossiers d'inscription des électeurs, des entrepôts de données des consommateurs et des contacts antérieurs de la campagne.

Cette innovation a été la plus appréciée sur le terrain. Là, un cycle presque parfait de modèles de micro-ciblage a dirigé les volontaires vers des conversations scénarisées avec des électeurs spécifiques à la porte ou au téléphone. Chacune de ces interactions a produit des données qui ont été renvoyées dans les serveurs d'Obama pour affiner les modèles pointant les volontaires vers la porte d'à côté qui valait la peine d'être frappée. L'efficacité et l'ampleur de ce processus ont donné aux démocrates une longueur d'avance sur le profilage des électeurs. La campagne de John McCain n'avait, dans la plupart des États, exécuté son modèle statistique qu'une seule fois, affectant chaque électeur à l'un de ses segments de microciblage au cours de l'été. Les conseillers de McCain n'ont pas été en mesure de recalculer la probabilité que ces électeurs soutiendraient leur candidat à mesure que la dynamique de la course changeait. Les scores d'Obama, en revanche, se sont ajustés chaque semaine, en réponse à de nouveaux événements comme la nomination à la vice-présidence de Sarah Palin ou l'effondrement de Lehman Brothers.

Au sein de la campagne, cependant, les opérations de données d'Obama ont été considérées comme présentant des lacunes. Comme c'était généralement le cas dans les infrastructures d'information politique, les connaissances sur les personnes étaient stockées séparément des données sur les interactions de la campagne avec elles, principalement parce que les bases de données construites à ces fins avaient été développées par différents consultants qui n'avaient aucun intérêt à faire fonctionner leurs systèmes ensemble.

Mais le groupe de travail savait que la prochaine campagne n'était pas coincée avec cette situation. Obama mènerait sa dernière course non pas en tant qu'insurgé contre l'establishment du parti, mais en tant qu'establishment lui-même. Pendant quatre ans, les membres du groupe de travail savaient que leur équipe contrôlerait l'appareil du Parti démocrate. Leurs demandes, et non les offres des consultants et des fournisseurs, façonneraient le marché. Leur rapport recommandait de développer un système de gestion des relations avec les électeurs qui permettrait au personnel de toute la campagne de rechercher des individus non seulement en tant qu'électeurs, bénévoles, donateurs ou utilisateurs de sites Web, mais en tant que citoyens à part entière. Nous avons réalisé qu'il y avait un problème avec la façon dont nos données et notre infrastructure interagissaient avec le reste de la campagne, et nous devrions être en mesure de l'offrir à toutes les parties de la campagne, déclare Chris Wegrzyn, développeur d'applications de base de données qui a fait partie du groupe de travail. .

Wegrzyn est devenu le principal développeur de ciblage de la DNC et a supervisé une série d'acquisitions coûteuses, toutes destinées à libérer le parti de la dépendance traditionnelle vis-à-vis des fournisseurs extérieurs. Le comité a installé une unité de numérotation téléphonique Siemens Enterprise System qui pourrait émettre 1,2 million d'appels par jour pour sonder l'opinion des électeurs. Plus tard, les chefs de parti ont signé une licence de 280 000 $ pour utiliser le logiciel Vertica de Hewlett-Packard qui a permis à leurs serveurs d'accéder non seulement au fichier d'électeurs de 180 millions de personnes du parti, mais à toutes les données sur les bénévoles, les donateurs et ceux qui avaient interagi avec Obama en ligne.

Beaucoup de ceux qui se sont rendus à Washington après les élections de 2008 afin de faire avancer l'agenda politique du président sont revenus à Chicago au printemps 2011 pour travailler sur sa réélection. Les pertes sévères qu'ils avaient subies à Washington les ont séparés de ceux qui n'avaient connu que les extases de 2008. Les gens qui ont fait '08, mais pas '10, et sont revenus en '11 ou '12—ils avaient la culture la plus dure choc, raconte Jeremy Bird, devenu directeur national de terrain sur la campagne de réélection. Mais ceux qui sont allés à Washington et sont revenus à Chicago ont développé une appréciation particulière des méthodes de Wagner pour travailler avec l'électorat au niveau atomique. C'était une façon de penser qui correspondait parfaitement à leur théorie simple de ce qu'il faudrait pour gagner la réélection du président : faire en sorte que tous ceux qui avaient voté pour lui en 2008 le fassent à nouveau. Dans le même temps, ils savaient qu'ils devraient réussir à inscrire et à mobiliser de nouveaux électeurs, en particulier dans certaines des catégories démographiques à la croissance la plus rapide, pour compenser tous les électeurs de 2008 qui ont fait défection.

La campagne d'Obama a commencé l'année électorale avec la certitude de connaître le nom de chacun des 69 456 897 Américains dont les votes l'avaient nommé à la Maison Blanche. Ils ont peut-être voté à bulletin secret, mais les analystes d'Obama pourraient examiner le total des votes des démocrates dans chaque circonscription et identifier les personnes les plus susceptibles de l'avoir soutenu. Les experts ont parlé dans l'abstrait de la réorganisation de la coalition d'Obama en 2008. Mais au sein de la campagne, l'objectif était littéral. Ils reconstitueraient la coalition, un par un, grâce à des contacts personnels.

Demain : Partie 2—Les expériences

cacher