Leçons du data scientist superstar de la pandémie, Youyang Gu

Mme Tech | Photo de courtoisie

Le data scientist Youyang Gu se considère comme un réaliste – il le déclare dans son Profil Twitter : Présentateur de prises impartiales. Réaliste.

Lorsqu'il a remarqué les projections dispersées du Covid-19 au printemps dernier - un modèle prévoyait 2 millions de décès aux États-Unis d'ici l'été, un autre prévoyait 60 000 - Gu s'est demandé si c'était aussi bon que la modélisation pouvait l'être. Il a décidé de tenter de fabriquer lui-même un modèle covid-19. Mon objectif était de produire le modèle le plus précis possible, dit Gu, depuis son appartement à Manhattan. Pas de 'si ceci' ou de 'si cela'. Fondamentalement, pas de 'si'. Peu importe les scénarios. Je voulais juste le dire: 'C'est la prévision la plus probable ou la plus réaliste de ce qui va se passer.'

En une semaine, il avait construit un modèle d'apprentissage automatique et lancé son Site Web des projections COVID-19 . Il a exécuté le modèle tous les jours – cela ne lui a pris qu'une heure sur son ordinateur portable – et a publié des projections de décès dues au Covid-19 pour 50 États américains, 34 comtés et 71 pays.

Histoire connexe

Le covid pourrait-il entraîner une maladie auto-immune à vie?

Il est de plus en plus évident que chez certaines personnes, les infections à covid produisent des auto-anticorps ciblant les organes du corps. Si cela est vrai, cela pourrait signifier des années de maladie et de misère persistantes pour beaucoup.

Fin avril, il attirait l'attention - en fin de compte, des millions de personnes consultaient son site Web quotidiennement. Carl Bergstrom, professeur de biologie à l'Université de Washington, a remarqué et commenté sur Twitter que le modèle de Gu faisait des prédictions qui semblaient aussi bonnes que toutes celles que j'ai vues.

Je peux être un peu sceptique en ML. Mais dans ce cas, ne laissez pas le texte 'apprentissage automatique' vous faire croire qu'il s'agit d'huile de serpent, a tweeté Bergstrom.

Diplômé du MIT avec une maîtrise en génie électrique et en informatique (plus un diplôme en mathématiques), Gu, 27 ans, travaillait dans une startup d'analyse sportive lorsque la pandémie a frappé. Mais il a mis cette entreprise en pause alors que les sports des ligues majeures fermaient. Et puis, en cherchant simplement l'épidémiologie sur Google, il a commencé son incursion dans le mannequinat covid-19.

Je n'avais aucune expérience en modélisation des maladies infectieuses, dit-il. Mais il avait quelques années d'expérience en tant que scientifique des données en finance, travaillant avec des modèles statistiques - des modèles qui, sur la base de certaines hypothèses statistiques, analysent les données et font des projections sur, par exemple, où le prix d'une action sera à l'avenir. .

Il s'avère qu'une grande partie de la modélisation des maladies infectieuses est essentiellement une modélisation statistique, explique Gu. Et l'objectif de précision axé sur le profit de l'industrie financière l'a bien servi dans le domaine épidémiologique. Si vous ne pouvez pas créer un modèle précis en finance, vous n'aurez plus de travail, dit-il. En revanche, l'objectif dans le milieu universitaire - du moins du point de vue de Gu - n'est pas tant de créer des modèles précis, mais plutôt de publier des articles et d'informer les politiques publiques. Cela ne veut pas dire qu'ils ne fabriquent pas de modèles précis, mais simplement qu'ils n'optimisent pas spécifiquement pour la précision, dit-il.

Le modèle de Gu combine l'apprentissage automatique avec un simulateur classique de maladies infectieuses appelé modèle SEIR (en tenant compte des individus de la population qui sont sensibles, exposés, infectieux, récupérés ou retirés pour cause de décès).

Le composant SEIR utilise comme entrée un ensemble simulé de paramètres - une plage de meilleure estimation pour des variables telles que le nombre de reproduction de base (le taux auquel de nouveaux cas surviennent dans une population entièrement sensible au début d'une épidémie, avant les interventions ou l'immunité) , taux d'infection, date de confinement, date de réouverture et nombre effectif de reproduction (taux auquel de nouveaux cas surviennent après certaines interventions). En termes de sorties, le simulateur SEIR calcule d'abord les infections au fil du temps, puis calcule les décès (en multipliant les infections par le taux de mortalité par infection).

La couche d'apprentissage automatique de Gu génère ensuite des milliers de combinaisons différentes pour ces ensembles de paramètres en essayant de trouver les paramètres réels pour chaque région géographique. Il apprend quels paramètres génèrent les projections de décès les plus précises en comparant les prévisions SEIR avec des données réelles sur les décès quotidiens de l'Université Johns Hopkins. Il essaie d'apprendre quels ensembles de paramètres génèrent des décès qui correspondent le mieux aux données réelles observées, en regardant en arrière, dit Gu. Et puis il utilise ces paramètres pour prévoir et faire des projections sur les décès dans le futur.

Les prévisions se sont avérées remarquablement exactes. Par exemple, le 3 mai, il a fait une apparition sur CNN ce soir et a partagé les projections de son modèle selon lesquelles les États-Unis atteindraient 70 000 décès le 5 mai, 80 000 décès le 11 mai, 90 000 décès le 18 mai et 100 000 décès le 27 mai. Le 28 mai, il tweeté , covid19-projections.com a obtenu les 4 dates exactement correctes. Avec quelques arrondis, c'était vrai.

Je ne dis pas que j'ai été parfait au cours de la dernière année. Je me suis trompé plusieurs fois. Mais je pense que nous pouvons tous apprendre à aborder la science comme une méthode pour trouver la vérité, plutôt que la vérité elle-même.

Youyang Gu

Le modèle n'était pas parfait, bien sûr, mais il a impressionné Nicholas Reich, biostatisticien et chercheur en maladies infectieuses à l'Université du Massachusetts, Amherst, dont le laboratoire, en collaboration avec les Centers for Disease Control and Prevention des États-Unis, agrège les résultats d'environ 100 équipes de modélisation internationales. Parmi tous les modèles agrégés, a observé Reich, le modèle de Gu était systématiquement parmi les meilleurs.

Le 6 octobre, Gu a publié sa dernière prévision de décès, juste avant la vague d'automne. Le modèle prévoyait qu'il y aurait 231 000 décès aux États-Unis d'ici le 1er novembre. Le total enregistré à cette date : 230 995.

Gu a arrêté son premier modèle début octobre car à ce moment-là, de nombreuses équipes faisaient de bonnes prévisions de décès. Il s'est plutôt tourné vers la modélisation des infections réelles par rapport aux infections signalées. Et puis en décembre, il a commencé à suivre le déploiement des vaccins et l'insaisissable tapoter h à l'immunité collective – qu'il a révisé au début de 2021 pour passer à la normalité. Tandis que immunité collective est atteint lorsqu'une partie suffisante d'une population est immunisée contre le virus, freinant ainsi la propagation, Gu définit la normalité comme la levée de toutes les restrictions liées au covid-19 pour la majorité des États américains.

Histoire connexe

Comment une petite entreprise de médias aide les gens à se faire vacciner

Alors que de nombreuses personnes ont encore du mal à se faire vacciner contre le covid à New York, un bulletin d'information local a agi en tant qu'entremetteur de vaccins.

Il est devenu clair que nous n'allons pas atteindre l'immunité collective en 2021, du moins certainement pas dans tout le pays, dit-il. Et je pense qu'il est important, surtout si vous essayez d'instaurer la confiance, que nous empruntions des voies raisonnables pour revenir à la normale. Nous ne devrions pas lier cela à un objectif irréaliste comme atteindre l'immunité collective. Je suis toujours prudemment optimiste quant à la validité de ma prévision initiale de février, pour un retour à la normale en été.

Au début du mois de mars, il a entièrement fait ses valises - il a pensé qu'il avait apporté la contribution qu'il pouvait. Je voulais prendre du recul et laisser les autres modélisateurs et experts faire leur travail, dit-il. Je ne veux pas brouiller l'espace.

Il garde toujours un œil sur les données, fait des recherches et des analyses - sur les variantes, le déploiement du vaccin et la quatrième vague. Si je vois quelque chose de particulièrement troublant ou inquiétant dont je pense que les gens ne parlent pas, je le publierai certainement, dit-il. Mais pour l'instant, il se concentre sur d'autres projets, comme Actions YOLO , une plateforme d'analyse des cours boursiers. Son principal travail sur la pandémie est en tant que membre du groupe consultatif technique de l'Organisation mondiale de la santé sur l'évaluation de la mortalité liée au covid-19, où il partage son expertise extérieure.

J'ai certainement beaucoup appris l'année dernière, dit Gu. C'était très révélateur.

Leçon n°1 : Concentrez-vous sur les fondamentaux

Du point de vue de la science des données, mes modèles ont montré l'importance de la simplicité, qui est souvent sous-évaluée, dit Gu. Son modèle de prévision de la mort était simple non seulement dans sa conception - le composant SEIR avec une couche d'apprentissage automatique - mais aussi dans son approche ascendante très épurée concernant les données d'entrée. L'approche ascendante signifie partir du strict minimum et ajouter de la complexité au besoin, dit-il. Mon modèle utilise uniquement les décès passés pour prédire les décès futurs. Il n'utilise aucune autre source de données réelle.

Gu a remarqué que d'autres modèles s'appuyaient sur une variété éclectique de données sur les cas, les hospitalisations, les tests, la mobilité, l'utilisation du masque, les comorbidités, la répartition par âge, démographie , saisonnalité de la pneumonie, taux annuel de mortalité par pneumonie, densité de population, pollution de l'air, altitude, données sur le tabagisme, contacts autodéclarés, trafic de passagers aériens, points de service, thermomètres intelligents, messages Facebook, recherches Google, etc.

Il y a cette croyance que si vous ajoutez plus de données au modèle ou si vous le rendez plus sophistiqué, alors le modèle fonctionnera mieux, dit-il. Mais dans des situations réelles comme la pandémie, où les données sont si bruyantes, vous voulez garder les choses aussi simples que possible.

J'ai décidé très tôt que les décès passés étaient le meilleur prédicteur des décès futurs. C'est très simple : entrée, sortie. L'ajout de plus de sources de données rendra simplement plus difficile l'extraction du signal du bruit.

Leçon n°2 : Minimiser les hypothèses

Gu considère qu'il avait un avantage à aborder le problème avec une ardoise vierge. Mon objectif était simplement de suivre les données sur le covid pour en savoir plus sur le covid, dit-il. C’est l’un des principaux avantages du point de vue d’un étranger.

Mais n'étant pas épidémiologiste, Gu devait également s'assurer qu'il ne faisait pas d'hypothèses incorrectes ou inexactes. Mon rôle est de concevoir le modèle de manière à ce qu'il puisse apprendre les hypothèses pour moi, dit-il.

Lorsque de nouvelles données arrivent qui vont à l'encontre de nos croyances, nous avons parfois tendance à négliger ces nouvelles données ou à les ignorer, et cela peut avoir des répercussions sur la route, note-t-il. J'ai certainement été victime de cela, et je sais que beaucoup d'autres personnes l'ont fait aussi.

Donc, être conscient du biais potentiel que nous avons et le reconnaître, et être capable d'ajuster nos a priori - ajuster nos croyances si de nouvelles données les réfutent - est vraiment important, surtout dans un environnement en évolution rapide comme ce que nous avons vu avec covid .

Leçon n°3 : Tester l'hypothèse

Ce que j'ai vu au cours des derniers mois, c'est que n'importe qui peut faire des déclarations ou manipuler des données pour correspondre au récit de ce en quoi il veut croire, dit Gu. Cela souligne l'importance de simplement faire des hypothèses vérifiables.

Pour moi, c'est toute la base de mes projections et prévisions. J'ai un ensemble d'hypothèses, et si ces hypothèses sont vraies, alors c'est ce que nous prévoyons qui se produira à l'avenir, dit-il. Et si les hypothèses s'avèrent fausses, nous devons bien sûr admettre que les hypothèses que nous formulons ne sont pas vraies et nous ajuster en conséquence. Si vous ne faites pas d'hypothèses vérifiables, il n'y a aucun moyen de montrer si vous avez réellement raison ou tort.

Leçon n°4 : Apprenez de vos erreurs

Toutes les projections que j'ai faites n'étaient pas correctes, dit Gu. En mai 2020, il prévoyait 180 000 décès aux États-Unis d'ici début août. C'est beaucoup plus que ce que nous avons vu, se souvient-il (il y a eu environ 155 000 morts). Son hypothèse vérifiable s'est avérée incorrecte et cela m'a forcé à ajuster mes hypothèses.

À l'époque, Gu utilisait un taux de mortalité par infection fixe d'environ 1 % comme constante dans le simulateur SEIR. Lorsqu'en été, il a abaissé le taux de mortalité par infection à environ 0,4% (et plus tard à environ 0,7%), ses projections sont revenues à une fourchette plus réaliste.

Leçon n°5 : Engagez les critiques

Tout le monde ne sera pas d'accord avec mes idées, et je m'en réjouis, dit Gu, qui a utilisé Twitter pour publier ses projections et analyses. J'essaie de répondre aux gens autant que je peux, et de défendre ma position, et de débattre avec les gens. Cela vous oblige à réfléchir à vos hypothèses et à la raison pour laquelle vous pensez qu'elles sont correctes.

Cela revient au biais de confirmation, dit-il. Si je ne suis pas en mesure de défendre correctement ma position, est-ce vraiment la bonne affirmation et devrais-je faire ces affirmations ? Cela m'aide à comprendre, en m'engageant avec d'autres personnes, comment penser à ces problèmes. Lorsque d'autres personnes présentent des preuves qui contredisent mes positions, je dois être capable de reconnaître quand je peux me tromper dans certaines de mes hypothèses. Et cela m'a énormément aidé à améliorer mon modèle.

Leçon n°6 : Faites preuve d'un scepticisme sain

Je suis maintenant beaucoup plus sceptique à l'égard de la science - et ce n'est pas une mauvaise chose, dit Gu. Je pense qu'il est important de toujours remettre en question les résultats, mais de manière saine. C'est une ligne fine. Parce que beaucoup de gens rejettent carrément la science, et ce n'est pas non plus la bonne façon de procéder.

Mais je pense qu'il est également important de ne pas simplement faire aveuglément confiance à la science, poursuit-il. Les scientifiques ne sont pas parfaits. Il convient, dit-il, si quelque chose ne semble pas correct, de poser des questions et de trouver des explications. Il est important d'avoir des points de vue différents. S'il y a quelque chose que nous avons appris au cours de l'année écoulée, c'est que personne n'a raison à 100 % tout le temps.

Je ne peux pas parler au nom de tous les scientifiques, mais mon travail consiste à couper tout le bruit et à découvrir la vérité, dit-il. Je ne dis pas que j'ai été parfait au cours de la dernière année. Je me suis trompé plusieurs fois. Mais je pense que nous pouvons tous apprendre à aborder la science comme une méthode pour trouver la vérité, plutôt que la vérité elle-même.

cacher