Science des données et statistiques : opportunités et défis

fourni par Formation professionnelle du MIT

Nous vivons maintenant dans un monde où il semble que tout ce qui nous concerne est (ou sera bientôt) suivi et enregistré : ce que nous mangeons, ce que nous regardons, comment nous socialisons, ce que nous aimons et n'aimons pas, nos statistiques de santé vitales - et la liste continue.

Un tel accès sans précédent aux données personnelles présente des opportunités potentiellement énormes pour, par exemple, aider les responsables gouvernementaux à prendre de meilleures décisions politiques, permettre aux entreprises de fonctionner plus efficacement et de manière plus rentable, rationaliser l'utilisation des ressources publiques, soutenir des soins de santé et une conception de médicaments plus personnalisés, et améliorer autrement la qualité de vie globale dans notre société. La clé pour saisir ces opportunités réside dans notre capacité à convertir les données disponibles en décisions importantes.

Science des données et statistiques : opportunités et défis

• Ce nouveau cours en ligne de 6 semaines commence le 4 octobre.

  Inscrivez-vous aujourd'hui !

Un prochain cours de formation professionnelle en ligne de six semaines du MIT, Science des données : des données aux informations , proposé en partenariat avec le MIT Institute for Data, Systems, and Society ( IDSS ), se concentrera sur l'analyse. Mais il répondra également à des préoccupations telles que les dernières tendances en matière d'apprentissage automatique : comment extraire des informations et des préférences significatives à partir des données clients en général et comment poser les bonnes questions pour prendre de meilleures décisions commerciales.

Le défi

Au cours des dernières décennies, nous avons construit une infrastructure capable de stocker et de traiter d'énormes quantités de données. Cependant, nous n'avons toujours pas la capacité essentielle d'assembler de manière transparente divers éléments de données pour faire des prédictions significatives qui conduisent à des décisions à fort impact. Compte tenu des opportunités infinies qui peuvent être ouvertes en remédiant à cette lacune, je pense qu'il s'agit de l'un des défis déterminants de notre époque.

Les établissements d'enseignement peuvent jouer un rôle de premier plan pour relever cet important défi. Au MIT, l'IDSS et son nouveau Statistics and Data Science Center ( SDSC ) aidera à relever le défi consistant à transformer les données en décisions concrètes grâce à une approche à deux volets :

1. Former nos élèves être capable de travailler avec de grandes quantités de données et d'utiliser les outils pour en extraire des informations significatives. En d'autres termes, nous devons éduquer les étudiants de toutes les disciplines à être à la fois des data scientists et statisticiens. Cela exige que les établissements conçoivent un programme éducatif rationalisé et interdisciplinaire qui comprend des éléments de l'ingénierie, des sciences mathématiques et des sciences sociales.
2. Élaboration d'un programme de recherche qui produit finalement un système de traitement de données statistiques qui peut être facilement utilisé pour faire toutes sortes de prédictions précises. Un tel système doit fonctionner avec des sources de données hétérogènes, fonctionner à grande échelle et conduire à des prédictions qui peuvent être interprétées efficacement. Ce programme ambitieux pourrait aider à mobiliser un effort intellectuel interdisciplinaire et passionnant en science des données et en statistiques pour la prochaine décennie ou au-delà.

Penser aux décisions

Voyons comment les décisions sont prises. Dans une organisation typique, les tâches opérationnelles de base dépendent des décisions sur la manière d'investir les ressources disponibles parmi différentes options concurrentes, avec un œil sur un ou plusieurs objectifs.

Par exemple, le gouvernement américain prend de telles décisions lors de l'élaboration de son budget. Une société de négoce investit de l'argent dans différents instruments financiers pour créer des portefeuilles avec des rendements élevés et, potentiellement, des risques bien compris. Une organisation de vente au détail prend des décisions sur les achats de marchandises qui généreront des revenus et des bénéfices élevés. Un ménage prend des décisions sur la façon de tirer le meilleur parti du revenu familial. Un individu rationnel prend des décisions sur ce qu'il veut manger (et ce ne pas manger) pour avoir suffisamment d'énergie et rester en bonne santé.

Toutes ces décisions, en un mot, se résument à faire des prédictions, puis à entreprendre certaines activités d'optimisation en utilisant ces prédictions.

Comment ça marche : un exemple de vente au détail

Examinons maintenant un exemple concret impliquant un détaillant de vêtements. Le principal problème opérationnel du détaillant consiste à déterminer quels produits présenter aux clients, compte tenu de diverses contraintes opérationnelles telles que son budget d'achat de stocks, les limites de l'espace de stockage de ses magasins et les horaires de ses fournisseurs. La question du choix des produits à présenter se pose à différents moments pour différents types de décisions, telles que décider quels produits acheter dans la chaîne de magasins, lesquels expédier à divers endroits à partir des centres de distribution, quels produits à rabais, lesquels promouvoir via e-mail, et que montrer aux clients lorsqu'ils visitent des magasins ou des sites de commerce électronique.

Toutes ces questions, en substance, nécessitent une compréhension de ce que les gens aiment et n'aiment pas. Certains systèmes existants fournissent ces informations et peuvent indiquer, par exemple, que les chemises bleues sont à la mode tandis que les shorts rouges ont cessé de se vendre. Mais comment convertir ces idées en action ?

Prise de décision basée sur les données

Conceptuellement, la prise de décision basée sur les données nécessite de connecter des variables de décision et des options aux données, puis de résoudre un problème d'optimisation avec des objectifs variables. Sur le plan opérationnel, cela nécessite de construire un système de traitement de données qui pourrait être à très grande échelle et qui pourrait devoir fonctionner en temps réel avec trois composants de haut niveau : interfaces, infrastructure et algorithmes.

Interfaces. Ceux-ci fournissent des moyens de fournir des informations aux clients finaux et des capteurs pour collecter des informations. Par exemple, les interfaces Web (navigateur) ou les applications mobiles permettent de collecter des informations sur les activités des clients en ligne. De même, de telles interfaces peuvent aider un décideur dans une organisation de vente au détail à interagir avec des données et des informations, ainsi qu'à obtenir une aide à la décision. La standardisation de telles interfaces a permis une innovation massive dans ce domaine au cours de la dernière décennie.

Infrastructure. Le rôle de l'infrastructure est de fournir un moyen de stocker et de traiter de manière transparente des quantités massives de données. Le besoin d'une telle infrastructure est apparu naturellement à la fin des années 1990, alors que l'ère d'Internet prenait de l'ampleur. Il n'est pas surprenant que les sociétés de recherche sur le Web aient été les pionnières des innovations de base. Fait intéressant, la recherche sur le Web, une fonctionnalité apparemment simple, a conduit au développement d'une infrastructure générique de stockage et de calcul évolutive. Cela, à son tour, a été la principale raison des récentes innovations passionnantes dans le calcul évolutif et le traitement des données.

Algorithmes. Les algorithmes de traitement des données transforment les données brutes collectées en informations et décisions précieuses. Des modèles appropriés sont utilisés pour relier ces données aux variables de décision. Par exemple, lorsque des données brutes sont générées par des personnes, il peut être judicieux d'utiliser un modèle comportemental pour relier ces données observées à des variables de décision. Les algorithmes résultants utilisent l'infrastructure de calcul et de stockage, sur la base des données obtenues via l'interface, et produisent des résultats finaux qui peuvent être livrés à l'utilisateur final via l'interface.

Or, un enjeu majeur est de permettre le développement d'algorithmes de traitement de données pour toutes les personnes. Contrairement à la disponibilité d'interfaces standardisées ou d'une architecture générique de calcul et de stockage, nous sommes loin d'avoir une architecture générique, informatique, algorithmique.

Reprenons l'exemple de vente au détail ci-dessus. Plus précisément, considérez la tâche de décision concernant les produits à montrer aux clients lorsqu'ils visitent le site de commerce électronique, c'est-à-dire comment pouvons-nous personnaliser l'expérience de chaque client ? Naturellement, cela dépend des données sur le client spécifique, ainsi que des données collectées sur les autres.

Ces données sont collectées via l'historique de navigation d'un client et les clics sur le site Web de commerce électronique, les achats passés et d'autres activités en ligne recueillies via nos interfaces Web et mobiles. Il est probablement stocké dans une infrastructure de stockage. Il est transformé en décisions personnalisées en temps réel via des algorithmes de traitement de données potentiellement sophistiqués qui utilisent des modèles comportementaux issus des sciences sociales, ainsi que des méthodes issues des statistiques mathématiques et de l'apprentissage automatique. Les algorithmes informatiques utilisent l'infrastructure de calcul pour pouvoir prendre de telles décisions en temps réel. De cette manière, des décisions personnalisées sont fournies au client via l'interface.

La clé de la construction de ce type de système de personnalisation ou de recommandation est d'avoir accès à une équipe qualifiée de scientifiques des données et de statisticiens qui peuvent identifier les méthodes statistiques et les modèles comportementaux appropriés pour développer des algorithmes de traitement des données. Ils peuvent ensuite concevoir des interfaces conviviales qui peuvent collecter des données utiles et ensuite prendre des décisions. Bien qu'il s'agisse d'une entreprise coûteuse, certains des plus grands détaillants ont déjà emprunté cette voie.

D'autre part, le système de personnalisation/recommandation a des fonctions spécifiques qui prennent une forme très similaire d'une organisation à l'autre. Cette similitude a permis le développement de systèmes de recommandation génériques. Par conséquent, de nombreux détaillants finissent par acheter de tels systèmes auprès de fournisseurs externes qui se contentent de brancher le système de personnalisation via les interfaces.

Fermer la boucle

Comme indiqué précédemment, l'un des principaux défis consiste à passer des données aux décisions. Nous avons déjà beaucoup de données, et nous avons une bonne infrastructure pour les stocker et les traiter, mais nous devons comprendre comment traiter. La discussion sur le système de personnalisation/recommandation explique précisément les deux approches que nous pouvons utiliser simultanément pour relever ce défi.

Premièrement, nous devons permettre aux organisations de constituer leur équipe de data scientists compétents. Deuxièmement, nous devons développer une architecture algorithmique générique de traitement de données. Plus précisément, cette architecture de traitement de données doit se concentrer sur le développement d'un système de prédiction générique. En effet, un système de prise de décision comporte essentiellement deux composants : prédire les inconnues et utiliser les prédictions pour effectuer une optimisation. Au cours des dernières décennies, des progrès significatifs ont été réalisés pour développer la théorie et la pratique de l'optimisation. Cependant, nous ne pouvons toujours pas définir ce qu'est le problème de prédiction générique et universel.

IDSS, SDSC et « science des données »

Le MIT a lancé l'IDSS pour répondre aux questions de société émergeant au cours du siècle prochain. Bien que bon nombre de ces problèmes impliquent plusieurs disciplines, ils sont tous liés par un défi commun : les décisions basées sur les données. Pour développer un programme éducatif et permettre la recherche en science des données et en statistiques à l'IDSS, le MIT a créé le SDSC sous l'égide de l'IDSS.

Nous aiderons à relever le défi de transformer les données en décisions en permettant les deux approches que j'ai décrites à la fois par le biais du SDSC et de l'IDSS. Plus précisément, le SDSC formera des spécialistes des données et des statisticiens sophistiqués par le biais de programmes éducatifs interdisciplinaires. L'IDSS fournira un environnement de recherche interdisciplinaire qui permettra à ses membres d'entreprendre des programmes de recherche ambitieux en statistique et en science des données.

Pendant ce temps, notre nouveau cours en ligne de six semaines, Science des données : des données aux informations , qui commence le 4 octobre, partagera les dernières informations sur les moyens d'appliquer les techniques de la science des données pour relever plus efficacement les nombreux défis de votre organisation. Pour en savoir plus sur la façon de créer l'avenir de l'analyse de données de votre entreprise, veuillez visiter la page d'inscription aux cours .

Remerciements : L'auteur remercie Munther Dahleh et Philippe Rigollet pour leurs commentaires sur une version antérieure de cet article, et Stefanie Koperniak et Myriam Joseph pour sa relecture et son édition.

Devavrat Shah, co-directeur du cours Data Science: Data to Insights, est professeur au Département de génie électrique et informatique du MIT, directeur du SDSC et membre du corps professoral de l'IDSS. Il est également membre du Laboratoire des systèmes d'information et de décision (LIDS) du MIT et du Centre de recherche opérationnelle (ORC).

cacher