La sagesse de la foule prédit avec précision les décisions de la Cour suprême

FantasySCOTUS est une ligue fantastique en ligne dans laquelle les concurrents s'affrontent en prédisant les décisions prises par la Cour suprême des États-Unis. Les joueurs sont classés comme dans n'importe quelle ligue fantastique, et les meilleurs joueurs peuvent gagner des prix tels qu'un Golden Gavel et même 10 000 $ en espèces.

Depuis 2011, quelque 7 000 joueurs ont fait plus de 600 000 prédictions sur l'issue de plus de 400 décisions de la Cour suprême. Ces personnes n'ont besoin d'aucune qualification particulière et l'entrée est gratuite, bien que les prix soient limités aux citoyens américains. Les joueurs peuvent aller et venir à leur guise, prenant part à certains pronostics mais pas à d'autres.

Tout cela en fait un groupe intéressant. Les spécialistes des sciences sociales s'intéressent depuis longtemps à la sagesse des foules - le phénomène dans lequel un grand nombre d'individus, agissant apparemment de manière indépendante, peuvent ensemble prendre des décisions étonnamment précises, parfois même meilleures que les plus intelligentes d'entre elles.

Le paysage de la sagesse participative dans la prédiction des décisions SCOTUS

Les scientifiques savent que dans certaines circonstances, la sagesse des foules est très précise, mais que dans d'autres, ce n'est pas mieux que deviner au hasard, et parfois pire. Alors, à quel point la foule est-elle douée pour prédire les décisions de la Cour suprême ?

Aujourd'hui, nous obtenons une réponse grâce au travail de Daniel Martin Katz du Chicago Kent College of Law dans l'Illinois et de quelques amis qui ont analysé les données de FantasySCOTUS pour déterminer à quel point la sagesse de la foule est vraiment bonne. Et ils montrent que le crowdsourcing est assez bon pour prédire le résultat dans un large éventail de conditions.

Leur méthode est simple. Ces gars proposent le scénario suivant :

Imaginez si l'histoire suivante était réelle. En octobre 2011, un prix d'un million de dollars a été annoncé pour prédire six ans de décisions de la Cour suprême des États-Unis utilisant des données de crowdsourcing. Des milliers d'équipes de l'industrie et du milieu universitaire relèvent le défi, chacune faisant des choix légèrement différents mais raisonnables sur la façon de faire ses prédictions.

Katz et co demandent comment ces équipes pourraient aborder le problème. Certaines équipes pourraient suivre la sagesse de la foule en général, d'autres pourraient choisir un sous-ensemble d'individus influents à suivre, une autre approche pourrait consister à pondérer l'influence des individus en fonction de leur exactitude dans le passé, etc. Ces modèles peuvent également évoluer au fil du temps à mesure que les équipes apprennent quel type d'approche fonctionne le mieux.

La question que Katz et co posent est de savoir à quel point ces modèles peuvent être bons. Pour le savoir, ils créent une large gamme de modèles - environ 250 000 d'entre eux - et les testent sur les données de FantasySCOTUS. Nous simulons de manière exhaustive des modèles sur un large éventail de choix raisonnables, puis analysons les performances de ces modèles dans leur ensemble, expliquent les chercheurs.

Ils comparent ensuite les performances des modèles avec un modèle nul. Dans ce cas, le modèle nul est une règle empirique que les avocats utilisent pour deviner le résultat des décisions de la Cour suprême. Cette règle suppose que SCOTUS annulera la décision de tout tribunal inférieur. Et en effet, c'est ce qui se passe environ 60% du temps.

L'analyse montre que les modèles crowdsourcés sont encore meilleurs. Katz et co affirment que de nombreux modèles surpassent systématiquement le modèle nul, le meilleur prédicteur des décisions SCOTUS avec une précision de 80 %. Nous apportons un soutien solide à l'affirmation selon laquelle le crowdsourcing peut prédire avec précision et robustesse les décisions de la Cour suprême des États-Unis, disent-ils.

L'équipe prévoit d'utiliser la même méthode pour prédire le résultat d'autres processus législatifs et même d'élections.

Cependant, le travail ne donne pas un aperçu des faiblesses de la sagesse du crowdsourcing. Par exemple, la sagesse des foules s'effondre souvent lorsque les opinions des individus deviennent corrélées, lorsqu'elles s'influencent trop fortement. Cela peut entraîner des situations désastreuses, comme lorsque de grands groupes ont des opinions irrationnelles ou erronées sous l'emprise de la pensée de groupe.

Bien sûr, le domaine intéressant se situe entre ces extrêmes, entre la sagesse et la folie. C'est pourquoi comprendre comment et quand la sagesse s'effondre pourrait être une piste intéressante pour les travaux futurs.

Réf : arxiv.org/abs/1712.03846 : Le crowdsourcing prédit avec précision et robustesse les décisions de la Cour suprême

cacher