L'exploration de données révèle la façon dont les humains s'évaluent mutuellement

La façon dont nous évaluons les performances des autres humains est l'un des plus grands mystères de la psychologie cognitive. Ce processus se produit en continu lorsque nous jugeons la capacité des individus à effectuer certaines tâches, en évaluant tout le monde, des électriciens aux chauffeurs de bus en passant par les comptables et les politiciens.

Le problème est que nous n'avons accès qu'à un ensemble limité de données sur les performances d'un individu - certaines d'entre elles directement pertinentes, comme le dossier de conduite d'un chauffeur de taxi, mais la plupart non pertinentes, comme le sexe du conducteur. En effet, la quantité d'informations peut être si vaste que nous sommes obligés de décider d'en utiliser un petit sous-ensemble. Comment ces décisions sont-elles prises ?

Aujourd'hui, nous obtenons une sorte de réponse grâce au travail de Luca Pappalardo de l'Université de Pise en Italie et de quelques copains qui ont étudié ce problème dans le domaine sportif, où les questions de performance sont mises en relief. Leur travail fournit un aperçu unique de la façon dont nous évaluons la performance humaine et comment cela se rapporte à des mesures objectives.

Les facteurs que les observateurs humains utilisent pour évaluer les performances sont un petit sous-ensemble de mesures objectives.

La performance sportive est un domaine où des enregistrements détaillés des performances individuelles sont rassemblés depuis quelques années. Pappalardo et co se concentrent sur le football, le sport le plus populaire au monde, et en particulier sur les performances des joueurs en compétition au sommet du sport dans la ligue de football de Serie A italienne.

Pendant de nombreuses années, les journaux sportifs italiens ont évalué les performances des joueurs dans chaque match sur une échelle de 0 à 10, où 0 est inoubliablement mauvais et 10 inoubliablement incroyable. Ce système est basé sur le système italien d'évaluation des écoles, où un 6 indique qu'un élève a obtenu de bons résultats. La façon dont les joueurs sont notés n'est pas publiée, mais elle est vraisemblablement faite par un journaliste sportif expert.

Ces dernières années, les mêmes joueurs ont également été évalués par un système de mesure objectif qui compte le nombre de passes, de tirs, de tacles, d'arrêts, etc. que chaque joueur effectue. Cette mesure technique prend en compte 150 paramètres différents et fournit un compte rendu complet des performances de chaque joueur sur le terrain.

La question que Pappalardo et co posent est de savoir comment les cotes des journaux sont corrélées avec les cotes techniques, et s'il est possible d'utiliser les données techniques pour comprendre les facteurs qui influencent les cotes humaines.

Les chercheurs commencent par l'ensemble de données techniques de 760 matchs de Serie A au cours des saisons 2015-16 et 2016-17. Il s'agit de plus d'un million de points de données décrivant des événements horodatés sur le terrain. Ils utilisent les données pour extraire un vecteur de performance technique pour chaque joueur dans chaque jeu ; cela agit comme une mesure objective de sa performance.

Les chercheurs ont également les notes de chaque joueur dans chaque match de trois journaux sportifs : Gazzetta dello Sport , Corriere dello Sport , et Tutosport .

Les cotes d'écoute des journaux ont des propriétés statistiques intéressantes. Seulement 3% des notes sont inférieures à 5 et seulement 2% supérieures à 7. Lorsque les notes sont classées conformément au système de notation de l'école - comme mauvaises si elles sont inférieures à 6 et bonnes si elles sont supérieures ou égales à 7 - mauvaises les notes s'avèrent être trois fois plus fréquentes que les bonnes.

En général, les journaux évaluent une performance de la même manière, bien qu'il puisse y avoir des désaccords occasionnels allant jusqu'à 6 points. Nous observons un bon accord sur les cotes appariées entre les journaux, constatant que les cotes (i) ont des distributions identiques ; (ii) sont fortement corrélés les uns aux autres ; et (iii) diffèrent généralement d'une unité de notation (0,5), disons Pappalardo et co.

Pour analyser la relation entre les notes des journaux et les notes techniques, Pappalardo et co utilisent l'apprentissage automatique pour trouver des corrélations dans les ensembles de données. En particulier, ils créent un juge artificiel qui tente de reproduire les classements des journaux à partir d'un sous-ensemble de données techniques.

Cela conduit à un résultat curieux. Le juge artificiel peut faire correspondre les classements des journaux avec un degré raisonnable de précision, mais pas aussi bien que les journaux se correspondent. Le désaccord indique que les caractéristiques techniques ne peuvent à elles seules expliquer pleinement le processus de notation [du journal], disent Pappalardo et co.

En d'autres termes, les notes des journaux doivent dépendre de facteurs externes qui ne sont pas pris en compte par les données techniques, tels que l'attente d'un certain résultat, les préjugés personnels, etc.

Pour tester cette idée, Pappalardo et co ont rassemblé un autre ensemble de données qui capturent des facteurs externes. Il s'agit notamment de l'âge, de la nationalité et du club du joueur, du résultat attendu du jeu tel qu'estimé par les bookmakers, du résultat réel du jeu et du fait qu'un match se joue à domicile ou à l'extérieur.

Lorsque ces données sont incluses, le juge artificiel fait beaucoup mieux. En ajoutant des informations contextuelles, l'accord statistique entre le juge artificiel et le juge humain augmente de manière significative, explique l'équipe.

En effet, ils peuvent clairement voir des exemples de la manière dont les facteurs externes influencent les cotes d'écoute des journaux. Dans l'ensemble des données, seuls deux joueurs ont reçu un 10 parfait. L'un d'eux était l'attaquant argentin Gonzalo Higuaín, qui a joué pour Napoli. À cette occasion, il a marqué trois buts dans un match, et ce faisant, il est devenu le meilleur buteur de l'histoire d'une saison en Serie A. Ce jalon était presque certainement la raison de la note parfaite, mais il n'y a aucun moyen de dériver cela. score de l'ensemble de données techniques.

Une question importante est de savoir quels facteurs le juge artificiel utilise pour faire correspondre les cotes d'écoute des journaux. Nous observons que la majeure partie de l'attention d'un juge humain est consacrée à un petit nombre de caractéristiques, et la grande majorité des caractéristiques techniques sont mal prises en compte ou rejetées pendant le processus d'évaluation, disent Pappalardo et co.

Ainsi, pour les attaquants attaquants, les journaux ont tendance à les évaluer en utilisant des facteurs facilement observables tels que le nombre de buts marqués ; ils évaluent les gardiens de but sur le nombre de buts encaissés. Les joueurs de milieu de terrain ont tendance à être évalués par des paramètres plus généraux tels que la différence de buts.

Cela a du sens - les observateurs humains ont une bande passante limitée et ne sont probablement capables d'observer qu'une petite fraction des indicateurs de performance. En effet, l'équipe affirme que le juge artificiel peut égaler les évaluations humaines en utilisant moins de 20 des facteurs techniques et externes.

C'est un résultat fascinant qui a des implications importantes sur la façon dont nous envisageons les notations de performance. L'objectif, bien sûr, est de trouver des moyens plus efficaces d'évaluer les performances dans toutes sortes de situations. Pappalardo et co pensent que leur travail a une incidence importante sur cela. Ce document peut être utilisé pour donner aux évaluateurs humains les moyens de mieux comprendre la logique sous-jacente de leurs décisions, concluent-ils.

Réf : arxiv.org/abs/1712.02224 : Perception humaine de la performance

cacher