La loi de Benford et l'art de réussir aux tests à choix multiples

Dans les années 1930, le physicien américain Frank Benford a découvert que le premier chiffre de certaines listes de nombres était beaucoup plus susceptible d'être un 1 qu'un 9. Il a testé cette idée sur une variété de jeux de données tels que la superficie des rivières, un liste des constantes physiques et même les adresses des 342 premières entrées dans American Men of Science.

Dans chaque cas, il a trouvé le même modèle. Que le chiffre 1 est le premier chiffre 30 % du temps, le chiffre 2 est le premier chiffre 18 % du temps, le chiffre 3 est le premier 13 % du temps et ainsi de suite jusqu'au chiffre 9 qui est le premier seulement 5 pour cent du temps.

Il a ensuite proposé la loi de Benford : selon laquelle la distribution des premiers nombres dans de nombreux ensembles de données, mais pas tous, suit le même schéma logarithmique. Il s'avère que cette propriété est vraie pour de nombreux ensembles de données impliquant des quantités physiques, mais pas pour les nombres générés aléatoirement dans lesquels la distribution des premiers chiffres est uniforme.

Aujourd'hui, 60 ans plus tard, la loi de Benford est célèbre. Son application la plus connue est la détection de fraude. C'est possible car la répartition des premiers chiffres dans les comptes d'une entreprise s'avère suivre la loi de Benford. Donc, tout écart par rapport à cela est une bonne preuve que quelqu'un a préparé les livres. Et cela a conduit à la chute de divers fraudeurs.

Mais cela soulève une question intéressante : où d'autre la loi de Benford pourrait-elle être utilisée à bon escient ?

Aujourd'hui, Aaron Slepkov de l'Université Trent à Peterborough, au Canada, et quelques amis ont fait une suggestion. Ils soulignent que les réponses aux épreuves d'examen à choix multiples en physique doivent suivre la loi de Benford. Mais si les réponses incorrectes sont choisies au hasard, elles ne suivront pas la loi de Benford.

Alors, un étudiant entreprenant avec une compréhension de la loi de Benford, mais peu de compréhension de la physique, peut-il gagner un avantage ?

Pour le savoir, Slepkov et ses collègues ont simulé un tel examen à choix multiples comportant 5000 questions fictives. Pour les bonnes réponses, ils ont utilisé un ensemble de données de nombres tirés des réponses à de vraies questions de physique. Mais ils ont pris les réponses incorrectes à partir d'un ensemble de données de nombres aléatoires dans lesquels les premiers chiffres sont uniformément distribués (c'est-à-dire que le premier chiffre est également susceptible d'être l'un des chiffres de 1 à 9).

La meilleure stratégie dans un tel test à choix multiples est de choisir la réponse avec le premier chiffre le plus bas. Et lorsque deux réponses ou plus ont le même chiffre le plus bas, choisissez.

Et c'est ce que Slepkov et co ont fait en passant les tests. Les résultats sont concluants. Dans un test à choix multiples comportant 3 réponses possibles, cette stratégie a produit un score de 51 pour cent. C'est une réussite claire même si les réponses ont été choisies sans aucune connaissance de la physique testée.

Dans un sens, ce n'est pas vraiment surprenant. La loi de Benfords implique que les chances que le premier chiffre soit un 1, 2 ou 3 sont supérieures à 50 % et cela produit un biais clair pour quelqu'un qui sait.

Mais cette stratégie fonctionne-t-elle pour les vrais examens ? Slepkov et ses collègues l'ont testé sur un ensemble de données d'examens à choix multiples de physique bien connus et leurs résultats créent une surprise.

La stratégie suggérée par la loi de Benford ne donne aucun avantage. Ils ont constaté qu'il était impossible de passer un examen de physique de cette façon.

Comment venir? Slepkov et ses collègues ont examiné de plus près les réponses correctes et les réponses fictives dans ces articles et ont trouvé quelque chose de surprenant. Alors que les vraies réponses suivent la loi de Benford, les réponses incorrectes le font aussi. Il n'y a donc aucune différence dans la distribution des premiers chiffres qu'un étudiant entreprenant peut exploiter.

La raison exacte pour laquelle les réponses incorrectes suivent la loi de Benford n'est pas claire. Ce ne sont évidemment pas des nombres aléatoires, alors comment peuvent-ils être choisis ? Slepkov et ses collègues discutent d'un certain nombre de possibilités, la plus évidente étant peut-être qu'elles sont des réponses à d'autres questions et sont donc elles-mêmes des quantités physiques. Mais il y a aussi d'autres possibilités.

Ce sera une déception pour les légions d'étudiants en physique lisant ceci qui espéraient se débrouiller avec peu ou pas de connaissance de leur sujet.

Pour ces étudiants, Slepkov et co offrent une lueur d'espoir. Ils soulignent que les chances d'une réponse correcte à une question de physique commençant par les chiffres 1, 2 ou 3 sont supérieures à 50 %. Mais également, les chances que la réponse commence par 7, 8 ou 9 ne sont que de 15 %.

Alors ils concluent par ceci :

Un petit conseil que nous pouvons donner à l'étudiant en test est le suivant : à la fin d'un long examen à réponse construite, si vous avez peu de temps pour vérifier les réponses à toutes les questions, passez du temps sur celles-ci. les questions qui ont donné des réponses finales qui ont les chiffres de tête les plus grands ; les questions devraient avoir des réponses avec les premiers chiffres 7, 8 ou 9 seulement 15 % du temps.

Bonne chance!

Réf : arxiv.org/abs/1311.4787v1 : La loi de Benford : exercices de manuels et banques de tests à choix multiples

cacher