211service.com
L'IA bat le Hivemind
Le Mechancial Turk d'Amazon est le nec plus ultra de l'externalisation presque anonyme : toute tâche qui peut être effectuée en ligne peut être accomplie par la combinaison d'un marché automatisé et d'un travail humain. Ceux qui s'inscrivent pour accomplir des tâches - Turcs - sont payés des salaires aussi bas que quelques centimes par corvée pour tout faire, de la saisie des données à art folklorique .
(CC) Jim Linwood
Mechanical Turk est conçu pour effectuer des tâches faciles pour les humains et difficiles pour les machines, telles que la catégorisation ou l'identification du contenu des images. Le problème pour Amazon et tous ses imitateurs, cependant, est que les machines s'améliorent dans de nombreuses tâches, tandis que les humains sur Mechanical Turk, pour des raisons que j'explorerai dans le post de demain, empirent.
Récemment, par exemple, des chercheurs travaillant sur le site d'examen en ligne Yelp ont publié un papier (pdf) sur leur expérience en comparant des milliers de Turkers mécaniques à un algorithme d'apprentissage supervisé .
Les résultats n'étaient pas jolis : afin de trouver une population de Turcs dont le travail était passable, les chercheurs ont d'abord utilisé Mechanical Turk pour administrer un test à 4 660 candidats. Il s'agissait d'un test à choix multiples pour déterminer si un Turker pouvait ou non identifier la bonne catégorie pour une entreprise (Restaurant, Shopping, etc.) et vérifier, via son site officiel ou par téléphone, son numéro de téléphone et son adresse corrects.
79 sont passés. C'était un extrêmement basique test à choix multiples. On se demande comment les 4 581 autres étaient assez intelligents pour utiliser un navigateur Web en premier lieu.
Ces 79 travailleurs de haute qualité ont ensuite été confrontés au problème de la vérification des informations commerciales trois à la fois. Cela a permis aux chercheurs de ne prendre que les résultats qu'une simple majorité de Turcs considéraient comme corrects, ou dans certains cas de prendre le résultat choisi par le Turc qui avait historiquement été le plus précis.
Les chercheurs ont jeté un classificateur Naive Bayes au même ensemble de problèmes. C'est une sorte d'algorithme d'apprentissage supervisé ; celui qui, selon une comparaison de 2006 de ces systèmes , n'est même pas le meilleur type là-bas.
Le classificateur de Bayes a gagné haut la main.
Dans presque tous les cas, l'algorithme, qui a été formé sur un pool de 12 millions d'avis Yelp soumis par les utilisateurs, a correctement identifié la catégorie d'une entreprise un tiers plus souvent que les humains. Dans la catégorie automobile, l'ordinateur avait deux fois plus de chances que les masses assemblées d'identifier correctement une entreprise.
Ces résultats ne suggèrent pas nécessairement que la catégorisation des entreprises est un problème comme les échecs, où l'ordinateur humain a finalement été dépassé par son homologue mécanique. Au contraire, ils suggèrent que quelque chose à propos de Mechanical Turk lui-même est cassé - soit le système d'incitation, soit ses mécanismes de contrôle de la qualité. On sait depuis longtemps que les salaires de Mechanical Turk sont assez bas - les travailleurs gagnent en moyenne entre deux et trois dollars de l'heure pour leur travail, et il est probable que cela fait partie du problème. Les économistes commencent tout juste à se pencher sur la question ; plus à ce sujet demain.
