Voilà 13 ans maintenant que le Mechanical Turk d’Amazon propose ses services. Cet outil opère comme une place de marché offrant à des humains des activités rémunérées que les machines sont encore incapables de faire. Or, il n’est pas rare que les scientifiques aient recours à cette fonctionnalité pour leurs recherches.

 

Robot de Martillo
Luis Perez,  CC BY 2.0
 

 

Inspiré de ce célèbre canular du XVIIIe siècle, le Turc mécanique était une machine sensément en mesure de jouer aux échecs. Imposture redoutable : cet automate était en réalité piloté par un humain, planté sous la machine. Cette association machine/homme a donné l’idée du service Mechanical Turk à Amazon. 

 

Il sert par exemple pour des traductions partielles ou complètes, ou de la retranscription de documents et l’écriture de textes. A ce jour, le Mechanical Turk sert aux scientifiques pour des enquêtes – mais les spécialistes du marketing n’hésitent pas non plus à le solliciter. En contrepartie, les répondants perçoivent un peu d’argent.

 

Mais les chercheurs rencontrent et font remonter un problème de taille, notamment dans le secteur de la psychologie. 

 

Dans le cadre d’études, ces derniers ont constaté une forte augmentation du nombre de réponses indésirables, émanant de bots. Leurs commentaires parfois absurdes faussent ainsi les données – et les solutions comme le captcha, bien qu’utilisées, ne sont pas suffisantes.

 

Selon Panos Ipeirotis, chercheur pour la New York University’s Stern School of Business, des milliers d’études portant sur des sciences sociales paraissent chaque année. Une faille si béante les rendrait alors totalement inexploitables. 
 

C'est pas très bot, tout ça

 

Toute la question est cependant de définir ce qui provoque ces réponses tordues : une enquête mal comprise ou mal formulée, cela n’est pas exclu. D’autant qu’il peut s’agir de robots, ou encore d’humains lassés de répondre, et qui cliquent sans regarder. Reste que le MTurk serait menacé en soi, bien qu’Amazon assure disposer de mécanismes automatisés et manuels pour lutter contre les bots qui saccagent ce travail.

 

D’un autre côté, on comprend l’intérêt pour des hackers : bien que le salaire perçu soit faible, les revenus peuvent être multipliés dès lors que plusieurs machines sont consacrées à remplir ces formulaires. Dans le même temps, les expérimentations réalisées indiqueraient qu’en fait, Amazon n’est pas en mesure de repérer efficacement des bots. 

 

Depuis longtemps, le salaire perçu en contrepartie du travail effectué via le Mechanical Turk laisse dubitatif : avec quelques centimes glanés par tâche, nombreux sont ceux qui s’interrogent sur la fiabilité des données ainsi récoltées. Étant donné qu’un travailleur du MTurk – un Turker – peut copier-coller les réponses apportées d’un formulaire à l’autre, voilà de quoi encourager à la fraude : prendre part à plus d’études, pour gagner un peu plus...

 

 

 

Après tout, ce mode opératoire inciterait plutôt à faire le plus vite possible, au détriment d’une qualité de réponse. Or, on compte dans les forums de Turkers de même que sur YouTube un nombre impressionnant de tutoriaux qui expliquent comment produire des scripts pour aller plus vite.

 

Quand l'intelligence artificielle
comprendra ce qu'elle lit...

 

Sachant que les budgets des universités pour les études en sciences sociales diminuent, il deviendrait compliqué de basculer sur un modèle plus humain et plus rémunérateur...

 

via Wired




Commentaires

Pas de commentaires

Poster un commentaire

 

grin LOL cheese smile wink smirk rolleyes confused surprised big surprise tongue laugh tongue rolleye tongue wink raspberry blank stare long face ohh grrr gulp oh oh downer red face sick shut eye hmmm mad angry zipper kiss shock cool smile cool smirk cool grin cool hmm cool mad cool cheese vampire snake exclaim question

Vous répondez au commentaire de

Cliquez ici pour ne plus répondre à ce commentaire

* Laisser vide pour ne pas reçevoir de notification par email de nouveaux commentaires.