Turc mécanique au secours de la recherche en psychologie?
Ce qui est un vrai problème, car comme je l'ai noté en août 2010, il existe littéralement des milliers d'études en psychologie basées sur rien de plus qu'un groupe d'étudiants d'un seul campus dans une université aux États-Unis, alors que les jeunes adultes qui fréquentent l'université peuvent en effet, nous aider à comprendre certains aspects du comportement humain, vous ne pouvez pas simplement supposer que les comportements que vous avez observés dans ces études s'appliquent également aux femmes et aux hommes de 60 ans.
Entrez dans le service Mechanical Turk d'Amazon.com à la rescousse. La technologie peut-elle aider à résoudre le dilemme consistant à trouver suffisamment de personnes plus représentatives de la population, et ce de manière rentable?
Pour commencer, il peut être utile de comprendre ce qu'est Mechanical Turk. Il s’agit d’une place de marché en ligne qui permet aux vendeurs d’acheter de la main-d’œuvre à des coûts très bas pour une tâche en ligne. «Le site dispose d'une main-d'œuvre nombreuse et diversifiée composée de plus de 100 000 utilisateurs de plus de 100 pays qui accomplissent des dizaines de milliers de tâches quotidiennement», notent les chercheurs. Ces travailleurs sont payés au coup par coup pour chaque tâche, parfois aussi bas que 1 cent. Les tâches varient et peuvent aller de la navigation sur un site Web à la recherche d'erreurs à la réalisation d'enquêtes.
Ah oui, remplir des sondages. Beaucoup de recherches en psychologie sont basées sur le fait que les gens remplissent des sondages. Ne serait-ce pas bien si nous pouvions amener des gens - des gens qui n’étaient pas des étudiants - à faire cela à moins de 10 $ par sondage… Disons, 10 cents?
Buhrmester et coll. (2011) s'est fixé comme objectif de savoir si ces personnes de Mechanical Turk rempliraient des sondages d'une manière cohérente avec les personnes à qui vous pourriez demander de faire quelque chose de similaire en face à face.
Premièrement, les chercheurs ont étudié les données démographiques de 3 006 participants à Mechanical Turk et les ont comparés à un large échantillon Internet non obtenu auprès de Mechanical Turk. Ils ont constaté que les participants à Mechanical Turk (MTurk) étaient plus diversifiés que l'échantillon Internet et l'échantillon standard de la population étudiante universitaire.
Ensuite, ils ont vérifié différents niveaux de prix (2, 10 et 50 cents) pour remplir une série d'enquêtes qui prenaient des durées variables (5, 10 et 30 minutes). Ce qu'ils ont trouvé ne devrait pas surprendre quiconque a utilisé MTurk:
Ces analyses suggèrent que les participants peuvent être recrutés rapidement et à peu de frais. Les taux de participation sont sensibles aux montants de compensation et aux engagements en matière de temps, mais nos résultats démontrent qu'il est possible de collecter des échantillons de taille décente via MTurk pour de simples dollars. Même en offrant seulement 2 cents pour une tâche de 30 minutes, nous avons accumulé 25 participants (en environ 5 heures de temps d'affichage). De plus, en augmentant légèrement la rémunération (p. Ex. À 50 cents), nous avons pu obtenir le même nombre de participants en moins de 2 heures de temps d'affichage.
Mais à quoi sert une main-d’œuvre bon marché si elle n’est pas de bonne qualité et ne répond pas aux normes psychométriques dont les chercheurs en psychologie ont besoin?
Les chercheurs ont constaté que même au niveau de rémunération le plus bas de 2 cents, les niveaux de paiement ne semblent pas affecter la qualité des données. Les chercheurs peuvent payer quelques centimes pour que les sondages soient complétés et obtenir de manière fiable des données de bonne qualité.
Les chercheurs ont calculé les scores moyens de fiabilité alpha pour tous les niveaux de rémunération pour les six questionnaires de personnalité qu'ils ont administrés en ligne. Ils ont constaté que les scores alpha de MTurk étaient à moins de deux centièmes d'un point des alphas de l'échantillon traditionnel. Ils ont également testé les scores de fiabilité test-retest, et ont trouvé la moyenne r = 0,88 avec un taux de réussite de 60%. Ce sont tous de très bons chiffres et se comparent favorablement aux méthodes traditionnelles.
Le résultat de cette étude de recherche suggère que Mechanical Turk est une alternative fiable à l'utilisation des populations d'université pour obtenir des données d'enquête - et peut même être une meilleure alternative que les enquêtes Internet traditionnelles. Pour quelques centimes seulement, les gens rempliront des questionnaires, même longs, dans leurs efforts pour aider les autres dans leurs projets et leurs recherches. Bien que davantage de recherches soient nécessaires pour confirmer ces résultats, MTurk semble être un marché que les chercheurs en psychologie devraient envisager lors de la préparation de leur prochaine étude.
Référence
Buhrmester, M., Kwang, T., et Gosling, S.D. (2011). Le turc mécanique d'Amazon: une nouvelle source de données peu coûteuses mais de haute qualité? Perspectives sur la science psychologique, 6 (1), 3-5.
Cet article présente des liens d'affiliation vers Amazon.com, où une petite commission est payée à Psych Central si un livre est acheté. Merci pour votre soutien à Psych Central!
