Que signifie le manque de reproductibilité dans la recherche en psychologie?
Dans un monde idéal, on pourrait penser que quelque chose de l'ordre de 75 ou même 80% des études aurait dû reproduire des résultats similaires, non? Parce que les nouvelles études ont simplement été re-menées sur une population différente par des chercheurs qui ont suivi attentivement les méthodes des chercheurs originaux. Dans la plupart des cas, les chercheurs ont également eu un contact direct et la coopération des chercheurs d'origine.
Mais dans une découverte, une douzaine de façons différentes depuis sa publication dans la semaine dernière Science journal, le projet n’a pas atteint près de 75%. Seulement 36 pour cent des réplications ont produit des résultats significatifs - contre 97 pour cent des 100 études originales.
Qu'est-ce que cela signifie pour la psychologie?
Bien que certains essaient de faire passer cette découverte comme n'étant pas inattendue ou «pas aussi mauvaise qu'elle aurait pu l'être», cela ne présage rien de bon pour la science psychologique. Chaque mois, des centaines de nouvelles études de psychologie sont publiées. En résumé, ce résultat signifie que la plupart des résultats de ces études ne sont pas fiables. Ils sont, en effet, faux.
De L'Atlantique couverture:
«Le taux de réussite est inférieur à ce que j'aurais pensé», déclare John Ioannidis de l'Université de Stanford, dont l'article théorique classique Pourquoi la plupart des résultats de recherche publiés sont faux a été un paratonnerre pour le mouvement de reproductibilité.
«Je me sens mal de voir que certaines de mes prédictions ont été validées. J'aurais aimé qu'ils aient tort. »
Une autre mauvaise conclusion de la nouvelle recherche est que les tailles d'effet mesurées étaient généralement 50% plus petites que ce que les chercheurs d'origine ont trouvé. Cela signifie que même lorsque les résultats ont été reproduits par les nouveaux chercheurs, l’impact des variables étudiées n’était pas aussi important que prévu.
Raisons de la mauvaise reproductibilité dans la recherche en psychologie
Il y a une douzaine de raisons différentes à ce mauvais résultat de la recherche psychologique. Mais avant de passer en revue certains d'entre eux, il s'agit d'une froide éclaboussure de réalité en prenant les résultats d'une seule étude et en les généralisant. Ou pire encore, croire que quelque chose est vrai alors qu'il n'a pas encore été démontré par plus d'une seule étude.
Si une étude n’est pas en double aveugle - comme la plupart d’entre elles ne l’étaient pas -, les propres biais des chercheurs peuvent influencer subtilement la manière dont les données sont collectées ou analysées. Si un chercheur vient de passer 8 ou 18 mois à collecter des données uniquement pour ne trouver aucun résultat significatif, il peut participer à une expédition de pêche de données pour trouver une autre relation de données qu'il peut publier.1 Les chercheurs modifient ensuite leurs hypothèses originales pour correspondre à ce que les données réellement trouvé (puisque la plupart des chercheurs ne pré-enregistrent toujours pas leur recherche avec un service de suivi - bien que cela change lentement).
D'autres ont suggéré que peut-être la «surprise» est une autre explication - que les revues se concentrent de nos jours sur la publication de découvertes surprenantes, car elles sont plus populaires et intéressantes pour les lecteurs. Lorsque vous ajoutez la possibilité de régression à la moyenne - que les variables peuvent être les plus extrêmes lors de la première mesure, mais moins extrêmes lorsqu'elles sont mesurées une deuxième ou une troisième fois - la suggestion est que ces deux facteurs se combinent pour encourager la publication d'études qui sont intrinsèquement difficiles reproduire.
Qu'est-ce que cela signifie pour la science psychologique?
La nature humaine est infiniment complexe. La science psychologique tente de déconstruire le comportement humain et les émotions en petits morceaux pour mieux comprendre l'ensemble. Cependant, si la recherche ne peut pas reproduire la science derrière les études, cela suggère qu'une grande partie de ce que le domaine publie chaque année ne peut pas non plus être fiable.2
Cependant, nous ne connaissons pas non plus les statistiques de reproductibilité de la plupart des sciences, car rien de tel que le Projet de reproductibilité n’a jamais été tenté auparavant dans d’autres domaines. Il se peut que ce soit une faille dont souffre la plupart des sciences, ou une faille qui affecte les sciences sociales plus que d'autres sciences.
Mais à court terme, cela met l'accent sur quelque chose que j'ai toujours dit - une découverte de la science psychologique n'est pas quelque chose sur laquelle vous pouvez accrocher votre chapeau tant qu'elle n'a pas été reproduite par un autre chercheur. Les résultats qui peuvent être reproduits sont dits «robustes» et donc fiables.
Recherchez ce type d'informations lors de l'évaluation ou de la lecture d'articles de presse basés sur une nouvelle étude. Bien que moins sexy que de nouvelles découvertes «surprenantes», les recherches qui vérifient ou remettent en question ce que nous pensons déjà savoir sont tout aussi importantes.
Pour plus d'informations…
L'Atlantique: quelle est la fiabilité des études de psychologie?
The Guardian: L'étude rend un verdict sombre sur la validité des résultats des expériences de psychologie
Mindhacks: n'appelez pas cela un retour
Référence
Collaboration scientifique ouverte. (2015). Estimation de la reproductibilité de la science psychologique. Science, 28 ans.
Projet de reproductibilité: Psychologie - les données brutes
Notes de bas de page:
- Sinon, tout ce temps, argent et efforts ont été gaspillés, car peu de chercheurs peuvent ou veulent publier des résultats nuls. [↩]
- Et cela remet vraiment en question les généralisations générales faites par les auteurs sur l'applicabilité de leurs découvertes, trouvées dans presque toutes les sections de discussion des études récentes en psychologie. [↩]
