Quelle recherche pouvez-vous croire?
Quiconque lit Monde de la psychologie connaît déjà régulièrement les problèmes de nombreuses études financées par l'industrie. Mais cet article suggère que les problèmes de la recherche évaluée par les pairs vont bien plus loin que le simple biais à but lucratif. Les scientifiques sont biaisés à bien des égards (pas seulement pour un gain monétaire). Et ce biais apparaît inévitablement dans le travail qu'ils effectuent - la recherche scientifique.
Ce n'est pas un nouveau tambour à battre pour moi - j'ai parlé du biais des chercheurs en 2007 et de la façon dont les chercheurs conçoivent des études pour trouver des résultats spécifiques (cet exemple impliquait des chercheurs qui ont trouvé des sites Web de méthodes suicidaires lors de la recherche - attendez - «méthodes de suicide ”Dans Google). Nous avons remarqué que pratiquement toutes les études dans des revues telles que Science psychologique s'appuient presque exclusivement sur les étudiants collectés sur un seul campus en tant que matières - une limitation importante rarement mentionnée dans les études elles-mêmes.
Cependant, voici le vrai aspect troublant - ces types d’études biaisées apparaissent dans toutes sortes de revues. JAMA, NEJM et le BMJ ne sont pas à l'abri de la publication d'études merdiques et défectueuses en médecine et en psychologie. Nous considérons la «respectabilité» d'une revue comme une sorte de signe d'un rôle de gardien - que les études publiées dans les revues les plus prestigieuses doivent être fondamentalement solides.
Mais ce n’est tout simplement pas vrai. L'empereur n'est pas seulement nu - ses sujets ont caché ses vêtements afin de poursuivre leur propre carrière.
La question des études biaisées publiées pour la première fois a attiré l'attention en 2004, lorsque GlaxoSmithKline a été poursuivi par des procureurs généraux pour avoir caché des données de recherche sur Paxil. Depuis lors, des dizaines d'études ont été mises au jour et d'autres études ont depuis été publiées montrant comment les sociétés pharmaceutiques semblent avoir régulièrement caché des données de recherche pertinentes. Ces données montrent généralement que le médicament étudié n'était pas efficace, par rapport à une pilule de sucre, pour traiter le trouble auquel il était destiné. (Des blogs comme Psychologie clinique et psychiatrie: un regard plus approfondi et le blog Carlat Psychiatry ont plus de détails sur ces études.)
Mais qu'en est-il des autres types de biais? Sommes-nous uniquement intéressés par les études où le biais est si manifeste, ou ne devrions-nous pas nous préoccuper de tout type de biais qui pourrait avoir une incidence sur la fiabilité des résultats?
La réponse est, bien entendu, que nous devrions nous intéresser à toutes les formes de biais. Tout ce qui peut influencer les résultats finaux d’une étude signifie que les conclusions de l’étude peuvent être remises en question.
John Ioannidis, professeur à l'Université de Ioannina, s'est intéressé à cette question dans la recherche médicale. Il a donc mis sur pied une équipe d'experts de chercheurs et de statisticiens pour creuser plus profondément et voir à quel point le problème était grave. Ce qu'il a découvert n'a pas surpris les chercheurs, mais sera une surprise pour la plupart des profanes -
Déconcerté, il a commencé à chercher les manières spécifiques dont les études allaient mal. Et peu de temps après, il a découvert que l'éventail des erreurs commises était étonnant: des questions posées par les chercheurs à la manière dont ils ont organisé les études, à quels patients ils ont recruté pour les études, à quelles mesures ils ont pris, à la façon dont ils ont analysé les données. , à la manière dont ils ont présenté leurs résultats, à la manière dont certaines études ont été publiées dans des revues médicales. […]
«Les études étaient biaisées», dit-il. «Parfois, ils étaient ouvertement biaisés. Parfois, il était difficile de voir le biais, mais il était là. Les chercheurs se sont dirigés vers leurs études à la recherche de certains résultats - et voilà, ils les obtenaient. Nous pensons que le processus scientifique est objectif, rigoureux et même impitoyable pour séparer ce qui est vrai de ce que nous souhaitons simplement être vrai, mais en fait, il est facile de manipuler les résultats, même involontairement ou inconsciemment.
«À chaque étape du processus, il y a de la place pour déformer les résultats, un moyen de faire une affirmation plus ferme ou de sélectionner ce qui va être conclu», déclare Ioannidis. «Il existe un conflit d'intérêts intellectuel qui pousse les chercheurs à trouver ce qui est le plus susceptible de les financer.»
Ioannadis a mis au point un modèle mathématique complexe qui permettrait de prédire combien la recherche peut être défectueuse, sur la base de toutes ces variables. Son modèle prédit que «80 pour cent des études non randomisées (de loin le type le plus courant [- en particulier dans la recherche psychologique]) [se révéleront] erronées, tout comme 25 pour cent des essais randomisés censés être l'étalon-or, et comme pas moins de 10% des grands essais randomisés au standard platine. »
Il a ensuite mis ce modèle à l'épreuve sur 49 études qui contenaient les résultats de recherche les plus appréciés en recherche médicale au cours des 13 dernières années. Celles-ci figuraient dans les revues médicales les plus citées et étaient elles-mêmes les articles les plus cités.
Sur les 49 articles, 45 affirmaient avoir découvert des interventions efficaces. Trente-quatre de ces affirmations avaient été retestées, et 14 d'entre elles, soit 41 pour cent, s'étaient révélées fausses ou considérablement exagérées. Si entre un tiers et la moitié des recherches les plus acclamées en médecine se révélaient indignes de confiance, l'ampleur et l'impact du problème étaient indéniables. […]
Sur ces 45 études super-citées sur lesquelles Ioannidis s'est concentré, 11 n'avaient jamais été retestées. Peut-être pire, Ioannidis a constaté que même lorsqu'une erreur de recherche est révélée, elle persiste généralement pendant des années, voire des décennies. Il a examiné trois études importantes sur la santé des années 1980 et 1990 qui ont été par la suite solidement réfutées, et a découvert que les chercheurs ont continué à citer les résultats originaux plus souvent comme corrects que comme imparfaits - dans un cas pendant au moins 12 ans après que les résultats aient été discrédités. .
Voilà pour les scientifiques qui testent à nouveau les résultats publiés par d’autres - le seul moyen définitif de lutter contre les biais. Comment près de 25% des études médicales les plus citées au cours des 13 dernières années pourraient-elles ne jamais être retestées? Étonnant.
Le résultat pour la plupart d'entre nous est qu'il est presque impossible pour quiconque de dire si une recherche donnée donne vraiment des résultats positifs, nouveaux et robustes. Sans entrer dans une analyse détaillée de l’étude - et de tous les précurseurs de l’étude - replacer les nouvelles recherches dans leur contexte est une tâche longue et difficile. En outre, le modèle de Ioannidis suggère que la grande majorité de la recherche psychologique - peut-être jusqu'à 80% - est probablement erronée. Il n'y a vraiment pas de lueur d'espoir ici.
Sauf peut-être que des équipes de recherche telles que Ioannidis sont au travail, travaillant pour montrer comment les préjugés peuvent infiltrer même la recherche «de référence».
Le changement ici dépend en grande partie du fait que les chercheurs individuels apprennent ces biais et travaillent beaucoup plus dur pour s'assurer que leurs études en sont dépourvues. Mais sans contrôle réel de la conception d'une étude ou des méthodes statistiques, il n'y a guère d'incitation à changer. Les incitations financières et professionnelles qui incitent les chercheurs à continuer de publier comme ils le font traditionnellement afin de maintenir leur statut académique et professionnel restent extrêmement fortes.
L'article complet vaut votre temps: mensonges, mensonges damnés et science médicale
Bien que ce ne soit pas idéal, voici notre introduction d'il y a quelques années sur la façon de repérer les recherches douteuses - La recherche est-elle bonne?
