La science est-elle morte? En un mot: non
Mais ce que Lehrer n'a pas remarqué, c'est que la plupart des chercheurs connaissent déjà les défauts qu'il décrit et s'efforcent avec diligence de minimiser l'impact de ces problèmes.
La méthode scientifique n’est pas brisée. Ce que Lehrer décrit est simplement la science au travail - et au travail.
La meilleure réponse à cet essai vient de l'auteur de ScienceBlogs PZ Myers, Science is not dead. Dans cette réfutation, Myers souligne les principaux problèmes de la science lorsqu'elle ne peut pas reproduire les résultats antérieurs:
- Régression vers la moyenne: au fur et à mesure que le nombre de points de données augmente, nous nous attendons à ce que les valeurs moyennes régressent vers la vraie moyenne ... et comme souvent le travail initial est effectué sur la base de premiers résultats prometteurs, nous nous attendons à ce que plus de données égalisent un résultat précoce significatif.
- L'effet du tiroir de fichiers: les résultats qui ne sont pas significatifs sont difficiles à publier et finissent par se cacher dans une armoire. Cependant, lorsque le résultat s’établit, les résultats contraires deviennent plus intéressants et publiables.
- Biais des enquêteurs: il est difficile de maintenir une impartialité scientifique. Nous aimerions tous voir nos hypothèses validées, nous avons donc tendance à sélectionner consciemment ou inconsciemment des résultats qui favorisent nos points de vue.
- Biais commercial: les sociétés pharmaceutiques veulent gagner de l'argent. Ils peuvent gagner de l'argent avec un placebo s'il existe des statistiques à l'appui; il existe certainement un biais en faveur de l'exploitation des valeurs aberrantes statistiques à des fins de profit.
- Variance de la population: le succès dans un sous-ensemble bien défini de la population peut conduire à un peu de fluage: si le médicament aide ce groupe avec des symptômes bien définis, peut-être devrions-nous l'essayer sur cet autre groupe avec des symptômes marginaux. Et ce n’est pas le cas… mais ces chiffres seront toujours utilisés pour estimer son efficacité globale.
- Chance simple: c'est difficile à faire passer aux gens, j'ai trouvé. Mais si quelque chose est significatif au niveau p = 0,05, cela signifie toujours qu'une expérience sur 20 avec un médicament complètement inutile présentera toujours un effet significatif.
- Pêche statistique: je déteste celui-ci, et je le vois tout le temps. L'expérience prévue n'a révélé aucun résultat significatif, les données sont donc examinées et toute corrélation significative est saisie et publiée comme si elle était voulue. Voir l'explication précédente. Si l'ensemble de données est suffisamment complexe, vous trouverez toujours une corrélation quelque part, purement par hasard.
Le numéro 1 explique de nombreux problèmes que nous rencontrons aujourd'hui dans la science, en particulier la science psychologique. Vous connaissez la plupart de ces expériences que vous lisez dans Science psychologique, la publication phare de l'Association pour la science psychologique? Ils sont de la merde. Il s'agit d'expériences N = 20 menées sur de petits échantillons homogènes d'étudiants principalement caucasiens dans des universités du Midwest. La plupart d'entre eux ne sont jamais répliqués, et encore moins sont répliqués sur des tailles d'échantillon qui démontreraient probablement que les résultats originaux n'étaient rien de plus qu'un hasard statistique.
Les chercheurs le savent déjà, mais vivent selon un livre de règles très différent de vous ou de moi. Leur gagne-pain dépend de leur continuation à faire de bonnes recherches publiables. S'ils arrêtent de faire cette recherche (ou ne parviennent pas à la publier dans une revue à comité de lecture), ils risquent davantage de perdre leur emploi. C'est ce que l'on appelle «publier ou périr» dans les universités, et c'est une très réelle motivation pour publier des recherches, même si vous savez que les résultats ne seront probablement pas reproductibles. Voir le numéro 3 ci-dessus.
Enfin, je vois tellement de numéro 7 dans les études de recherche que je passe en revue, c’est presque embarrassant. La méthode scientifique ne fonctionne bien et de manière fiable que lorsque vous formulez des hypothèses à l'avance, exécutez vos sujets pour collecter vos données, puis analysez ces données en fonction des hypothèses avec lesquelles vous avez commencé. Si vous décidez de commencer à modifier l'hypothèse pour l'adapter aux données, ou d'exécuter des tests statistiques sur lesquels vous n'aviez pas compté, vous entachez vos résultats. Vous commencez une expédition de pêche que tous les chercheurs ont effectuée. Mais juste parce que tout le monde a fait cela signifie que c'est un comportement bon ou éthique à adopter.
Le problème est que la recherche prend du temps et est souvent coûteuse. Si vous venez de faire passer 100 sujets dans un essai et que vous n'avez rien trouvé de significatif (selon vos hypothèses), non seulement vous avez peu de chances de publier cette étude, mais vous venez de perdre des mois (voire des années) de votre vie professionnelle et X $ de votre budget de recherche toujours limité.
Si vous ne pouvez pas voir comment cela pourrait entraîner la publication de résultats de recherche moins qu'optimaux, alors vous pouvez être un peu aveugle à la psychologie et à la motivation humaines de base. Parce que les chercheurs ne sont pas des super-personnes - ils ont les mêmes défauts, préjugés et motivations que n'importe qui d'autre. La méthode scientifique - lorsqu'elle est suivie rigoureusement - est censée en tenir compte. Le problème est que personne ne surveille vraiment les chercheurs pour s’assurer qu’ils le suivent, et il n’ya aucune incitation inhérente à le faire.
Je terminerai par cette observation, toujours de la part de PZ Myers,
C'est tout ce bruit qui veut vraiment dire [- s] parfois que les hypothèses sont fausses, et parfois si le soutien de l'hypothèse est construit sur des preuves faibles ou une interprétation hautement dérivée d'un ensemble de données complexe, cela peut prendre beaucoup de temps pour la bonne réponse à émerger. Alors? Ce n’est pas un échec de la science, à moins que vous ne vous attendiez d’une manière ou d’une autre à une gratification instantanée sur tout, ou à une confirmation de chaque idée chérie.
Amen.
Opinions d’autres sur l’essai de Lehrer
La science n'est pas morte - PZ Myers
Éloge de l'erreur scientifique - George Musser
Les humains sont-ils le problème de la méthode scientifique? - Charlie Petit
Nous doutons de la vérité: «l’effet de déclin» signifie-t-il que toute science est «véridique»? - John Horgan
L'effet de déclin mystérieux - Jonah Lehrer
