Laisser parler les données? Non, pas toujours

Frank L. Schmidt, professeur et chercheur respecté à l’Université de l’Iowa, a donné samedi un discours lors de la 20e convention de l’Association pour la science psychologique sur la façon dont les données scientifiques peuvent mentir. Oui, c’est vrai, les données empiriques - même celles publiées dans des revues respectées et évaluées par des pairs - ne disent souvent pas la vérité.

La conférence de Schmidt a été bien suivie dans l’une des plus grandes salles de bal du Sheraton Hotel and Towers à Chicago, où se tient la convention. Bien qu’une présentation inégale, les principaux points de Schmidt se sont manifestés.

L’une d’elles est que l’interprétation naïve de plusieurs ensembles de données est souvent la plus correcte - le rasoir d’Occam («la solution la plus simple est généralement la meilleure réponse»). Schmidt affirme qu'une bonne recherche trouve la structure simple sous-jacente à des données complexes.

Il a résumé deux raisons principales pour lesquelles les données peuvent «se trouver» dans la recherche: les erreurs d'échantillonnage et les erreurs de mesure.

La plus grande critique de Schmidt était dirigée contre le fétiche de la science psychologique avec des tests de signification - par exemple, la signification statistique. Il souhaite que la psychologie s'éloigne de sa dépendance et de sa fascination pour la signification statistique, car il s'agit d'une mesure faible et biaisée qui en dit peu sur les données ou hypothèses sous-jacentes.

Schmidt a décrit six mythes sur les tests de signification environnants. Selon un mythe, une bonne valeur p est un indicateur de signification, alors qu’elle n’est en réalité qu’une indication du niveau de puissance d’une étude. Une autre était que si aucune signification n'était trouvée, cela signifie qu'il n'y avait pas de relation entre les variables (en vérité, cela peut simplement signifier que l'étude manquait de puissance suffisante).

Les solutions de Schmidt sont simples: rapportez les tailles d’effet (estimations ponctuelles) et les intervalles de confiance à la place, et supprimez complètement les tests de signification.

Il a terminé en fustigeant l'accent mis sur les méta-analyses dans la recherche psychologique, appelant spécifiquement le journal. Bulletin psychologique. Dans une étude non encore publiée, lui et d'autres chercheurs ont examiné toutes les méta-analyses publiées dans le Bulletin psychologique de 1978 à 2006 - 199 études au total.

Les chercheurs ont constaté que 65% de ces études examinées utilisaient un modèle à «effets fixes» pour leur méta-analyse. Schmidt a affirmé que dans les modèles à effets fixes, les relations de données sont sous-estimées (jusqu'à 50%) et que les chercheurs surestiment leur précision (le peu d'erreur qu'il y a dans cette estimation). Au lieu de cela, Schmidt préfère les modèles à «effets aléatoires» qui tiennent mieux compte de ces variations.

Il a également noté que dans 90% des études examinées, aucune correction n'a été apportée pour l'erreur de mesure - l'une des principales raisons qu'il cite que les données peuvent «mentir» dans la recherche psychologique.

Compte tenu de cette analyse, Schmidt suggère qu'un grand nombre de méta-analyses publiées dans des revues à comité de lecture aboutissent à des conclusions incorrectes ou erronées.

Malheureusement, il est peu probable que cet état de choses change de si tôt. Alors que de nombreuses revues de psychologie ont adopté des normes plus strictes pour la publication de recherches qui adhèrent mieux aux suggestions de Schmidt, beaucoup ne le font toujours pas et ne semblent pas avoir l'intention de changer.

Ce que cela signifie pour la personne moyenne, c'est que vous ne pouvez pas faire confiance à chaque étude publiée simplement parce qu'elle apparaît dans une revue à comité de lecture, qui est ensuite diffusée dans les médias comme un «fait» par le biais d'un communiqué de presse. De tels faits sont malléables, changeants et défectueux. Ce n'est qu'en lisant et en analysant attentivement ces études que nous pouvons comprendre la valeur des données qu'elles présentent.