La recherche est-elle bonne?

Vous voulez être un meilleur consommateur de la recherche en sciences sociales? Voici une courte feuille de crèche pour déterminer la légitimité générale et la généralisabilité de pratiquement toute étude en sciences sociales. Gardez à l'esprit que cette feuille de crèche ne sera pas précise ou pertinente à 100% pour s'appliquer à toutes les études que vous pourriez lire. Mais c'est un bon guide succinct pour vous aider à démarrer.

De quel genre de recherche s'agissait-il?

Les études les plus robustes et les meilleures utilisent un groupe expérimental et un groupe témoin. Les études qui excluent le groupe témoin sont généralement moins utiles que celles qui le font. Une enquête est le type de recherche le moins puissant que l'on puisse mener, car elle n'a pas de groupe expérimental ou témoin, mais peut être utile pour identifier des tendances ou se concentrer sur des concepts ou des hypothèses qui peuvent être étudiés plus en profondeur.

$config[ads_text1] not found

Quelle était la taille de l'étude?

Une étude portant sur moins de 50 personnes dans pratiquement n'importe quel plan expérimental aura une généralisabilité très, très limitée (parce qu'elles manquent presque toujours de puissance statistique suffisante). Cela signifie que même si les résultats peuvent être potentiellement intéressants, jusqu'à ce qu'ils soient répliqués dans un autre groupe (et de préférence, un groupe plus grand), vous devriez les prendre avec un grain de sel. (Certaines recherches, comme les conceptions expérimentales à cas unique, peuvent également fournir des points d'intérêt uniques ou des recherches futures, mais peuvent généralement nous en dire peu sur les tendances ou les traitements plus larges.)

Qui participait à l'étude?

Une bonne recherche cherche à utiliser des participants représentatifs de la population en général. Plus l'échantillon est représentatif, plus on peut facilement généraliser à partir des résultats. Ainsi, une étude de 200 participants équilibrée pour le sexe, la race, le statut socio-économique et l'histoire est bien meilleure qu'une étude de 200 étudiants à Harvard ou OSU.

Combien de temps les gens ont-ils été étudiés?

Une étude qui examine les participants pendant moins de 12 semaines pour tout type de traitement est pratiquement inutile. Aucun clinicien ou médecin que je connaisse n’a jamais eu de traitement type et courant qui a fonctionné en moins de 12 semaines. Une enquête qui interroge un groupe de personnes à un moment donné signifie que les résultats trouvés sont bons pour ce moment précis dans le temps.

$config[ads_text2] not found

Il existe de bonnes et raisonnables exceptions à cette règle, pour le traitement de l'anxiété (les médicaments sont souvent pris au besoin, pas tous les jours), et pour des choses comme la psychose aiguë ou la manie. Les études examinant ces préoccupations spécifiques peuvent durer moins longtemps tout en fournissant des informations précieuses.

En effet, toute étude plus courte (comme une étude de 4 semaines ou 8 semaines) nous fournit certains information. C’est simplement que ces informations sont un aperçu du régime de traitement typique et ne nous donnent pas une image aussi complète qu’une étude de traitement plus longue. La durée de l'étude est moins préoccupante pour toute étude qui n'examine pas spécifiquement un traitement pour un trouble mental.

Qui a financé l'étude?

En règle générale, la plupart des études financées par le gouvernement présenteront moins de biais que celles financées par une entreprise (comme une société pharmaceutique) ayant un intérêt direct à atteindre un résultat spécifique. Cependant, pratiquement toutes les études sont menées dans une université ou un hôpital, de sorte que les informations sur le financement peuvent ne pas être facilement disponibles (les affiliations des chercheurs fournissent généralement peu d'informations sur la manière dont l'étude a été financée). Le financement gouvernemental ne signifie pas qu’une étude ne peut pas être mal conçue ou mise en œuvre, cela signifie simplement que vous n’avez pas à vous soucier du «biais de financement» qui influence les résultats.

Comment les auteurs parlent-ils de leurs résultats?

Les auteurs doivent être humbles et prudents quant à leurs résultats et ne pas faire de généralisations trop larges ou de conclusions sommaires (en particulier sur la causalité si la causalité n'a pas été conçue dans l'étude, comme ce n'est généralement pas le cas). Les auteurs doivent également décrire clairement les limites de l'étude en cours dans tout article de revue; les articles qui omettent de telles informations doivent être considérés avec scepticisme, car chaque étude a des limites.

$config[ads_text3] not found

Les auteurs doivent également noter clairement la différence entre la signification clinique et statistique dans les études de traitement. Un changement de 2 ou 3 points dans une échelle mesurant la dépression peut être statistiquement significatif (aboutissant à un résultat «positif»), mais avoir peu de signification clinique pour la plupart des participants. (Voir cet article ou cet article pour des exemples.) Bien qu'il soit instructif de savoir qu'un groupe expérimental est statistiquement différent (par exemple, mieux que le hasard) qu'un groupe témoin, cette différence peut ne pas avoir de signification réelle pour la plupart d'entre nous .

Méfiez-vous également des études qui reposent entièrement sur des mesures évaluées par les cliniciens ou des échelles sans échelles évaluées par les patients. Qui est mieux placé pour vous dire qu'un traitement fonctionne que le patient lui-même?

* * *

Merci à CL Psych pour avoir révisé une version antérieure de cet article.