Les classements parti-école, une prophétie biaisée et auto-réalisatrice?

La revue Princeton publie des listes annuelles «Best of…» des collèges sur la base d'un sondage désormais en ligne auprès des étudiants de chaque collège. Ils décrivent le processus d'enquête comme:

L’enquête Princeton Review pose aux étudiants 80 questions sur les universitaires / l’administration de leur école, la vie sur le campus, le corps étudiant et eux-mêmes. Les calculs pour les classements de cette édition sont basés sur des enquêtes auprès de 120 000 étudiants (environ 325 par campus) dans les 366 écoles du livre (pas dans toutes les écoles du pays) au cours des années 2006-07 et / ou des deux années scolaires précédentes.

Ce qui semble très bien, jusqu'à ce que vous lisiez les petits caractères:

Notre enquête est qualitative et anecdotique plutôt que quantitative. Afin de se prémunir contre la production d'un compte rendu qui n'est pas conforme pour un collège en particulier, nous envoyons à notre contact administratif de chaque école une copie du profil que nous avons l'intention de publier avec amplement l'occasion de répondre avec des corrections, des commentaires et / ou carrément. objections. Dans tous les cas où nous recevons des demandes de modifications, nous prenons des mesures minutieuses pour examiner les suggestions de l’école par rapport aux données de l’enquête auprès des élèves que nous avons collectées et apporter les modifications appropriées lorsque cela est justifié.

Ce qui est le plus convaincant pour nous quant à la représentativité des résultats de notre enquête est la suivante: nous demandons aux élèves qui répondent au sondage, après l'avoir rempli, de revoir les informations que nous avons publiées sur leur école l'année précédente et de nous noter leur exactitude et validité. Année après année, nous avons obtenu des notes élevées: cette année, 81% des étudiants ont dit que nous avions raison.

Donc, fondamentalement, ils admettent que les données de leur enquête sont censées fournir une image subjective et narrative des collèges - et non des éléments dont vous pouvez tirer des généralisations générales. Et pourtant, c’est exactement ce que Critique de Princeton continue à faire avec leurs données - tirer de larges généralisations de leurs enquêtes et classer les collèges de manière quantitative. Les collèges eux-mêmes peuvent exercer une influence supplémentaire inconnue sur l’apparition de leur école sur une liste donnée.Si le processus de classement semble moins que transparent et couvert de mystère, c'est exprès.

Comment les chercheurs peuvent-ils transformer des données anecdotiques en données quantitatives? Eh bien, scientifiquement, vous ne pouvez pas (par exemple, il n'y a pas de procédure basée sur la recherche pour le faire, car il s'agit littéralement d'une comparaison de pommes ou d'oranges). Lorsqu'une organisation comme celle-ci fait quelque chose de cette nature, vous pouvez faire valoir que de tels classements ne sont que les opinions des personnes qui ont dressé la liste, sur la base des opinions des autres personnes qui ont effectivement fréquenté l'école.

Tout cela serait bien, sauf que le La revue met tous ces éléments dans des listes qui suggèrent qu'ils ont une signification généralisable alors qu'ils n'en ont pas. La liste des "20 meilleures écoles du parti" n'est rien de plus que les opinions de certaines personnes basées sur une "combinaison de questions d'enquête concernant la consommation d'alcool et de drogues, les heures d'étude chaque jour et la popularité du système grec". Ils auraient pu tout aussi facilement choisir un ensemble de réponses différent à examiner qui aurait faussé le classement des écoles différemment.

Il est peu probable que les grandes écoles avec un plus grand nombre d'étudiants diffèrent de manière significative en termes de taille de leur système grec (grand) et de la grande variété d'opportunités sociales et autres opportunités non académiques qu'elles offrent à leurs étudiants (résultant en moins d'heures d'étude chaque jour) . Est-ce que cela rend une telle école plus susceptible d'être une «école du parti» quand on regarde ce que les élèves disent combien ils boivent? Bien sûr que non. Cela peut simplement signifier que l'école est un endroit idéal pour apprendre et socialiser.

Une affiche présentée à l'APS le week-end dernier, intitulée «Prophétie auto-réalisatrice et examen de Princeton: descriptions ou prescriptions pour boire à l'université?» mets dans ma tête la suggestion qui mesure comme le Critique de Princeton ont une validité discutable. Les chercheurs ont examiné les données réelles sur la consommation d'alcool sur une décennie pour une seule université de taille moyenne située dans l'ouest de New York et les ont comparées à divers classements connexes dans le Critique de Princeton. Ils ont trouvé les classements dans le Critique de Princeton n'a pas de corrélation systématique avec aucune des données sur la consommation d'alcool qu'ils ont examinées. Ce qu'ils ont découvert, c'est que les données sur la consommation d'alcool étaient corrélées avec les classements publiés après leur publication - suggérant une sorte de prophétie auto-réalisatrice.

Les chercheurs ont noté que puisque leur étude a été menée dans une seule université, la recherche devrait être reproduite dans d'autres collèges et universités avant de pouvoir généraliser à partir des résultats. Mais les résultats sont néanmoins intéressants à noter.

Référence:

Clark, C.D. et. Al. (2008). Prophétie auto-réalisatrice et examen de Princeton: descriptions ou prescriptions pour boire à l'université? Affiche présentée à la 20e convention annuelle de l'Association for Psychological Science, Chicago IL, 24 mai.