Bad Science: MyType iPad Research
La semaine dernière, MyType, une application de personnalité Facebook qui prend vos données et vend ensuite des rapports agrégés basés sur vos réponses à leur quiz, a publié un rapport sur l'iPad. Ils ont suggéré que les propriétaires d'iPad et ceux qui cherchaient à en acheter un étaient des «élites égoïstes» tandis que ceux qui critiquaient l'iPad étaient qualifiés de «geeks indépendants».
Vous pouvez déjà dire que ce ne sera pas exactement une analyse scientifique, non?
Tout d'abord, le rapport de MyType sur ses résultats. Ce qui n'est pas inclus dans le rapport réel, ce sont les tests statistiques réellement utilisés, la signification statistique (valeurs p) et le nombre de sujets dans chaque groupe étudié. Vous savez, les types de données de base que d'autres chercheurs recherchent pour évaluer les résultats présentés. Sans ces informations de base, ce type de «recherche» n’est pas meilleur qu’un article de premier cycle pour leur cours de psychologie 101.
Une personne du nom de John Hall les a appelés dans leur section commentaires, à quel point ils ont commencé à donner des déclarations générales sur les valeurs p (mais encore une fois, pas de détails, décomposant chaque analyse, ce que vous attendez du marché ou scientifique recherche). Le Dr F a essayé d'éduquer les gens de MyType sur la théorie statistique de base, car ils ne savent apparemment pas grand-chose sur la façon de concevoir une bonne étude de recherche.
Ce qui ressort également de la section des commentaires, c'est que quelqu'un modifie les commentaires pour supprimer des choses qu'il a regretté plus tard. John Hall cite apparemment Tim Koelkebeck en disant que parce qu'il a un diplôme en informatique (apparemment un baccalauréat), cela le qualifie en quelque sorte dans la conception et la méthodologie de la recherche ainsi que dans les statistiques. Impair.
Mais le plus grand révélateur que ce n’est pas une étude de recherche sérieuse, ce sont les adjectifs choisis pour décrire les deux groupes de personnes. Ils ont pris des traits de personnalité arbitraires pour décrire chaque groupe. Ils auraient pu tout aussi facilement dire que les propriétaires non-iPad sont névrosés, insécurisés, fiers et insouciants. Est-ce une caractérisation légitime des non-propriétaires d'iPad, cependant? Bien sûr que non, c'est seulement ce que montre leur minuscule ensemble de données biaisé. Étant donné que cela ne passe même pas le test d'odeur, cela aurait incité la plupart des chercheurs à se demander s'ils n'allaient pas dans la mauvaise voie.
Selon leurs propres données, ils auraient pu caractériser les critiques de l'iPad comme étant intolérants, n'aiment pas la charité et l'amitié, les adolescents agressifs et cyniques. Wow, pas de surprise, vous devez déterminer si le sexe ou l’âge faussent ces résultats (et offrir une autre explication aux traits notés). Les «chercheurs» auraient également pu décrire les propriétaires d'iPad comme des adultes axés sur la famille, intelligents et performants, à la fois imaginatifs et sophistiqués.
Mais ils ne l’ont pas fait. Ils ont essayé de résumer un tas de traits disparates en phrases marketing accrocheuses pour faire la une des journaux - des phrases qui n'étaient ni particulièrement précises, ni particulièrement scientifiquement valables. Cela n'a pas empêché des dizaines de médias légitimes et grand public comme CNET, ZDNet et même Wired de rendre compte des résultats sans lever les sourcils sur le manque de rigueur ou de méthode scientifique.
