La sagesse des foules (choisies)

De plus en plus d'entreprises exploitent la sagesse de leurs clients et utilisateurs - une foule très sélective. Ils le font grâce à des «mégadonnées» - collectant des trésors de données anonymes, puis en exécutant des analyses post-hoc sur celles-ci.

Cet effort peut conduire à des idées intéressantes. Cela peut également amener les entreprises à suggérer que les résultats sont généralisables à l'ensemble de la population.

Et c’est ce dernier problème qui est le problème. Parce que si vous commencez avec un échantillon auto-sélectionné, vos données ne sont pertinentes que pour des personnes comme elles - pas pour toute la population. Ce n’est qu’un des problèmes liés à la mesure - et à la prise d’actions - en fonction des informations provenant des foules sélectionnées.

Les sites Web effectuent des mesures «big data» depuis près de 20 ans maintenant. Chaque fois que vous visitez un site Web, il laisse une petite trace de données sur le serveur du site Web. Les propriétaires du serveur prennent ces données et les exécutent via une plate-forme d'analyse de données (comme Google Analytics). Il donne au propriétaire du site Web des informations globales sur les types de personnes qui visitent son site Web.

Étant donné que chaque site Web est unique, ces informations ne sont pertinentes que pour ce site Web. Un utilisateur qui visite CNN, par exemple, peut avoir peu de choses en commun avec un utilisateur qui visite Match.com.

Le problème des foules sélectionnées

Dans l'analyse des données, les statisticiens appellent cet échantillonnage un «échantillon auto-sélectionné», ce qui entraîne le problème d'un «biais d'auto-sélection». En termes simples, cela signifie que, comme vos données ne proviennent que de personnes qui utilisent une application ou un type de médias sociaux en particulier, elles ne sont pas représentatives de la population dans son ensemble. Et comme il n’est pas représentatif de la population dans son ensemble, vous ne pouvez pas généraliser sur les données.

J'appelle cela le problème du «choix des foules». Parce que si vous gagnez votre sagesse auprès de la foule, vous feriez mieux de vous assurer que cette foule est représentative de la population si vous essayez d'en tirer des informations généralisables.

Il y a des entreprises entières qui ne font qu'analyser les tendances et les données de Twitter. Mais si vous regardez qui utilise Twitter - et comment ils l'utilisent - vous serez immédiatement préoccupé par ce que ces données signifient vraiment. Par exemple, les utilisateurs de Twitter sont beaucoup plus jeunes que la population générale et les personnes âgées sont largement sous-représentées. Si vous dirigez une entreprise qui examine les tendances de la santé sur Twitter, vous allez voir quelque chose de très différent que si vous meniez une enquête téléphonique aléatoire.

En d'autres termes, quelles tendances sur Twitter peuvent ou non avoir une signification pour les 80% et plus d'Américains qui n'utilisent pas Twitter.

Les applications ne sont pas meilleures

Les applications aiment souvent collecter les données de leurs utilisateurs, les anonymiser, puis les utiliser pour comparer vos performances à celles d'autres utilisateurs qui utilisent également l'application. Cela est censé vous donner l'impression de faire partie d'un réseau social qui a l'application en commun. C’est une excellente idée.

Car que faire si seulement un certain type de personne utilise cette application particulière? Et si seules les personnes déprimées utilisaient une application de suivi de l'humeur destinée à aider les gens à sortir de leur dépression en les aidant à suivre leur humeur, en comparant leurs progrès avec ceux des autres qui utilisent également l'application? De tels résultats pourraient être involontairement déprimants en eux-mêmes.

Pouvez-vous motiver positivement quelqu'un par la comparaison sociale? Vous pouvez, mais trop souvent, la recherche montre également que de telles comparaisons sociales amènent les gens à se sentir plus mal qu'avant. Cela doit être fait avec un soin extrême - ce que la plupart des développeurs d'applications classiques ne comprennent pas.

Oublier les choses importantes à mesurer

Toute application ou service n'est aussi bon que ce qu'il choisit de mesurer. Vous pouvez introduire un biais - intentionnellement ou non - dans vos résultats par ce que vous choisissez de mesurer - et non de mesurer.

Pensez-y comme ceci: vous envisagez de déménager dans une nouvelle ville avec moins de pluie, donc vous ne regardez que la quantité annuelle moyenne de pluie pour différentes villes. Vous cherchez une ville comme Miami et vous pensez: «Vous savez, je ne déménage pas à Miami - ils reçoivent près de 62 pouces de pluie par an! Comparez cela aux maigres 37 pouces de pluie que Seattle reçoit. Seattle doit être l’endroit le plus ensoleillé et le moins pluvieux. » Comme vous n'avez pas inclus d'autres statistiques importantes dans votre mesure, vous feriez le mauvais choix en vous basant sur des informations trop limitées.

Ce qu'un développeur d'application ou de site Web considère comme important dans la mesure de quelque chose n'est peut-être pas aussi important que quelque chose qu'il a omis. Imaginez une application qui ne mesurait que votre réaction aux médicaments, mais qui omettait tous les autres facteurs importants contribuant à votre humeur et à votre traitement.

Le traitement ne se déroule pas dans le vide avec vous et un seul médicament. Elle se déroule dans un écosystème riche et complexe qui peut inclure un médicament, mais aussi de nombreuses autres choses importantes que vous faites pour vous aider à vous rétablir. Il peut s'agir de combien vous faites de l'exercice ou de ne pas ruminer, ou des jours que vous passez sans avoir de crise de panique ou d'être stressé par un membre de votre famille ou votre travail.

En bref, il existe une myriade de choses qui devraient être suivies par des applications et d'autres services bien intentionnés, mais ce n'est pas le cas. Et cela donne une perspective déformée de la façon dont quelque chose qui est mesuré est lié à l'humeur ou à la progression de la récupération. Les médicaments sont effectivement importants dans le traitement de nombreuses personnes, mais ce n’est peut-être pas - et ce n’est souvent pas le cas - la chose la plus importante.