Mettre cool avant la science: TweetPsych

Un nouveau service lancé cette semaine par un développeur Web nommé Dan Zarrella appelé TweetPsych. Zarrella est également responsable marketing pour HubSpot, une société de marketing en ligne. Zarrella se qualifie de «scientifique», car je suppose que cela semble plus sexy que «développeur Web» ou «directeur marketing», mais il ne liste aucun diplôme universitaire. (Je ne mentionnerais pas la partie scientifique ou les informations d'identification, sauf que Zarrella fait des déclarations scientifiques spécifiques sur son nouveau service.)

Le nouveau service intéressant est commercialisé comme offrant un «profilage psychologique» basé sur ce que vous publiez sur Twitter. Mais ce n’est qu’un service d’analyse de contenu utilisant deux dictionnaires psychologiques et vos 1 000 derniers tweets. Zarrella affirme que cette analyse «construit un profil psychologique d'une personne». Le vrai profilage psychologique est une science et se fait généralement avec bien plus qu’un seul élément de la vie d’une personne (comme ce qu’elle écrit sur un service de micro-blogging). TweetPsych fait alors la prétention contradictoire que c'est à des «fins de divertissement uniquement». Lequel est-ce?

Il y a également des problèmes avec l'un des dictionnaires que Zarrella utilise dans l'analyse. Un dictionnaire - le LIWC - est une base de données de linguistique psychologique valide. Mais l'autre, le dictionnaire anglais de l'imagerie régressive (RID), l'est beaucoup moins. Le RID est composé d'environ 3 200 mots et racines assignés à 43 catégories de pensée et d'humeur. Le principal problème avec le RID est qu'il n'a fondamentalement aucun support de recherche (malgré la citation de Zarrella d'un site Web donnant l'impression que c'est le cas). Il a été développé par un seul professionnel, qui a ensuite écrit un tas de livres sur le sujet et d'autres processus psychanalytiques. Un livre n’est pas la même chose qu’un article de revue de recherche à comité de lecture (comme le savent les chercheurs), et le RID manque totalement de soutien empirique. Cela suggère que la moitié de l'analyse est invalide avant même de commencer.

Le deuxième dictionnaire, la recherche linguistique et le décompte des mots (LIWC), est basé principalement sur le mot écrit - les écrits des gens - ou le mot parlé - comme une séance de thérapie ou une conversation entre deux personnes. Il n'a pas été développé pour analyser des entrées artificiellement courtes de 140 caractères, telles que celles trouvées sur Twitter. Les gens abrégent les mots lorsqu'ils tweetent, en raison de la limite de caractères, et il n'est pas clair que la simple racine va analyser avec précision tous les mots écrits avec des abréviations non standard à la volée. Et les re-tweets aussi? Une personne qui retweete quelque chose ne «parle» pas nécessairement, mais agit plutôt comme un porte-parole pour les mots de quelqu'un d'autre. Le service se différencie-t-il? Sans connaître l'étendue du problème, vous n'auriez aucune idée si votre analyse est artificiellement biaisée d'une manière ou d'une autre (à moins que vous n'ayez d'abord étudié spécifiquement ces types de problèmes). Ces problèmes peuvent être résolus, mais n'ont pas été résolus dans ce service.

La capacité de Zarrella à analyser rapidement 1 000 tweets et à comparer en quelques secondes tout le texte qui y est contenu à ces deux dictionnaires est un exploit admirable de programmation linguistique. Le défi à relever est alors: «Comment présenter les résultats de l’analyse de manière réfléchie, intuitive et exploitable?» C'est la partie où TweetPsych échoue tout simplement à livrer.

Puisque Zarrella a apparemment peu d'expérience en psychologie, les résultats en psychologie sont assez insatisfaisants. Vous recevez une liste de "fonctionnalités" (de votre personnalité? De votre tweet?) Qui incluent des éléments tels que "Profession et travail". À côté se trouve la description utile «Vous parlez beaucoup d'emplois et de votre travail» et un score.

Gee, merci pour la grande perspicacité.

Vous n'avez aucune idée de ce que signifie le score, car il n'y a pas de contexte pour cela. Un 47.87 pour le travail est-il bon ou mauvais? Quelle est la moyenne? Les autres caractéristiques comprennent le «présent», le «mouvement ascendant», les «émotions positives», les «émotions négatives» et trois douzaines d'autres catégories.

Cette partie de l’analyse, basée sur le LIWC, n’est également aussi bonne que le dictionnaire de base du LIWC. Bien que des catégories telles que le travail, la réussite et les loisirs soient toutes des «préoccupations actuelles» que la LIWC peut identifier, elle n'a pas de catégorie pour quelque chose comme «préoccupations relationnelles». Mais vous ne le sauriez pas à moins de connaître le LIWC. C'est peut-être quelque chose que vous mentionneriez aux personnes qui effectuent l'analyse. D'autres contenus d'actualité populaires tweetés régulièrement - comme la politique, la technologie et les célébrités - ne font pas non plus partie du LIWC. Encore une fois, ils n'apparaîtront jamais dans l'analyse, même si c'est tout ce dont vous parlez. Ainsi, les informations que le LIWC - et par extension, TweetPsych - peuvent fournir sont limitées. (L'utilisation d'un dictionnaire personnalisé résout certains de ces problèmes, mais ce n'est pas un dictionnaire proposé par TweetPsych.)

Le «contenu primordial, conceptuel et émotionnel» du RID est livré sans aucune description, et encore une fois, rien pour mettre vos scores dans n'importe quel type de contexte ou de compréhension. Mais comme ce n’est pas un dictionnaire scientifique au départ, vous pouvez ignorer les scores de toute façon. Ils auraient pu être développés au hasard et fournir tout autant d’informations utiles.

La dernière partie de l'analyse actuelle est «D'autres comme vous», une composante commune de tout service de réseautage social. Curieusement, ce composant manquait dans la première version de cet outil. Basé uniquement sur ce que vous tweetez, il déclare "Certaines personnes qui pensent comme vous", puis vous fournit une liste d'autres personnes qui sont allées sur TweetPsych et ont entré leur nom d'utilisateur pour l'analyse.

Bien sûr, c'est ne pas des gens qui pensent comme vous - ce sont des gens qui tweetent comme vous. Cette distinction est importante. Un service qui analyse une infime partie de ce que vous écrivez chaque jour, et basé sur une analyse qui peut être faussée par l'utilisation généralisée des abréviations par ses utilisateurs, ne peut certainement pas prétendre analyser ce que vous pense.

Quelle est la fiabilité de TweetPsych? Eh bien, aujourd'hui, alors que j'écrivais cet article, j'ai remarqué que toutes les partitions de Dan Zarrella avaient changé à cause d'un seul tweet (il n'a tweeté qu'une seule fois aujourd'hui). Son score «occupation et travail» a chuté de 20% et son score «présent» a augmenté de 16%. Son score de pensée abstraite a baissé de 16%. Comment tout cela pourrait-il se produire à partir d'un seul tweet? Un tweet - par rapport à ses 999 autres tweets - ne devrait pas être en mesure d’affecter autant son score. À moins que quelque chose d'autre ne se passe.(Comparez la capture d'écran ci-dessous, prise à 14 h 55 HE, à celle ci-dessus, prise à 9 h HE aujourd'hui.)

Mes propres résultats en analysant les 1000 derniers tweets de Zarrella dans le programme LIWC2007 montrent quelque chose de très différent. Je ne connais pas la méthodologie de Zarrella (car il ne l’a pas partagée), mais j’ai pris le texte de ses 1000 derniers tweets et je les ai traités sous deux formes via le LIWC - enraciné et «tel quel». Aucun des deux n'a produit de scores proches de ce qui apparaît sur TweetPsych. Cela peut être dû au fait qu'il utilise une version plus ancienne du dictionnaire, ou une sorte de variable de transformation qu'il ajoute à TweetPsych qu'il n'a pas divulguée. Vous pouvez consulter les résultats de cette analyse LIWC2007 ici. (J'ai mis en évidence en jaune que TweetPsych a mis en évidence, et en vert d'autres zones qui ne sont plus mises en évidence par TweetPsych; notez la différence significative dans la notation.) Cela vous amène à vous demander, cependant, ce qui se passe exactement avec le service. Si sa fiabilité et sa validité psychométriques sont discutables, quelle est son utilité?

TweetPsych reçoit beaucoup de presse positive, avec seulement un soupçon de scepticisme. Josh Lowensohn de CNet a écrit sur le service et a seulement noté en passant: «Cela en fait moins de psychologie et plus de votre lexique personnel, mais les résultats sont toujours assez amusement." Ouais, amusant! Ben Patterson chez Yahoo! Tech a déclaré: "Malheureusement, les profils psychologiques que TweetPsych distribue ne sont pas la variété narrative cohérente que vous pourriez entendre du psychiatre résident sur" Law & Order: Criminal Intent. "" Et pourtant, un récit cohérent n'est pas beaucoup plus utile que certaines catégories indéfinissables? Aucun des journalistes, ni l'article original sur Mashable (où, surprise!, Zarrella est un contributeur), ne notent le manque de formation en psychologie que Zarrella apporte à la table. Aucun n'a relié les points pour expliquer pourquoi les résultats sont si insatisfaisants dans leurs interprétations. Apparemment, les journalistes de technologie sont excellents pour redistribuer leurs propres communiqués de presse positifs, mais pas si bons pour être de vrais journalistes qui creusent la science prétendue d'un tel service.

Bien sûr, Zarrella lui-même admet qu'il n'a pas beaucoup réfléchi au service, comme il l'a dit au NY Post, "" Les gens adorent se comparer aux autres et essayer de "pénétrer" dans la tête des autres ", dit Zarrella. "C'est comme être une mouche sur le mur lors d'une séance de thérapie." "Une séance de thérapie? Est-ce vraiment si perspicace de trouver que quelqu'un parle de «mouvement ascendant»? Dans la précipitation pour mettre le service en ligne, Zarrella n'a apparemment jamais posé la question: «Ces informations sont-elles réellement utiles?» Le service, tel qu'il existe aujourd'hui, est une pensée inachevée que peu de gens revisiteront.

TweetPsych, malgré ses limites, a ouvert la porte à de futurs services qui fournissent réellement des informations utilisables, utiles et exploitables qui auraient probablement une plus grande validité. Imaginez prendre non seulement les tweets d'une personne, mais également les informations contenues dans son profil Facebook, son blog, etc., et les placer dans un seul énorme moteur d'analyse ... Un tel moteur aurait alors pu avoir la capacité de fournir un véritable aperçu psychologique d'un individu basé sur ce qu'ils disent en ligne.

Jusque-là, nous avons des efforts de première année comme TweetPsych, qui devrait vraiment s'appeler "TweetFun!" Parce que s'il est vraiment amusant de jouer avec, il fournit peu de perspicacité psychologique - sauf du type le plus superficiel - sur qui que ce soit.

(Vous pouvez lire les préoccupations supplémentaires de TweetPsych par Tyler Hayes ici.)