Dr. Epstein, biais politique et résultats de recherche Google

• Les moteurs de recherche ont toujours été biaisés
• À quoi ressemble le biais dans les résultats des moteurs de recherche?
• Google a aidé Hillary à gagner?
• Peut-être y a-t-il une hache à broyer?
• Le résultat du biais des moteurs de recherche

Je suis un peu confus par les affirmations du Dr Robert Epstein et par son affirmation, basée sur une seule étude de 95 participants, selon laquelle Google a en quelque sorte intentionnellement biaisé les résultats affichés avant l'élection présidentielle américaine de 2016. Et par conséquent, a probablement eu un impact sur les résultats des élections eux-mêmes.

C'est un énorme affirmation à faire. On pourrait espérer qu'un chercheur estimé tel que le Dr Epstein aurait les données scientifiques à l'appui. Malheureusement, je ne le vois pas.

La science n'est objective que jusqu'au point où un scientifique reconnaît et rend compte de ses propres préjugés. La science n'est pas basée sur un programme prédéfini ou sur une tentative de régler un compte. Je ne suis pas certain que le Dr Epstein ait maîtrisé ses propres préjugés dans son apparente chasse aux sorcières pour éliminer Google pour avoir offert des résultats de recherche «biaisés».

Les moteurs de recherche ont toujours été biaisés

Google a toujours proposé des résultats de recherche biaisés. Si vous ne comprenez pas que a Pour être le cas avec n'importe quel moteur de recherche, vous pourriez avoir besoin d'un cours de recyclage rapide sur le fonctionnement des moteurs de recherche.

Il n'y a pas de résultats de recherche impartiaux. Tous les moteurs de recherche utilisent des algorithmes propriétaires de secrets commerciaux pour vous assurer que vous voyez ce que la société de moteurs de recherche considère comme étant les «meilleurs» résultats. «Meilleur» a toujours été - depuis le début des moteurs de recherche en ligne au début des années 1990 - un terme subjectif. Il n’existe pas de classement objectif unique des sites Web indiquant: «Affichez toujours ce site Web en premier pour cette requête de recherche, car il s'agit clairement du meilleur résultat.»

Et devinez quoi - les gens adorent ça! C’est pourquoi Google est en tête des moteurs de recherche, car il offre effectivement les résultats qui sont apparemment les plus pertinents pour la plupart des gens. Dès que Google arrête de proposer des résultats aussi pertinents, un nouveau moteur de recherche peut et prendra sa place. (Quelqu'un se souvient d'Alta Vista, Excite ou même de Yahoo? [Et non, Yahoo ne fait plus de recherche - ses résultats sont fournis par Bing.])

À quoi ressemble le biais dans les résultats des moteurs de recherche?

À l'insu de beaucoup, les moteurs de recherche n'affichent pas exactement les mêmes résultats pour la même requête posée par deux personnes différentes. La plupart des moteurs de recherche, y compris Google, utilisent des facteurs de personnalisation complexes ainsi qu'un profil psychographique afin de trier et de présenter les résultats qu'ils pensent être le plus pertinent pour vous.

En pratique, cela signifie que ma recherche de «symptômes de dépression» peut renvoyer un ensemble de résultats différent de votre recherche sur les mêmes termes. Si vous ne contrôlez pas soigneusement cela dans votre méthodologie, vos résultats seront dénués de sens et entachés.

Epstein & Robertson (2015) ont découvert dans une série d'expériences en laboratoire (pas dans le monde réel), lorsqu'ils manipulaient artificiellement les pages de résultats des moteurs de recherche, ils pouvaient influencer les préférences des électeurs des sujets sur une courte durée. Il n'a recherché aucune page de moteur de recherche réelle. Et il a ignoré la mise en page et la composition des pages de résultats des moteurs de recherche modernes. Les vraies pages de résultats de recherche comportent plusieurs publicités (que tout le monde peut acheter) en haut de la page avant tout résultat organique.

Les résultats de ces chercheurs ne sont pas surprenants dans la mesure où ils font écho à ce que tout expert en optimisation pour les moteurs de recherche (SEO) vous dirait: la position est importante sur une page de résultats de moteur de recherche. Les sites Web génèrent beaucoup plus de trafic s'ils sont n ° 1, n ° 2 ou n ° 3 par rapport au n ° 9 - ou pire encore, sur la deuxième page de résultats.

Dans une deuxième expérience en laboratoire, le même chercheur a démontré des méthodes (encore une fois, en utilisant un moteur de recherche complètement faux - pas Google) dans lesquelles l'effet qu'ils ont inventé - l'effet de manipulation du moteur de recherche (SEME) - pourrait être supprimé (grâce à des alertes opportunes montrées aux utilisateurs. ).

Google a aidé Hillary à gagner?

En 2017, Epstein & Robertson ne se contentaient plus de démontrer l'évidence - que les positions de classement comptent sur les pages de résultats des moteurs de recherche. Ils sont allés plus loin et ont mené une étude sur 95 Américains (dont 21 seulement identifiés comme «indécis» lors de la prochaine élection présidentielle) en 2016 et leurs habitudes de recherche.

Dans un livre blanc publié uniquement sur leur propre site Web, Epstein & Robertson font la déclaration extraordinaire:

[…] Ous avons constaté qu'entre mai et novembre 2016, les résultats de recherche affichés en réponse à un large éventail de termes de recherche liés aux élections étaient, en moyenne, biaisés en faveur de Mme Clinton dans les 10 positions dans les résultats de recherche.

Publié comme un «livre blanc» et non comme une étude de revue à comité de lecture, cela a soulevé un tas de drapeaux rouges.1

Il y avait peu de méthodologie expliquée dans l'étude. Cela n'inclut aucune information sur ce qui a été fait pour limiter la personnalisation des résultats de recherche (puisque vous souhaitez contrôler cette variable indépendante), ni sur les termes de recherche qu'ils ont réellement utilisés.En fait, à la lecture des deux études précédentes publiées par ces chercheurs, il n'est même pas clair qu'ils connaissent le fonctionnement des moteurs de recherche en termes de stratégies de monétisation, d'algorithme hebdomadaire qu'ils utilisent et de personnalisation des résultats de recherche.

Il y a aussi une certaine négligence apparente dans les efforts du chercheur, à mon avis. Il n'y a aucune justification donnée pour la période spécifique de 25 jours qu'ils ont utilisée pour examiner dans l'étude, par rapport à toute autre période de temps. Et en fait, ils reconnaissent qu'ils n'ont pas vraiment regardé de très près majorité des points de données qu'ils avaient rassemblés. Les chercheurs ont ignoré 7 mois de données de recherche pour se concentrer uniquement sur les 3 semaines précédant les élections.2

Ils ont également pris la décision, après coup, de supprimer toutes les données basées sur Gmail.com en raison d'anomalies dans ces données. Ces anomalies ne montraient pas un tel biais, qu’elles attribuaient soit à un ensemble de «bots», soit - attendez-le - à un sabotage intentionnel de la part de Google.

Comme il existe une minorité importante d'utilisateurs légitimes qui utilisent Gmail, ces justifications pour rejeter toutes les données dérivées de Gmail.com semblent au mieux discutables. C'est, à mon avis, une décision de recherche horrible à prendre, mais qui, par coïncidence, a également permis aux chercheurs de trouver une signification dans leurs données.

Mais voici le vrai kicker:

En extrapolant à partir des mathématiques introduites dans ce rapport, dans des articles publiés en février 2016 et par la suite, l'auteur principal de l'étude PNAS a prédit qu'un biais pro-Clinton dans les résultats de recherche de Google déplacerait, avec le temps, au moins 2,6 millions de votes vers Clinton.

Il n'y a aucune mathématique dans leur livre blanc. Là sont un tas de statistiques descriptives, mais ces statistiques parlent à peine des procédures ou de la modélisation que les chercheurs ont réellement utilisées pour arriver aux conclusions qu'ils ont faites.

Les «preuves de partialité systématique des chercheurs lors de l’élection présidentielle de 2016?» Un petit échantillon de données de modélisation basé sur 95 Américains (moins les utilisateurs de Gmail.com dont ils ont jeté les données post-hoc).

En bref, à mon avis, c'est exactement le genre de recherche de mauvaise qualité, louches et horriblement conçues qui passe pour une «preuve» de nos jours. Pourquoi les chercheurs mèneraient-ils une telle étude apparemment politiquement biaisée et en tireraient-ils également des conclusions dont ils n'ont aucune preuve directe? 3

Peut-être y a-t-il une hache à broyer?

Les chercheurs sont humains. Et les humains ont parfois une hache à broyer. Vous n’avez pas besoin d’aller loin pour trouver l’un des axes particuliers possibles d’Epstein.

Avant 2012, Epstein montrait peu d'intérêt pour les moteurs de recherche ou leur fonctionnement. Il a publié sur une grande variété de sujets psychologiques, relationnels et de santé mentale et a écrit à leur sujet pour des sites Web grand public.

Puis au début de 2012, le site Web personnel d'Epstein a reçu un avertissement de malware qui est apparu lorsque des utilisateurs ont tenté d'accéder à son site à partir de Google. Google affiche ces alertes pour éloigner les utilisateurs des sites Web potentiellement malveillants.

Mais cet incident est apparemment tombé sous la peau d'Epstein d'une manière ou d'une autre, car il a soudainement écrit plusieurs articles à l'automne 2012 sur la nécessité de réglementer Google. Ceci d'un chercheur qui n'avait jamais écrit un seul mot sur les moteurs de recherche auparavant. Je trouve le timing intéressant.

En bref, Epstein plaide pour la réglementation de Google par le gouvernement fédéral depuis sept ans. Il ne serait pas trop difficile d’imaginer un chercheur hypothétique concevant des études pour étayer ses convictions.

Le résultat du biais des moteurs de recherche

Les moteurs de recherche ont toujours été biaisés, et le seront toujours parce qu'ils sont des outils subjectifs destinés à aider les utilisateurs à accéder à l'information ou au divertissement. La minute où un grand gouvernement veut commencer à surveiller mes résultats de recherche est la minute où je me tourne vers un moteur de recherche où ce filtrage gouvernemental n’est pas effectué.

Cela permet également de garder à l'esprit l'ingérence hypothétique par rapport à l'ingérence réelle dans la politique américaine. Alors qu'Epstein insinue que Google manipule ses résultats de recherche politique pour favoriser les candidats qu'il veut élus, nous avons la preuve réelle que Facebook a manipulé l'élection présidentielle de 2016 par le biais d'organisations parrainées par la Russie achetant des millions de dollars de fausses publicités sur sa plate-forme.

Fait intéressant, Epstein ne semble pas s'intéresser beaucoup à cela. C'est peut-être parce que Facebook ne lui a jamais fait de tort comme Google l'a fait autrefois.

Pour plus d'informations

Politifact: Donald Trump a tort sur Google manipulant les résultats des élections

Références

Epstein et Robertson. (2017). Suppression de l'effet de manipulation des moteurs de recherche (SEME). Proc. ACM Hum.-Comput. Intéragir., 1 (2), 42.

Epstein et Robertson. (2017). Une méthode pour détecter les biais dans les classements de recherche, avec des preuves de biais systématiques liés à l'élection présidentielle de 2016. Livre blanc publié par AIBRT, l’organisation d’Epstein.

Epstein et Robertson. (2015). L'effet de manipulation des moteurs de recherche (SEME) et son impact possible sur les résultats des élections. PNAS, 10.1073 / pnas.1419828112

Notes de bas de page:

1. Interrogé sur le manque d'études évaluées par les pairs, Epstein m'a répondu: «J'ai aussi des problèmes à la fois d'urgence et de quantité: j'ai terminé ou ai en cours tant d'études différentes sur les nouvelles formes d'influence en ligne (j'étudie sept types d'influence différents pour le moment - SEME et six autres) que j'ai décidé de résumer mes conclusions dans des documents de conférence, des livres blancs et, à un moment donné, sous forme de livre, plutôt que de passer le peu de temps qu'il me reste sur le processus de publications académiques extrêmement lent. Lorsque je tombe sur une nouvelle forme d'influence en ligne, il me faut au moins un an ou deux pour la comprendre et la quantifier. (Je n'ai même pas commencé à expérimenter une demi-douzaine de nouvelles formes d'influence que je connais.) Ajouter un an ou deux à ce processus pour publier dans une revue semble imprudent étant donné mon âge et compte tenu de l'importance potentielle de ces découvertes. pour l'humanité. » [↩]
2. Les chercheurs ont affirmé que cela était dû à ce qu'ils ont dit être des problèmes de recrutement et d'affinage de leurs procédures. Ce qui soulève la question - leurs procédures n’auraient-elles pas dû d’abord être affinées dans le cadre d’une étude pilote, comme l’auraient fait la plupart des chercheurs? [↩]
3. Ou, si vous voulez être pédant, ayez une preuve minimale de basée sur un petit échantillon de seulement 95 recherches d'utilisateurs - moins un certain nombre de sujets Gmail.com - au cours de 25 jours. [↩]