Un lien entre la légalisation de la marijuana et les accidents de voiture? Absurdité

• Choisissons nos états de contrôle
• 11 analyses, mais seulement 3 significatives
• Regroupons les données!
• Alors, que montrent les données?
• Qu'est-ce que cela signifie pour la marijuana?

En octobre, le Highway Loss Data Institute et l'Insurance Institute for Highway Safety ont publié un rapport auto-publié suggérant qu'il existe un lien de corrélation étroit entre les taux d'accidents d'automobile et la légalisation de la marijuana dans les États. Ce serait une nouvelle épouvantable si la découverte reposait sur des preuves scientifiques solides.

Malheureusement pour ces instituts, les données de recherche sont au mieux obscures. Et comme ces organisations ont auto-publié le rapport, plutôt que de passer par le processus d'examen scientifique par les pairs, il est difficile de prendre leurs conclusions au sérieux.

Avant de commencer à examiner les données, les lecteurs doivent comprendre que bien que le Highway Loss Data Institute (HLDI) et l'Insurance Institute for Highway Safety (IIHS) soient deux légal organisations, ils partagent la même haute direction, la même adresse physique et probablement beaucoup plus. Cela donne l'impression que ce sont deux organisations indépendantes et non liées qui ont trouvé des résultats similaires en mettant en commun leurs esprits collectifs, mais ce n'est pas le cas.

Je dois aussi commencer cet article par le rappel scientifique habituel - la corrélation n'égale pas la causalité. Si je mène une étude sur l'effet des gens qui ouvrent leurs parapluies dans un centre-ville urbain, je trouverai une corrélation positive très forte entre cette action et la présence de pluie. Mais nous savons qu'ouvrir un parapluie ne fait pas tomber la pluie. Pourtant, la science montrera facilement une forte corrélation entre les deux - conduisant certains chercheurs tristes et involontaires à suggérer qu'il existe définitivement une relation causale.

Choisissons nos états de contrôle

Dans la nouvelle étude, un chercheur a examiné les données sur les accidents de la route pour trois États cibles où la marijuana était devenue légalisée au-delà de l'usage médical (Monfort, 2018). Ensuite, il a comparé les taux d’accidents de ces États avec cinq États témoins (États qui bordaient généralement les États légalisés de la marijuana). Par exemple, le Colorado était associé à trois États: le Nebraska, l'Utah et le Wyoming.

Vous voyez déjà le problème, non? Le Colorado partage des frontières avec six États, pas seulement trois: l'Arizona, le Nouveau-Mexique et le Kansas également. Nous voyons un problème similaire avec les autres états de contrôle choisis également. Les États de contrôle de l’Oregon étaient l’Idaho (un État de comparaison approprié) et le Montana - un État sans littoral avec lequel il partage peu de points communs et aucune frontière.

Le chercheur a justifié ces choix parce que l'organisation sœur de l'IIHS a publié un précédent rapport choisissant ces États. Ces chercheurs anonymes ont choisi les états sur la base d'une corrélation - parfois pas très forte - de similitudes entre leurs taux de données sur les accidents. Pas la démographie, la géographie (routes de montagne sinueuses par rapport aux terrains plats) ou toute autre raison.1 On peut se demander si les «modèles d'accidents saisonniers avant 2014» sont une variable de comparaison scientifique légitime pour le choix des états de contrôle, alors que d'autres variables semblent beaucoup plus appropriées.

Dans un e-mail de suivi avec le porte-parole de l'IIHS, il a déclaré que le chercheur souhaitait «utiliser deux ensembles de données différents et voir si les résultats seraient similaires. L'utilisation de différents états de contrôle n'aurait pas de sens. »

Comme le savent les lecteurs de longue date, les chercheurs peuvent à peu près manipuler leurs données, leurs analyses ou leurs hypothèses pour démontrer les résultats qu'ils souhaitent trouver. C'est l'une des raisons pour lesquelles de nombreuses personnes sont généralement sceptiques à l'égard de la recherche. Il y a tellement de façons pour un chercheur de manipuler des données - souvent pour de bonnes raisons très légitimes - qu'il peut être difficile de détecter le biais introduit.

Ce n’était cependant pas le cas de cette étude. Je pense que les préjugés sont, à mon avis, assez clairement exposés.

11 analyses, mais seulement 3 significatives

Le deuxième signe que ce rapport de recherche est totalement absurde est que même lorsque le jeu de cartes était empilé de la manière choisie par le chercheur lui-même, il ne pouvait toujours pas trouver beaucoup de signification dans les données pour la majorité des analyses statistiques qu'il a effectuées. Voir par vous-même:

Vous voyez ces trois astérisques? Ce sont les trois seules analyses statistiquement significatives. Remarquez comment un seul de ces astérisques apparaît dans une comparaison réelle entre les États - entre le Colorado et l'Utah. Toutes les autres analyses d'état à état n'ont montré aucune différence significative entre un état de contrôle et l'état légal de la marijuana.

Dans les sept analyses d'État à État seulement, une seule s'est avérée significative. C’est une découverte assez importante qui a été passée sous silence dans le rapport (et qui n’a pas été mentionnée du tout par l’IIHS). Dans mes cercles de recherche, nous appellerions cela «faible».

Regroupons les données!

Ce n'est que lorsque le chercheur a mis en commun tout un tas d'états de contrôle qu'il a trouvé deux corrélations plus significatives.

En général, je crois comprendre que les chercheurs s’abstiennent de regrouper des données provenant de sources disparates à moins qu’ils ne puissent justifier la décision de le faire et s’assurer que les variables sous-jacentes sont homogènes (ou similaires).

Non seulement vous devez vous en assurer pour un groupe d'États, comme dans la recherche actuelle. Mais le chercheur a également regroupé des données sur plusieurs années.

On ne voit pas quelle justification le chercheur a utilisée pour choisir les années qu'il a faites (2012-2016), à part dire que c'était les années où ces données étaient disponibles dans tous ces États. Cependant, dans ma recherche rapide sur chacun des sites Web gouvernementaux de ces États, j’ai généralement trouvé des données fiables sur les accidents qui remontent à 2005.

Nous savons que les données annuelles sur les accidents ne sont pas homogènes - elles peuvent varier considérablement d'une année à l'autre. Par exemple, dans tous les États, les taux de pourcentage d'accidents ont augmenté en 2014, 2015 et 2016, quel que soit l'État. Donc, ce que le chercheur essaie de mesurer si l'augmentation de 7,84% de l'Idaho en 2015 est différente de l'augmentation de 7,09% de l'Oregon favorable à la marjiuana. Ou si le taux d'augmentation de 4,37% du nombre d'accidents dans le Colorado, favorable à la marijuana en 2015, par rapport à 2014, est significativement différent de l'augmentation de 9,96% dans l'Utah ou de 10,19% au Nouveau-Mexique.

En outre, différents États ont eu des tailles de pool différentes pour les mois examinés, selon le moment où leurs ventes au détail de marijuana sont entrées en vigueur. Cela signifiait que pour l'Oregon, le chercheur a regroupé 2012, 2013, 2014 et la majeure partie de 2015 en un seul ensemble de données, et 2016 + 2 mois en 2015 en tant que deuxième ensemble de données (46 mois contre 14 mois). Mais le Colorado a légalisé la marijuana en janvier 2014, il ne disposait donc que de deux ans de données pré-légalisation et de trois ans de données post-légalisation.

Dans une comparaison scientifique juste et précise, tous les ensembles de données doivent être de taille similaire en termes de période examinée avant et après la variable que vous essayez de mesurer dans votre analyse. Surtout lorsque ces données, nous le savons, ne sont pas homogènes.

Alors, que montrent les données?

Le chercheur n’a pas fourni les détails habituels dont on aurait besoin pour reproduire son travail. Nous devons donc examiner les données brutes et simplement regarder les problèmes les plus évidents.

En regardant le Colorado, nous pouvons comparer son taux d'accidents au fil du temps à deux autres États. Avant 2013, le Colorado a connu des baisses d'une année à l'autre du taux global d'accidents (toutes les données du site Web de chaque État respectif). Puis en 2013, l'État a connu un pic de 6,29% des accidents, qui s'est poursuivi en 2014 (6,79%) et 2015 (4,37%). En 2016, l'État n'a enregistré qu'une augmentation de 0,35%.

Comparez ces chiffres à l'un des états témoins, l'Utah, que le chercheur a inclus. L'Utah a également connu une augmentation des accidents en 2013 (9,05%), qui ont diminué en 2014 (-2,96%). Les taux de crash de cet État ont de nouveau augmenté en 2015 et 2016 (9,96% et 3,94% respectivement).

Comparons maintenant ces chiffres à l’un des États de contrôle non choisis par le chercheur, le Nouveau-Mexique. Il a connu une baisse des taux de crash en 2013 (-4,78%), puis deux années de hausse en 2014 et 2015 (3,64% et 10,19% respectivement). En 2016, le Nouveau-Mexique a connu une baisse de -0,53%.

Je crois que la raison pour laquelle l'Utah a été choisie plutôt que le Nouveau-Mexique était simple. Ses taux de crash dans les années 2014-2016 (années clés pour la comparaison de la marijuana au Colorado) ont fait augmenter son taux de crash de 10,94% cumulativement. Si les instituts avaient utilisé le Nouveau-Mexique à la place, son taux de crash pour la même période était de 13,3%. Par rapport aux 11,51% cumulés du Colorado, vous pouvez voir que l’Utah est plus bas - mais celui du Nouveau-Mexique (également un État voisin du Colorado) est près de 2 points de pourcentage de plus.

Jetez le tout dans une analyse qui tient compte des «caractéristiques de l'État» (qui ne comprenaient que les taux de chômage et les conditions météorologiques), et le tour est joué! Les données qui montrent apparemment que les ventes de marijuana ont un impact sur les taux de crash.

Qu'est-ce que cela signifie pour la marijuana?

Les données, même issues de la recherche actuelle, ne montrent fondamentalement aucune signification statistique entre les ventes au détail de marijuana et le nombre d'accidents de voiture dans un État. Si une corrélation existe, elle est très faible, et on ne la trouve que lorsque le chercheur a utilisé, à mon avis, des analyses douteuses dans l'étude. Certains États voisins du Colorado - par exemple, le Nouveau-Mexique - n'ont pas été inclus dans l'analyse et ont montré des augmentations plus importantes de l'augmentation de leurs taux d'accidents au cours de la même période que le Colorado.

Je pense que ce genre de rapport reflète mal à la fois l'IIHS et le HLDI. Ces organisations, financées principalement par les compagnies d'assurance, publient, à mon avis, des résultats effrayants afin de transmettre un objectif politique et commercial. Ils vantent ces résultats comme de la «recherche», malgré le fait qu’ils ne sont parfois publiés que sur le site Web de l’organisation et ne sont apparemment pas évalués par des pairs, comme cela se fait dans la recherche scientifique traditionnelle. («Nos recherches les plus récentes sur la légalisation de la marijuana à des fins récréatives et les accidents signalés par la police ont été soumises pour publication à la revue Analyse et prévention des accidents», Note le porte-parole de l'IIHS.)

Ce que nous avons ici, c'est ce que j'appellerais une «fausse recherche» - une recherche qui tend à montrer une relation significative là où il n'y a manifestement qu'un grand point d'interrogation. Et même s'il y avait une signification corrélationnelle, cette recherche n'a aucun soutien d'une relation causale. Nous avons contacté les organisations pour obtenir des commentaires, et elles nous ont simplement renvoyés à l'étude pour obtenir des réponses. Par exemple, le porte-parole de l'IIHS a déclaré: «Les données sur les accidents des états de marijuana dans l'étude de l'IIHS ne sont pas regroupées, mais les résultats individuels de chaque état ont été combinés dans une méta-analyse, qui est une méthode de recherche acceptée. Les résultats individuels pour le Colorado et Washington dans l'analyse HLDI sont statistiquement significatifs. »

Lorsque j'ai souligné que l'étude en cours ne montrait de signification que pour un État - le Colorado (et seulement par rapport à un autre État, l'Utah) - le porte-parole m'a indiqué l'étude précédente. Apparemment pas au courant que si plus récent la recherche contredit une recherche antérieure, vous ne pouvez pas continuer à indiquer que cette recherche antérieure est toujours valide. Ce que la nouvelle étude de l'IIHS montre, c'est qu'il n'y a plus de corrélation significative entre la marijuana et les accidents à Washington - exactement le contraire de ce que prétend le porte-parole.

L'IIHS est une organisation qui tente d'éduquer et d'informer les décideurs politiques en matière de sécurité des automobilistes. Malheureusement, la plupart des politiciens et des citoyens ne comprendront pas ou ne réaliseront pas qu’ils ont été trompés, et croient plutôt que ce type d’étude est en fait scientifique.

En bref, il n'y a pas de données solides liant les ventes au détail de marijuana à une augmentation des accidents de la route. Les données dont nous disposons ne montrent qu'une corrélation très limitée et faible - pas de causalité - via la supercherie statistique.

À partir de maintenant, je serai beaucoup plus sceptique quant à tout ce que l'IIHS ou HLDI publiera.

Notes de bas de page:

1. Plus précisément, «les états de contrôle ont été sélectionnés en fonction de la proximité de l'état de l'étude ainsi que de la similitude des modèles d'accidents saisonniers avant 2014. Cette similitude était basée sur les corrélations entre les fréquences mensuelles dans l'état de l'étude et chaque état de contrôle potentiel pendant 24 mois de 2012-13. Le coefficient de corrélation de Pearson pour le Colorado et le Nebraska était de 0,85; pour le Wyoming, 0,79; et pour l'Utah, 0,60. Pour Washington, les États du Montana (0,67) et de l'Idaho (0,63) ont été sélectionnés comme témoins. Pour l'Oregon, les États de l'Idaho (0,67) et du Montana (0,83) ont été utilisés. » [↩]