Data dredging

Le data dredging (littéralement le dragage de données mais mieux traduit comme étant du triturage de données^[1]) est une technique statistique qui « consiste à ne publier que les compositions d'échantillon et les périodes d'observation favorables à l'hypothèse testée »^[2].

Exemple de Data dredging.

Une des formes du data dredging est de partir de données ayant un grand nombre de variables et un grand nombre de résultats, et de choisir les associations qui sont « statistiquement significatives », au sens de la valeur p (on parle aussi de p-hacking)^[3].

Ce phénomène apparaît par exemple en médecine, plus précisément en épidémiologie, où, à partir d'un grand nombre de données (poids, âge de l'éventuelle première cigarette, etc.) et d'un grand nombre de résultat possibles (cancer du sein, cancer du poumon, accident de voiture, etc.) des associations hasardeuses sont faites (a posteriori), et « validées » statistiquement^[3].

Hypothèses suggérées par des données non représentatives

Dans un groupe de 366 personnes, au moins deux sont nées le même jour. Cette coïncidence se retrouve également dans un groupe plus petit de 22 personnes. Supposons que dans ce groupe, Marie et Jean fêtent tous les deux leur anniversaire le 7 août. Le triturage de données consiste à chercher d'autres similitudes entre Jean et Marie, telles que :

• Sont-ils le/la plus jeune et le/la plus âgé(e) du groupe ?
• Se sont-ils déjà rencontrés ? Une fois, deux fois, trois fois ?
• Leurs pères respectifs ont-ils le même prénom ?
• Etc.

En cherchant attentivement parmi les milliers de similitudes possibles entre Marie et Jean, chacune ayant une très faible probabilité d'être vraie, on finit toujours par en trouver une. Par exemple, il se peut que Marie et Jean aient tous les deux changé trois fois d'orientation à l'université. L'hypothèse, biaisée par le triturage de données, devient alors : « les gens nés le 7 août ont une probabilité beaucoup plus forte de changer d'orientation à l'université ».

Les résultats confirment cette hypothèse, puisque personne d'autre dans le groupe de 22 personnes étant né un autre jour n'a changé d'orientation trois fois.

Cependant, lorsque l'enquête est refaite sur un échantillon beaucoup plus large (la population d'un pays par exemple) et que l'on essaye de reproduire les résultats obtenus, aucune corrélation ne peut être mise en évidence entre le fait d'être né le 7 août et celui de changer d'orientation plus d'une fois. Le « fait » n'existe que pour un échantillon spécifique très petit et non pour le grand public.