Les statistiques permettent d'avancer tout et n'importe quoi...
Quand on ne sait pas, on se tait. Quand on ne comprend pas, on en fait de même. Le bon sens de nos grands-parents n’est plus de mise dans une société en recherche de sensationnel permanent. Pour ne pas dire de surenchères. Zoom et démonstration avec les études statistiques.
Régulièrement, les médias grand public - qui raffolent du sensationnel - font leurs gros titres avec une "étude" qui "prouverait" tel ou tel lien. Encore faut-il que la relation soit statistiquement significative, et l’expérience reproductible. Une réflexion est d’ailleurs en cours dans les milieux scientifiques pour diminuer le seuil standard de significativité.
On n’y échappe plus. « Le comportement des petits garçons affecté par les perturbateurs endocriniens », titrait l’AFP en septembre dernier, repris en chœur par toute la presse. Plus récemment, c’est le lien entre maladie de Parkinson et l’activité agricole que les journalistes ont largement répercuté, bien souvent en ne lisant que le résumé du communiqué de l’INVS.
Le fruit du hasard
Il faut portant bien comprendre ce que la significativité d’une expérience veut dire. Elle ne dit pas que le lien est établi, mais qu’il est probable (à un seuil fixé arbitrairement) qu’elle ne soit pas le fruit du hasard. Par exemple l’étude de l’automne dernier sur les perturbateurs endocriniens ne passait même pas le seuil de la significativité ! Les auteurs mentionnaient d’ailleurs bien dans l’article original que les résultats obtenus auraient très bien pu être obtenus par hasard. Les médias n’ont pas eu cette prudence…
Pour l’étude du bulletin épidémiologique sur la maladie de Parkinson parue le 10 avril, les auteurs mentionnent cette fois bien la p-value (laquelle indique si les résultats peuvent ou non être obtenus par hasard). Mais ils ne communiquent que sur une partie des résultats. En prenant dix-huit types agricoles différents, ils ne trouvent pas de lien significatif entre maladie de Parkinson et activité agricole dans quinze cas, un lien "protecteur" dans un cas (les oléagineux), et un lien "négatif" dans deux cas (viticulture et élevage caprin). Dans leurs conclusions, ils omettaient cependant le cas des oléagineux, pour ne retenir que celui de la viticulture et de l’élevage caprin… Pour la viticulture, ils émettent l’hypothèse du lien avec l’exposition aux pesticides. Pour l’élevage caprin, aucune explication n’était avancée. Résultat : les médias n’ont retenu que "Viticulture, pesticides et Parkinson"… Un brin réducteur et sans doute pas très scientifique. Ils auraient pu aussi bien titrer : "La culture des oléagineux protège contre Parkinson"... Ils ne l’ont pas fait.
Le biais de publication
Certains scientifiques réfléchissent d’ailleurs actuellement à revoir le seuil de 5 % pour l’erreur de type 1 (voir ci-contre) arbitrairement retenu dans la plupart des études. On pourrait ainsi passer au seuil de 0,5 %, beaucoup plus contraignant. « Les résultats scientifiques seraient ainsi plus fiables et plus susceptibles d’être reproductibles », explique-t-on dans la revue "Science et pseudo-sciences" de janvier dernier, cette revue étant l’organe de presse de l’Association française pour l’information scientifique…
Reste que ce changement ne résoudrait en tout cas pas un autre problème : celui du biais de publication ! Par exemple, si vous cherchez à démontrer un lien entre deux phénomènes et que vous n’y parvenez pas, votre étude et ses résultats négatifs ne seront pas publiés. On ne publiera donc que les résultats positifs. Par ailleurs, les "effets de mode" vont favoriser la médiatisation des résultats relatifs à un petit nombre de sujets. Par exemple, des milliers de scientifiques se penchent actuellement sur le lien entre pesticides et santé, car la sensibilité de l’opinion sur ce sujet est grande. Presque personne en revanche n’étudie celui entre taux de suicide et opinions politiques, ou entre port des lunettes et taux de vaccination… En y mettant les moyens, on pourrait pourtant trouver de quoi faire des titres racoleurs.
Louis de Dinechin
Les statistiques permettent d'avancer tout et n'importe quoi...
Régulièrement, les médias grand public - qui raffolent du sensationnel - font leurs gros titres avec une "étude" qui "prouverait" tel ou tel lien. Encore faut-il que la relation soit statistiquement significative, et l’expérience reproductible. Une réflexion est d’ailleurs en cours dans les milieux scientifiques pour diminuer le seuil standard de significativité.
On n’y échappe plus. « Le comportement des petits garçons affecté par les perturbateurs endocriniens », titrait l’AFP en septembre dernier, repris en chœur par toute la presse. Plus récemment, c’est le lien entre maladie de Parkinson et l’activité agricole que les journalistes ont largement répercuté, bien souvent en ne lisant que le résumé du communiqué de l’INVS.
Le fruit du hasard
Il faut portant bien comprendre ce que la significativité d’une expérience veut dire. Elle ne dit pas que le lien est établi, mais qu’il est probable (à un seuil fixé arbitrairement) qu’elle ne soit pas le fruit du hasard. Par exemple l’étude de l’automne dernier sur les perturbateurs endocriniens ne passait même pas le seuil de la significativité ! Les auteurs mentionnaient d’ailleurs bien dans l’article original que les résultats obtenus auraient très bien pu être obtenus par hasard. Les médias n’ont pas eu cette prudence…
Pour l’étude du bulletin épidémiologique sur la maladie de Parkinson parue le 10 avril, les auteurs mentionnent cette fois bien la p-value (laquelle indique si les résultats peuvent ou non être obtenus par hasard). Mais ils ne communiquent que sur une partie des résultats. En prenant dix-huit types agricoles différents, ils ne trouvent pas de lien significatif entre maladie de Parkinson et activité agricole dans quinze cas, un lien "protecteur" dans un cas (les oléagineux), et un lien "négatif" dans deux cas (viticulture et élevage caprin). Dans leurs conclusions, ils omettaient cependant le cas des oléagineux, pour ne retenir que celui de la viticulture et de l’élevage caprin… Pour la viticulture, ils émettent l’hypothèse du lien avec l’exposition aux pesticides. Pour l’élevage caprin, aucune explication n’était avancée. Résultat : les médias n’ont retenu que "Viticulture, pesticides et Parkinson"… Un brin réducteur et sans doute pas très scientifique. Ils auraient pu aussi bien titrer : "La culture des oléagineux protège contre Parkinson"... Ils ne l’ont pas fait.
Le biais de publication
Certains scientifiques réfléchissent d’ailleurs actuellement à revoir le seuil de 5 % pour l’erreur de type 1 (voir ci-contre) arbitrairement retenu dans la plupart des études. On pourrait ainsi passer au seuil de 0,5 %, beaucoup plus contraignant. « Les résultats scientifiques seraient ainsi plus fiables et plus susceptibles d’être reproductibles », explique-t-on dans la revue "Science et pseudo-sciences" de janvier dernier, cette revue étant l’organe de presse de l’Association française pour l’information scientifique…
Reste que ce changement ne résoudrait en tout cas pas un autre problème : celui du biais de publication ! Par exemple, si vous cherchez à démontrer un lien entre deux phénomènes et que vous n’y parvenez pas, votre étude et ses résultats négatifs ne seront pas publiés. On ne publiera donc que les résultats positifs. Par ailleurs, les "effets de mode" vont favoriser la médiatisation des résultats relatifs à un petit nombre de sujets. Par exemple, des milliers de scientifiques se penchent actuellement sur le lien entre pesticides et santé, car la sensibilité de l’opinion sur ce sujet est grande. Presque personne en revanche n’étudie celui entre taux de suicide et opinions politiques, ou entre port des lunettes et taux de vaccination… En y mettant les moyens, on pourrait pourtant trouver de quoi faire des titres racoleurs.
Louis de Dinechin
