Autopsie du concept de peer review
4.11.24 . Un mot de précaution avant que vous n'entamiez l'investigation autour des traitements, si jamais on vous (re)diagnostique un cancer.
Dans vos recherches sur un nouveau traitement (miracle, généralement), sur les effets positifs et négatifs des procédures conventionnelles, arrêtez de croire sur parole les dieux de "la science". Scoop: ils ont aussi leurs défauts.
Dans le cadre de mon dossier cancer de l'automne à l'intention des profanes, j'aimerais ajouter un mot de précaution avant que vous n'entamiez l'investigation autour des traitements, si jamais on vous (re)diagnostique un cancer. Dans vos recherches sur un nouveau traitement (miracle, généralement), sur les effets positifs et négatifs des procédures conventionnelles, arrêtez de croire sur parole les dieux de "la science". Scoop: ils ont aussi leurs défauts.
L'un d'entre eux est... qu'on ne peut plus croire la littérature scientifique sans la croiser avec le terrain et l'historique.
Pour nous, lecteurs profanes, un éclairage par un pro sur l'une des raisons de la désillusion: en litt. scientifique: The rise and fall of peer review (Why the greatest scientific experiment in history failed, and why that's a great thing)
(Grandeur et décadence de l’examen par les pairs (pourquoi la plus grande expérience scientifique de l’histoire a échoué, et pourquoi c’est une bonne chose)
Qu'est-ce qui s'est mal passé ?
La question est simple : l'évaluation par les pairs fait-elle vraiment ce qu'elle est censée faire ? Permet-elle de détecter les mauvaises recherches et d'empêcher leur publication ?
Ce n'est pas le cas. Des scientifiques ont mené des études dans lesquelles ils ajoutent délibérément des erreurs aux articles, les envoient aux examinateurs et comptent simplement le nombre d'erreurs que ces derniers détectent. Les examinateurs sont assez mauvais dans ce domaine. Dans cette étude, ils ont détecté 30 % des défauts majeurs, dans cette autre étude , ils en ont détecté 25 % et dans cette autre étude, ils en ont détecté 29 %. Il s'agissait de problèmes critiques, comme « l'article prétend être un essai contrôlé randomisé mais ce n'est pas le cas » et « lorsque vous regardez les graphiques, il est assez clair qu'il n'y a aucun effet » et « les auteurs tirent des conclusions qui ne sont absolument pas étayées par les données ». La plupart du temps, les examinateurs ne les ont pas remarqués.
Faites vos recherches personnelles sur Pubmed, bien sûr. Mais... prenez les résultats avec des pincettes, pour cette raison-ci et pour les premières raisons que j'ai exposées dans le billet d'intro: Un étranger dans un monde étrange: la confusion à tous les étages.
Ajoutez un flanc terrain et historique aux résultats, en étudiant le sujet hors de la pure littérature scientifique. Dialoguez avec votre médecin autour de vos recherches. Ce dernier aura une vision bien plus large et plus précise en même temps que le meilleur des profanes ne peut en avoir: il soigne des patients au quotidien, parfois depuis quarante ans. Souvent, il fréquente des colloques qui ne sont pas tous financés par les labos, il en tire de précieuses sources croisées. Rien ne surpasse le terrain, aux yeux d'une empiriste.
Je n'ai pas grand espoir d'ouvrir les quinquets à beaucoup de monde, car "la science" (concept abstrait) est devenu la nouvelle religion du temps. Questionne-t-on un culte? Vade retro, iconoclaste!
NB.
L'auteur de l'article Adam Mastroianni n'arrive pas aux mêmes conclusions que moi, assurément. Il souligne par exemple que le concept de peer-review se focalise sur la fragilité d'une étude, alors qu'on pourrait se concentrer sur ses forces. Sa conclusion: "génial, on a raté" ouvre de nouvelles perspectives à la recherche.
Il parle aux chercheurs et pense à l'avenir de la science, je parle aux profanes et je pense à l'avenir de leurs mitochondries. Deux éclairages bien différents