Certains articles scientifiques reposent sur de la mauvaise science. Ils doivent être retirés (en jargon scientifique, on dit "rétractés"). Et ils ne doivent plus être cités par les autres auteurs, sauf exceptions précises. Malheureusement, ces belles règles ne sont guère suivies. Ce qui est bien regrettable...
La "mauvaise science" n'est pas si rare
Diverses raisons peuvent expliquer qu'on considère une expérimentation ou plus largement, un travail scientifique, comme de qualité insuffisante. Par exemple, les données peuvent être fausses, par la suite d'un mauvais recueil ou d'erreurs d'identification ou de saisie. Ou des erreurs ont pu être faites dans le protocole expérimental : en suivant un protocole autre que celui prévu, ou en suivant le bon protocole, mais avec des erreurs. Ou encore, pour diverses raisons, les résultats ne sont pas fiables, et leur précision ou leur validité est douteuse.
Et il faut ajouter à cela les protocoles mal conçus, les erreurs de traitement statistique et aussi les fraudes (a). Un auteur trouvera plus facilement des subventions ou des fonds privés s'il a beaucoup publié d'articles. La tentation peut être forte de signer des articles fondés sur les protocoles "vite faits mal faits", de truquer les résultats pour qu'ils disent ce qu'on veut entendre ou même d'inventer complètement les données.
Comment réagissent (normalement) les revues scientifiques
Lorsqu'elles reçoivent un article, les bonne revues scientifiques trient d'abord les manuscrits qui les intéressent. Elles les rendent anonymes, puis les font circuler auprès de lecteurs connus pour leur compétence dans le domaine traité. Les auteurs doivent ensuite corriger leur texte et s'il est satisfaisant, il est enfin publié.
Mais il est des revues de qualité moindre qui ne font pas relire du tout, ou par de petits comités peu exigeants. Et puis des revues internet ont poussé, qui publient les textes avant même qu'ils soient évalués par les revues : ce sont les "preprint". Là, tout se côtoie : le pire et le meilleur. Mais même le meilleur n'a pas encore été relu et corrigé. Donc globalement, la qualité est médiocre.
Non-publication et rétractation sont deux mamelles de l'honnêteté
Après examen par les rédactions des revues scientifiques et les comités de lecture, bon nombre d'articles sont rejetés. Ils ne sont simplement pas publiés. Et puis il y a les cas où des articles sont publiés, et où on découvre ensuite qu'ils présentent de gros défauts, ou qu'ils reposent sur une fraude. Les revues sérieuses se doivent alors de les "rétracter". Selon leur politique, elles les suppriment complètement de leur site internet soit elles les laissent en ligne, mais avec un avertissement bien visible qui indique leur rétractation, avec éventuellement quelques explications.
Les revues de preprint et certaines autres revues gratuites sur internet ne sont pas si regardantes : elles laissent en ligne les articles de qualité médiocre ou nulle, et ne publient aucun avertissement. De sorte que le lecteur imprudent peut se laisser prendre, et croire à de fausses informations.
Sur 500 articles "rétractés", la plupart demeurent publiés en ligne sur les plateformes indiquées (en vert). Et ce qui est plus grave, le plus souvent, rien ne signale au lecteur que ces articles sont trompeurs, puisque fondés sur des données non fiables (en rouge).
Beaucoup trop d'articles "rétractés" non signalés
En 2022, une étude a cherché à savoir quelle était l'ampleur du problème. Ses auteurs ont pris au hasard 500 articles rétractés. Puis ils ont cherché à savoir s'ils étaient encore disponibles sur des plateformes de publication comme Google Scholar ou Research Gate, et si leur caractère "rétracté" était indiqué.
Résultat : de nombreuses plateformes internet ne font aucun effort de transparence et d'honnêteté dans ce domaine. Les pires (de ce point de vue) semblent Google Scholar et Sci-Hub. Les meilleures (mais loin d'être parfaites) semblent Publisher Website et Research Gate (voir figure).
Chercher l'information sur base de données
Une chose est sûre : que ce soit dans un article scientifique ou dans un travail comme une thèse ou un mémoire, aucun auteur ne devrait s'appuyer sur des articles rétractés (b). Mais comment faire pour être sûr ? Il faut tout simplement aller vérifier dans une base de données comme Retractation Database, publiée sur le site Retractation Watch par le Center for Scientific Integrity. Et si besoin, signaler à ses animateurs les articles rétractés qu'ils n'auraient pas inclus dans leurs données.
et le blog "Revues et Intégrité" sont des sources d'information essentielles sur la qualité de la recherche scientifique.
L'info sur l'intégrité scientifique en France
L'intégrité scientifique est d'une importance majeure. Si on ne peut plus avoir confiance dans l'honnêteté des travaux publiés, alors la science ne vaudra rien de plus que les idées toutes faites. La lutte insuffisante contre la fraude et l'erreur scientifique sont en partie la cause du scepticisme et des croyances erronées du grand public, qu'il s'agisse de médecine, de thérapeutique ou d'autres sujets comme l'écologie.
Les personnes intéressées par une réflexion approfondie sur ces thèmes et par des données pertinentes et de bonne qualité en langue française peuvent se référer à l'excellent blog "Revues et intégrité" et s'abonner à son courriel mensuel.
a- La revue Prescrire a publié une liste des raisons qui peuvent conduire à rétracter un article déjà publié dans une revue scientifique : "des données falsifiées ou fabriquées (fraude) ; des données erronées ou peu fiables (erreurs de procédure ou d’analyse) ; une reprise substantielle de données déjà publiées (duplication), voire un article déjà publié par d’autres auteurs (plagiat) ; un problème de propriété intellectuelle ou de droit (publication de données sans permission) ; une absence de respect des règles éthiques ; une contestation de l’identité des auteurs ; des erreurs introduites par l’éditeur".
b- Il peut y avoir quelques exceptions à cette règle. Par exemple s'il s'agit d'un article qui examine les rétractations, ou si des auteurs jugent utile d'expliquer pourquoi ils ne retiennent pas un article rétracté mais célèbre.
- - - - - - - - - - - - - - - - - - - -
Lire aussi :
- "La médecine rationnelle ou EBM"
- "Recommandations médicales : choisir les meilleures"
- "Comparer les médicaments : pas n'importe comment"
- - - - - - - - - - - - - - - - - - - -
Sources :
- Boudry C et coll. "Poor visibility of retracted articles: a problem that should no longer be ignored" BMJ 2023;381:e072929. Publié le 20 juin 2023. http://dx.doi.org/10.1136/bmj-2022-072929
- Abbas K "Retract or be damned: a dangerous moment for science and the public" BMJ 2023;381:p1424. Publié le 22 juin 2023. http://dx.doi.org/10.1136/bmj.p1424
- Maisonneuve H "Désespérant : les rétractations d’articles sont très insuffisantes… tous responsables : institutions, rédacteurs en chef, chercheurs, financeurs." Blog Revues et intégrité, publié le 10 juillet 2023.
- Prescrire rédaction "Rétractation d'un article publié : quelles conséquences sur les données d'évaluation ?" Rev Prescrire 2022 ; 42 (469) : 126-870-871.
- "Retraction Watch Database User Guide" Site internet https://retractionwatch.com, téléchargé le 1er août 2023.
Crédits photo :
- Image 01 : "Bile Beans for Biliousness" par Archives of New Zealand sur Flickr (recadré)
- Image 02 : D'après l'article du British Medical Journal cité (adapté)
- Image 03 : Logos du site internet "Retractation Watch" et du blog "Revues et Intégrité"