Recherche
Texte: Jean-Christophe Piot
Photo: DR

Sortir les résultats négatifs de l'angle mort

Des milliers d’études scientifiques parfaitement sérieuses ne sont jamais publiées, parce que leur hypothèse de départ ne se vérifie pas ou qu’elles remettent en cause des résultats précédents. Avec le risque que d’autres chercheurs retombent dans les mêmes impasses.

Fin 2016, la revue médicale JAMA publiait les résultats d’une étude américaine qui enterrait un vieux mythe, particulièrement vivace dans les pays anglo-saxons: non, manger de la canneberge ne permet pas d’éviter une cystite. Une déception pour les dizaines de milliers de femmes qui avaient depuis des années l’habitude de prendre des gélules de cranberries pour se protéger, mais un progrès scientifique, puisque l’étude permettait d’identifier une impasse et de ne plus promettre un gain inexistant. Anecdotique? Pas vraiment. À l’heure où les systèmes de santé peinent à trouver leur équilibre, prouver l’efficacité réelle d’un produit ou d’un traitement devient de plus en plus essentiel, au moins pour les médicaments remboursés.

Négatifs mais positifs

Le cas de la canneberge a un autre mérite: celui de montrer qu’une étude aux résultats dits «négatifs» n’a rien d’inutile. C’est même tout le contraire pour le Prof. Jean-Daniel Tissot, doyen de la Faculté de biologie et de médecine (FBM) de l’Université de Lausanne (UNIL), qui rappelle que ces travaux peuvent être de deux types. «Dans le premier cas, leurs résultats ne confirment tout simplement pas l’hypothèse de départ, par exemple l’effet espéré d’une molécule sur une pathologie quelconque. Dans le second, leurs conclusions remettent en cause un résultat précédent. Dans les deux cas, ils font avancer la connaissance!» Et Jean-Daniel Tissot d’insister:

«Ne pas publier de tels travaux sous prétexte que le résultat espéré n’est pas vérifié, c’est risquer de voir d’autres chercheurs dupliquer des études déjà réalisées et gaspiller ainsi leurs temps, leurs moyens financiers et leurs ressources matérielles.»

À cet enjeu s’ajoute le danger de tenir pour acquis ce qui peut s’avérer être une erreur scientifique. Le biologiste Laurent Keller, professeur à la FBM, peut en témoigner au travers du cas du népotisme chez les insectes sociaux: «Les spécialistes ont longtemps pensé que les fourmis, les guêpes ou les abeilles étaient capables de reconnaître au sein de leur colonie les individus qui leur sont le plus apparentés, voire de les favoriser. J’ai pointé avec d’autres les biais méthodologiques des études initiales, mais il a fallu des années pour que ce dogme soit abandonné.»

Au niveau mondial, cette tendance à survaloriser les résultats dits «positifs» affecte la qualité du corpus scientifique, estime le Prof. Gérard Waeber, chef du Département de médecine du CHUV. «Lorsque des études de type "méta-ana-lyses" requièrent l’inclusion de plusieurs dizaines d’études pour conclure à un effet positif d’une thérapie médicamenteuse, on comprend l’importance d’inclure tous les résultats, y compris les études négatives. Or, la non publication d’un résultat négatif revient à appliquer un biais de sélection sur l’état des connaissances et possiblement modifier les conclusions de la méta-analyse.»

La face cachée de l’iceberg

Tout se passe comme si la communauté scientifique s’était petit à petit habituée à privilégier la publication de résultats positifs, comme si la science ne devait et ne pouvait connaître que le succès – une affirmation qui ferait sourire n’importe quel chercheur.

Pourquoi, alors que leurs avantages ne sont plus à prouver, les études dont les résultats sont considérés comme «négatifs» peinent-elles à trouver leur place dans les revues spécialisées, au point qu’on estime que seules 15 à 20% d’entre elles finissent par être publiées? Certes, cela peut tenir à la qualité intrinsèque de ces recherches, rappelle le Prof. Nicolas Demartines, chef du Service de chirurgie viscérale du CHUV:

«Les revues scientifiques peuvent estimer que leur méthodologie est imparfaite ou que leur solidité statistique est trop faible.»

On touche là au cœur des processus de publication scientifique, particulièrement rentables: en 2015, les six premiers éditeurs scientifiques mondiaux (dont Springer Nature, Wiley et Elsevier) ont réalisé un chiffre d’affaires cumulé de 8,5 milliards de francs, avec des marges qui dépassent souvent les 30%. Et sur ce marché toujours plus concurrentiel, «les journaux acceptent plus difficilement de publier des études négatives parce qu’elles sont moins spectaculaires, moins faciles à vendre», explique le doyen Jean-Daniel Tissot. En outre, elles sont moins bénéfiques pour le sacro-saint facteur d’impact, cet indice qui mesure sur deux ans le nombre moyen de citations des articles publiés.

Problème: en vertu du fameux adage publish or perish (publier ou périr), les chercheurs sont soumis à une pression considérable. C’est en publiant qu’un chercheur fait la preuve de ses qualités, obtient des financements, progresse dans la carrière universitaire. D’où une forme d’autocensure, explique Laurent Keller:

«Écrire un article demande du temps et de l’énergie. Plutôt que de finir dans un petit journal à faible facteur d’impact, beaucoup de chercheurs préfèrent enterrer des résultats négatifs et se pencher sur un autre projet.»

D’autres, à l’inverse, voudront publier leurs recherches à tout prix, quitte à céder aux sirènes de certains éditeurs «prédateurs», en acceptant de payer pour publier leurs recherches chez l’un d’eux. Il existerait ainsi près de 8000 revues de ce type, qui publieraient autour de 400’000 études chaque année, avec des pratiques qui vont de la publication sérieuse mais sans visibilité à l’arnaque pure et simple. Comme pour d’autres formes de spams, il devient de plus en plus difficile de repérer les escrocs, dont les pratiques sont de plus en plus sophistiquées.

Publier des résultats négatifs

Comment sortir de ce cercle vicieux? Comment mieux cibler l’effort financier et éviter tout gaspillage de fonds publics? Comment protéger les jeunes chercheurs des revues prédatrices – ou pire, de la tentation de biaiser consciemment ou non leurs travaux pour mieux en valoriser les résultats?

Une première réponse tient aux évolutions légales et réglementaires. La publication systématique des résultats d’études négatives va bientôt devenir la règle dans l’Union européenne, comme c’est déjà le cas aux États-Unis. Une autre tient au discours des universités et des chercheurs, de plus en plus engagés en faveur des publications «négatives», comme en témoigne la signature en 2013 de la Déclaration de San Francisco (DORA), qui milite pour l’abandon pur et simple des facteurs d’impact pour juger un chercheur.

«Évaluer un chercheur sur la base du journal qui le publie n’a pas de sens: on juge des travaux, pas une revue», estime Jean-Daniel Tissot.

La réponse est aussi technologique. «L’open access est en train de rebattre entièrement les cartes», fait valoir le doyen, qui voit dans cette littérature scientifique gratuite et librement accessible à tous un excellent moyen d’échapper aux dérives du système d’édition. La Suisse accompagne d’ailleurs ce mouvement: «Toutes les publications et les données collectées à l’aide des fonds publics du Fonds national suisse de la recherche scientifique (FNS) seront librement accessibles au public d’ici quelques années.»

L’Open Access, ou la mise à disposition gratuite des publications scientifiques sur Internet, gagne du terrain. Ce modèle est porté par un mouvement qui s’élève contre la mainmise des éditeurs, pour une libération du savoir.

Lire l'article dans le numéro 14 d'In Vivo

Même chez les éditeurs, le discours évolue. Certaines revues commencent à saisir l’intérêt de publier ces résultats négatifs. Cortex, un journal publié par Elsevier, s’est ainsi engagé à publier les résultats d’essais cliniques négatifs grâce à un processus de sélection en deux temps. Avant la conduite de l’étude, les méthodes et les analyses envisagées sont soumises à un peer review. Si celui-ci est positif, Cortex s’engage à publier les résultats finaux même s’ils sont négatifs. Une petite révolution qui en appelle d’autres.



Partagez:

 
 
 

2017

L'année du lancement de Negative Results, une revue en ligne avec peer review éditée par de jeunes chercheurs en biologie français afin de valoriser les résultats nuls qui remettent en cause certains biais de la littérature.

599

Nombre d'organisations qui se sont associées à la campagne "AllTrials", qui milite depuis 2005 pour que tous les essais cliniques, positifs ou négatifs, et leurs méthodes, soient consignés dans un registre.