Les scientifiques surestiment la reproductibilité dimportantes études précliniques sur le cancer, suggère une étude de lUniversité McGill.
Publiées dans PLOS Biology par Jonathan Kimmelman et ses collègues de lUniversité McGill, ces observations sappuient sur un sondage mené auprès de scientifiques chevronnés et néophytes. Lors dexpériences réalisées dans le cadre du projet Reproducibility Project: Cancer Biology (RPCB), on a demandé à ces chercheurs de prédire la reproductibilité des effets observés chez la souris dans six grandes études précliniques sur le cancer.
En moyenne, les chercheurs ont évalué à 75 % et à 50 %, respectivement, la probabilité de reproduire la signification statistique et lampleur de leffet obtenues dans létude initiale. Or, selon ces critères, aucune des six expériences menées à terme jusquà maintenant dans le cadre du projet RPCB na donné les mêmes résultats que les études initiales.
Cet optimisme des spécialistes du cancer pourrait notamment tenir au fait quils surestiment la reproductibilité des grandes études réalisées dans leur domaine. Il se pourrait aussi quils sous-estiment la complexité méthodologique et logistique inhérente à la reproduction dune étude par un laboratoire indépendant.
La crise de la reproductibilité
La présente étude fait suite à la publication de nombreux articles sur la « crise de la reproductibilité » qui secoue la biomédecine. En effet, depuis 10 ou 15 ans, on redoute de plus en plus que certaines des techniques et des pratiques de la recherche biomédicale conduisent à une évaluation inexacte des vertus potentielles dun médicament.
Comme il nest pas toujours possible de reproduire les résultats détudes, le Pr Kimmelman et son équipe se sont demandé si les spécialistes du cancer pouvaient au moins repérer dinstinct les résultats détude susceptibles de ne pas être facilement reproductibles. Or, il semble que leur capacité de le faire soit « vraiment limitée », ce qui donne à penser que le processus d« autocorrection » de la science pourrait laisser à désirer.
Cependant, en raison des procédés employés et déventuelles différences méthodologiques, plusieurs scientifiques mettent en doute la fiabilité des études menées dans le cadre du RPCB comme outils dévaluation de la reproductibilité. Les résultats de notre étude, souligne le Pr Kimmelman, ne signifient aucunement que les scientifiques interrogés ne comprennent pas ce qui se passe dans leur domaine, et ils ne diminuent en rien limportance du financement de la recherche et de lédiction de politiques appuyées sur un consensus scientifique. Il est important de rappeler, ajoute-t-il, que les participants nétaient pas rompus à la prédiction un art au demeurant difficile à maîtriser et que malgré tout, certains y sont allés de prédictions très justes.
Mieux former pour mieux interpréter
Cela dit, une formation pourrait aider de nombreux scientifiques à se libérer de certains biais cognitifs de nature à influer sur leur interprétation des résultats détudes.
« Si les chercheurs tiennent pour fiables les résultats dune étude, ils peuvent commencer à édifier une théorie scientifique sur des fondations qui se révéleront bancales. Si, au contraire, ils doutent dune assertion, ils seront plus susceptibles de la mettre directement à lépreuve avant de prendre appui sur elle. »
« Il sagit de la première étude du genre, mais il convient dexplorer davantage le sujet afin de comprendre comment les scientifiques interprètent les études importantes, plaide le Pr Kimmelman. À mon avis, ce nest probablement pas dans lexécution des expériences scientifiques que la rigueur fait défaut. Cest plutôt linterprétation des observations scientifiques qui laisse quelque peu à désirer. »
###
Journal
PLoS Biology