Sciences : Qu’est-ce que la crise de la reproductibilité ?
Bibliothèque de la Cité des sciences et de l’industrie en collaboration avec la Bibliothèque publique d’information – notre réponse du 01/07/2021.
La vérité, en sciences, se construit par l’expérimentation de la théorie étudiée, qui en constitue une mise à l’épreuve dans des conditions données, comme l’exposait déjà Claude Bernard dans son Introduction à l’étude de la médecine expérimentale. Or, un résultat obtenu une fois ne peut, de ce point de vue, avoir grande valeur ; il faut, pour en garantir la fiabilité, que l’expérience soit reproductible et qu’une nouvelle expérimentation fasse parvenir aux mêmes conclusions. C’est pourquoi la vérité se définit en science comme “ce qui n’a pas (encore) été réfuté”. Or, cette reproductibilité de la recherche (de l’expérimentation en particulier) se heurte aujourd’hui à divers obstacles.
Les ressorts de la crise de la reproductibilité
“Reproductibilité” en science : de quoi s’agit-il ?
« La reproductibilité fait référence à la capacité d’un chercheur ou d’une équipe à reproduire les résultats d’une étude antérieure en s’appuyant sur les mêmes matériaux que ceux utilisés par le chercheur ou l’équipe initiale. Ce peut être la reproduction de l’expérience elle-même, mais aussi la réutilisation des données brutes pour reproduire de façon indépendante l’analyse statistique. La reproductibilité est une condition minimale nécessaire pour qu’une conclusion soit crédible et informative », expose le médecin Hervé Maisonneuve dans Comment améliorer la reproductibilité de la recherche scientifique, site de l’Afis (Association française pour l’information scientifique), le 12/02/2019.
La question de la reproductibilité des expériences scientifiques
Hervé This, article mis en ligne sur la plateforme en libre accès HAL, le 13/02/2017.
Extrait de l’introduction :
« Une « règle d’or » des sciences de la nature est que les expériences scientifiques puissent être reproduites en tous temps et en tous lieux (Mesirov, 2010), et en effet, le fonctionnement des sciences de la nature impose que les résultats publiés aient une fiabilité et une généralité suffisantes pour que d’autres travaux puissent les prendre comme base. En conséquence, les parties « Matériels et méthodes » des articles scientifiques, appuyées par les « Matériels supplémentaires » (Supplemental Materials) ou les « Articles de données » (Data Paper) (Inra, 2017) sont conçus par les auteurs, et évalués par les rapporteurs, de sorte que n’importe qui puisse obtenir les mêmes résultats que ceux qu’annoncent les auteurs en suivant les Notes Académiques de l’Académie d’agriculture de France. » [Nous surlignons]
Or, un article montre bien la complexité de cette exigence de reproductibilité :
Reproduire un résultat scientifique : plus facile à dire qu’à faire, par Alexandre Hocquet (Professeur en histoire des sciences), The Conversation, le 01/03/2020.
Quels enjeux ?
- Sans reproductibilité, manque de fiabilité de la science :
Dans son blog consacré aux professions de santé désirant connaître le fonctionnement et les actualités des revues biomédicales, Rédaction médicale, Hervé Maisonneuve propose différentes ressources sur ces questions, et notamment cet article : Les 7 péchés mortels de la science : numéro 3, le manque de fiabilité car la reproductibilité est un mot tabou ! (publié le 30/06/2017).
- Manque de confiance de la population dans l’activité scientifique :
Comment les Français perçoivent-ils la recherche scientifique ? Dans quelle mesure font-ils confiance à ses conclusions et à ceux qui les portent dans le débat public ?
Une étude d’opinion publiée en 2019 sur la confiance des Français dans la science dévoile que les Français se montrent divisés sur les statuts des études scientifiques publiées en France : 45% les considèrent plutôt neutres et objectives, une courte majorité (55%), les considèrent plutôt orientées et les Français ont le sentiment qu’ils rencontrent fréquemment des contradictions dans les discours scientifiques sur un même sujet.
Mais pourquoi cette “crise” actuelle ?
– Nature incertaine de la recherche scientifique : « En 2005, John Ioannidis, professeur de médecine et chercheur à l’école de médecine de l’université Stanford, est l’un des premiers à faire état de la crise de la reproductibilité dans l’article suivant : Why Most Published Research Findings Are False. Il y expose, notamment que la nature incertaine de la recherche scientifique rend souvent difficile la détermination avec précision des causes de non-reproductibilité d’une expérience et ainsi rend improbable l’atteinte éventuelle d’un taux de validité des résultats de 100 % dans la littérature publiée », Article Wikipédia consacré à la crise de la reproductibilité [nous soulignons]
Pour consulter l’article en question du professeur Ioannidis :
Pourquoi la plupart des résultats de recherche publiés sont faux, par John PA Ioannidis, publié sur la plateforme Plos, 30 août 2005.
– “Fraude scientifique”, problème éthique et conflits d’intérêt :
Traitement médiatique des inconduites scientifiques : enjeux et stratégies d’acteurs. Exemples des “affaires” O. Voinnet, C. Jessus et A. Peyroche, par Éléonore Pérès, Mémoire en ligne sur la plateforme HAL, 2019.
Extrait :
La recherche scientifique est fondée sur la confiance que chaque chercheur a en ses pairs. Une découverte scientifique ne se fait pas en l’espace d’une unique carrière par un unique chercheur, mais chacun apporte sa contribution à un ensemble de connaissances préétablies dans et par la littérature scientifique. Pour que le système fonctionne, il faut que ces connaissances soient fiables et reproductibles. C’est-à-dire que n’importe quel chercheur dans le monde soit capable d’obtenir les mêmes résultats en utilisant la même méthodologie, mais son propre matériel. Les études basées sur des observations uniques – éthologie, cosmologie – sont des cas particuliers.
Mais en dehors de ces exceptions, il s’avère que de nombreux résultats figurant dans des publications scientifiques ne sont pas reproductibles. […]. Plusieurs raisons expliquent une non-reproductibilité des résultats : méthodologie bancale, analyses statistiques non appropriées, matériel intrinsèquement difficile à étudier. Mais il arrive aussi que des résultats soient volontairement erronés. Les actions de fraude qui vont à l’encontre d’un déroulement correct de la pratique scientifique ne sont pas très difficiles à circonscrire. Il s’agit des entorses délibérées, à caractère malveillant ou mensonger, à « l’objectivité » et/ou à la « confiance collective » qui caractérisent la pratique scientifique. […] Celui qui invente des observations, les manipule ou les omet, enfreint d’un seul et même coup les deux contraintes : il falsifie la relation à l’objet et ment à ses collègues.
Cette fraude scientifique peut également être due à un problème éthique :
« C’est peut-être un problème éthique : un manque d’honnêteté intellectuelle, notamment dans l’usage cavalier de certains verbes comme « prouver » ou « démontrer », suscité par une excessive pression à la publication. Ou une sorte de paresse rassurante conduisant à penser qu’il suffit d’avoir un résultat statistiquement significatif pour prétendre avoir fait œuvre de scientifique. (…) Dans la course actuelle à la publication pour la publication (…), les scientifiques auraient tendance à ne plus être trop regardants sur la rigueur de leurs calculs statistiques, et la solidité de leurs découvertes s’en ressentirait. »
Une crise de la reproductibilité de la science ? Non, c’est bien pire!, par Erwan Lamy, 26/11/2017.
– L’activité scientifique, devenue une course de vitesse ?
Cette interrogation est à mettre en lien avec le fameux slogan “publish or perish”, qui résume la situation délicate des scientifiques.
Publication : la course à l’échalote, par Nadine de Vos, site de l’Afis, mise en ligne le 16/09/2011.
Extrait :
Pour obtenir un poste intéressant, des subsides, une fonction académique, les chercheurs sont obligés de publier un maximum d’articles et d’être cités le plus possible dans les journaux scientifiques. On oublie qu’une publication a comme but principal d’apporter de nouvelles informations. Si ce n’est pas le cas, elle est inutile, coûteuse et chronophage. Or, la pression subie par les universitaires les incite quelquefois à publier « n’importe quoi », à perdre leur temps à faire leur promotion (y compris avec l’autocitation) afin de monter dans les classements.
Actualité du problème
Perspective historique
Les questionnements sur la reproductibilité de la science ne sont pas tout à fait nouveaux. Ils dateraient des années 1950, selon cet article du blog d’Hervé Maisonneuve (médecin de santé publique et consultant en santé publique) :
La crise de reproductibilité de la science remonte aux années 1950, par Hervé Maisonneuve, Rédaction Médicale et Scientifique (redactionmedical, mis en ligne le 02/01/2017.
Mais ce problème a pris une acuité particulière :
Une analyse de Monya Baker portant sur 1500 articles scientifiques montre que plus de 70 % des chercheurs ont essayé et échoué à reproduire les expériences d’un autre scientifique, et plus de la moitié n’ont pas réussi à reproduire leurs propres expériences.
Voici cet article (en anglais) dans la revue Nature en 2016 :
1,500 scientists lift the lid on reproducibility (1500 scientifiques soulèvent le couvercle de la reproductibilité), par Monya Baker, mise en ligne 25/05/2016.
La crise de Covid-19 a contribué à porter ce problème sur le devant de la scène
Des revues scientifiques reconnues participent à cette crise de reproductibilité :
Étude retirée du Lancet : la science à l’épreuve des revues scientifiques ?, par Pascal Hérard, site TV5 Monde, le 17/07/2020.
Extrait :
L’étude frauduleuse sur les effets de l’hydroxychloroquine, publiée par la revue scientifique The Lancet en mai 2020, a fait scandale. Cette affaire pose de nombreuses questions sur les procédés de contrôle des études scientifiques publiées dans les revues les plus réputées. Comment ces publications scientifiques fonctionnent-elles, sur quels critères de qualité sont-elles classées et sur quoi repose leur prestige ?
Nous en avons, en France, un exemple avec les travaux de notre célèbre docteur Raoult.
Chloroquine : les graves erreurs scientifiques de la méthode Raoult, par Marcus Dupont-Besnardnoy, revue Numérama, le 31/03/2020.
Des solutions pour envisager une sortie de crise ?
Des propositions de scientifiques
- Cadrage de l’activité par des règles de déontologie :
Déclaration de Singapour sur l’intégrité en recherche, répertoriée dans les textes fondateurs sur le site Ouvrir la science (du Comité pour la science ouverte, CoSo), qui la présente ainsi :
« La déclaration énonce 4 principes et 14 responsabilités à appliquer pour que les recherches soient menées de manière intègre quel que soit le pays et la discipline scientifique. »
Cette déclaration énonce dans ses principes 3 et 4 en particulier :
“3. Méthodologie: Les chercheurs doivent utiliser des méthodes appropriées, baser leurs conclusions sur une analyse critique de leurs résultats et les communiquer objectivement et de manière complète. 4. Conservation des données: Les chercheurs doivent conserver les données brutes de manière transparente et précise de façon à permettre la vérification et la réplication de leurs travaux.” [Nous surlignons]
- Mise en place de modalités de recherche plus adaptées :
Le scientifique John PA Ioannidis propose, dans l’article mentionné ci-dessus, différentes voies d’amélioration de la situation :
Pourquoi la plupart des résultats de recherche publiés sont faux, par John PA Ioannidis, plateforme d’articles Plos, publié le 30/08/2005.
Extrait :
Des preuves plus puissantes, par exemple des études de grande envergure ou des méta-analyses à faible biais, peuvent être utiles, car elles se rapprochent de la référence « or » inconnue. […] Deuxièmement, la plupart des questions de recherche sont traitées par de nombreuses équipes, et il est trompeur de souligner les résultats statistiquement significatifs d’une seule équipe. Ce qui compte, c’est la totalité des preuves. Diminuer les préjugés grâce à des normes de recherche améliorées et à la réduction des préjugés peut également aider. […] Enfin, au lieu de rechercher la signification statistique, nous devrions améliorer notre compréhension de la plage de valeurs R – les cotes pré-étude – où les efforts de recherche opèrent.
Voir aussi ces propositions contenues dans A manifesto for reproducible science (Un manifeste pour la science reproductible) par Marcus Munafò, Brian Nosek, Dorothy Bishop et al., Nature Human Behavior, le 10/01/2017. (Nombreuses références bibliographiques disponibles en fin document.)
Extrait :
Nous plaidons ici pour l’adoption de mesures pour optimiser les éléments clés du processus scientifique : méthodes, rapport et diffusion, reproductibilité, évaluation et incitations. Il existe des preuves à la fois des simulations et des études empiriques soutenant l’efficacité probable de ces mesures, mais leur large adoption par les chercheurs, les institutions, les bailleurs de fonds et les revues nécessitera une évaluation et une amélioration itératives.
Le site Ouvrir la science (août 2019) publie le compte rendu de la journée d’étude du 29/03/2019 :
Repenser la robustesse et la fiabilité en recherche : les chercheurs face à la crise de la reproductibilité par Caroline Abela, Martine Courbin-Coulaud et Sabrina Granger.
Compte-rendu qui se focalise sur les solutions proposées. Y étaient abordées les notions de robustesse, de fiabilité et d’incertitude dans des domaines disciplinaires variés.
Des réponses institutionnelles
Sorbonne Université a mis en place une délégation à l’intégrité scientifique, dotée d’une Mission pour l’intégrité scientifique, pour non seulement promouvoir une culture de l’intégrité scientifique, mais également traiter les signalements de manquements.
HEC et le CNRS ont mis en place une certification de la reproductibilité de la recherche scientifique, CASCaD, attribuée par un laboratoire ad hoc :
Présentation sur le site Ouvrir la science :
« HEC Paris, l’Université d’Orléans et le CNRS lancent CASCaD (Certification Agency for Scientific Code and Data) seul laboratoire public au monde spécialisé dans la certification de la reproductibilité de la recherche scientifique. Cette initiative scientifique sans but lucratif permet aux chercheurs de prouver le caractère reproductible de leur recherche. […] Elle garantit que les résultats numériques […] présentés dans une publication scientifique […] sont reproductibles en utilisant un ensemble identifiable de ressources numériques (code et/ou données) mises à disposition par les auteurs de cette publication. »
Le Ministère de l’enseignement supérieur, de la recherche et de l’innovation, pour appliquer le Plan national pour la science ouverte de 2018, a mis en place un collège Données de la recherche, visant à « structurer et ouvrir les données de la recherche » pour rendre les données scientifiques[3] F.A.I.R[4]. (Findable, Accessible, Interoperable, Reusable). L’objectif de la science ouverte concernant les données est de « faire sortir la recherche financée sur fonds publics du cadre confiné des bases de données fermées. Elle réduit les efforts dupliqués dans la collecte, la création, le transfert et la réutilisation du matériel scientifique. Elle augmente ainsi l’efficacité de la recherche. »
Ce faisant, cette structuration correcte et cette mise à disposition des données de recherche favorisent la reproductibilité.
Pour aller plus loin…
Association Française pour l’Information Scientifique, par exemple avec cet article :
La crise de reproductibilité fâche certains chercheurs et ne permet pas aux jeunes chercheurs de s’exprimer, par Hervé Maisonneuve, site de l’AFIS, mis en ligne le 20/12/2019
Office français de l’intégrité scientifique créé en mars 2017 : ses missions sont présentées sur le site de l’HCERES (Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur).
Podcast France Inter : La « crise de la reproductibilité » fragilise la science de Dominique Dupagne, mis en ligne le 30/04/2019.
Eurêkoi –
Bibliothèque publique d’information et Bibliothèque de la Cité des sciences et de l’industrie.