La crise de réplicabilité est bien présente et profonde en biologie

En fin d’année dernière est sorti un article scientifique que j’attendais depuis quelques années. Il s’agit d’une entreprise de réplication d’expériences en biologie. Vous avez peut-être entendu dire que la science souffrait d’une « crise de réplicabilité », c’est à dire que certains chercheurs n’arrivent pas à répliquer les résultats obtenus par leurs collègues. Cette crise avait surtout été mise en évidence en sciences sociales jusqu’ici, et en particulier en psychologie, où refaire des expériences est assez facile (voir https://www.nature.com/articles/s41562-018-0399-z ou https://www.science.org/doi/10.1126/science.aac4716 par exemple). En psychologie, la crise semble assez profonde : à la louche une bonne moitié des résultats ne sont pas répliqués, et quand ils le sont, ils sont souvent deux fois moins impressionnants qu’on ne le pensait.

En biologie, bien que la réplicabilité de certains résultats soit discutée depuis au moins les années 90, et que des alertes médiatisées existent depuis les années 2000 (https://doi.org/10.1371/journal.pmed.0020124), l’équivalent de ces grosses entreprises de réplication avec échantillonnage aléatoire et méthodologie uniformisée manquait jusqu’ici. D’où l’importance de cet article pour moi, résultat d’un travail énorme, huit ans de boulot de 200 chercheurs qui ont essayé de répliquer 50 expériences de biologie (recherche sur le cancer, mais recherche pré-clinique, pas sur des humains).

Et malheureusement, les résultats ne sont pas bons du tout (https://elifesciences.org/articles/71601). Il y a plusieurs façons de mesurer si un résultat « réplique », mais en utilisant 5 critères différents, seuls 40% des résultats cochent plus de 3 critères. Les tailles d’effet sont presque tout le temps plus petites dans la réplication que dans l’étude originale (92% du temps), et plus préoccupant, elles sont *beaucoup* plus petites (médiane 85% plus petite que celle des effets originaux.) Souvent, l’effet disparaît complètement : un traitement n’a pas l’effet qu’on pensait. La situation est encore pire pour la recherche sur animaux (qui est un pont vers l’humain quand on étudie le cancer) : seuls 12% des effets répliqués vont dans la même direction que les originaux tout en restant statistiquement significatifs.

Comment interpréter tout ça ? Il y a deux écoles. Soit les effets ne répliquent pas parce qu’ils n’existaient pas à la base (assez grave), soit les effets existent mais sont durs à répliquer (moins grave). Dans le premier cas, la crise viendrait de mauvaises pratiques méthodologiques et statistiques encouragées par un système qui pousse à publier des résultats nouveaux à tout prix. Dans le second cas, les chercheurs pourraient simplement manquer d’ «expertise», du « coup de main » nécessaire pour répliquer… Fallait-il secouer le tube à essais de haut en bas ou de gauche à droite ? Chaque chercheur se fait donc son avis sur la gravité de la crise, avec à la clé des débats parfois houleux, entre les alarmistes donneurs de leçon et les doux rêveurs qui ne veulent pas voir la médiocrité de leur science en face. Il faut dire que ce sont parfois des carrières entières qui sont remises en question, et que sur certains sujets il est proposé d’effacer toute la recherche faite jusqu’ici pour repartir sur des bases saines.

À noter que même si vous pensez que les effets existent bien et sont simplement durs à répliquer, un deuxième problème de taille subsiste : les chercheurs voulaient initialement répliquer 200 expériences, mais ils n’ont pu en faire qu’une cinquantaine, car les autres ne permettaient même pas d’établir un protocole de réplication (pour différentes raisons : statistiques pas ou mal reportées dans les articles originaux, données indisponibles, auteurs originaux peu enclins à aider voire pas du tout dans 1/3 des cas https://elifesciences.org/articles/67995 ). Donc le problème n’est pas seulement que la science ne réplique pas, mais que dans 75% des cas on est incapables ne serait-ce que d’ *essayer* de la répliquer !

Comment réagissent les chercheurs ? Bien sûr ceux qui pensent qu’il n’y a pas de problème ne font rien. Les autres ont commencé à essayer de trouver des solutions. En psychologie, des papiers sortent depuis plusieurs années à la fois pour proposer des meilleures pratiques de recherche et pour repérer les articles les plus à même de ne pas répliquer. Les solutions peuvent passer par le changement des pratiques des chercheurs et/ou le changement des pratiques des institutions qui les financent et les publient, les deux étant bien sûr liés.

Dans le monde de la vulgarisation, bien que tout le monde connaisse le problème, peu en parlent. Il faut dire que c’est dur de se mettre à taper sur la science quand on ne fait que la défendre à longueur de journée. Et ça demande un temps monstre et des compétences rares que de distinguer les publis douteuses des autres. Du coup, on est plutôt dans le « business as usual », et si vous consommez de la vulga sur internet vous êtes donc exposé·e·s à une quantité de résultats qui ne seront pas (ou n’ont jamais été) répliqués. On pourrait se dire que ce n’est pas aux vulgarisateurs de faire ce boulot, qu’eux se contentent de retranscrire la science telle qu’elle est publiée, qu’elle soit bonne ou mauvaise. Mais d’un autre côté, la mauvaise science est souvent inoffensive tant qu’elle reste confinée aux journaux scientifiques, et ne devient dangereuse que lorsque qu’elle se diffuse au grand public. C’est là que le vulgarisateur acquiert une responsabilité supplémentaire par rapport au chercheur, responsabilité qui peut vite s’avérer étouffante et conduire à ne plus rien vulgariser du tout. Je ne vois pas vraiment de solution facile à ce problème. Tant qu’on ne pourra pas se fier à la science, on ne pourra pas se fier à la vulgarisation. En attendant que ça aille mieux, il me semble important que les vulgarisateurs rappellent régulièrement que le colosse a bien plus que des pieds en argile, en particulier quand ils vulgarisent « pour que les choses changent ».

Évidemment, parler des problèmes de « la science en général » est sûrement exagéré. On pourrait dire que cet article ne montre que des problèmes en biologie du cancer, pas en biologie en général. Mais attention, c’est ce qu’on a fait à chaque fois ces dix dernières années : minimiser le problème, essayer de le circonscrire. À chaque fois, la suite a montré qu’on avait eu tort.

Ceci dit, il est vrai que toutes les études ne sont pas mauvaises, qu’on n’a pas encore trop d’idée de la gravité du problème en physique et en chimie par exemple, et surtout, que c’est un problème qui semble majoritairement présent en recherche fondamentale. La science à laquelle vous êtes exposé·e·s dans la vie de tous les jours semble plus robuste. C’est à dire, n’ayez pas peur de prendre l’avion ni de vous faire vacciner. Quand les enjeux humains et financiers augmentent, la qualité de la science s’améliore. Je ne sais pas s’il existe d’article ayant étudié ce point précis, mais ça me semble assez clair quand on voit ce qui s’est passé dans le domaine bio-médical. Ce sont des labos pharmaceutiques qui ont été parmi les premiers à dire qu’il y avait quelque chose qui n’allait pas en biologie : avant de dépenser des millions d’euros dans la production de traitements, ils essayaient de répliquer la science fondamentale mais n’y arrivaient pas. Dans un sens, c’est encourageant : ça montre que changer les « incentives » des chercheurs peut suffire à résoudre une partie de ces problèmes (les chercheurs qui bossent pour big pharma n’ont pas les mêmes motivations que ceux à l’université). Et c’est un retournement de situation assez cocasse que de se rendre compte que finalement, les intérêts financiers, ça n’a pas que du mauvais pour la science.

En résumé, un article qui montre que la crise de réplicabilité est bien présente et profonde en biologie, apparemment autant qu’en psychologie. C’était une chose de se douter qu’il y avait des problèmes, c’en est une autre de montrer que ces problèmes sont systémiques. S’il reste une incertitude sur les causes, pour moi cet article fait passer la crise en biologie dans une autre dimension. Ça fait assez mal de devoir taper sur la science à une époque où on en a si besoin, mais plus le problème sera pris au sérieux tôt, moins la chute sera douloureuse.