Les niveaux de preuve sur Homo Fabulus

La vidéo :

Pour celles et ceux qui préfèrent le texte, transcription de la vidéo :

Salut tout le monde,

oui je sais ce que vous êtes en train de penser, ça fait plusieurs mois qu’il y a pas eu de vidéos, jme la coule douce, bla bla bla, mais c’était l’hiver, et il faut savoir que moi en hiver, j’hiberne. D’ailleurs vous pouvez voir à l’état de ma barbe que je viens tout juste de me réveiller, et vu que j’attaque direct une vidéo ça m’a tout l’air d’être une preuve de dévouement incroyable.

Tout ça pour vous dire qu’Homo Fabulus revient, et je voulais aussi vous parler d’une petite nouveauté qui va débarquer dans les prochaines vidéos, c’est que je vais introduire des niveaux de preuve. À partir de maintenant, dans chaque vidéo, je vous dirai sur une échelle de 1 à 3, à quel point la théorie ou l’hypothèse que je vous présente est bien confirmée par des données, et je voulais profiter de cette vidéo pour vous expliquer ça un peu plus en détail.

Alors vous avez peut-être remarqué que je fais ce que je peux pour vous transmettre une information de qualité. J’indique systématiquement mes sources dans la description des vidéos, c’est à dire que j’indique les études scientifiques sur lesquelles je me base, les sources que j’indique sont des articles scientifiques sérieux, pas des liens qui viennent de la première page de Google ; je fais apparaître à l’écran les sources au moment-même où je prononce une affirmation, c’est pas genre je vous balance un tas de liens et débrouillez-vous avec pour retrouver l’info qui vous intéresse, j’ai une formation en biologie et sciences cognitives qui me permet de naviguer plus facilement dans les sujets dont je parle, et comme une formation ne suffit pas pour être expert en tout, je fais en plus valider tous mes scripts par des experts et des expertes du domaine dont je parle.

Tout ça vous permet d’être relativement confiants dans le fait que je n’invente pas les résultats dont je parle. Par contre, ça ne vous permet pas de savoir à quel point la théorie que je vous présente est bien acceptée ou pas dans le monde scientifique, s’il s’agit d’une théorie nouvelle, d’une théorie pas nouvelle mais qui fait encore débat, ou d’une théorie que presque plus personne ne remet en question. C’est cette information sur le degré de confirmation des théories que j’aimerais vous faire passer avec l’introduction des niveaux de preuve.

Le niveau de preuve 1, le plus bas, sera le niveau de preuve faible. Il concernera les vidéos qui sont basées sur une seule étude scientifique, ou quelques études scientifiques. Ce seront des vidéos qu’il faudra regarder avec du recul, non pas que les études qui soient présentées soient de mauvaise qualité, parce que j’essaie généralement de ne pas vous présenter la première étude venue, mais simplement parce qu’un résultat scientifique a souvent besoin d’être répliqué et validé par différentes équipes de recherche avant d’être tenu comme assez probable. Vous pourriez dire, pourquoi je choisis de vous présenter des hypothèses avec un faible niveau de preuve, pourquoi ne pas s’en passer carrément, et bien parce que ces hypothèses peuvent provenir d’avancées méthodologiques intéressantes par exemple, ou qu’elles peuvent éclairer une question qu’on se posait depuis longtemps sans avoir de réponse, ou encore tout simplement parce que c’est une bonne illustration de comment fonctionne la science. Ma vidéo sur « à quoi pensent les foetus ? » par exemple, qui présente une avancée méthodologique, c’est une vidéo de niveau de preuve 1. Il faut savoir que 95% de la science que vous lisez ou entendez dans les médias, c’est du niveau de preuve 1, les articles qui commencent par « Selon une étude », c’est généralement du niveau de preuve 1. Et ça entre autres parce que les médias subissent la dictature de l’actualité, ils veulent toujours présenter de l’info fraîche, des résultats qui viennent de sortir, sans jamais préciser à quel point cette information est cohérente avec les résultats des études précédentes.

Le niveau de preuve 2 sera le niveau de preuve bon, il concernera les théories qui sont déjà supportées par un ensemble d’études, les théories assez bien confirmées. Ma vidéo sur le sens moral des animaux par exemple aurait été en niveau de preuve 2, parce que je vous racontais que l’ensemble des expériences dont on dispose laisse penser qu’il n’existe pas de véritable sens moral chez les animaux. Ce n’est pas du niveau de preuve 3, parce qu’on est encore en train de faire des expériences là-dessus, que certains chercheurs ont des avis un peu différents sur la question, et que l’interprétation de certaines études reste discutable. Et même si un ensemble d’études vont dans la même direction, ça ne permet pas d’attribuer le niveau de preuve maximale parce que de nos jours, on a tellement d’études scientifiques à notre disposition qu’on peut très souvent trouver des études pour justifier n’importe quelle théorie. En théorie, c’est donc possible de faire ce que les anglophones appellent du cherry-picking, c’est à dire de la cueillette de cerises, une cueillette où on ne prendrait que les cerises qui nous plaisent sur l’arbre en laissant pourrir celles qui ne nous conviennent pas. C’est pas forcément quelque chose de malintentionné, on peut faire une sélection biaisée d’études inconsciemment parce que le cerveau humain aime bien ne retenir que les informations qui l’arrangent, ou simplement parce qu’on n’a pas connaissance de tous les résultats qui existent dans un domaine.

Et c’est entre autres pour ça qu’existe le niveau de preuve 3. Le niveau de preuve 3 sera le niveau de preuve élevé, il concernera les théories qui sont déjà très bien confirmées, les théories soutenues par un très grand nombre d’études. Plus exactement, les vidéos de niveau 3 s’appuieront sur des études un peu particulières, qu’on appelle méta-analyses ou revues systématiques, qui sont des études qui résument d’autres études si vous voulez, des études qui font la synthèse de dizaines ou centaines d’autres études, mais cette fois, sans faire de cherry-picking. Quand elle est bien faite, une méta-analyse va analyser toutes les études sur un même sujet, prendre en compte tous les résultats, même les contradictoires, pour dégager les grandes tendances. Ma vidéo sur « gros cerveau = grosse intelligence », parce qu’elle est basée sur plusieurs méta-analyses, est une vidéo de niveau de preuve 3. Ça veut pas non plus dire certain à 100%, parce que les méta-analyses ne sont pas non plus infaillibles, en particulier leur qualité dépend largement de la qualité des études qu’elles synthétisent, mais en tout cas les méta-analyses représentent le plus haut niveau de preuve dont on dispose en science, ce qui se fait de mieux.

Voilà donc en résumé, niveau de preuve 1 = faible niveau de preuve, la théorie n’est soutenue que par une ou quelques études. Niveau de preuve 2 = bon niveau de preuve, la théorie est soutenue par un ensemble d’études. Niveau de preuve 3 = niveau de preuve élevé, la théorie est soutenue par une ou plusieurs méta-analyses. On peut représenter ça par une pyramide qu’on appelle la pyramide des preuves, avec à la base l’ensemble des études qui prises une par une ne valent pas grand-chose, au-dessus un étage qui présente des tendances qui se dégagent de ces premières études, et au-dessus encore un petit nombre restreint d’études qui synthétisent l’ensemble des autres études de manière impartiale. C’est pas de moi cette pyramide des preuves, c’est un concept qui est assez utilisé dans la recherche en médecine notamment, et le concept de niveau de preuve est aussi très lié au bayésianisme, où on le trouve sous d’autres noms tels que le rapport de vraisemblance, le niveau de confirmation, ou même l’indice de convaincance pour les plus téméraires, mais comme je sais que mes abonnés sont un peu limités cognitivement j’ai préféré garder un terme simple. Je vous mets quelques vidéos en référence en tout cas pour ceux qui veulent approfondir le sujet.

Voilà, j’espère que l’introduction de ce niveau de preuve vous sera utile, à moi en tout cas il me sera très utile parce qu’il me permettra de vous présenter des théories pas très certaines sans pour autant culpabiliser. C’est tout pour aujourd’hui, je vous dis à très bientôt pour de nouvelles découvertes scientifiques. Sauf si les températures redescendent bien sûr.