COVID: La méta-analyse la plus fragile de l’histoire des sciences

Certains voient les méta-analyses comme l’arme absolue contre le doute. Le niveau de preuve scientifique suprême. Gage de résultats irréfutables.

D’autres se sont fixés récemment pour mission de dénoncer le caractère faillible des revues scientifiques internationales. Ils viennent ainsi de se livrer à une fraude pour la bonne cause, en publiant sciemment un article pastiche, fallacieux et grotesque.

Via leur dernière méta-analyse dans le Clinical Microbiology and Infection, Thibault FIOLET et ses camarades réussissent le tour de force de décrédibiliser plus encore la recherche médicale.

En effet, les résultats de cette désormais célèbre méta-analyse se révèlent être d’une faiblesse affligeante. Ils promettaient d’enterrer, une fois pour toute, les derniers soupçons d’efficacité de l’hydroxychloroquine sur la Covid-19. En fait, les étudiants en épidémiologie fournissent, à leur insu, la preuve que le militantisme peut conduire à la vénération d’études approximatives, aux résultats inexploitables. Il suffit alors de faire dire aux chiffres ce que l’on souhaite défendre comme opinion. Parfaite démonstration du biais de confirmation.

Il existe de simples études observationnelles qui contribuent à faire progresser la connaissance médicale. A contrario, certaines mauvaises méta-analyses iront peupler le cimetière des « papiers » inutiles.

Même une méta-analyse ne dispenserait donc pas d’user de son sens critique ? Catégorie reine des études médicales. Saint Graal des méthodologistes en culotte courte. Représentation du niveau suprême de la preuve scientifique pour l’Evidence Based Medicine. L’Art du doute conserve néanmoins son importance fondamentale.

 

Regardons pourquoi on ne peut rien tirer de fiable des médiatiques résultats, érigés comme argument irrévocable contre le protocole thérapeutique de l’IHU de Marseille.

 

Attaque ad hominem et procès d’intention (préambule)

Argument « Ok boomer« 

Pour mettre en évidence la fragilité de l’étude, il ne sera pas question ici de mettre en doute les compétences ni la légitimité de son auteur principal, Thibault FIOLET. Pas question d’invoquer son jeune âge, ni son inexpérience (étudiant en épidémiologie) : « la valeur n’attend pas le nombre des années ».

Il serait également hors sujet de s’interroger sur les raisons qui poussent un thésard à s’investir dans la rédaction d’une méta-analyse sans y être invité. Pas de professeur agrégé en infectiologie parmi les auteurs. Pas de médecin universitaire, ni autre directeur de recherche à l’initiative de l’article. Chacun peut imaginer la charge de travail que représente la rédaction d’une thèse de science. Thierry FIOLET, lui, a du temps libre à consacrer à d’autres investigations.

Doute sur l’objectivité de l’auteur

Ce jeune épidémiologiste témoigne depuis plusieurs mois d’un intérêt certain pour la situation sanitaire actuelle. Ces nombreux tweets sur le coronavirus, l’attestent largement. Il y dénonce régulièrement ce qu’il juge être les inexactitudes émanant de l’IHU du Pr Raoult. Ces commentaires semblent plutôt envisager une efficacité du Remdesivir® et plaider pour l’attendu futur vaccin. Fiolet est un sceptique anti-fake news. C’est un garçon engagé pour la défense de l’information scientifique. Pas de procès d’intention ici, néanmoins. Rien ne justifie de suspecter cette méta-analyse d’être le le fruit d’un vulgaire acte militant anti-Raoult.

Suspicion d’activisme répréhensible

Les zététiciens ont unanimement applaudi la publication du canular dans l’Asian Journal of Medicine and Health  (sur l’efficacité de l’hydroxychloroquine pour prévenir la survenue des accidents de trottinettes). C’est dire si les apprentis chercheurs sont prêts à tout pour défendre LA Science. La fin justifie les moyens. Espérons que Thibault Fiolet n’appartient pas à cette catégorie d’activistes aux méthodes radicales contestables. Gageons qu’il parvient, lui, à distinguer son engagement idéologique de l’objectivité dépassionnée que requiert l’élaboration d’une méta-analyse.

Mise en cause de la légitimité

Pour finir sur le curriculum vitae des auteurs, il serait probablement injuste de leur reprocher de n’être pas médecins. Probable « argument d’autorité » sans fondement. Il est certainement accessoire, sinon inutile, d’avoir des compétences médicales pour traiter d’un tel sujet.  Encore moins requis d’avoir expérimenté la réalité des soins prodigués à de véritables patients atteints du COVID, sur le terrain. En quoi cela permettrait-il de comprendre la pertinence des approches thérapeutiques testées, pour mieux pondérer les résultats et savoir interpréter les manifestations cliniques recueillies dans les études ? De solides connaissances théoriques dans le domaine des mathématiques et statistiques suffisent amplement.

Qu’importe que le sujet d’étude fasse appel aux grands principes thérapeutiques, à des données de pharmacologie et de physiologie humaine. Cela ne justifie pas pour autant que le corps médical encadre l’étude. Une connaissance minimale du système de soin et une bonne compréhension des conditions particulières dans lesquelles les données ont été recueillies relèveraient totalement du superflu.

 

 

Des résultats très très limités

 

Interprétation des chiffres: une conclusion qui bascule à 0,06 près …

Rappel

Pour déterminer l’effet (favorable ou défavorable) d’un événement sur la mortalité, on cherche à évaluer un risque relatif (RR). Compte tenu d’une probabilité non nulle d’erreur statistique, on indique le plus souvent un intervalle de confiance (IC) dans lequel le risque relatif recherché a la plus grande probabilité d’appartenir. La taille de l’intervalle de confiance varie selon le seuil de significativité statistique choisi (p).

Par exemple: Si p=0,05 (5%), on conclue qu’il y a 95% de chance que le risque relatif appartienne effectivement à l’intervalle de confiance; si p=0,1 (10%), il y a 90% de chance que RR ∈ IC; ainsi de suite…

Signification d’un risque relatif:
  • si le risque relatif est inférieur à 1 (compris entre 0 et 0,99), l’événement est considéré comme protecteur vis-à-vis de la maladie/mort;
  • quand le risque relatif est égal à un, l’événement étudié n’a pas d’impact sur la maladie/mortalité;
  • dès que le risque relatif est supérieur à 1, l’événement est un facteur aggravant de la maladie/mortalité.

Ici, l’événement étudié est: avoir été traité par hydroxychloroquine pour la COVID-19.

Résultats

La méta-analyse aboutit à un RR évalué à 0,83. On pourrait conclure que l’hydroxychloroquine réduit (en moyenne) de 17% la mortalité chez les patients atteints par la COVID-19… Près de 20% de morts en moins. Ce ne serait pas anecdotique, quand même.

Mais alors pourquoi conclure à une absence de bénéfice ?

C’est là que l’intervalle de confiance intervient. Les auteurs nous précisent que celui-ci est de [0,65 à 1,06] pour un p=0,05.  Il y a donc 95% de chance que le chiffre réel du risque relatif se situe entre 0,65 et 1,06. Or, il est statistiquement impossible de conclure à un résultat significatif si le chiffre 1 appartient à l’intervalle de confiance. Pourtant tant que le RR est compris entre 0,65 et 0,99: la chloroquine est efficace Dès lors qu’il pourrait être compris entre 1 et 1,06: la chloroquine serait sans effet (voire aggravante, à hauteur de 6%). Sans être statisticien, on mesure intuitivement où se situe la réalité la plus probable.

De l’Art d’interpréter des chiffres

Comme c’est ballot ! A 0,06 près, l’hydroxychloroquine était reconnue comme nettement efficace sur la COVID-19 ! En effet, si l’intervalle avait été [0,65; 0,99], les résultats auraient été sans appel en faveur de l’hydroxychloroquine. Mais, il n’en est rien. Roulement de tambour: l’hydroxychloroquine est définitivement prouvée comme inutile sur la maladie du coronavirus. Vraiment ? Il s’en est pourtant fallu de très peu pour que la méta-analyse de Fiolet viennent infirmer son intuition de départ. Il a eu chaud le bougre. Trahi par son propre travail. On imagine la déconvenue.

Et pourtant, il suffirait de choisir un p=0,1 (10%) pour resserrer un peu l’intervalle de confiance. On exclurait très vite la valeur 1 de l’intervalle de confiance. Le résultat serait alors tout autre. Il est ainsi licite de tirer une conclusion bien différente de la méta-analyse. On a 90% de chance que le risque relatif appartienne à un intervalle de confiance dont la valeur supérieure reste bien inférieure à 1.

Donc, 90% de chance que l’hydroxychloroquine ait bien un effet protecteur sur la mortalité par COVID-19.

 

 

Une sélection drastique des études: risque élevé de biais de sélection

Méthodologie de la méta-analyse

839 articles identifiés. 564 articles qui ne réunissent pas les « critères d’inclusion ». Seulement 21 articles inclus finalement dans la méta-analyse. Parmi eux, ils n’en restent que 17 qui évaluent l’usage d’hydroxychloroquine seule.

Cherry Picking ?

17 études sur les 839 articles identifiés. On retient donc 2% de la littérature portant sur le sujet. Il est incontestable que nombreuses études sont inexploitables tant elles comportent de biais et tant la méthodologie est défaillante. Néanmoins, invoquer le risque de biais de sélection n’est peut-être pas totalement passible de procès pour complotisme. Imaginons qu’une seule étude ait été injustement écartée de la base de calculs. Des variations mineures des résultats finaux auraient pu être induites. Variations mineures de 0,06 par exemple ?

 

 

Des cas traités à un stade avancé de la maladie: risque de dilution de l’effet

Et oui, même si Thibault Fiolet s’en défend (en invoquant le grand nombre de patients inclus, traités au stade précoce), il n’en reste pas moins que l’étude inclue des résultats issus de l’utilisation d’hydroxychloroquine à un stade avancé de la maladie. Au fameux stade de la tempête cytokinique (emballement immunologique), le virus n’est plus le problème depuis longtemps. Les auteurs qui plaident pour l’usage de l’hydroxychloroquine sont formels. Elle est inutile aux stades avancés (où la déxaméthasone est requise). Elle doit être prescrite le plus tôt possible, au stade précoce de contamination par le SARS-COV-2.

Si on élargit le recueil des données aux patients ayant reçu un traitement en-dehors de ces stricts critères d’efficacité (trop tardivement), on génère artificiellement une sous-estimation de l’effet thérapeutique évalué.

C’est ainsi qu’une grande méta-analyse a pu un jour conclure que les antidépresseurs n’étaient pas plus efficaces que le placebo sur la dépression. Les études incluaient de nombreux patients présentant des dépressions d’intensité légère. Le recours à une traitement médicamenteux n’est indiqué formellement que pour des intensités moyennes à sévères.

De là à imaginer que cette dilution (inopinée) de l’effet thérapeutique mesuré suffise à déplacer de 0,06 points la borne supérieure de l’intervalle de confiance du RR…. entraînant in extremis l’inclusion de la valeur 1 en son sein…

Dommage que les auteurs n’aient pas cherché à ajuster les résultats sur le stade de la maladie auquel les patients ont été traités.

 

 

Aucun autre indicateur de santé pris en compte

Quand on veut évaluer la balance bénéfice/risque d’une intervention thérapeutique, il existe d’autres indicateurs médicaux que la seule mortalité.

Bien heureusement, ces indicateurs renseignent, eux aussi, sur la pertinence d’un traitement. Ils sont particulièrement précieux dans le cas des maladies non ou peu mortelles.

Il est très difficile de mettre en évidence une différence significative sur la mortalité pour une maladie à faible létalité. Surtout quand le nombre de patients inclus devient élevé. Le nombre de décès devient d’autant plus faible proportionnellement. C’est le fameux « argument contre-intuitif » qui plaide pour les études observationnelles sur échantillons modestes dans le cas d’une épidémie telle que celle que l’on vient de traverser. Raoult tenta en vain de l’expliquer aux méthodologistes mais provoqua leur hilarité. Mauvaise foi  ou authentique aveuglement ?

La charge virale, le délai de négativation virale, le taux d’admission en réanimation, la durée d’hospitalisation, l’intensité des symptômes, la proportion de séquelles etc… Autant de données précieuses pour préciser la meilleure conduite à tenir devant un patient infecté.

 

 

Les dernières études non incluses: des mises à jour bienvenues

La méthodologie révèle une inclusion des études jusqu’au 25 Juillet 2020 dernier.

Depuis cette date, on peut citer les publications suivantes:

  • L’utilisation d’hydroxychloroquine chez des patients COVID hospitalisés est associée avec une baisse de mortalité.

Castelnuovo AD, Costanzo S, Antinori A, et al. Use of hydroxychloroquine in hospitalised COVID-19 patients is associated with reduced mortality: Findings from the observational multicentre Italian CORIST study [published online ahead of print, 2020 Aug 25]. Eur J Intern Med. 2020;S0953-6205(20)30335-6. doi:10.1016/j.ejim.2020.08.019

  •  « De faibles doses d’hydroxychloroquine sont associées à une moindre mortalité chez des patients hospitalisés pour COVID […] »

Catteau L, Dauby N, Montourcy M, et al. Low-dose Hydroxychloroquine Therapy and Mortality in Hospitalized Patients with COVID-19: A Nationwide Observational Study of 8075 Participants [published online ahead of print, 2020 Aug 24]. Int J Antimicrob Agents. 2020;106144. doi:10.1016/j.ijantimicag.2020.106144

 

Ces 2 études concluent toutes 2 à l’efficacité de l’hydroxychloroquine. On n’ose imaginer qu’elles aient pu faire varier l’IC de la méta-analyses de Fiolet d’une ampleur de 0,06 point en faveur de l’hydroxychloroquine…

Comptons sur la probité et l’honnêteté intellectuelle des auteurs pour envisager une « mise à jour » avec inclusion des dernières études. Si celles-ci venaient à en modifier la conclusion, nulle doute qu’ils s’engageraient le reconnaître à fort renfort médiatique.

 

D’autres arguments pour confirmer… qu’on ne peut conclure de façon simpliste

Les résultats devraient probablement être pondérées selon les posologie administrées d’hydroxychloroquine. Une étude indienne (en pré-print) laisse supposer que ces données pourraient ne pas influer uniquement sur la tolérance du traitement mais aussi sur ses bénéfices.

Des auteurs lancent un protocole d’étude pour évaluer l’influence de l’hydroxychloroquine en prévention chez les sujets contacts du COVID-19. Pour eux, le sujet est donc loin d’être enterré.

Interrogé dans les médias, Thibault Fiolet prétend que sa méta-analyse devrait suffire désormais à conclure définitivement sur l’absence d’intérêt de l’hydroxychloroquine. Il reconnait dans le même temps les importants biais que comportent les rares études d’où proviennent les données analysées. Comment l’analyse de données biaisées peut-elle aboutir à une telle quasi-certitude chez les auteurs des calculs ? S’agirait-il de croyants ?

 

 

Impossible d’affirmer quoi que se soit.

En tant que médecin non spécialiste du sujet, il m’est impossible de savoir si l’hydroxychloroquine est efficace ou non sur la COVID-19.

Reconnaître l’ignorance médicale

Il existe néanmoins une certitude: même Thibault Fiolet ne peut prétendre avoir la réponse à cette épineuse question. Les statistiques appliquées à la recherche médicale ne nous permettent pas de conclure pour le moment. Laissez entendre qu’une telle méta-analyse suffit, qu’elle ne laisse aucun doute quant à la validité de ses résultats est une information fallacieuse. Pour des partisans de la rigueur scientifique, de l’objectivité et de la zététique, cela n’est pas joli joli.

Privilégier la démarche médicale

Il existe, en revanche, d’autres modes de raisonnements au moins aussi licites et utiles que ces savants calculs. Ils consistent à intégrer une pluralité de données complexes et singulières. Il s’agit de d’adapter la réflexion à la situation particulière d’un patient atteint par une maladie donnée, dans un contexte sanitaire précis. C’est une démarche médicale. Il est question d’évaluer une balance bénéfice/risque, avant de décider d’une intervention thérapeutique ou d’une abstention. La décision se prend à la lumière des connaissances acquises au moment des soins, en accord et avec le consentement éclairé du patient.

Avant de prendre le micro sur les plateaux de télé, pour délivrer la bonne parole, il serait bon que nos jeunes statisticiens prennent la mesure de cette réalité prioritaire. Ces notions échappent à leur champ de compétence. Il est question de médecine. La médecine ne se réduira jamais à des algorithmes globaux.

 

David Esfandi  Psychiatre/Addictologue, néo-complotiste malgré lui.

 

RéférencesEffect of hydroxychloroquine with or without azithromycin on the mortality of COVID-19 patients: a systematic review and meta-analysis Thibault Fiolet Anthony Guihur Mathieu Rebeaud Matthieu Mulot Nathan Peiffer-Smadja Yahya Mahamat-Saleh  Published:August 26,2020DOI:https://doi.org/10.1016/j.cmi.2020.08.022

3 Comments

  1. Pierre G | | Répondre

    Merci !

  2. BEAUCHAMP THIERRY | | Répondre

    Remarquable article! Vous devriez le transmettre à la revue CMI qui a publié la « catanalyse » Fiolet & co. Pourquoi n’a-t-elle toujours pas été rétractée malgré ses faiblesses criantes, on se le demande… Mais l’ombre d’un grand sorcier de l’INSERM semble planer sur cette sombre affaire…

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *