Certains voient les m\u00e9ta-analyses comme l’arme absolue contre le doute. Le niveau de preuve scientifique supr\u00eame. Gage de r\u00e9sultats irr\u00e9futables.<\/p>\n
D’autres se sont fix\u00e9s r\u00e9cemment pour mission de d\u00e9noncer le caract\u00e8re faillible des revues scientifiques internationales. Ils viennent ainsi de se livrer \u00e0 une fraude pour la bonne cause<\/em>, en publiant sciemment un article pastiche, fallacieux et grotesque.<\/p>\n Via leur derni\u00e8re m\u00e9ta-analyse dans le Clinical Microbiology and Infection<\/em>, Thibault FIOLET et ses camarades r\u00e9ussissent le tour de force de d\u00e9cr\u00e9dibiliser plus encore la recherche m\u00e9dicale.<\/strong><\/p>\n En effet, les r\u00e9sultats de cette d\u00e9sormais c\u00e9l\u00e8bre m\u00e9ta-analyse se r\u00e9v\u00e8lent \u00eatre d’une faiblesse affligeante. Ils promettaient d’enterrer, une fois pour toute, les derniers soup\u00e7ons d’efficacit\u00e9 de l’hydroxychloroquine sur la Covid-19. En fait, les \u00e9tudiants en \u00e9pid\u00e9miologie fournissent, \u00e0 leur insu, la preuve que le militantisme peut conduire \u00e0 la v\u00e9n\u00e9ration d’\u00e9tudes approximatives, aux r\u00e9sultats inexploitables. Il suffit alors de faire dire aux chiffres ce que l’on souhaite d\u00e9fendre comme opinion. Parfaite d\u00e9monstration du biais de confirmation.<\/strong><\/p>\n Il existe de simples \u00e9tudes observationnelles qui contribuent \u00e0 faire progresser la connaissance m\u00e9dicale. A contrario, certaines mauvaises m\u00e9ta-analyses iront peupler le cimeti\u00e8re des \u00ab\u00a0papiers\u00a0\u00bb inutiles.<\/p>\n M\u00eame une m\u00e9ta-analyse ne dispenserait donc pas d’user de son sens critique ?<\/strong> Cat\u00e9gorie reine des \u00e9tudes m\u00e9dicales. Saint Graal<\/em> des m\u00e9thodologistes en culotte courte. Repr\u00e9sentation du niveau supr\u00eame de la preuve scientifique pour l’Evidence Based Medicine<\/em>. L’Art du doute conserve n\u00e9anmoins son importance fondamentale.<\/p>\n <\/p>\n Regardons pourquoi on ne peut rien tirer de fiable des m\u00e9diatiques r\u00e9sultats, \u00e9rig\u00e9s comme argument irr\u00e9vocable contre le protocole th\u00e9rapeutique de l’IHU de Marseille.<\/strong><\/p>\n <\/p>\n <\/p>\n Pour mettre en \u00e9vidence la fragilit\u00e9 de l’\u00e9tude, il ne sera pas question ici de mettre en doute les comp\u00e9tences ni la l\u00e9gitimit\u00e9 de son auteur principal,<\/strong> Thibault FIOLET. Pas question d\u2019invoquer son jeune \u00e2ge, ni son inexp\u00e9rience (\u00e9tudiant en \u00e9pid\u00e9miologie)\u00a0: \u00ab\u00a0la valeur n\u2019attend pas le nombre des ann\u00e9es<\/em>\u00a0\u00bb.<\/p>\n Il serait \u00e9galement hors sujet de s\u2019interroger sur les raisons qui poussent un th\u00e9sard \u00e0 s\u2019investir dans la r\u00e9daction d\u2019une m\u00e9ta-analyse sans y \u00eatre invit\u00e9<\/strong>. Pas de professeur agr\u00e9g\u00e9 en infectiologie parmi les auteurs. Pas de m\u00e9decin universitaire, ni autre directeur de recherche \u00e0 l’initiative de l’article. Chacun peut imaginer la charge de travail que repr\u00e9sente la r\u00e9daction d\u2019une th\u00e8se de science. Thierry FIOLET, lui, a du temps libre \u00e0 consacrer \u00e0 d\u2019autres investigations.<\/p>\n Ce jeune \u00e9pid\u00e9miologiste t\u00e9moigne depuis plusieurs mois d\u2019un int\u00e9r\u00eat certain pour la situation sanitaire actuelle. Ces nombreux tweets sur le coronavirus, l’attestent largement. Il y d\u00e9nonce r\u00e9guli\u00e8rement ce qu\u2019il juge \u00eatre les inexactitudes \u00e9manant de l\u2019IHU du Pr Raoult. Ces commentaires semblent plut\u00f4t envisager une efficacit\u00e9 du Remdesivir\u00ae et plaider pour l’attendu futur vaccin. Fiolet est un sceptique anti-fake news. C\u2019est un gar\u00e7on engag\u00e9 pour la d\u00e9fense de l’information scientifique. Pas de proc\u00e8s d\u2019intention ici, n\u00e9anmoins. Rien ne justifie de suspecter cette m\u00e9ta-analyse d\u2019\u00eatre le le fruit d\u2019un vulgaire acte militant anti-Raoult.<\/strong><\/p>\n Les z\u00e9t\u00e9ticiens ont unanimement applaudi la publication du canular dans l’Asian Journal of Medicine and Health<\/em>\u00a0 (sur l’efficacit\u00e9 de l’hydroxychloroquine pour pr\u00e9venir la survenue des accidents de trottinettes). C\u2019est dire si les apprentis chercheurs sont pr\u00eats \u00e0 tout pour d\u00e9fendre LA Science. La fin justifie les moyens.<\/em> Esp\u00e9rons que Thibault Fiolet n’appartient pas \u00e0 cette cat\u00e9gorie d’activistes aux m\u00e9thodes radicales contestables. Gageons qu’il parvient, lui, \u00e0 distinguer son engagement id\u00e9ologique de l\u2019objectivit\u00e9 d\u00e9passionn\u00e9e que requiert l\u2019\u00e9laboration d\u2019une m\u00e9ta-analyse.<\/strong><\/p>\n Pour finir sur le curriculum vitae des auteurs, il serait probablement injuste de leur reprocher de n\u2019\u00eatre pas m\u00e9decins.<\/strong> Probable \u00ab\u00a0argument d’autorit\u00e9\u00a0\u00bb sans fondement. Il est certainement accessoire, sinon inutile, d\u2019avoir des comp\u00e9tences m\u00e9dicales pour traiter d’un tel sujet. \u00a0Encore moins requis d\u2019avoir exp\u00e9riment\u00e9 la r\u00e9alit\u00e9 des soins prodigu\u00e9s \u00e0 de v\u00e9ritables patients atteints du COVID, sur le terrain. En quoi cela permettrait-il de comprendre la pertinence des approches th\u00e9rapeutiques test\u00e9es, pour mieux pond\u00e9rer les r\u00e9sultats et savoir interpr\u00e9ter les manifestations cliniques recueillies dans les \u00e9tudes ?\u00a0De solides connaissances th\u00e9oriques dans le domaine des math\u00e9matiques et statistiques suffisent amplement.<\/strong><\/p>\n Qu\u2019importe que le sujet d\u2019\u00e9tude fasse appel aux grands principes th\u00e9rapeutiques, \u00e0 des donn\u00e9es de pharmacologie et de physiologie humaine. Cela ne justifie pas pour autant que le corps m\u00e9dical encadre l’\u00e9tude. Une connaissance minimale du syst\u00e8me de soin et une bonne compr\u00e9hension des conditions particuli\u00e8res dans lesquelles les donn\u00e9es ont \u00e9t\u00e9 recueillies rel\u00e8veraient totalement du superflu.<\/p>\n <\/p>\n <\/p>\n <\/p>\n Pour d\u00e9terminer l’effet (favorable ou d\u00e9favorable) d’un \u00e9v\u00e9nement sur la mortalit\u00e9, on cherche \u00e0 \u00e9valuer un risque relatif<\/em> (RR). Compte tenu d’une probabilit\u00e9 non nulle d’erreur statistique, on indique le plus souvent un intervalle de confiance<\/em> (IC) dans lequel le risque relatif recherch\u00e9 a la plus grande probabilit\u00e9 d’appartenir. La taille de l’intervalle de confiance varie selon le seuil de significativit\u00e9 statistique<\/em> choisi (p).<\/p>\n Par exemple<\/u>: Si p=0,05 (5%), on conclue qu’il y a 95% de chance que le risque relatif appartienne effectivement \u00e0 l’intervalle de confiance; si p=0,1 (10%), il y a 90% de chance que RR \u2208 IC; ainsi de suite…<\/p>\n Ici, l’\u00e9v\u00e9nement \u00e9tudi\u00e9 est<\/u>: avoir \u00e9t\u00e9 trait\u00e9 par hydroxychloroquine pour la COVID-19<\/strong>.<\/p>\n La m\u00e9ta-analyse aboutit \u00e0 un RR \u00e9valu\u00e9 \u00e0 0,83<\/strong>. On pourrait conclure que l’hydroxychloroquine r\u00e9duit (en moyenne) de 17% la mortalit\u00e9 chez les patients atteints par la COVID-19… Pr\u00e8s de 20% de morts en moins. Ce ne serait pas anecdotique, quand m\u00eame.<\/p>\n Mais alors pourquoi conclure \u00e0 une absence de b\u00e9n\u00e9fice ?<\/p>\n C’est l\u00e0 que l’intervalle de confiance intervient. Les auteurs nous pr\u00e9cisent que celui-ci est de [0,65 \u00e0 1,06] pour un p=0,05. \u00a0Il y a donc 95% de chance que le chiffre r\u00e9el du risque relatif se situe entre 0,65 et 1,06. Or, il est statistiquement impossible de conclure \u00e0 un r\u00e9sultat significatif si le chiffre 1 appartient \u00e0 l’intervalle de confiance.<\/strong>\u00a0Pourtant tant que le RR est compris entre 0,65 et 0,99: la chloroquine est efficace D\u00e8s lors qu’il pourrait \u00eatre compris entre 1 et 1,06: la chloroquine serait sans effet (voire aggravante, \u00e0 hauteur de 6%). Sans \u00eatre statisticien, on mesure intuitivement o\u00f9 se situe la r\u00e9alit\u00e9 la plus probable.<\/p>\n Comme c’est ballot ! A 0,06 pr\u00e8s, l’hydroxychloroquine \u00e9tait reconnue comme nettement<\/u> efficace sur la COVID-19 !<\/strong>\u00a0En effet, si l’intervalle avait \u00e9t\u00e9 [0,65; 0,99], les r\u00e9sultats auraient \u00e9t\u00e9 sans appel en faveur de l’hydroxychloroquine. Mais, il n’en est rien. Roulement de tambour: l’hydroxychloroquine est d\u00e9finitivement prouv\u00e9e comme inutile sur la maladie du coronavirus. Vraiment ? Il s’en est pourtant fallu de tr\u00e8s peu pour que la m\u00e9ta-analyse de Fiolet viennent infirmer son intuition de d\u00e9part.<\/strong> Il a eu chaud le bougre. Trahi par son propre travail. On imagine la d\u00e9convenue.<\/p>\n Et pourtant, il suffirait de choisir un p=0,1 (10%) pour resserrer un peu l’intervalle de confiance. On exclurait tr\u00e8s vite la valeur 1 de l’intervalle de confiance. Le r\u00e9sultat serait alors tout autre. Il est ainsi licite de tirer une conclusion bien diff\u00e9rente de la m\u00e9ta-analyse. On a 90% de chance que le risque relatif appartienne \u00e0 un intervalle de confiance dont la valeur sup\u00e9rieure reste bien inf\u00e9rieure \u00e0 1.<\/p>\n Donc, 90% de chance que l’hydroxychloroquine ait bien un effet protecteur sur la mortalit\u00e9 par COVID-19.<\/strong><\/p><\/blockquote>\n <\/p>\n <\/p>\n 839 articles identifi\u00e9s. 564 articles qui ne r\u00e9unissent pas les \u00ab\u00a0crit\u00e8res d’inclusion\u00a0\u00bb. Seulement 21 articles inclus finalement dans la m\u00e9ta-analyse. Parmi eux, ils n’en restent que 17 qui \u00e9valuent l’usage d’hydroxychloroquine seule.<\/strong><\/p>\n 17 \u00e9tudes sur les 839 articles identifi\u00e9s. On retient donc 2% de la litt\u00e9rature portant sur le sujet. Il est incontestable que nombreuses \u00e9tudes sont inexploitables tant elles comportent de biais et tant la m\u00e9thodologie est d\u00e9faillante. N\u00e9anmoins, invoquer le risque de biais de s\u00e9lection n’est peut-\u00eatre pas totalement passible de proc\u00e8s pour complotisme<\/strong>. Imaginons qu’une seule \u00e9tude ait \u00e9t\u00e9 injustement \u00e9cart\u00e9e de la base de calculs. Des variations mineures des r\u00e9sultats finaux auraient pu \u00eatre induites. Variations mineures de 0,06 par exemple ?<\/p>\n <\/p>\n <\/p>\n Et oui, m\u00eame si Thibault Fiolet s’en d\u00e9fend (en invoquant le grand nombre de patients inclus, trait\u00e9s au stade pr\u00e9coce), il n’en reste pas moins que l’\u00e9tude inclue des r\u00e9sultats issus de l’utilisation d’hydroxychloroquine \u00e0 un stade avanc\u00e9 de la maladie<\/strong>. Au fameux stade de la temp\u00eate cytokinique (emballement immunologique), le virus n’est plus le probl\u00e8me depuis longtemps. Les auteurs qui plaident pour l’usage de l’hydroxychloroquine sont formels. Elle est inutile aux stades avanc\u00e9s (o\u00f9 la d\u00e9xam\u00e9thasone est requise). Elle doit \u00eatre prescrite le plus t\u00f4t possible, au stade pr\u00e9coce de contamination par le SARS-COV-2.<\/u><\/p>\n Si on \u00e9largit le recueil des donn\u00e9es aux patients ayant re\u00e7u un traitement en-dehors de ces stricts crit\u00e8res d’efficacit\u00e9 (trop tardivement), on g\u00e9n\u00e8re artificiellement une sous-estimation de l’effet th\u00e9rapeutique \u00e9valu\u00e9.<\/p>\n C’est ainsi qu’une grande m\u00e9ta-analyse a pu un jour conclure que les antid\u00e9presseurs n’\u00e9taient pas plus efficaces que le placebo sur la d\u00e9pression. Les \u00e9tudes incluaient de nombreux patients pr\u00e9sentant des d\u00e9pressions d’intensit\u00e9 l\u00e9g\u00e8re. Le recours \u00e0 une traitement m\u00e9dicamenteux n’est indiqu\u00e9 formellement que pour des intensit\u00e9s moyennes \u00e0 s\u00e9v\u00e8res.<\/p>\n De l\u00e0 \u00e0 imaginer que cette dilution (inopin\u00e9e) de l’effet th\u00e9rapeutique mesur\u00e9 suffise \u00e0 d\u00e9placer de 0,06 points la borne sup\u00e9rieure de l’intervalle de confiance du RR…. entra\u00eenant in extremis l’inclusion de la valeur 1 en son sein…<\/strong><\/p>\n Dommage que les auteurs n’aient pas cherch\u00e9 \u00e0 ajuster les r\u00e9sultats sur le stade de la maladie auquel les patients ont \u00e9t\u00e9 trait\u00e9s.<\/u><\/p>\n <\/p>\n <\/p>\n Quand on veut \u00e9valuer la balance b\u00e9n\u00e9fice\/risque d’une intervention th\u00e9rapeutique, il existe d’autres indicateurs m\u00e9dicaux que la seule mortalit\u00e9.<\/p>\n Bien heureusement, ces indicateurs renseignent, eux aussi, sur la pertinence d’un traitement. Ils sont particuli\u00e8rement pr\u00e9cieux dans le cas des maladies non ou peu mortelles.<\/p>\n Il est tr\u00e8s difficile de mettre en \u00e9vidence une diff\u00e9rence significative sur la mortalit\u00e9 pour une maladie \u00e0 faible l\u00e9talit\u00e9.<\/strong> Surtout quand le nombre de patients inclus devient \u00e9lev\u00e9. Le nombre de d\u00e9c\u00e8s devient d’autant plus faible proportionnellement. C’est le fameux \u00ab\u00a0argument contre-intuitif<\/em>\u00a0\u00bb qui plaide pour les \u00e9tudes observationnelles sur \u00e9chantillons modestes dans le cas d’une \u00e9pid\u00e9mie telle que celle que l’on vient de traverser. Raoult tenta en vain de l’expliquer aux m\u00e9thodologistes mais provoqua leur hilarit\u00e9. Mauvaise foi \u00a0ou authentique aveuglement ?<\/p>\n La charge virale, le d\u00e9lai de n\u00e9gativation virale, le taux d’admission en r\u00e9animation, la dur\u00e9e d’hospitalisation, l’intensit\u00e9 des sympt\u00f4mes, la proportion de s\u00e9quelles etc… Autant de donn\u00e9es pr\u00e9cieuses pour pr\u00e9ciser la meilleure conduite \u00e0 tenir devant un patient infect\u00e9.<\/strong><\/p>\n <\/p>\n <\/p>\n La m\u00e9thodologie r\u00e9v\u00e8le une inclusion des \u00e9tudes jusqu’au 25 Juillet 2020 dernier.<\/p>\n Depuis cette date, on peut citer les publications suivantes:<\/u><\/p>\n Castelnuovo AD, Costanzo S, Antinori A, et al. Use of hydroxychloroquine in hospitalised COVID-19 patients is associated with reduced mortality: Findings from the observational multicentre Italian CORIST study [published online ahead of print, 2020 Aug 25]. Eur J Intern Med<\/i>. 2020;S0953-6205(20)30335-6. doi:10.1016\/j.ejim.2020.08.019<\/a><\/p>\n Catteau L, Dauby N, Montourcy M, et al. Low-dose Hydroxychloroquine Therapy and Mortality in Hospitalized Patients with COVID-19: A Nationwide Observational Study of 8075 Participants [published online ahead of print, 2020 Aug 24]. Int J Antimicrob Agents<\/i>. 2020;106144. doi:10.1016\/j.ijantimicag.2020.106144<\/a><\/p>\n <\/p>\n Ces 2 \u00e9tudes concluent toutes 2 \u00e0 l’efficacit\u00e9 de l’hydroxychloroquine. On n’ose imaginer qu’elles aient pu faire varier l’IC de la m\u00e9ta-analyses de Fiolet d’une ampleur de 0,06 point en faveur de l’hydroxychloroquine…<\/strong><\/p>\n Comptons sur la probit\u00e9 et l’honn\u00eatet\u00e9 intellectuelle des auteurs pour envisager une \u00ab\u00a0mise \u00e0 jour\u00a0\u00bb avec inclusion des derni\u00e8res \u00e9tudes. Si celles-ci venaient \u00e0 en modifier la conclusion, nulle doute qu’ils s’engageraient le reconna\u00eetre \u00e0 fort renfort m\u00e9diatique.<\/p>\n <\/p>\n Les r\u00e9sultats devraient probablement \u00eatre pond\u00e9r\u00e9es selon les posologie administr\u00e9es<\/strong> d’hydroxychloroquine. Une \u00e9tude indienne (en pr\u00e9-print<\/a>) laisse supposer que ces donn\u00e9es pourraient ne pas influer uniquement sur la tol\u00e9rance du traitement mais aussi sur ses b\u00e9n\u00e9fices.<\/p>\nAttaque ad hominem et proc\u00e8s d’intention (pr\u00e9ambule)<\/em><\/h2>\n
Argument \u00ab\u00a0Ok boomer<\/em>\u00ab\u00a0<\/h3>\n
Doute sur l’objectivit\u00e9 de l’auteur<\/h3>\n
Suspicion d’activisme r\u00e9pr\u00e9hensible<\/h3>\n
Mise en cause de la l\u00e9gitimit\u00e9<\/h3>\n
Des r\u00e9sultats tr\u00e8s tr\u00e8s limit\u00e9s<\/h2>\n
Interpr\u00e9tation des chiffres: une conclusion qui bascule \u00e0 0,06 pr\u00e8s …<\/h4>\n
Rappel<\/h6>\n
Signification d’un risque relatif:<\/h6>\n
\n
R\u00e9sultats<\/h6>\n
De l’Art d’interpr\u00e9ter des chiffres<\/h6>\n
Une s\u00e9lection drastique des \u00e9tudes: risque \u00e9lev\u00e9 de biais de s\u00e9lection<\/h4>\n
M\u00e9thodologie de la m\u00e9ta-analyse<\/h6>\n
Cherry Picking<\/em> ?<\/h6>\n
Des cas trait\u00e9s \u00e0 un stade avanc\u00e9 de la maladie: risque de dilution de l’effet<\/h4>\n
Aucun autre indicateur de sant\u00e9 pris en compte<\/h4>\n
Les derni\u00e8res \u00e9tudes non incluses: des mises \u00e0 jour bienvenues<\/h4>\n
\n
\n
D’autres arguments pour confirmer… qu’on ne peut conclure de fa\u00e7on simpliste<\/h4>\n