No dia 10 de agosto, publicamos aqui, no site do MPV – Médicos Pela Vida, uma notícia: “Estudo de Harvard comprova eficácia da hidroxicloroquina para profilaxia da Covid-19“. No texto, explicamos os detalhes do estudo e seus resultados. Viralizou nas redes sociais e outras mídias repercutiram. Apenas a partir de nossa publicação, tivemos mais de 10 mil compartilhamentos no twitter.
No dia 15 de agosto, o site da agência de notícias Reuters publicou: “Fact Check-Estudo não prova eficácia da hidroxicloroquina para prevenir Covid-19, nem foi feito por Harvard“.
Aqui nós vamos analisar todos os truques, as manipulações retóricas feitas em cima de jornalistas da Reuters por pessoas, aparentemente, com objetivos quaisquer, menos científicos, além de sofismas publicados nessa suposta checagem de fatos.
Recomendamos que você, antes de continuar nesta nossa análise, para que entenda o debate científico com profundidade, leia tanto a notícia publicada no MPV como a checagem de fatos da Reuters.
O que é sofisma?
Sofismar é, basicamente, contar meias verdades. Um exemplo ilustrativo disso foi uma propaganda do jornal Folha de S. Paulo, feita em 1987. Na prática, o anúncio televisivo, feito por Washington Olivetto, um dos mais proeminentes publicitários brasileiros, deu uma aula ao Brasil todo do que é sofisma. A campanha, elogiada e premiada, ganhou o Leão de Ouro em Cannes.
O anúncio começava com bastante zoom em uma foto de um jornal. Não dá para identificar, a princípio, quem está na foto, enquanto a câmera vai se distanciando para mostrar a fotografia inteira.
A voz em off dizia assim: “Este homem pegou uma nação destruída, recuperou sua economia e devolveu o orgulho ao seu povo. Em seus quatro primeiros anos de governo, o número de desempregados caiu de seis milhões para 900 mil pessoas. Este homem fez o produto interno bruto crescer 102% e a renda per capita dobrar. Aumentou o lucro das empresas de 175 milhões para 5 bilhões de marcos. E reduziu a hiperinflação a no máximo 25% ao ano. Este homem adorava música e pintura e, quando jovem, imaginava seguir a carreira artística”.
Na sequência, rapidamente mostra-se a foto inteira onde se vê Adolf Hitler. Após uma pequena pausa, entra mais uma voz off: “É possível contar um monte de mentiras dizendo só a verdade. Por isso, é preciso tomar muito cuidado com a informação e o jornal que você recebe”.
Sim. É exatamente isso que a checagem de fatos da Reuters fez. Contou mentiras dizendo verdades, mas ignorando fatos que vão contra o que desejam. São, portanto, meias verdades. E nós vamos explicar, em nossa análise, os detalhes, trazendo para cá alguns trechos do que disseram.
Além disso, nós, do MPV, não temos nenhuma preocupação em fazer uma análise curta, sem abordar absolutamente todos os detalhes e explicando com clareza. Afinal, o nosso objetivo é salvar vidas e, para isso, não poupamos esforços. Acompanhe.
Detalhes da checagem
A checagem começa, na abertura, explicando qual é seu alvo: “Especialistas consultados pela Reuters apontaram falhas na metodologia da pesquisa, que foram negadas por um de seus autores”. Aqui mostraremos cada um dos sofismas da reportagem.
Sofisma 1: sobre “comprovação” e sobre ligação com Harvard.
No entanto, a pesquisa não afirma que a substância funciona para evitar a Covid-19. Embora cite que “um benefício” da hidroxicloroquina para profilaxia não pode ser descartado, a publicação não menciona que há comprovação científica de sua eficácia. Além disso, o estudo não foi conduzido pela Universidade de Harvard, mas entre seus autores estão dois pesquisadores ligados à instituição.
Aqui, neste editorial, nós vamos analisar, mais a frente, os dados do estudo. Entretanto, aqui já há uma distorção. Meta-análises utilizam-se de dados. Além disso, é o maior nível de evidência científica, mas o foco da checagem foi na linguagem do estudo, criticando o uso da palavra “comprovação”, que utilizamos na notícia.
“Artigos normalmente são cuidadosos e não se expressam dessa maneira. A imprensa explora o cuidado da linguagem dos autores para enganar o público”, criticou Daniel Tausk, professor de matemática da USP que vem estudando as estatísticas de ensaios clínicos de medicamentos e vacinas durante toda a pandemia.
“Se os próprios autores tivessem utilizado o termo ‘comprovação’, eu questionaria a qualidade do estudo como um todo, porque na nossa área esse termo é presumidamente inadequado – algo que alguns jornalistas insistem em não entender. Dizer que não houve comprovação porque ‘os autores disseram que não comprovou’ demonstra de duas, uma: ou desconhecimento e consequentemente incapacidade de exercer jornalismo científico por não compreender expressões básicas, ou atuação de má fé com objetivos específicos”, diz Flávio Cadegiani, cientista com diversos estudos clínicos COVID-19 executados.
Na sequência, a checagem tenta desvincular a Universidade de Harvard do estudo, falando que não foi conduzido lá, mas apenas que os autores são ligados a Harvard. Deste modo, eles tentam dizer que a notícia publicada pelo MPV é tecnicamente incorreta desde o título, onde nos referimos ao estudo como “Estudo de Harvard”.
Entretanto, a imprensa, inclusive os órgãos mais especializados, como o Jornal da USP e Agência FAPESP, usam essa linguagem: “pesquisa da USP mostra que…”.
Damos alguns exemplos:
“Pesquisa da USP mostra erros de higiene na cozinha que colocam a saúde em risco“.
“Pesquisa da USP testa segurança e eficácia no tratamento de câncer cerebral com o zika vírus“.
“Pesquisa da USP sobre alimentos vence o Prêmio Péter Murányi 2016“
“Claro que não são literalmente pesquisas da USP. É uma pesquisa em que participaram de forma relevante pesquisadores da USP”, explicou Daniel Tausk.
Portanto, nestes dois itens, a checagem de fatos usou sofismas para induzir o público ao erro.
E o perfil oficial de Harvard endossou o estudo
O perfil oficial da Harvard Epidemiology, departamento da Universidade, compartilhou o estudo dos pesquisadores da instituição.
“O compartilhamento ‘oficial’ pela instituição é a chancela final para dizer que o estudo ‘pertence’ a determinada instituição”, afirma Cadegiani.
Pelo menos ouviram um dos autores
Médicos procurados pela Reuters disseram que sólidos ensaios clínicos já descartaram benefícios do medicamento na prevenção da doença e levantaram problemas na condução da análise que impedem, segundo eles, que seus resultados sejam considerados válidos. À Reuters, um dos autores da publicação — o epidemiologista Miguel Hernán, professor em Harvard —, contestou eventuais erros.
Ainda na abertura, eles disseram que “sólidos ensaios clínicos já descartaram benefícios”. Será mesmo? Eles vão apontar quais são e analisaremos. Entretanto, houve um pouco de honestidade. Pelo menos foram ouvir o Dr Miguel Hernan, um dos autores do estudo. Temos os dois lados para ouvir e sabermos quem tem a razão em relação aos detalhes científicos.
“Afirmar que ‘sólidos estudos já descartaram benefícios’ é o exercício da anti-ciência, uma vez que, além de querer insinuar que uma crença pessoal, que, mesmo vindo de cientistas, não deixa de ser uma crença, tem mais força do que uma meta-análise, a hipersimplificação do fechamento de uma questão é um método de opressão da análise científica”, coloca Flavio Cadegiani.
Informação correta na introdução
O estudo não encontrou benefícios na administração de hidroxicloroquina em pacientes que já tinham sido expostos ao coronavírus. Entretanto, indicou que, quando considerados em conjunto, os ensaios randomizados com pessoas que já tomavam a substância antes de entrarem em contato com o vírus “fornecem uma estimativa pontual de um risco aproximadamente 28% menor de Covid-19” na comparação com indivíduos que não ingeriam a droga.
Sim, foi isso que noticiamos. Em profilaxia pós-exposição, em que os pacientes tomam o medicamento após terem contato com alguém infectado com o objetivo de reduzirem as chances de infecção, os resultados, no geral, são positivos, mas ainda são estatisticamente insignificantes. Isso é o equivalente a “empatados dentro do limite da margem de erro” das pesquisas eleitorais.
Além disso, os próprios autores da meta-análise, na pesquisa, explicaram que os desenhos errados dos estudos nessa condição invalidam boa parte desses achados. “O tempo desde a exposição até ao início da profilaxia foi relativamente longo: num ensaio, cerca de um terço dos participantes foram inscritos 4 dias após a exposição”, afirmaram.
Para exemplificar, os autores compararam com os estudos de medicamentos para prevenção do HIV. “Para comparação, recomenda-se a profilaxia pós-exposição para o HIV nas primeiras 6-72 h após a exposição”.
Ou seja, em boa parte dos estudos em profilaxia pós-exposição, o tempo para entrar com a medicação foi longo demais para poder medir algum efeito.
De qualquer forma, ainda mantendo o assunto nos resultados de profilaxia pós-exposição, há estudos polêmicos, mas mesmo assim bastante animadores para a HCQ nesta condição. É o caso do estudo de Bouwlare et al, publicado na NEJM – New England Journal of Medicine.
Este estudo, do modo que está, trouxe resultados positivos para a hidroxicloroquina. O risco de casos foi 17.0% menor para os que tomaram a medicação comparados com o placebo. Foram 49 infectados de 414 (11.8%) na HCQ. E no controle, com o placebo, 58 foram infectados de 407 (14.3%). Em outra conta, dentro do estudo, “casos prováveis”, a redução chegou a 25,1%.
Ou seja, os que tomaram o medicamento ativo neste estudo da NEJM, de fato, se saíram melhor, mas o resultado não foi estatisticamente significativo porque o estudo é pequeno. Para usar uma analogia das pesquisas eleitorais, neste estudo, a HCQ está na frente do placebo, mas “estão empatados dentro do limite da margem de erro”.
Além disso, o estudo foi planejado para ter 1500 pacientes, mas foi interrompido quando a HCQ ganhava o jogo com pouco mais de 800 pacientes. Com 1500 pacientes, a margem de erro seria menor. E ainda sobre o estudo de Boulware, reanálises dos dados avaliando os pacientes que iniciaram com a droga rapidamente revelaram resultados bastante promissores (aqui e aqui).
“As pessoas confundem significância estatística insuficiente com ausência de eficácia. Esse é um erro primário que jamais deveria ser cometido por qualquer pessoa da área científica”, afirma Cadegiani.
Mas vamos voltar ao foco na profilaxia pré-exposição. A principal discussão do artigo dos pesquisadores de Harvard e da checagem na Reuters.
Sofisma 2: cherry picking
Os pesquisadores concluíram que “um benefício da hidroxicloroquina como profilaxia para a Covid-19 não pode ser descartado com base nas evidências disponíveis dos ensaios randomizados”. Também disseram que “os achados ‘não estatisticamente significativos’ (quando não há evidências suficientes para provar que uma hipótese é nula ou falsa) dos primeiros ensaios de profilaxia foram amplamente interpretados como falta de eficácia definitiva” do medicamento, o que, para os autores, interrompeu pesquisas em andamento e dificultou o recrutamento de novos voluntários.
Ou seja: o próprio estudo não pode ser tratado como uma prova da eficácia da hidroxicloroquina para prevenir a doença.
No mesmo estudo que os autores disseram, na abertura, com linguagem cuidadosa, de que “um benefício da hidroxicloroquina como profilaxia para a Covid-19 não pode ser descartado”, mas apresentam uma estatística total significativa de eficácia, eles também disseram outra frase: “Durante grande parte do período pré-vacinal da pandemia, as evidências disponíveis eram compatíveis com a viabilidade do HCQ como profilaxia”.
Além disso, o próprio autor do estudo concluiu além das dúvidas estatísticas: “Em estudos randomizados duplo-cegos, controlados por placebo de profilaxia pré-exposição, as pessoas designadas para hidroxicloroquina tiveram um risco 28% menor de COVID-19”.
Ou seja, a checagem de fatos fez Cherry picking. Segundo a Wikipedia, a definição deste termo corresponde a isso: “é uma falácia que consiste em citar casos ou dados individuais que parecem confirmar uma determinada posição, ao mesmo tempo em que se ignora uma porção significativa de casos ou dados relacionados que possam contradizer aquela posição”. É o caso da checagem.
“Já que determinados jornalistas gostam dos termos ‘prova’ e ‘comprovação’, se uma meta-análise primorosa, em que pesquisadores contrários não têm sido capazes de tecer críticas quanto ao teor e à metodologia em si, que mostrou redução com significância estatística não é ‘prova de eficácia’, então o que seria essa tal de ‘prova de eficácia’ ou ‘comprovação’ que eles tanto buscam? O que falta para isso?” questiona Flavio Cadegiani.
Ou seja, temos duas distorções do que está dito no estudo por interesses que representam alguma coisa, menos ciência legítima.
Sofisma 3: ouvidos pela Reuters fingiram demência ou são incapazes para a análise
(os autores) Também disseram que “os achados ‘não estatisticamente significativos’ (quando não há evidências suficientes para provar que uma hipótese é nula ou falsa) dos primeiros ensaios de profilaxia foram amplamente interpretados como falta de eficácia definitiva”
O que os autores disseram no artigo foi um verdadeiro puxão de orelha na comunidade científica. Eles se referiam aos estudos que trazem resultados positivos para quem tomou a droga, comparado com o placebo, mas que são pequenos demais para terem poder estatístico sozinhos. Na linguagem estatística, são estudos “underpowered”.
“Os autores disseram exatamente o que venho clamando e escrevendo em artigos jornalísticos, sem tirar nem por. Basta ter cérebro, um mínimo de inteligência e um pouco de integridade para entender”, afirma Cadegiani.
Uma pausa na análise para uma divertida mudança de posição
“Falar que não se pode descartar o benefício de certo medicamento é muito diferente de falar que se comprova a eficácia do medicamento. O artigo não comprova a eficácia da hidroxicloroquina, e os autores não dizem isso”, afirma a epidemiologista Denise Garrett, vice-presidente do Instituto Sabin.
Denise Garrett interpretou errado. Os autores se referiam a estudos que, sozinhos, sem um conjunto de evidências para formar uma meta-análise, não tinham poder estatístico.
Entretanto, já há uma mudança divertida. Antes, Garrett era taxativa, contundente e ofensiva. Segundo ela, HCQ estava morta, com “prego no caixão”. Para ela, a HCQ também já havia recebido um “golpe de misericórdia”, definitivamente “não funciona” e, obviamente, segundo ela, qualquer um que falasse era “negacionista da ciência”, além do “negacionismo” ser condenável.
Um detalhe, o primeiro estudo que ela publicou, ali, no primeiro print da esquerda, “A Cluster-Randomized Trial of Hydroxychloroquine for Prevention of Covid-19“, é um estudo da hidroxicloroquina em profilaxia pós-exposição, como Boulware, que citamos aqui anteriormente, e também é positivo “ao acaso”.
O puxão de orelha dos pesquisadores de Harvard é exatamente nela, que possui, ao que parece, dificuldade de interpretar estudos clínicos. Este estudo específico, que segundo Denise era um “prego no caixão”, houve 45,6% menos mortes em quem tomou o medicamento. Houve também 16% menos chance de ser internado o grupo HCQ, e um risco de casos PCR 32% menor comparado com o grupo placebo. Para quem entende de ciência, nunca foi um “prego no caixão”. Era um estudo positivo, mas sem significância estatística sozinho.
“Espanta-me ver não somente essa senhora mas tantas outras pessoas da ‘ciência’ serem tão veementes em afirmações com tão pouca informação, interpretada de forma equivocada, e diante da inerente incerteza da verdadeira ciência, ainda mais no âmbito de uma doença tão nova. Trata-se de uma geração que não aprendeu o que é ciência de verdade, de um cegamento temporário devido a fatores externos, ou interesses que estão além da nossa compreensão?” indagou Cadegiani.
De qualquer forma, este estudo e profilaxia pós está englobado nas críticas dos autores na meta-análise sobre o tempo até iniciar os medicamentos, para que tenha efeito. “Incluíram gente com até 7 dias. Para profilaxia pós, mais do que três dias é maluquice”, explicou Carlos Nigro, médico, dirigente do MPV, com doutorado em ciências pela USP.
Mas para entender isso, a pessoa precisa saber o básico de estatística e saber ler e interpretar os estudos com profundidade, o que não parece ser o caso de Denise.
De qualquer forma, é divertido ver que ela, que se coloca, desde o início da pandemia, como uma defensora intransigente da ciência, mudar o discurso, saindo dos anticientíficos “prego no caixão”, “golpe de misericórdia” e “negacionista” para algo bem diferente, e dizendo: “Falar que não se pode descartar o benefício de certo medicamento é muito diferente de falar que se comprova a eficácia do medicamento”.
“É um caso clássico em que o termo ciência tornou-se slogan para empregar o totalitarismo pseudocientífico”, afirma Cadegiani.
Nós, do MPV, a entendemos. Não dá para Denise, depois de tanta agressividade, mudar o discurso para algo como: “Desculpe, apostei todas as fichas de modo errado, afastei pacientes de tratamentos válidos em uma doença mortal”. Neste caso, é melhor, realmente, até para a saúde mental e consciência pessoal, aceitar uma mudança para “incerto”, como ela fez.
“A prepotência de quem diz ter ‘certeza da ineficácia’ raramente coincidiria com a humildade que todo verdadeiro cientista tem de perceber que errou na hipótese”, reflete Cadegiani.
Professor de Harvard deu aula na checagem, mas não adiantou
No tópico “Especialistas apontam problemas” da checagem, o professor Hernan, extremamente didático, deu aulas precisas. Para quem acompanha ciência além de paixões emocionais, vale a pena aprender. Explore conosco:
Como o método de “revisão sistemática e meta-análise” reúne os resultados encontrados em pesquisas anteriores, a qualidade dos ensaios clínicos adicionados no levantamento impacta diretamente em seus resultados.
“Se não separar o joio do trigo e juntar artigos bons com outros ruins, o resultado será ruim. Os autores juntaram estudos diversos, sem objetivos ou metodologias em comum, e analisaram todos em conjunto, como se fossem a mesma coisa”, afirma o editor científico da Revista Ciências em Saúde e cirurgião vascular do Hospital de Clínicas de Itajubá (MG), Seleno Glauber.
Seleno erra aqui. Estão absolutamente todos os estudos “padrão ouro”, ou seja, os randomizados, da hidroxicloroquina em profilaxia pré-exposição. Todos têm o mesmo objetivo. Além disso, todos são positivos. Se escolher um para tirar, algum que supostamente tenha alguma qualidade mais baixa, ou dois, e todos sendo positivos, continuam, na conta geral da meta-análise, todos positivos.
“Interessante que a análise desse ‘editor científico’ é genérica e incapaz de apontar o local exato do problema – neste caso, qual estudo que ele ‘não gostou’. Digo ‘não gostou’ mostrando o caráter sentimental da afirmação porque não há critérios objetivos válidos para dar suporte a afirmação dele”, completa Flavio Cadegiani.
Para sermos didáticos, aqui está o gráfico representativo da meta-análise:
Este é o gráfico da meta-análise. Estão aí todos os estudos em profilaxia pré-exposição com HCQ. Na esquerda, na primeira coluna, o nome do principal cientista de cada estudo. Os pontos nas barras foram os efeitos medidos em cada pesquisa. Como pode-se ver, todos estão à esquerda da linha central, indicando que houve benefício para quem tomou a medicação, de modo unânime. As barras, algumas maiores e outras menores, representam a “margem de erro”.
Depois de dados estatísticos, na última coluna da direita, o peso do estudo em porcentagem. Estudos com mais pacientes possuem um peso maior na análise. Além disso, os estudos que possuem mais pacientes, e portanto, possuem um peso maior, possuem as barras de margem de erro menores, exatamente por terem mais pacientes. Isso é semelhante as pesquisas eleitorais. As que possuem muitos eleitores, possuem margens de erro menores. Nas pesquisas, por exemplo, de prefeituras pequenas do interior, as margens de erro são maiores.
“Pesquisas eleitorais com amostra maior possuem uma margem de erro menor. De modo similar, estudos com mais pacientes possuem tipicamente uma margem de erro menor. Esses estudos, com menor margem de erro, produzem uma estimativa mais precisa da eficácia do medicamento e entram com peso maior na metanálise”, explicou Tausk.
Repare que todas as barras, exceto uma delas, atravessa a barra vertical, indicando que o resultado, isoladamente, de cada um, apesar de serem positivos para a HCQ, poderiam ser resultados “ao acaso”. Mas quando todos são positivos, a probabilidade de serem, todos, resultados ao acaso, reduz. É isso que uma meta-análise compreende.
Abaixo, nos três últimos losangos, quando todos estão juntos, pela estatística, a margem de erro reduz, e não atravessa mais a barra vertical, indicando que o resultado saiu da margem de erro.
Sobre os comentários de Seleno Glauber, o matemático Daniel Tusk explicou:”Os estudos não precisam ser idênticos numa metanálise. Senão não seria possível fazer metanálise. Ali no caso são todos estudos de profilaxia pré-exposição, comparando HCQ com não HCQ. Como não se espera que os estudos sejam idênticos nem que as eficácias que eles estimam sejam idênticas, usa-se o que se chama um modelo de efeitos aleatórios que leva isso em conta”.
“A meta-análise serviu exatamente para corrigir o nítido e possivelmente conveniente problema dos estudos com números insuficientes (os chamados ‘underpowered’) e dar uma verdadeira lição para a ciência que tem sido praticada”, afirma Cadegiani.
A checagem segue, e aponta que um dos estudos envolvido na meta-análise está em pré-print. Ainda sem revisão por pares.
O pré-print consta justamente na etapa da pesquisa que analisou o uso prévio de hidroxicloroquina na prevenção da Covid-19 e concluiu que houve risco 28% inferior de desenvolvimento da doença. Especialistas também indicaram problemas metodológicos em outros artigos incluídos no estudo, que não explicam, por exemplo, quais critérios adotaram para a aleatorização dos voluntários do ensaio.
“Em revisão sistemática com meta-análise, você captura os artigos que falam sobre determinado tema e seleciona aqueles que preenchem todos os critérios de qualidade. Já este estudo foi muito permissivo ao usar publicações de baixa qualidade que não poderiam ser levadas em consideração. Foi uma tentativa de reunir estudos ruins que levam a uma conclusão incorreta”, diz o infectologista Alexandre Naime Barbosa, vice-presidente da Sociedade Brasileira de Infectologia (SBI).
À Reuters, Hernán negou que os artigos utilizados sejam de baixa qualidade. “Avaliamos o risco de viés de cada estudo usando ferramentas padronizadas e a magnitude da estimativa de efeito foi a mesma, embora menos precisa, quando pré-prints foram excluídos da análise”, afirmou o epidemiologista.
Ou seja, Hernán precisou explicar o óbvio para pessoas que supostamente o óbvio não deveria ser necessário: que se retirasse um ou mais estudos, a direção de efeito continua a mesma.
Tausk explicou em detalhes: “São todos positivos, mas dependendo de quantos você tira, vai perder a significância estatística. Veja que eles fazem duas análises, essa que chama DerSimonian and Laird é a mais clássica, um pouco anti-conservadora, e essa com ad hoc Hartung-Knapp é mais conservadora, com esses estudos que eles incluíram, dá significância nas duas”, explicou.
Tausk deu um exemplo de cálculo: “Se tirar o Seet, vai ficar algo como p=0.02 (significativo estatisticamente) na clássica um pouco anti-conservadora e algo como p=0.065 (beirando a significância) na mais conservadora”.
Glauber, da Ciências em Saúde, também disse que nem todos os estudos analisados seguiram os mesmos parâmetros de pesquisa para a detecção de Covid-19 e que administraram doses diferentes de hidroxicloroquina em intervalos distintos, o que impacta no resultado final. Para o professor de Harvard, “isso tem o potencial de atenuar (não exagerar) o efeito estimado”.
Hernán defendeu seu estudo de modo assertivo. Afinal, se um estudo teve uma dose menor, errada, o efeito reduz, não aumenta. Além disso, a diferença entre os estudos traz riqueza, pois pode-se avaliar doses diferentes.
Além disso, o artigo afirma que “os sete ensaios de profilaxia pré-exposição foram duplo-cegos” (quando nem participantes nem pesquisadores sabem quem recebeu o medicamento e quem ingeriu o placebo). No entanto, ao menos um deles não adotou essa metodologia. Hernán disse que isso será corrigido e que “o fato de um dos ensaios ter sido aberto não afeta os resultados da meta-análise”.
As diferenças de resultados entre ensaios randomizados open label, sem placebo, e randomizados duplo cego, com placebo, não possuem diferenças relevantes. Além disso, como explicou Tausk aqui mesmo, se retirar o estudo Seet, continuam sendo todos positivos. A conta geral continua sendo estatisticamente significativa.
Houve, ainda, a inclusão na revisão de um ensaio assinado por autores do artigo, o que não é uma prática recomendada em meta-análises devido à possibilidade de vieses nos resultados, segundo os médicos consultados. Quanto a isso, Hernán avaliou que o fato de que “alguns de nós tenham conduzido um estudo randomizado sobre esse tópico é bom” e que, “de qualquer forma, excluir este estudo não afeta os resultados”.
O professor Hernan continuou em sua luta para explicar o óbvio. Que se retirar um, continuam todos os outros sendo positivos.
“Mais uma vez, declarações genéricas que não apontaram onde exatamente a meta-análise falhou na seleção dos estudos. Ela não somente utilizou todo o rigor necessário, como ofereceu diferentes opções de análise, menos e mais conservadoras, onde todas se mostraram positivas. Aliás, a confirmação entre diferentes métodos reforça ainda mais o benefício encontrado. Agora, a prática de colocar barreiras adicionais para impedir estudos de entrarem em meta-análises, embora tenha ocorrido com mais frequência, é incorreta e tem objetivo de impedir conclusões que venham a ser contrárias a determinados desejos”, reforça Cadegiani.
Sofisma 4: os inacreditáveis maus alunos
A partir desse ponto, depois que o professor explicou que todas as críticas não faziam o menor sentido, a checagem da Reuters partiu para o inacreditável. Confira:
Glauber, Barbosa e o infectologista do Hospital de Clínicas de Porto Alegre e professor da Universidade Federal do Rio Grande do Sul (UFRGS) Alexandre Zawascki disseram que a maior parte dos estudos incluídos afastaram a eficácia da hidroxicloroquina na prevenção da Covid-19. Barbosa destacou que isso pode ser visualizado em gráficos publicados no próprio artigo (os benefícios são considerados insuficientes quando a linha horizontal toca a linha vertical “1”)
Eles voltaram a falar que os estudos, isolados, não possuem significância estatística. Também não entenderam a aula dos autores da meta-análise, no próprio estudo, sobre o erro colossal de interpretação que um estudo positivo, mas sem significância, tendendo para a eficácia, não é, de maneira alguma, prova de ineficácia.
“O objetivo de uma meta-análise é exatamente conferir significância estatística ao reunir estudos não estatisticamente significantes semelhantes”, afirmou o Dr Carlos Nigro.
Nós, do MPV, preferimos acreditar que eles não possuem a mínima noção do que é uma meta-análise, que junta todos os estudos para fazer uma análise de significância estatística nova, afinal, sendo todos positivos, reduz a chance do “acaso”. Preferimos acreditar que são incompetentes no ramo, do que acreditarmos que estão mentindo descaradamente com o objetivo de afastar pacientes de tratamentos válidos que salvam vidas, ou para se proteger a qualquer custo de que o mundo se dê conta de quantas vidas foram perdidas por pregarem o niilismo terapêutico.
Antes de continuarmos, um exemplo histórico de meta-análise
Dr Regis Andriolo, professor de Medicina Baseada em Evidências na Universidade Estadual do Pará e especialista em meta-análises, nos enviou esse exemplo ilustrativo. É uma meta-análise sobre PPNI – pressão positiva não invasiva, um tratamento estabelecido há bastante tempo.
Os pontos no meio dos traços são as medidas de cada estudo. Os traços que vão para a esquerda e para a direita, são as “margens de erro”. A linha ao centro é o valor zero. Se estiver à esquerda, é a tendência de eficácia, se estiver à direita, é tendência de ineficácia.
Repare que a grande maioria dos estudos não deu resultado positivo além da margem de erro. Não foram estatisticamente significativos e isso está descrito em cada estudo, tidos, cada um deles, como “ineficaz”. Inclusive, um deles mostra tendência a favorecer o grupo controle.
Repare o “total”, o último item da tabela. No conjunto, favorece além da margem de erro.
Este é o caso exatamente semelhante aos estudos RCT da hidroxicloroquina em profilaxia pré-exposição. É algo comum na medicina, que qualquer estudante deveria saber.
Sofisma 5: a repetição
Depois de noticiarem que o periódico European Journal of Epidemiology pretende fazer uma correção na meta-análise, devido ao fato de um dos estudos não ser duplo cego, mas open label, o que não invalida os resultados, o jornalista responsável por escrever, induzido pelos ouvidos para a matéria, resolveu listar os estudos individuais incluídos na meta-análise, explicando que cada um não possui significância estatística, e que, portanto, erroneamente, seria “prova” de que não funciona.
Isso é uma técnica simples para confundir o leitor com pouco conhecimento em ciência. Afinal, são estudos que estão na própria meta-análise, que fazem parte do cálculo geral.
Ou seja, depois da aula impecável do professor Hernán, explicando que todas as alegações são sem pé nem cabeça, o único modo de buscar a afirmação final de que “não prova eficácia”, isso passou a ser o recurso.
Comentaremos a seguir de cada um:
No caso da administração do medicamento depois do contato com o coronavírus, por exemplo, um amplo ensaio clínico com 821 pacientes publicado no The New England Journal of Medicine concluiu que “após exposição de alto risco ou risco moderado à Covid-19, a hidroxicloroquina não preveniu a doença quando usada como profilaxia pós-exposição” (here).
O foco da meta-análise é na profilaxia pré-exposição. Este estudo que enviaram é o Boulware et al, que é em profilaxia pós exposição. Uma confusão proposital?
Além disso, como já afirmamos, o estudo de Boulware é positivo, mas sem significância por ser underpowered.
Eles seguem:
Já na hipótese de uso do remédio antes do contato com o vírus, uma pesquisa com 1.483 profissionais de saúde publicada pelo periódico Clinical Infectious Diseases demonstrou que “a profilaxia pré-exposição com hidroxicloroquina não reduziu significativamente a Covid-19 confirmada em laboratório” (here).
Este estudo mostrou que o risco de caso de COVID no grupo hidroxiclorqouina é 27,0% menor. É, portanto, positivo. E está na meta-análise. Sim, é verdade, sozinho, não possui significância estatística, mas em conjunto todos passam da “margem de erro”.
Outro ensaio clínico randomizado, com 132 participantes e publicado no The Journal of the American Medical Association (Jama), indicou que “não houve benefício clínico da hidroxicloroquina administrada diariamente por oito semanas como profilaxia pré-exposição em profissionais de saúde hospitalares expostos a pacientes com Covid-19″, embora seus resultados sejam limitados pelo término precoce da pesquisa (here).
Mais um que é positivo para o grupo hidroxicloroquina, mas sem significância estatística, por ser pequeno demais. Além disso, por serem apenas 132 pacientes, ele possui como peso em toda a meta-análise de apenas 2,8%. Contribuiu pouco com a positividade geral do cálculo completo.
Em outubro do ano passado, Barbosa, da SBI, e outros três pesquisadores também conduziram uma revisão sistemática e meta-análise a respeito do assunto. Depois de analisarem nove estudos que preencheram critérios técnicos, apontaram que “não foram encontradas diferenças significativas entre os grupos hidroxicloroquina e controle quanto à profilaxia da infecção pré ou pós-exposição” (here) e desaconselharam seu uso.
Para rebater a meta-análise publicada na European Journal of Epidemiology, de alto impacto, eles postam uma meta-análise desatualizada, publicada em 2021, com menos estudos, e misturando profilaxia pré e pós exposição.
A pergunta que fica é: o vice-presidente da SBI – Sociedade Brasileira de Infectologia, não sabe a diferença entre profilaxia pré e pós exposição? Não entendeu que na meta-análise está atualizada e separada?
Além disso, essa meta-análise possui erros, já reportados para a revista há tempos, mas não corrigidos, como as mortes do estudo de Skipper em tratamento precoce, porque eles analisam isso também. A “coincidência’ é que os erros sempre pioram o cenário para a HCQ. Isso será tema de reportagem separada no site do MPV em breve.
“De cara já é bizarro terem usado diferença de risco como medida de efeito em vez de risco relativo. Quase ninguém faz isso”, explicou Tausk sobre a meta-análise assinada por Naime Barbosa, da SBI. Para orientar boa ciência, Tausk enviou o capítulo correto da Cochrane, que explica que essa metodologia deve ser evitada. “É aconselhável evitar a realização de meta-análises de diferenças de risco”, informa o manual “Analysing data and undertaking meta-analyses“.
“Imagine que você tenha uma droga 100% eficaz para profilaxia. Se a incidência de casos no controle for pequena, a diferença de risco será pequena e se a incidência de casos no controle for grande, a diferença de risco será grande. Mas a incidência de casos no controle não tem nada a ver com a droga. Por isso é completamente inadequado utilizar diferença de risco como medida de efeito nesse caso”, explicou Tausk do porque não deve-se usar diferenças de risco.
“Outra coisa, que não é bem um defeito mas uma escolha, é que eles optam por avaliar a eficácia da HCQ para prevenir um PCR+, em vez de avaliar a eficácia para prevenir covid sintomática. Prevenir PCR+ é bem mais difícil. Nos estudos com vacinas, o desfecho avaliado foi covid sintomática. Se fosse só PCR+ elas provavelmente não teriam sido aprovadas”, complementou sua crítica à meta-análise do Jornal Brasileiro de Pneumologia.
A vontade que o assunto desapareça
“Temos uma série de evidências de que a hidroxicloroquina não tem efeito. Quando você precisa espremer, espremer e espremer para encontrar algum efeito estatisticamente significativo, esse efeito provavelmente será o que chamamos de ‘efeito clinicamente não relevante’. Ou seja, não terá impacto na prática clínica”, resumiu Zawascki, da UFRGS.
Ninguém está “espremendo” nada. Meta-análises são, historicamente, o ápice da medicina baseada em evidências. Dizer que o efeito não é relevante, pode ser opinião pessoal dele. Só neste estudo, são 28% de eficácia.
Entretanto, no Brasil, hoje, a contagem oficial está em 680 mil mortos. 28% equivale a 190 mil pessoas. Além disso, como explicamos em nossa primeira notícia sobre este estudo, acumulando doses por mais de seis semanas, conforme mostrou o estudo Hydroxychloroquine Pre-Exposure Prophylaxis for COVID-19 in Healthcare Workers from India: A Meta-Analysis, a eficácia sobe para cerca de 75%.
“Se quase 30% de redução não é considerado ‘relevante’, nós não teríamos mais de 80% a 90% dos medicamentos com as indicações atuais na medicina, dado que esse é o percentual aproximado de medicamentos e indicações baseados em melhoras inferiores a 30%. Ainda mais para um medicamento extremamente seguro e uma doença que matou milhões, quase 30% de proteção não é relevante?”, questiona Cadegiani.
Antes da conclusão do MPV, uma piada para explicar meta-análise
As pessoas aparentemente perderam a capacidade de raciocínio lógico ao debater este medicamento. Reparando nisso, o economista Vladimir Vale, acostumado a trabalhar com estatísticas avançadas em seu trabalho, ao ver as pessoas afirmarem que estudos positivos, mas sem significância estatística por serem pequenos, concluírem que é “prova de ineficácia”, partiu para o humor. Ele escreveu uma piada em que afirma, categoricamente, serem de ingleses.
Senta que lá vem a piada.
Mary and John são um casal de ingleses que moram na pacata cidade Allgarvy. Descendente de um filho bastardo do Earl of Beyondofhills, John sempre foi um convicto socialista e, por isso, acompanha com atenção apaixonada a política local. No momento, o cenário político está dominado pela eleição para prefeito. John detesta o candidato Tory Emanuel Goodvillages.
Um dia, Mary chega toda esbaforida:
– John, saiu cá uma enquete que mostra que aquele salafrário do Goodvillages está 3 pontos à frente do nosso candidato!
– Calma, minha rapariga. Veja, a margem de erro é de 5 pontos. Então não se pode dizer que o pilantra está a ganhar a eleição. E, ora pois, evidentemente, se não está a ganhar só pode estar a perder…
Mary sorri, encantada com o raciocínio lógico de seu marido.
Passam-se alguns dias e Mary surge toda contente com um jornal na mão.
-John veja que notícia boa! Saíram mais três pesquisas que mostram o Goodvillages à frente, mas todas dentro da margem de erro. É a prova definitiva que esse malandro vai mesmo perder a eleição!
As 7 conclusões do MPV – Médicos Pela Vida
1 – A meta-análise está correta. A checagem que é falsa.
2 – As pessoas ouvidas pela reportagem não possuem sequer nível para entender uma aula dada por um professor de uma universidade de alto nível, como Harvard. Depois da aula, insistiram nos mesmos erros. Preferimos acreditar que não tenham capacidade do que imaginar outros motivos para insistirem nos erros.
3 – Estamos impressionados como essas pessoas, que deveriam ser qualificadas, são incapazes de entender o que é uma meta-análise e seu objetivo. E além disso, são incapazes de entender o que é um estudo positivo sozinho, mas sem significância estatística.
4 – Incrível como um médico do interior de Minas, com um índice H de 7, se acha capaz, sem argumentos válidos ou ser especialista no assunto, de desqualificar um professor de Harvard com índice H de 118. E a Reuters dar razão a ele, ao que parece, por ter já um objetivo definido.
5 – Essa checagem pode ser caso de estudo em cursos de MBE – Medicina Baseada em Evidências, do mundo todo, como exemplos de erros básicos.
6 – Tudo leva a crer que essas pessoas, profissionais de saúde, que estiveram em guerra contra o medicamento durante toda a pandemia, simplesmente não podem voltar atrás e dizerem um “errei”, não importando quantas evidências científicas (meta-análise é o nível mais alto) sejam apresentadas a eles, nem de onde for. Vão negá-las. O custo emocional seria alto demais. Considerarão, pelo resto da vida, que as evidências são insuficientes.
7 – Uma das reclamações era que um dos estudos envolvidos na meta-análise está ainda em pre-print. Ainda não revisado por pares. Alguém acredita que quando este último estudo for revisado, todos eles mudarão de posição e dirão: “Agora sim, está comprovado, todos usem.”? Não prendam a respiração aguardando isso.