Vinay Prasad vem nos últimos meses insistindo na velha confusão boboca de que “ausência de significância estatística é evidência de ausência de efeito” (no contexto de pesquisa de eficácia de intervenções farmacêuticas ou não farmacêuticas) com uma roupagem que parece superficialmente mais erudita, algo como “a maioria das coisas que a gente faz não funciona, então se não temos um resultado estatisticamente significativo, devemos declarar que não funciona e parar de pesquisar o assunto”. Isso está simplesmente errado, como discutimos abaixo.
A afirmação de que “a maioria das coisas que a gente faz não funciona”, formalizada em termos bayesianos, seria algo como “a probabilidade a priori de que a eficácia de uma certa intervenção seja clinicamente relevante é muito baixa”. Uma vez conduzido um estudo ou uma série de estudos (e uma metanálise), essa probabilidade a priori se atualiza e vira uma posteriori. De um modo geral, a densidade da posteriori vai ficar mais gordinha do que a densidade da priori perto da estimativa pontual de efeito (supondo, digamos, algo como um estimador de máxima verossimilhança), sendo que vai ficar muito mais gordinha naquela região se o intervalo de confiança (frequentista) for pequeno e vai ficar só um pouco mais gordinha naquela região se o intervalo de confiança for grande.
Tendo isso em mente, pode-se dizer que (sendo meio impreciso para simplificar um pouco):
(1) uma estimativa pontual de efeito clinicamente relevante com um intervalo de confiança pequeno deve, como é usual, nos levar a acreditar que a intervenção funciona (a menos que a probabilidade a priori de funcionar fosse extremamente baixa, por algum motivo excepcional).
(2) Uma estimativa pontual de efeito clinicamente relevante com um intervalo de confiança grande nos deve levar a acreditar que a intervenção funciona ao menos um pouquinho a mais do que acreditávamos antes de fazer o estudo. Se antes de fazer o estudo achávamos tão absurdamente improvável que a intervenção funcionasse que nem valeria a pena fazer estudos, podemos continuar achando isso. Porém, se achávamos o fato da intervenção funcionar plausível o suficiente de modo que valesse a pena ao menos estudar, ao ver uma estimativa pontual de efeito clinicamente relevante com um intervalo de confiança grande, devemos continuar acreditando (até mais do que antes) que vale a pena continuar fazendo estudos. Dizer nesse ponto “não vale a pena mais estudar” é totalmente incoerente. E, curiosamente, essa parece ser a posição do Prasad.
(3) Uma estimativa pontual de efeito clinicamente insignificante com um intervalo de confiança pequeno é um bom motivo para desistir de estudar aquela intervenção (a menos que a probabilidade a priori de funcionar fosse extremamente alta, por algum motivo excepcional).
(4) Uma estimativa pontual de efeito clinicamente insignificante com um intervalo de confiança grande deve nos deixar um pouco mais desanimados sobre a possibilidade de que a intervenção funcione. Nesse caso, faz sentido ainda talvez conduzir mais estudos, mas também não seria absurdo desistir dessa intervenção.