Após alguns anos acompanhando comentários de sientistas narrativers no twitter e na mídia, montei um pequeno guia metodológico para siência narrativer. Você pode consultar o guia em vez de gastar tempo seguindo o que os sientistas narrativers dizem no twitter e na mídia. As reações deles estão todas aí prontas para qualquer futuro estudo ou metanálise que possa aparecer. Se você aspira ser um sientista narrativer, esse guia pode te ajudar.
Guia metodológico prático para sientistas narrativers
Como reagir à divulgação de um novo estudo?
Se o que o artigo diz confirma a minha narrativa favorita:
Basta dizer que um novo estudo COMPROVA aquilo que eu sempre disse que era verdade. Considere apenas o novo estudo isoladamente, ignore a existência de muitos outros estudos que talvez tenham uma conclusão totalmente diferente. Se alguém reclamar, apenas explique que os outros são estudos falhos e que esse é o bom. Se os autores confundem falta de significância estatística com prova de ineficácia e você de fato não quer que a intervenção em questão funcione, simplesmente reafirme que falta de significância estatística é prova de ineficácia (porém, vide item (6) abaixo).
Se o que o artigo diz não é compatível com a minha narrativa favorita:
(1) se o novo estudo ainda está em preprint, basta dizer que preprints não contam, tem que esperar a revisão por pares.
(2) Se o novo estudo foi publicado, faça comentários sobre o baixo impact factor da revista. Aqui “baixo” é um conceito fluido, qualquer valor abaixo daquele da revista da área com o maior impact factor no mundo pode ser considerado “baixo”, se necessário.
(3) O estudo é observacional? Diga que estudo observacional não conta (porém, vide (11) abaixo). O estudo é randomizado mas não é duplo-cego? Diga que estudo que não é duplo-cego não conta.
(4) O estudo é randomizado e duplo-cego? Diga que o desenho é ruim, não é necessário explicar o defeito. Procure a seção do artigo onde falam sobre limitações e simplesmente copie o que está escrito lá. Se aproveite do fato que artigos científicos descrevem conclusões com uma linguagem cuidadosa, tire isso do contexto e explique que nada foi comprovado, que como O PRÓPRIO AUTOR (obviamente um semideus que não pode ser questionado) disse, mais estudos são necessários sobre o assunto.
(5) Faça de conta que as únicas possibilidades que existem são “não há nenhuma evidência de X” e “X foi cientificamente comprovado”. Ignore que “comprovado” não existe e que níveis de evidência formam um continuum.
(6) Se o resultado não tem significância estatística e você quer que a intervenção em questão funcione, explique que ausência de evidência não é evidência de ausência.
(7) Procure algum detalhe, algum número errado numa tabela (quase sempre tem), alguma pequena diferença entre o que foi publicado e o protocolo registrado no clinicaltrials. Faça um estardalhaço em cima disso e de qualquer limitação que possa existir. Explique que é uma falha fatal. Pegue alguma coisa técnica qualquer que você também não entende e diga que está errado. Como seus leitores também não entendem, você vai se safar. Se alguém que entende perceber e te expor (raro), basta atacar a pessoa que apontou o seu erro.
Como reagir à divulgação de uma nova metanálise?
Se o que a metanálise diz confirma minha narrativa favorita:
Basta dizer que uma nova metanálise COMPROVA aquilo que eu sempre disse que era verdade. Evidência máxima.
Se o que a metanálise diz não é compatível com a minha narrativa favorita:
Vários dos métodos descritos acima podem ser usados nesse caso, mas há algumas dicas adicionais.
(Use a sigla gigo (“garbage in, garbage out”). Você vai parecer inteligente. Diga que os estudos são falhos. Não é necessário explicar porque.
(9) Fale que os estudos são muito heterogêneos e que a metanálise é uma salada. Pouca gente entende porque e em que situações heterogeneidade pode ser um problema, então simplesmente diga isso, já que é uma afirmação popular.
(10) Caso você queira que a intervenção sendo estudada não funcione, aponte para o forest plot indicando que os intervalos de confiança dos estudos individualmente cortam a linha do zero e por isso eles provam que a intervenção não funciona (apesar do fato que o resultado combinado mostra que funciona). Essa manobra é um pouco arriscada porque até alguns leigos podem perceber que você está falando besteira, mas nesse caso você sempre pode tentar reverter a situação mostrando seu currículo extenso e seus títulos. Outras manobras evasivas: tente expor a ignorância do leigo em outro assunto e use uma linguagem desnecessariamente técnica para confundir.
(11) Se a metanálise só inclui estudos randomizados, explique que o resultado na verdade já havia sido demonstrado por estudos observacionais ou estudos de laboratório (pouco relevantes para o efeito no mundo real). Essa manobra também é um pouco arriscada, então siga as dicas em (10) se tiver problemas.
(12) Diga que uma outra metanálise melhor chegou a outra conclusão. Ignore o fato que a outra metanálise nem olhou para a questão que a nova metanálise está olhando.