20 recomendações para compreender melhor os estudos e publicações científicas

Quando escrevemos sobre as possibilidades médicas que estão sendo experimentadas para, possivelmente, um futuro próximo, sempre há alguém interessado naquilo, só que AGORA. Isso é facilmente compreensível porque quem está atravessando o perrengue de uma doença quer experimentar todo o possível para mitigar a sua situação desfavorável. Foi o que aconteceu hoje mais cedo com o artigo sobre a "vacina" imunoterápica contra o câncer, quando duas pessoas enviaram e-mails procurando onde consegui-las.

Infelizmente, elas ainda estão em fase de ensaio e, se tudo correr conforme o esperado, devem chegar as prateleiras farmacêuticas em um par de anos, no mínimo. Exatamente por esta ducha de água fria, muitas vezes deixamos de publicar promissoras descobertas médicas porque do outro lado da tela tem alguém sofrendo. A divulgação científica, às vezes, é uma grande e fedida merda por causa disso.

Da mesma forma, é bastante comum que sites esotéricos, religiosos extremos, charlatães e pseudocientíficos escrevam seus artigos misturando bobagens com ciência. Um exemplo é "Cientista renomado prova que Deus existe". De fato, esta notícia que se tornou viral nas redes sociais é real (mais ou menos, em tese), apenas o título que é bem meritório da imprensa marrom.

Na verdade a história está relacionada com algumas teorias que vem ganhando força recentemente e da qual já escrevemos mais de um par de vezes: a possibilidade de estarmos vivendo dentro de uma simulação computadorizada e que deriva em que o "Deus" do referido título sensacionalista seja um nerd alienígena espinhento brincando com o game no qual vivemos.

Todos conhecemos bem a característica incauta do senso comum das redes sociais, que compartilharam a referida notícia com comentários louvando o tal cientista, numa clara mostra de que ninguém havia lido nada ou, se sim, não tinha entendido patavina, o que é muito comum quando se envolve teorias com este alcance.

O aspecto mais cômico do assunto é que alguns poucos que tentaram explicar do que se tratava eram ignorados e insultados paradoxalmente de burros. O que me lembra de uma frase que meu pai sarcasticamente dizia:

 - "Sabe como devemos chamar um idiota com muitos sectários? De senhor... é melhor chamar de senhor!"

O problema, no geral, como vemos é que as pessoas não se interessam por ciência, muitas vezes dizendo que é bobagem aprender fórmulas básicas da Matemática ou Física, envolvendo cinemática, eletrodinâmica, ondas, forças e energia, porque jamais vão usar no dia a dia. E são estas mesmas pessoas que decidem falar de ciência, quando algum tonto ou mal intencionado mistura física quântica com mitologia, reúne estudos sérios com ficção científica e joga tudo no mesmo panelão da mediania.

Por isso que artigos como este são importantes. No ano passado a revista Nature publicou os "20 conselhos para interpretar afirmações científicas" com o objetivo de orientar melhor os não especialistas à hora de interpretar a fiabilidade e rigor de um estudo.

Neste artigo resumimos e adaptamos esses 20 pontos que poderiam ser úteis para qualquer leitor ávido levar em conta, antes de opinar. Há talvez outros vieses e fatores que poderiam fazer parte da lista, mas aqui nos limitamos a recolher os 20 assinalados por William J. Sutherland, David Spiegelhalter e Mark A. Burgman, adaptando alguma explicação para que se entenda melhor:

1. As diferenças e as probabilidades originam as mudanças. Assim, no mundo real há milhares de variáveis e convém não fazer uma interpretação linear dos fatos.


2. Nenhuma medição é exata. Todas têm alguma margem de erro, por menor que seja. Todos os estudos devem mostrar claramente qual é este erro para não dar a entender um grau de certeza que não existe.


3. Há distorções em quaisquer lugares. O próprio desenho experimental pode estar enviesado. Os cientistas buscam resultados significativos e tendem a dar uma visão exagerada dos problemas ou da efetividade das soluções (lembrando que cientistas são homens e erram, às vezes muito). O mais importante é que o experimento seja de duplo cego e que nem o experimentador nem os voluntários conheçam os detalhes do experimento. Outro viés muito frequente é o de confirmação, pois tende a insistir mais na linha do resultado do que se espera obter.


4. Quanto maior é a amostra, melhor. Que a amostra seja grande é especialmente importante em estudos onde há grandes variações naturais ou grandes margens de erro. Sempre é mais confiável um estudo, sobretudo os sociais, com dezenas de milhares de participantes do que com algumas poucas dezenas.


5. Correlação não implica causalidade. A correlação entre duas variáveis pode ser meramente casual, por mais tentador que nos pareça afirmar o contrário. A maioria das vezes entra em jogo um terceiro fator oculto. Por exemplo, em seu dia alguns ecologistas concluíram que algumas algas "venenosas" estavam matando os peixes em alguns rios. Resultou que as algas cresciam onde os peixes morriam, e não eram a causa das mortes.


6. A regressão à média pode confundir. Às vezes os fenômenos têm seus próprios ciclos e no momento da medição pode induzir-nos ao erro. Um exemplo muito comum desta ilusão cognitiva é o que acontece com a homeopatia: a maioria dos resfriados costuma entrar em remissão por si próprios, mas os homeopatas charlatães aproveitam para reclamar poderes curativos de seu placebo conforme escrevi estes dias em Casualidade versus causalidade - Ou porque as fraudes pseudocientíficas parecem funcionar. Outro exemplo é o dado por Ben Goldacre em seu livro "Bad Pharma" sobre a maldição dos atletas que saem na capa da Sports Illustrated. Quando aparecem, o natural é que estejam no auge e o mais provável é que piorem.


7. Extrapolar para além dos dados e da base onde foram realizados é arriscado. Os padrões encontrados dentro de um determinada faixa não têm por que funcionar fora dela. Observar um fenômeno em um âmbito e assumir que também acontece em outros é um erro comum.
   
   Um exemplo simples sobre o assunto pode ser encontrado no censo de nomes. Por exemplo: o censo 2005 americano indicou que os nomes mais comuns dos filhos das classes econômicas mais baixas eram Lakisha e Jamal, enquanto no Brasil 2010 foram Miguel e Alice. A única extrapolação possível nesse caso é que há uma tendência nas classes sociais a escolher certos nomes, mas não quais.

8. Cuidado com heurística da representatividade. Este erro acontece quando identificamos mal a probabilidade de que um fato aconteça ao tomar como referência um dado em concreto. Por este motivo, por exemplo, parece mais provável que alguém morra em um atentado terrorista ou em um acidente de avião do que em um tombo no chuveiro ou em um acidente de bicicleta, quando é o inverso.


9. Os controles são importantes. Um grupo de controle deve ser mantido nas mesmas condições que o grupo do experimento, salvo que o tratamento não seja aplicado a seus membros. Sem esta medida é muito difícil saber se um tratamento tem realmente um efeito.


10. A aleatoriedade reduz o desvio. Quando um experimento é desenvolvido, os grupos e os voluntários devem ser eleitos de forma aleatória. Ao contrário, se atender a diferentes características dos membros do grupo, é mais do que provável que os resultados tenham um desvio.


11. A busca da replicação é importante, da pseudo-replicação, não. Para comprovar a consistência de um estudo os resultados devem ser replicáveis, mas se podem ser replicados em grupos independentes, melhor ainda porque são mais sólidos. Quando um ensaio é desenhado com um tipo concreto de pessoas é habitual que se obtenham resultados que não são extrapoláveis a outros tipos.


12. Os cientistas são humanos. Os pesquisadores têm interesses particulares, lógico, e, como em todos os coletivos, pode haver algum mau-caráter (com certeza há). O próprio sistema de revisão por pares é enganoso já que os editores são mais propensos a passar os resultados positivos e reprovar os negativos. Para ter certeza de que algo foi comprovado de forma convincente, é necessário a confirmação por várias fontes.


13. A significância é importante. A significância estatística está diretamente relacionada com a probabilidade de que algo tenha acontecido por mera casualidade. Quanto menor for o valor desta probabilidade, menores são as possibilidades de que os resultados do estudo sejam um espelhismo ou uma casualidade.

14. Significância e efeitos. A falta de significância estatística não quer dizer que não tenha nenhum efeito subjacente, senão que nenhum foi detectado. Às vezes, um estudo pequeno pode não detectar, mas um estudo mais exaustivo pode encontrar uma relação oculta, um efeito colateral ou uma consequência não observada.


15. A estatística não é tudo. As respostas sutis são mais difíceis de serem detectadas, mas a importância de um efeito, ainda que este seja pequeno, não é simplesmente uma questão estatística, pode ter envolvimentos biológicos, físicos ou sociais. Nos anos 90, a revista Epidemiology pediu aos autores que deixassem de usar simplesmente a significância estatística porque estavam interpretando de forma errada sistematicamente os resultados.


16. Cuidado com as generalizações. Um exemplo claro são as conclusões retiradas de um experimento em ratos com respeito ao que pode acontecer em humanos. Em 2003, uma comparação entre o DNA do ser humano e o de 12 animais mostrou que humanos e ratos compartilham a imensa maioria de genes, o que torna esses roedores a escolha perfeita para testes, ante o fato da carência de ética na experimentação com chimpanzés. Mas sempre devemos levar em conta que um experimento bem sucedido com ratos pode não apresentar sucesso com humanos.


17. Os sentimentos influem na percepção de risco. Apesar dos dados objetivos, a percepção do risco pode obedecer a fatores psicológicos e sociais. Nos EUA, por exemplo, sobrevalorizam o risco de viver perto de uma central nuclear e subestimam o perigo de ter uma arma em casa.


18. A confluência de fatores muda os riscos. É possível calcular os riscos que têm fatos independentes, mas de vez em quando pode ocorrer que os riscos avaliados não sejam realmente independentes e o risco real seja muito maior. Assim que se desate o primeiro fator aumenta a possibilidade de que confluam os outros aumentando o risco. No bolha financeira nos EUA aconteceu um caso claro de cálculo errôneo da independência dos riscos das hipotecas individuais.


19. Os dados podem ser selecionados intencionalmente. O denominado "cherry-picking" consiste em selecionar só aquelas provas ou argumentos que dão a razão a nossa tese. Quando buscam resultados muito concretos, tendem a selecionar só os dados convenientes -expediente muito usado pela Big Pharma ou por estudos encomendados por grandes empresas-, quando o adequado para fazer uma boa ciência é reunir quantidades ingentes de dados, como aconteceu na busca do bóson de Higgs, por exemplo.


20. As medições extremas podem confundir. Nos estudos onde querem medir uma variável para comparar diferentes elementos que têm essa variável, como por exemplo se quisermos elaborar um ranking de universidades ou de centros de pesquisa em função de sua produtividade científica (variável), costuma ocorrer que existem muitas fontes de variabilidade que afetam essa variável.
    
    Em nosso exemplo, o financiamento disponível, o equipamento, a qualidade do professorado ou, inclusive, a serendipia. Quando os resultados de estudos são obtidos assim é muito fácil simplificar e atribuir a variação da variável a um só fator, por exemplo, ao financiamento. Dessa forma as comparações realizadas dos valores extremos, da universidade número 1 e da última, seja entre si ou com a média, não são realmente significativos. Isto acontece em praticamente todos os rankings.