Descubra todas as frentes de decode

Desenvolvemos continuamente novas metodologias de coleta e análise de dados para compreender fluxos

Somo um laboratório multidisciplinar de pesquisa e inovação digital da Decode.

Números não mentem, mas pessoas sim

Share:

Números sozinhos, sem contexto e sem entendimento do que significam, não passam de dados crus e nossa capacidade de interpretá-los se torna muito limitada


“Os números não mentem”. Essa é uma frase que estou acostumado a ouvir desde criança. Entretanto, conforme fui me aproximando deles, percebi que eles também não falam muito. Números sozinhos, sem contexto e sem entendimento do que significam, não passam de dados crus e nossa capacidade de interpretá-los se torna muito limitada. A maneira como eles são mostrados e seu entendimento alteram de forma significativa como percebemos as informações e, muitas vezes, algumas técnicas são usadas para transformar dados reais em conclusões precipitadas.

Com base no livro “Como mentir usando estatística” (Darrel Huff) — que apesar de ter sido publicado em 1954 é surpreendentemente atual — vou falar sobre o conceito de viés de seleção e mostrar como isso pode induzir o público ao erro.

Para falar de viés de seleção, primeiro é preciso falar sobre amostragem. Quando qualquer tipo de análise ou estudo é feito, é quase impossível ter acesso à toda a população. Por isso ela é feita em pequenos grupos capazes de nos dar uma noção confiável do comportamento da sociedade.

Vacinas, interesses e medo

Um exemplo relevante (e preocupante) são os estudos do pesquisador A. J. Wakefield, especialista em gastroenterologia. Seu trabalho ganhou maior visibilidade e notoriedade após a publicação de um estudo em 1998 em que os resultados e conclusões obtidos geraram grande alvoroço, principalmente no Reino Unido, quando levantaram uma relação de causa e efeito entre vacinas de tríplice viral — que visa a proteção contra sarampo, parotidite e rubéola (MMR vaccine em inglês) — e casos de transtorno de espectro autista (encontre o estudo aqui).

O estudo é baseado em 12 casos de crianças que foram encaminhadas ao doutor Wakefield apresentando doenças intestinais. A publicação começa com as seguintes informações:

  • Oito das 12 crianças tomaram a vacina de tríplice viral;
  • Uma delas apresentava sarampo;
  • Outra apresentava otite (termo genérico que descreve infecções no ouvido);
  • Todas as crianças apresentavam anomalias intestinais (vários tipos diferentes);
  • Nove foram diagnosticadas com transtorno de espectro autista;
  • Uma foi diagnosticada com transtorno desintegrativo da infância;
  • Duas apresentavam encefalite, possivelmente devido a uma causa viral ou a uma reação adversa de vacinação;
  • Exames de sangue e urina apresentaram diversas anormalidades.

O relatório se baseia nas correlações observadas na literatura entre diagnósticos de transtorno de espectro autista e disfunções intestinais, e na possibilidade de reações adversas conhecidas da vacina de tríplice viral para alegar que a vacinação tem o potencial de desencadear não só os efeitos adversos já descritos, mas também outros efeitos não previstos, dando ênfase aos casos de autismo.

O estudo de Wakefield foi veementemente questionado pela comunidade acadêmica na época. Com base no que foi falado sobre amostragem, podemos observar rapidamente duas falhas gritantes da metodologia abordada.

A primeira é o tamanho da amostra estudada. O relatório é baseado em apenas 12 crianças, uma amostra muito pequena para representar uma leitura da população, o que traz uma incerteza enorme ao estudo.

A segunda, de mais difícil percepção, é referente ao viés de seleção desse grupo. Wakefield não era pediatra, mas sim gastroenterologista já conhecido por pesquisas que buscavam conectar vacinas de tríplice antiviral a doenças inflamatórias no intestino, portanto a amostra observada não foi obtida de forma a refletir a população como um todo, e sim quadros que comprovariam as hipóteses levantadas pelo doutor. Após a publicação desse relatório, outros autores tentaram reproduzir o estudo usando técnicas mais robustas de amostragem, mas não obtiveram sucesso.

Por mais que os erros fossem gritantes, isso não impediu que o deixasse de enganar as pessoas e quedas nas taxas de vacinação caíram nos Estados Unidos, Reino Unido e na Irlanda, seguido do aumento no número de casos das doenças combatidas pela vacina tríplice viral. Além disso, agências de saúde do mundo todo tem se preocupado com o crescimento do número de pais que se recusam a vacinar seus filhos.

O que aprendemos?

Essa história é mais um exemplo de como devemos ser críticos tanto em nossas análises, quanto em relação ao que nos é apresentado. Entender a natureza e a origem de um dado é essencial para entender seu significado.

Não é possível entender um estudo sem entender a metodologia por trás dele. A falta desse questionamento de um estudo de mais de 20 anos alimentou uma onda de desinformação que continua crescendo até hoje. Vemos como resultados absurdos podem ser obtidos através de uma amostra com viés de seleção (quando escolhemos os dados da nossa amostra), e como esse equívoco se torna especialmente fácil quando começamos a aceitar amostras pequenas, ao invés de amostras de tamanho significativo.

Autor:
Henrique Maia é Back End Tech Lead na Decode