Três Modos de Identificar uma Estatística Ruim

Mona Chalabi fez uma Palestra TED sobre estatísticas. Quando o assunto é números, principalmente agora, seja cético. Mas você precisa saber diferenciar números confiáveis de números não confiáveis.

Então Chalabi dá ferramentas para fazer isso. Mas antes disso, quer esclarecer sobre quais números está falando. Hoje, as pessoas questionam estatísticas como: “A taxa de desemprego nos EUA é de 5%”. Este dado é diferente porque ele não vem de uma empresa privada, mas sim do governo.

Cerca de quatro entre dez americanos não confia nos dados econômicos fornecidos pelo governo. Entre os apoiadores do presidente Trump, esse número é ainda maior: cerca de sete entre dez. Temos muitas linhas divisórias em nossa sociedade hoje, e muitas delas começam a fazer sentido, quando se entende o relacionamento das pessoas com os números do governo.

Por um lado, há aqueles que dizem que as estatísticas são cruciais. Precisamos delas para entender a sociedade como um todo, a fim de deixar de lado questões emocionais e medir o progresso de forma objetiva. Há outros céticos incultos que dizem que as estatísticas são elitistas, talvez até manipuladas. Para eles, elas não fazem sentido e realmente não mostram o que está acontecendo no dia a dia das pessoas.

Parece que este último grupo do “pós-verdade” está vencendo a discussão. Vivemos em “um mundo de fatos alternativos”, onde não há um consenso sobre as estatísticas serem um ponto de partida para os debates. Isso é um problema.

movimentos populistas de direita, nos Estados Unidos, para acabar de vez com as estatísticas do governo. Tramita no Congresso um projeto de lei sobre medição de desigualdades raciais. Esse projeto defende que recursos do governo não sejam usados para coletar dados sobre segregação racial. Isso é um desastre total. Sem esses dados, como podem identificar discriminações, e até corrigi-las? Em outras palavras, como um governo pode criar políticas justas, se não consegue medir os atuais níveis de injustiça?

Não se trata apenas de discriminação, é sobre tudo: como podemos legislar na área da saúde, se não temos bons dados sobre saúde ou pobreza? Como podemos debater publicamente sobre imigração, se não concordamos nem sobre o número de pessoas que entram e saem do país?

As estatísticas vêm do Estado, é daí que o nome se originou. O propósito era medir melhor a população, criar indicadores estatais, para o Estado poder servi-la melhor. Então, precisamos dos números estatais, mas também temos que ir além de simplesmente aceitá-los ou rejeitá-los. Precisamos aprender as técnicas para identificar estatísticas ruins.

Chalabi começou a aprender algumas delas, quando trabalhou em um Departamento De Estatística das Nações Unidas. O trabalho era descobrir quantos iraquianos foram expulsos de seus lares devido à guerra, e do que eles precisavam. Era um trabalho muito importante, mas também incrivelmente difícil. Todos os dias tomavam decisões que afetavam a exatidão dos números: decisões como para que parte do país deveriam ir, com quem deveriam falar, que perguntas deveriam fazer.

Ela começou a ficar bem desiludida com o trabalho, pois achava que estavam fazendo um bom trabalho, mas os únicos que poderiam realmente nos dizer isso eram os iraquianos. Mas eles raramente tinham a chance de ver as análises, sequer questioná-las. Então, Chalabi decidiu que o único modo de ter números mais precisos, é ter o maior número de pessoas questionando esses números.

Então, ela se tornou uma jornalista de dados. Seu trabalho é encontrar esses grupos de dados e partilhá-los com o público. Qualquer um pode fazer isso, não precisa ser “geek” ou “nerd“. Ignorem essas palavras, usadas por pessoas que tentam passar por espertas enquanto fingem ser humildes. Qualquer um pode fazer isso.

Ela faz três perguntas que vão ajudá-los a identificar estatísticas ruins.

A primeira pergunta é: você consegue identificar a incerteza?

Uma das coisas que realmente mudou a relação das pessoas com os números e até a confiança na mídia, tem sido o uso de pesquisas de intenção de voto. Ela pessoalmente tem alguns problemas com essas pesquisas, pois o papel dos jornalistas, na verdade, é reportar os fatos e não tentar prevê-los, especialmente quando essas previsões podem prejudicar a democracia ao sinalizar às pessoas: nem votem naquele candidato, ele não tem a menor chance. Então, ela fala sobre a exatidão dessas pesquisas.

Baseando-se nas eleições nacionais no Reino Unido, Itália, Israel e, é claro, a mais recente eleição presidencial americana, usar pesquisas para prever o resultado das eleições é tão preciso como usar a Lua para prever hospitalizações. É sério, ela usou dados reais de estudos acadêmicos para concluir isso.

Há muitas razões para as pesquisas eleitorais terem ficado tão imprecisas. Nossas sociedades tornaram-se bastante diversas, o que torna difícil aos pesquisadores conseguirem uma amostra representativa da população para suas pesquisas. As pessoas estão hesitando em responder pesquisas por telefone, e também, o que surpreende, as pessoas podem mentir. Mas você não precisa saber disso para olhar os dados.

Uma das razões é que a probabilidade da Hillary Clinton vencer foi divulgada em casas decimais. Não usamos casas decimais para mostrar a temperatura. Como o comportamento de 230 milhões de eleitores neste país poderia ser previsto de forma tão precisa?

E havia também aqueles gráficos sofisticados. Muitos gráficos vão exagerar a certeza, e isso funciona. Esses gráficos podem entorpecer nosso julgamento. Ao ouvir uma estatística, você pode se sentir cético. E assim que elas aparecem num gráfico, assumem uma áurea de ciência objetiva, e na verdade não são.

Então, estava buscando formas de explicar isso às pessoas, mostrar-lhes a incerteza nos números. O que se faz é pegar conjuntos reais de dados, e transformá-los em visualizações manuais, para que as pessoas consigam ver como esses dados são imprecisos, para que as pessoas vejam que alguém fez isso, obteve os dados e fez os gráficos.

Chalabi ressalta essas linhas duvidosas para que as pessoas se lembrem dessas imprecisões, mas também para que elas não descartem simplesmente um número qualquer, e sim se lembrem dos fatos importantes. Fatos como injustiça e desigualdade deixam marcas profundas em nossas vidas. Fatos como o de americanos negros e nativos terem expectativa de vida menor que as outras raças, e que isso não deve mudar no curto prazo. Fatos como o de prisioneiros nos EUA poderem ser mantidos em celas solitárias menores que o espaço de uma vaga de estacionamento de carro.

O sentido dessas visualizações é para lembrar às pessoas alguns conceitos estatísticos muito importantes, conceitos como médias.

Certo, então a segunda questão que vocês devem se perguntar para identificar números ruins é: posso me ver neste dado?

Essa questão também é, de certa forma, sobre médias, pois em parte as pessoas estão tão frustradas com as estatísticas nacionais, porque elas realmente não dizem quem está ganhando e quem está perdendo na política nacional. É fácil entender que as pessoas se frustrem com médias globais, quando elas não refletem suas experiências pessoais.

Chalabi queria mostrar às pessoas como dados se relacionam com suas vidas diárias. Criou a coluna de conselhos “Dear Mona“, onde as pessoas enviavam questões e preocupações e ela tentaria respondê-las com dados. As pessoas lhe perguntavam qualquer coisa, questões como: “É normal eu dormir em cama separada da minha esposa?” “As pessoas se arrependem das tatuagens?” “O que significa morte por causas naturais?”

Todas essas perguntas são ótimas, pois nos fazem pensar em modos de encontrar e comunicar esses números. Para qualquer pergunta, você quererá que a resposta fizesse sentido ao maior número de pessoas possível. Esses números estão disponíveis. Às vezes estão apenas escondidos no apêndice de um trabalho acadêmico. Eles certamente não são impenetráveis.

A questão é que não necessariamente toda pesquisa vai se relacionar especificamente com você. A razão de perguntar como isso te afeta é entender o máximo do contexto. Então trata-se de dar um close em um dado específico, como a taxa de desemprego de 5%, e ver como ela se comporta com o tempo, ou como ela se modifica por status educacional. É por esta razão que seus pais sempre quiseram que você fosse à faculdade. Ver como ela varia por gênero. Hoje, a taxa de desemprego dos homens é mais alta que a das mulheres. Até o início dos anos 80, era o contrário. É a história de uma das maiores mudanças na sociedade americana. Está tudo lá nos gráficos, uma vez que você enxerga além das médias. Os eixos são tudo, uma vez que você muda a escala, você muda a história.

A terceira e última questão em que Chalabi quer que você pense quando estiver olhando estatísticas é: como esses dados foram coletados?

Até agora ela só falou de como os dados são mostrados, mas como são coletados é tão importante quanto. Ela sabe que isso é difícil, metodologias podem ser obscuras e até meio chatas, mas há alguns passos bem simples para verificar isso.

Chalabi usa um exemplo. Uma pesquisa mostrou que 41% dos muçulmanos dos EUA apoiam as “jihads”, o que é obviamente bem assustador, e foi amplamente divulgado em 2015. Quando quero validar números como esses, começo procurando o questionário original. Acontece que os jornalistas que divulgaram aquela estatística, ignoraram uma questão mais abaixo na pesquisa, que perguntava aos entrevistados como eles definiam “jihad”. E a maioria deles definiu como: “Luta pacífica e pessoal dos muçulmanos para serem mais religiosos”. Apenas 16% definiu “jihad” como: “guerra santa e violenta contra céticos”. Este é o ponto mais importante: baseado naqueles números, é totalmente possível que nenhum que definiu “jihad” como guerra santa violenta também tenha dito que a apoia. Aqueles dois grupos podem não se sobrepor.

Vale a pena perguntar também como a pesquisa foi feita. Essa foi um tipo de pesquisa voluntária, o que significa que estava disponível para qualquer um na internet. Não há como saber se essas pessoas são realmente muçulmanas. Finalmente, 600 pessoas responderam à pesquisa. Há aproximadamente 3 milhões de muçulmanos no país, de acordo com o Pew Research Center. Ou seja, a pesquisa alcançou, aproximadamente, 1 em cada 5 mil muçulmanos deste país.

Essa é uma das razões pela qual estatísticas estatais quase sempre são melhores que as privadas. Uma pesquisa pode atingir centenas, talvez milhares de pessoas.

Empresas privadas não têm um grande interesse em obter números corretos, elas apenas precisam dos números certos. Estatísticos do Estado não são assim. Pelo menos em teoria, são totalmente imparciais. Também porque a maioria deles trabalha independentemente de quem está no poder. Eles são funcionários públicos. E para fazer o trabalho direito, não pesquisam apenas algumas centenas de pessoas. Os números de desemprego que fico citando vieram do Bureau of Labor Statistics, e para fazer essas estimativas, eles falam com mais de 140 mil empresas neste país.

Mas como questionar as estatísticas do governo?

  1. Verifique tudo.
  2. Descubra como eles coletaram os números.
  3. Descubra se o gráfico está mostrando tudo o que você precisa ver.

Mas não desista totalmente dos números, porque se você desistir, estaremos tomando decisões de políticas públicas no escuro, sem nada para nos guiar a não ser o interesse privado.

Deixe uma Resposta

Preencha os seus detalhes abaixo ou clique num ícone para iniciar sessão:

Logótipo da WordPress.com

Está a comentar usando a sua conta WordPress.com Terminar Sessão / Alterar )

Imagem do Twitter

Está a comentar usando a sua conta Twitter Terminar Sessão / Alterar )

Facebook photo

Está a comentar usando a sua conta Facebook Terminar Sessão / Alterar )

Google+ photo

Está a comentar usando a sua conta Google+ Terminar Sessão / Alterar )

Connecting to %s