VALORES DE P SÃO APENAS A PONTA DO ICEBERG

            Segundo Jeffrey  T. Leek e Roger D. Peng, não há uma estatística mais maligna do que o valor de P. Centenas de artigos e publicações em blogs têm sido escritos sobre o que alguns estatísticos escarnecem como “teste de significância da hipótese nula” (TSHN), que considera se os resultados de uma análise de dados são importantes com base no fato de se o teste P (ou outro método) cruzou um determinado limite. Se você é um pesquisador da área da Psicologia que monta sua matriz de dados, coloca num pacote estatístico, escolhe uma determinada rotina, clica <Enter> e olha o valor de P, saiba que o Basic and Applied Social Phychology, há algum tempo, baniu métodos baseados em TSHN. 

            Mas, segundo Jeffrey e Roger, isso terá de fato efeito escasso na qualidade da ciência publicada. Segundo eles, há vários estágios durante o desenho e a análise de um estudo bem sucedido, começando com o desenho experimental, passando pela coleta de dados, montagem das matrizes, preparação de dados, escolha dos dados adequados, análise exploratória, escolha de modelos estatísticos potenciais, modelagem estatística, estatística descritiva, inferência e teste (valor de P). Somente o último desses passos é o cálculo de uma estatística inferência tal como o valor de P e a aplicação de uma “regra de decisão” para isso (por exemplo, P < 0,05). Porém, decisões que são tomadas anteriormente na análise de dados tem um impacto muito maior nos resultados – desde o desenho experimental a efeitos perturbadores, falta de ajuste para os fatores de confusão, ou simplesmente erros de medições. Níveis arbitrários de significância estatística podem ser adquiridos pela alteração na maneira em que os dados são tratados, sumarizados e modelados.

            Dizem os autores que valores de P são um alvo fácil: por serem largamente utilizados, são largamente abusados. Mas, na prática, a desregulamentação da significância estatística abre a porta para ainda mais maneiras de brincar com a estatística – intencionalmente ou não – para obter um resultado. Substituir os valores de P por fatores bayesianos ou outra estatística é, em última instância, escolher um custo-benefício diferente para os positivos verdadeiros e os falsos positivos. Discutir sobre o valor de P é como focalizar em um erro ortográfico ao invés de numa lógica falsa de uma sentença.

            Os autores afirmam que, assim como qualquer pessoa que faça um sequenciamento de DNA ou um sensoriamento remoto deve ser treinada para usar uma máquina, também qualquer um que analise dados deve ser treinado nos conceitos e programas relevantes. Até mesmo investigadores que supervisionam a análise de dados devem ser exigidos por suas agências de fomento e instituições a completar treinamento no entendimento dos resultados e problemas potenciais com as análises.

            Mas, eles advertem, a educação não é o suficiente. A análise de dados é ensinada através de um modelo de aprendizagem e disciplinas diferentes desenvolvem suas próprias subculturas de análises. Decisões são baseadas em convenções culturais em comunidades específicas ao invés de evidência empírica. Por exemplo, economistas e médicos denominam um conjunto de dados medidos ao longo do tempo de formas diferentes e se utilizam de diferentes formas estatísticas para analisá-lo.

            A pesquisa em estatística se focaliza, em grande parte, na matemática estatística, com exceção do comportamento e processos envolvidos na análise de dados. Para resolver esse grande problema, devemos estudar como as pessoas analisam os dados no mundo real. O que os faz ter sucesso ou fracasso? Experimentos controlados têm sido feitos na visualização e interpretação de riscos para avaliar como humanos percebem e interagem com os dados e a estatística. Mais recentemente, os autores e outros colaboradores têm estudado o fluxo completo da análise. Eles encontraram, por exemplo, que analistas de dados recém-treinados não sabem como inferir valores de P de conjuntos de dados, mas podem aprender a fazer isso na prática.

            Por fim, os autores sugerem que o objetivo final a análise de dados baseada na evidência, o que seria análogo à medicina baseada na evidência, na qual os médicos são encorajados a usar somente tratamentos para os quais a eficácia foi provada em testes controlados. Os estatísticos, as pessoas que eles treinam e com as quais colaboram precisam parar de discutir sobre os valores de P de forma a impedir que o resto do iceberg afunde a ciência.

Link para o artigo completo: http://www.nature.com/news/statistics-p-values-are-just-the-tip-of-the-iceberg-1.17412.

A CIÊNCIA EM VÁRIOS NÍVEIS

    O processo da ciência atua em múltiplos níveis – da menor escala (e.g., a comparação de genes de espécies aparentadas de borboletas) até a maior escala (e.g., a série de investigações em meio século da ideia de que o isolamento geográfico de uma população pode provocar a especiação). O processo científico atua de uma forma parecida com a de um cientista individual abordando um problema, questão ou hipótese específica ao longo de meses ou anos, ou de uma comunidade de cientistas que concordam com algumas ideias através de décadas e milhares de experimentos e estudos individuais. Similarmente, as explicações científicas vêm em diferentes escalas.

Hipóteses

    Hipóteses são explicações propostas para um conjunto relativamente estreito de fenômenos. Essas explicações lógicas não são palpites. Quando cientistas formulam novas hipóteses, elas são usualmente baseadas em experiências prévias, conhecimento científico básico, observações preliminares e lógica. Por exemplo, cientistas observaram que borboletas dos Alpes exibem características intermediárias entre duas espécies que vivem em baixas altitudes. Baseados nessas observações e no seu entendimento da especiação, os cientistas hipotetizaram que essa espécie de borboleta dos Alpes evoluiu como resultado da hibridização entre as outras duas espécies vivendo em baixas altitudes.

Teorias

    Teorias, por outro lado, são explicações abrangentes para uma grande amplitude de fenômenos. Elas são concisas (i.e., geralmente não tem uma longa lista de exceções e regras especiais), coerentes, sistemáticas, preditivas e amplamente aplicáveis. De fato, teorias em geral integram e generalizam muitas hipóteses. Por exemplo, a teoria da seleção natural se aplica amplamente para todas populações com alguma forma de hereditariedade, variação e sucesso reprodutivo diferencial – seja a população composta de borboletas dos Alpes, moscas de frutas tropicais em uma ilha, uma nova forma de vida descoberta em Marte ou até os bits na memória de um computador. Essa teoria ajuda a entender uma amplitude de observações (do aumento da resistência de bactérias aos antibióticos à similaridade física entre polinizadores e suas flores preferidas), faz predições sobre novas situações (e.g., que tratando pacientes com AIDS com um coquetel de medicações deve diminuir a evolução do vírus) e se provou incontáveis vezes em milhares de experimentos e estudos observacionais.

Apenas uma teoria?

    Ocasionalmente, ideias científicas (tais como a evolução biológica) são escritas com um adendo “é só uma teoria”. Essa difamação é enganosa e confunde dois significados separados da palavra teoria: no uso comum, a palavra teoria significa simplesmente um palpite, mas, na ciência, uma teoria é uma explicação poderosa para um conjunto amplo de observações. Para ser aceita pela comunidade científica, uma teoria (no sentido científico da palavra) deve ser fortemente suportada por muitas linhas de evidência diferentes. Então, a evolução biológica é uma teoria (uma explicação bem suportada, amplamente aceita e poderosa para a diversidade de vida na Terra), mas não é “só uma teoria”.

    Palavras com ambos significados (técnico e comum) geralmente causam confusão. Até cientistas às vezes usam a palavra teoria quando eles na verdade querem dizer hipótese ou mesmo um palpite. Muitos campos técnicos têm problemas similares de vocabulário – por exemplo, tanto o termo trabalho em física, quanto ego em psicologia possuem significados específicos nos seus campos técnicos que diferem de seus usos comuns. Entretanto, entender o contexto e um pouco de conhecimento básico em geral são suficientes para distinguir qual significado é proposto.

Teorias globais

    Algumas teorias, que podemos chamar de teorias globais, são particularmente importantes e refletem entendimentos amplos de uma parte particular do mundo natural. A teoria evolutiva, a teoria atômica, a gravidade, a teoria quântica, e a tectônica de placas são exemplos desse tipo de teorias. Essas teorias têm sido amplamente suportadas por múltiplas linhas de evidência e ajudam a estruturar nosso entendimento do mundo ao nosso redor.

    Tais teorias englobam muitas teorias e hipóteses subordinadas e, consequentemente, mudanças nesses teorias e hipóteses menores refletem um refinamento (não uma queda) da teoria global. Por exemplo, quando o equilíbrio pontuado foi proposto como um modelo de mudança evolutiva e evidência foi encontrada suportando a ideia em algumas situações, isso representou um reforço elaborado da teoria evolutiva, não uma refutação dela. Teorias globais são muito importantes, pois ajudam os cientistas a escolher seus métodos de estudo e modo de raciocínio, conectam fenômenos importantes de formas novas e abrem novas áreas de estudo. Por exemplo, a teoria evolutiva realçou um conjunto novo de questões para exploração: Como a característica de uma espécie ou grupo de espécies evoluiu? Como essas espécies são relacionadas umas com as outras? Como a vida mudou através do tempo?

Explicação de um modelo

    Hipóteses e teorias podem ser complexas. Por exemplo, uma hipótese particular sobre interações meteorológicas ou reações nucleares podem ser tão complexas que são melhor descritas na forma de um programa de computador ou uma equação matemática. Nesses casos, a hipótese ou teoria pode ser chamada de modelo.

Texto e figuras adaptados de http://undsci.berkeley.edu/article/howscienceworks_19