---
title: "Os 10 erros mais comuns no uso de Machine Learning em pesquisas (Parte 1)"
url: https://www.blog.psicometriaonline.com.br/os-10-erros-mais-comuns-no-uso-de-machine-learning-em-pesquisas-parte-1
canonical: https://www.blog.psicometriaonline.com.br/os-10-erros-mais-comuns-no-uso-de-machine-learning-em-pesquisas-parte-1
language: pt-BR
published: 2026-08-26T13:52:57.561Z
updated: 2026-08-26T13:54:08.919Z
modified: 2026-08-26T13:54:08.919Z
author: "Alessandro Reis"
categories: ["Inteligência artificial", "Metodologia científica"]
tags: ["machine learning", "validade interna e externa", "data leakage"]
description: "A primeira parte de uma série sobre os erros mais frequentes no uso de Machine Learning em pesquisa acadêmica, com foco em definição do problema, causalidade, v"
source: Blog Psicometria Online
---
# Os 10 erros mais comuns no uso de Machine Learning em pesquisas (Parte 1)

> A primeira parte de uma série sobre os erros mais frequentes no uso de Machine Learning em pesquisa acadêmica, com foco em definição do problema, causalidade, vazamento de dados, avaliação e métricas.

Machine Learning chegou às ciências humanas, sociais e da saúde prometendo previsões mais acuradas e modelos capazes de lidar com relações complexas entre variáveis. Essa promessa é real, mas ela vem acompanhada de um conjunto de **armadilhas metodológicas que não existiam, ou existiam de forma diferente, na estatística tradicional** que a maioria dos pesquisadores aprendeu na pós-graduação.

Este post abre uma série de dois artigos sobre os dez erros mais comuns no uso de Machine Learning em pesquisa.

Nesta primeira parte, tratamos de cinco deles. São erros que, isoladamente, já bastam para invalidar as conclusões de um estudo, e que aparecem com frequência preocupante em manuscritos submetidos a revistas de psicologia, educação, saúde coletiva e áreas afins.

## 1\. Escolher o algoritmo antes de definir o problema

Talvez o erro mais recorrente. Não a toa está como o primeiro da lista! Consiste em decidir usar random forest, redes neurais ou gradient boosting antes de responder a uma pergunta anterior e mais importante: **o que exatamente se quer prever, explicar ou classificar, e com que tipo de dado.**

A escolha do algoritmo é uma decisão técnica que deve vir depois da definição do problema, não antes. Quando o algoritmo vem primeiro, o pesquisador tende a forçar o problema de pesquisa para caber na ferramenta, em vez de ajustar a ferramenta ao problema.

![](/uploads/1787750809933-309513781.png)

Definir o problema envolve decidir se a tarefa é de classificação ou de regressão, se existe uma variável-alvo observável e confiável, se o volume e a granularidade dos dados sustentam o tipo de modelo pretendido, e se o objetivo final é prever, descrever ou explicar. Esse último ponto é tão central que merece uma seção própria, discutida a seguir.

Quem ainda está na dúvida sobre se o problema de pesquisa realmente pede Machine Learning, e não uma regressão ou um modelo estatístico clássico, encontra um roteiro de decisão em [Devo (ou consigo) usar Machine Learning no meu problema?](/devo-ou-consigo-usar-machine-learning-no-meu-problema).

## 2\. Confundir previsão com explicação/causalidade

Este é provavelmente o erro *conceitual* mais **profundo** da lista.

Modelos de Machine Learning são, em sua imensa maioria, otimizados para prever bem valores futuros ou não observados de uma variável, e não para estimar o efeito causal de uma variável sobre outra. Um modelo pode prever evasão escolar com excelente acurácia usando como preditor o número de faltas no mês anterior, sem que isso implique que reduzir faltas artificialmente, por decreto, reduza a evasão. As faltas e a evasão podem compartilhar uma causa comum, como desengajamento acadêmico, sem que uma cause a outra.

![](/uploads/1787751021316-20826435.png)

A distinção foi formalizada de maneira influente por Shmueli (2010), que separou os objetivos de explicar, no sentido de testar e refinar teoria, e de prever, no sentido de estimar valores de casos novos com o menor erro possível. **Modelos preditivos otimizam ajuste fora da amostra, modelos explicativos otimizam a correspondência entre a estrutura do modelo e mecanismos teóricos.** Um coeficiente de regressão interpretável para inferência causal e a importância de variável de uma random forest respondem a perguntas diferentes, e tratá-las como equivalentes é um erro de raciocínio, não apenas de vocabulário.

Yarkoni e Westfall (2017) discutiram essa tensão especificamente para a psicologia, argumentando que a área tradicionalmente priorizou explicação sobre previsão, e que grande parte dos modelos psicológicos, mesmo estatisticamente significativos, tem capacidade preditiva baixa fora da amostra em que foram estimados. **Isso não significa abandonar a explicação, mas reconhecer que um modelo com bom poder explicativo teórico pode ter poder preditivo modesto**, e que um modelo com excelente previsão pode ser uma caixa-preta sem qualquer valor explicativo.

Suponha, como exemplo didático, que um algoritmo de gradient boosting preveja escores de depressão com um erro médio pequeno usando cinquenta variáveis de uso de redes sociais. Isso autoriza a afirmar que o uso de redes sociais prediz o escore observado, algo útil para triagem, mas não autoriza a afirmar que reduzir o uso de redes sociais causará redução no escore, pois o modelo não foi construído para isolar mecanismos causais.

Na prática de reporte, isso significa que o pesquisador precisa declarar explicitamente o objetivo do estudo. Uma frase-modelo adequada para a seção de métodos seria: 'o modelo foi desenvolvido com finalidade preditiva, para identificar casos de risco elevado, não devendo suas variáveis preditoras serem interpretadas como determinantes causais do desfecho'. Evitar essa distinção é um dos motivos pelos quais revisores rejeitam manuscritos de Machine Learning em periódicos de ciências humanas e da saúde.

## 3\. Data leakage (vazamento de informação)

**Data leakage** ocorre quando informações que não estariam disponíveis no momento real da previsão entram indevidamente no treinamento do modelo. O resultado é perigoso: o modelo parece excelente nos testes do próprio estudo, mas seu desempenho pode despencar quando aplicado a dados novos.

Esse é um dos erros mais traiçoeiros em Machine Learning porque o problema costuma ficar escondido atrás de métricas aparentemente impressionantes.

### Três formas clássicas de vazamento

**1\. Vazamento temporal.**  
Acontece quando uma variável contém informação que só estaria disponível depois do momento da previsão. Por exemplo, usar a **nota final de reprovação** para prever evasão no mesmo semestre. O modelo pode acertar muito, mas está usando uma informação que, na prática, não estaria disponível quando a previsão precisaria ser feita.

**2\. Vazamento no pré-processamento.**  
Normalização, imputação de dados faltantes ou seleção de variáveis não devem ser calculadas usando toda a amostra antes da divisão entre treino e teste. Se a média e o desvio-padrão forem calculados com todos os participantes, por exemplo, informações do conjunto de teste acabam influenciando o treinamento.

A regra é simples: **o pré-processamento também faz parte do ajuste do modelo**. Portanto, deve ser aprendido dentro do conjunto de treino e aplicado posteriormente ao teste.

**3\. Vazamento entre unidades relacionadas.**  
É comum em dados longitudinais ou hierárquicos. Imagine que o mesmo paciente apareça com registros no conjunto de treino e no conjunto de teste. O modelo pode aprender características daquele indivíduo específico, em vez de aprender um padrão que generalize para novos pacientes.

### Por que isso é tão grave?

Kapoor e Narayanan (2023) mostram que o problema está longe de ser apenas uma falha técnica isolada. Ao revisar pesquisas sobre Machine Learning em diversas áreas, os autores identificaram evidências de *data leakage* em **294 estudos de 17 campos científicos**, associando o problema a resultados excessivamente otimistas e dificuldades de reprodução. Eles defendem, entre outras medidas, o uso de checklists específicos para identificar vazamentos. ([PubMed Central (PMC)](https://pmc.ncbi.nlm.nih.gov/articles/10499856/?utm_source=chatgpt.com "Leakage and the reproducibility crisis in machine-learning-based science - PMC"))

![](/uploads/1787751321676-987574167.png)

### Um exemplo clínico

Suponha que o objetivo seja prever **reinternação hospitalar em 30 dias**. O pesquisador inclui como preditor uma variável que informa se o paciente recebeu alta com prescrição de cuidados paliativos — informação definida no próprio episódio de alta que antecede o desfecho.

O modelo pode apresentar uma AUC de **0,95**, parecendo excelente. Mas esse desempenho pode ser artificialmente alto: a variável contém informação que não estaria disponível no momento em que a previsão deveria ser realizada.

O problema, portanto, não é apenas estatístico. É **temporal e lógico**: o pesquisador está avaliando o modelo como se ele previsse o futuro, mas permite que ele utilize informações do futuro.

### A pergunta que deve ser feita antes do modelo

Antes de treinar qualquer algoritmo, pergunte:

> **“Se eu tivesse que fazer essa previsão amanhã, quais informações realmente estariam disponíveis naquele momento?”**

Essa pergunta simples elimina boa parte dos vazamentos.

Uma boa prática é definir explicitamente o **momento da previsão**, separar treino e teste de acordo com essa lógica e garantir que todas as etapas de preparação dos dados sejam realizadas sem acesso indevido ao conjunto de teste.

O tema de preparação cuidadosa dos dados antes de qualquer ajuste de modelo, incluindo a prevenção de vazamento, é aprofundado em [Antes do algoritmo: por que a preparação de dados decide o sucesso do seu machine learning](/antes-do-algoritmo-por-que-a-preparacao-de-dados-decide-o-sucesso-do-seu-machine-learning).

## 4\. Avaliar o modelo nos mesmos dados usados para treiná-lo

Um modelo suficientemente flexível, como uma árvore de decisão profunda ou uma rede neural com muitos parâmetros, consegue memorizar particularidades da amostra de treino, incluindo ruído aleatório que não se repete em novos dados. Se o desempenho é medido nos mesmos casos usados para ajustar os parâmetros, o resultado reportado mede a capacidade do modelo de memorizar, não sua capacidade de generalizar, e é sistematicamente otimista.

Esse fenômeno é chamado de **sobreajuste, ou *overfitting*,** e é um dos conceitos fundadores de toda a literatura de aprendizado estatístico (Hastie, Tibshirani & Friedman, 2009).

A solução padrão é separar os dados em pelo menos dois subconjuntos independentes, um de treino, usado para ajustar os parâmetros do modelo, e um de teste, usado exclusivamente para medir desempenho em dados que o modelo nunca viu. Quando o volume de dados permite, uma terceira partição de validação é usada para ajustar hiperparâmetros sem contaminar a avaliação final no teste.

![](/uploads/1787751664412-944430750.png)

Para amostras pequenas, comuns em pesquisa em humanas e saúde, **a validação cruzada,** que divide os dados em k subconjuntos e roda o processo de treino e teste k vezes trocando qual subconjunto serve de teste, é uma alternativa mais eficiente em uso da informação disponível do que uma única divisão treino-teste (Kuhn & Johnson, 2013).

Suponha, como exemplo didático, que um modelo de classificação de risco de burnout apresente acurácia de 0,93 quando avaliado na própria amostra de treino e acurácia de 0,71 quando avaliado em validação cruzada com dez repartições. A diferença de 22 pontos percentuais é o próprio sobreajuste tornado visível: o número de 0,93 nunca deveria ter sido reportado como desempenho do modelo, e o de 0,71 é a estimativa honesta da capacidade de generalização.

Poldrack, Huckins e Varoquaux (2020) recomendam, além da separação treino-teste, que estudos preditivos em neurociência e psiquiatria reportem intervalos de incerteza da estimativa de desempenho, e não apenas um único número, exatamente porque amostras pequenas geram estimativas de desempenho muito instáveis entre diferentes divisões dos dados.

## 5\. Usar uma métrica inadequada para o problema

**Acurácia**, a proporção de casos classificados corretamente, é a métrica mais reportada e também a mais mal aplicada quando as classes do desfecho são desbalanceadas. Suponha, como exemplo didático, que em uma amostra de triagem apenas 5% dos casos correspondam a risco elevado de suicídio. Um modelo que classifique todos os casos como baixo risco, sem examinar nenhuma variável, já atinge 95% de acurácia, e é completamente inútil, pois não identifica nenhum caso de risco real.

Para esse tipo de problema, métricas como **sensibilidade, especificidade, valor preditivo positivo, F1 e a área sob a curva ROC ou sob a curva precisão-recall** costumam ser mais informativas do que a acurácia isolada, e a escolha entre elas depende do custo relativo de falsos positivos e falsos negativos no contexto da pesquisa.

![](/uploads/1787752396709-2371547.png)

Em triagem de risco clínico, deixar de identificar um caso verdadeiro, o falso negativo, costuma ser mais custoso do que investigar um caso que se revela falso positivo, o que orienta a priorizar sensibilidade mesmo ao custo de alguma especificidade.

Já em problemas de regressão, a escolha entre erro quadrático médio, erro absoluto médio e o coeficiente de determinação depende de quão sensível se quer que a métrica seja a erros grandes isolados.

Reportar a métrica escolhida com justificativa explícita, do tipo 'optou-se por sensibilidade e valor preditivo positivo dado o desbalanceamento da classe de interesse e o custo assimétrico de falsos negativos neste contexto clínico', é uma boa prática de transparência que qualquer revisor experiente valoriza.

## Perguntas frequentes

É possível usar Machine Learning para inferir causalidade em pesquisa?

Sim, mas apenas com desenhos e métodos específicos para inferência causal, como variáveis instrumentais ou aprendizado causal, não com algoritmos preditivos padrão usados de forma direta.

Validação cruzada substitui completamente a divisão treino-teste?

Não necessariamente; validação cruzada é mais eficiente para amostras pequenas, mas um conjunto de teste totalmente independente, reservado desde o início, continua sendo a forma mais rigorosa de estimar generalização.

Data leakage só ocorre em bases de dados grandes e complexas?

Não, ocorre com a mesma facilidade em amostras pequenas de pesquisa acadêmica, e é ainda mais difícil de perceber quando o pesquisador conhece bem o instrumento e assume implicitamente relações entre variáveis medidas em momentos diferentes.

Qual métrica devo reportar quando as classes do desfecho são desbalanceadas?

Reporte ao menos sensibilidade, especificidade e uma medida de área sob a curva, evitando depender apenas da acurácia global.

## Referencias

1.  Shmueli (2010) To Explain or to Predict?. Statistical Science. https://doi.org/10.1214/10-sts330
    
2.  Yarkoni, Westfall (2017) Choosing Prediction Over Explanation in Psychology: Lessons From Machine Learning. Perspectives on Psychological Science. https://doi.org/10.1177/1745691617693393
    
3.  Kapoor, Narayanan (2023) Leakage and the reproducibility crisis in machine-learning-based science. Patterns. https://doi.org/10.1016/j.patter.2023.100804
    
4.  Rosa (2010) The Elements of Statistical Learning: Data Mining, Inference, and Prediction by HASTIE, T., TIBSHIRANI, R., and FRIEDMAN, J.. Biometrics. https://doi.org/10.1111/j.1541-0420.2010.01516.x
    
5.  Kuhn, Johnson (2013) Applied Predictive Modeling. https://doi.org/10.1007/978-1-4614-6849-3
    
6.  Poldrack, Huckins, Varoquaux (2020) Establishment of Best Practices for Evidence for Prediction. JAMA Psychiatry. https://doi.org/10.1001/jamapsychiatry.2019.3671
    

**Continue aprendendo:** para dominar este tema na pratica, conheca a formacao *Construcao, Adaptacao e Validacao de Instrumentos* da Psicometria Online Academy.

*Este conteudo e educativo; verifique os pressupostos e adapte ao seu desenho de pesquisa e aos seus dados.*

> **Como citar este artigo:** Reis, A. (2026, 26 de agosto). Os 10 erros mais comuns no uso de machine learning em pesquisas (parte 1). *Blog Psicometria Online*. https://www.blog.psicometriaonline.com.br/os-10-erros-mais-comuns-no-uso-de-machine-learning-em-pesquisas-parte-1