--- title: "Os 10 erros mais comuns no uso de Machine Learning em pesquisas (Parte 2)" url: https://www.blog.psicometriaonline.com.br/os-10-erros-mais-comuns-no-uso-de-machine-learning-em-pesquisas-parte-2 canonical: https://www.blog.psicometriaonline.com.br/os-10-erros-mais-comuns-no-uso-de-machine-learning-em-pesquisas-parte-2 language: pt-BR published: 2026-09-02T12:42:55.956Z updated: 2026-09-02T12:44:12.195Z modified: 2026-09-02T12:44:12.195Z author: "Alessandro Reis" categories: ["Inteligência artificial", "Metodologia científica"] tags: ["machine learning", "validade interna e externa", "data leakage"] description: "Continuação da lista dos erros mais frequentes em pesquisas com Machine Learning: validação externa, desbalanceamento, seleção de variáveis, ajuste de hiperparâ" source: Blog Psicometria Online --- # Os 10 erros mais comuns no uso de Machine Learning em pesquisas (Parte 2) > Continuação da lista dos erros mais frequentes em pesquisas com Machine Learning: validação externa, desbalanceamento, seleção de variáveis, ajuste de hiperparâmetros e a confusão entre importância preditiva e causalidade. Na primeira parte desta série tratamos dos cinco erros iniciais no uso de Machine Learning em pesquisa, todos ligados à forma como os dados são preparados e como o desempenho do modelo é medido inicialmente. Esta segunda parte avança para armadilhas que aparecem depois, no momento de validar, ajustar e interpretar o modelo, exatamente quando o pesquisador tende a se sentir mais seguro sobre os resultados. Os cinco erros a seguir compartilham uma característica: são sutis porque produzem números bonitos. Um modelo com acurácia de 95% ou um gráfico de importância de variáveis bem ordenado parecem indicar sucesso, mas podem estar escondendo problemas graves de generalização, de vazamento de informação (data leakage) ou de má interpretação estatística. Entender essas falhas é indispensável para quem pretende usar Machine Learning de forma defensável em uma dissertação, tese ou artigo. ## 6 - Não fazer validação externa Validação interna é qualquer procedimento que estima o desempenho do modelo usando apenas os dados da própria amostra de desenvolvimento, seja por divisão treino-teste, seja por validação cruzada (k-fold). Validação externa é diferente: consiste em aplicar o modelo já treinado a uma amostra independente, coletada em outro momento, outro serviço, outra região ou outra coorte. A distinção importa porque um modelo pode aprender padrões que são específicos daquela amostra particular (características do instrumento de coleta, do período, do perfil sociodemográfico) e que não se repetem em outro contexto. ![](/uploads/1788352786788-992992518.png) Considere um exemplo hipotético: um modelo que prediz risco de depressão pós-parto atinge um bom desempenho na validação cruzada interna, usando os dados de uma maternidade. Ao ser aplicado, sem qualquer reajuste, a uma amostra de outra maternidade, esse desempenho cai de forma expressiva. Essa queda não indica que o código estava errado; indica que o modelo capturou regularidades da primeira amostra que não generalizam. É exatamente esse tipo de otimismo que os guias de reporte de modelos preditivos, como o TRIPOD, tentam combater ao exigir que os autores declarem se houve validação externa e como ela foi conduzida (Collins et al., 2015). Na prática, validação externa nem sempre é viável dentro do prazo de uma dissertação, mas isso deve ser dito explicitamente nas limitações do estudo, e não escondido sob a apresentação de métricas apenas internas como se fossem prova de generalização. Quando não há uma segunda amostra disponível, validação temporal (treinar com dados de um período e testar em dados de período posterior) é uma alternativa parcial e mais transparente do que simplesmente reportar apenas a validação cruzada. ## 7 - Ignorar o desbalanceamento e a distribuição dos dados Desbalanceamento de classes ocorre quando uma categoria do desfecho é muito mais rara que a outra, situação comum em pesquisa clínica e social: poucos casos de suicídio consumado em uma amostra de milhares de pacientes, poucos alunos evadidos em uma coorte de milhares de matriculados. O problema é que a acurácia global, métrica mais intuitiva, se torna enganosa nesse cenário. Suponha um exemplo didático: uma amostra de 500 participantes, dos quais 25 (5%) apresentam o desfecho de interesse e 475 (95%) não apresentam. Um modelo que simplesmente prevê "ausência do desfecho" para todos os casos, sem aprender nada de fato, atinge 95% de acurácia. Ao mesmo tempo, sua sensibilidade, ou seja, sua capacidade de identificar corretamente os casos positivos, é de 0%. Reportar apenas a acurácia nesse cenário é enganoso, e é um erro surpreendentemente comum em manuscritos submetidos para publicação. A solução passa por duas frentes complementares. A primeira é escolher métricas adequadas ao desbalanceamento, como sensibilidade, especificidade, F1-score, coeficiente kappa ou a área sob a curva precisão-recall, em vez de depender só da acurácia. A segunda é considerar estratégias que lidam diretamente com o desequilíbrio na fase de treino, como reamostragem por subamostragem da classe majoritária, sobreamostragem da classe minoritária ou métodos sintéticos como o SMOTE (Chawla et al., 2002; He & Garcia, 2009). Essas decisões, aliás, pertencem à etapa de preparação dos dados, tema que já detalhamos ao discutir [por que a preparação de dados decide o sucesso do seu machine learning](/antes-do-algoritmo-por-que-a-preparacao-de-dados-decide-o-sucesso-do-seu-machine-learning): ignorar a distribuição do desfecho nessa fase compromete tudo o que vem depois. ## 8 - Fazer seleção de variáveis depois de olhar os resultados Um dos vazamentos de informação (data leakage) mais frequentes em pesquisa com Machine Learning acontece quando o pesquisador testa um grande número de variáveis, observa quais delas se relacionam mais fortemente com o desfecho no próprio conjunto de teste, e então monta o modelo final apenas com essas variáveis "vencedoras", reportando o desempenho nesse mesmo conjunto. O problema é que a seleção deixou de ser independente da avaliação: o conjunto de teste foi usado duas vezes, uma para escolher preditores e outra para medir desempenho, e isso infla artificialmente as métricas finais. ![](/uploads/1788352924905-72989292.png) A forma correta é tratar a seleção de variáveis como parte do processo de ajuste do modelo, não como uma etapa exploratória prévia e livre. Isso significa realizá-la dentro de cada repetição da validação cruzada (o chamado esquema aninhado, ou nested cross-validation), usando exclusivamente os dados de treino de cada partição, e nunca olhando para o conjunto de teste antes de a análise estar concluída. Ignorar esse cuidado é uma fonte conhecida de viés de seleção sistemático, que pode gerar superestimativas relevantes de desempenho mesmo em modelos aparentemente bem ajustados. ## 9 - Otimizar hiperparâmetros no conjunto de teste Hiperparâmetros são as configurações do algoritmo que o pesquisador escolhe antes do treino, como o número de árvores em uma random forest, o valor de k em k-vizinhos mais próximos ou a taxa de regularização em uma regressão penalizada. Testar várias combinações desses valores e escolher a que produz o melhor resultado observando diretamente o conjunto de teste comete o mesmo erro estrutural do item anterior: o teste deixa de representar dados nunca vistos pelo processo de decisão. A alternativa consolidada é reservar três partições, treino, validação e teste, ou usar validação cruzada aninhada, de modo que os hiperparâmetros sejam escolhidos observando apenas a validação, e o conjunto de teste seja tocado uma única vez, ao final, para reportar o desempenho definitivo do modelo já fechado. Essa mesma lógica se aplica sempre que qualquer decisão sobre o modelo, seja seleção de variáveis, seja ajuste de hiperparâmetros, é tomada olhando para os dados que depois servirão para julgar seu desempenho. ## 10 - Interpretar importância de variáveis como se fosse efeito causal Medidas de importância de variáveis, como a importância por permutação ou a redução média de impureza em florestas aleatórias (Breiman, 2001), indicam o quanto cada preditor contribui para a capacidade do modelo de discriminar ou prever o desfecho. Isso é uma informação sobre associação estatística dentro daquele modelo específico, não uma estimativa do efeito que se obteria ao intervir sobre aquela variável na realidade. ![](/uploads/1788353041066-69358959.png) Um exemplo ilustra bem a armadilha: em um modelo preditivo de evasão escolar, a variável "número de faltas no último bimestre" pode aparecer como a mais importante do modelo. Isso não autoriza concluir que reduzir artificialmente as faltas, por meio de uma política de controle de presença, resolveria a evasão, porque as faltas provavelmente são consequência de outros fatores, como desmotivação ou problemas familiares, que são as causas mais próximas do desfecho. Variáveis correlacionadas ou colineares também podem "roubar" importância umas das outras sem que isso reflita qualquer papel causal diferenciado (Altmann et al., 2010). Essa distinção remete a uma discussão mais ampla, bem sintetizada por Shmueli (2010): modelos preditivos e modelos explicativos respondem perguntas diferentes, e otimizar um modelo para predizer bem não o torna automaticamente um instrumento válido para explicar por que o fenômeno ocorre. Extrapolar importância preditiva para linguagem causal, como "a variável X causa o desfecho Y", é um dos erros mais comuns encontrados na discussão de artigos que usam Machine Learning em ciências humanas e da saúde. ## Perguntas frequentes Validação cruzada já não é suficiente como validação externa? Não. A validação cruzada avalia o modelo dentro da mesma amostra de desenvolvimento; a validação externa exige uma amostra independente, coletada em outro contexto, momento ou população. Que métrica usar quando o desfecho é raro? Prefira sensibilidade, especificidade, F1-score, kappa ou área sob a curva precisão-recall, evitando depender apenas da acurácia global. Nested cross-validation é sempre necessário? É a forma mais rigorosa de evitar vazamento de informação quando há seleção de variáveis ou ajuste de hiperparâmetros; em amostras pequenas, pelo menos separar treino, validação e teste já reduz bastante o viés. Importância de variáveis nunca pode sugerir causalidade? Pode sugerir hipóteses a investigar, mas confirmar causalidade exige desenho de estudo e métodos de inferência causal específicos, não apenas o ranking de importância do modelo preditivo. ## Referencias 1. Collins et al. (2015) Transparent reporting of a multivariable prediction model for individual prognosis or diagnosis (TRIPOD): the TRIPOD statement. BMJ. https://doi.org/10.1136/bmj.g7594 2. Chawla et al. (2002) SMOTE: Synthetic Minority Over-sampling Technique. Journal of Artificial Intelligence Research. https://doi.org/10.1613/jair.953 3. Haibo He, Garcia (2009) Learning from Imbalanced Data. IEEE Transactions on Knowledge and Data Engineering. https://doi.org/10.1109/tkde.2008.239 4. Breiman (2001) Random Forests. Machine Learning. https://doi.org/10.1023/a:1010933404324 5. Altmann et al. (2010) Permutation importance: a corrected feature importance measure. Bioinformatics. https://doi.org/10.1093/bioinformatics/btq134 6. Shmueli (2010) To Explain or to Predict?. Statistical Science. https://doi.org/10.1214/10-sts330 **Continue aprendendo:** para dominar este tema na pratica, conheca a formacao *Construcao, Adaptacao e Validacao de Instrumentos* da Psicometria Online Academy. *Este conteudo e educativo; verifique os pressupostos e adapte ao seu desenho de pesquisa e aos seus dados.* > **Como citar este artigo:** Reis, A. (2026, 2 de setembro). Os 10 erros mais comuns no uso de machine learning em pesquisas (parte 2). *Blog Psicometria Online*. https://www.blog.psicometriaonline.com.br/os-10-erros-mais-comuns-no-uso-de-machine-learning-em-pesquisas-parte-2