Neste post, falaremos sobre o procedimento de Benjamini-Hochberg e sua importância na análise de dados. Primeiramente, explicaremos o conceito de taxa de falsa descoberta. Em seguida, discutiremos como ela difere da taxa de erro da família dos testes. Depois, mostraremos a finalidade do procedimento e como ele funciona na prática. Por fim, apresentaremos um exemplo aplicado e concluiremos com os principais aprendizados.
O que é taxa de falsa descoberta no procedimento de Benjamini-Hochberg?
A fim de compreendermos o objetivo do procedimento de Benjamini-Hochberg, é fundamental entendermos o que ele controla: a taxa de falsa descoberta (false dicovery rate, FDR).
Em síntese, a taxa de falsa descoberta representa a proporção de hipóteses nulas incorretamente rejeitadas entre todas as rejeições feitas. Ou seja, em um conjunto de testes de hipótese, sempre haverá falsos positivos, e a taxa de falsa descoberta é a medida usada para quantificar e controlar esse risco.
Falsas descobertas: o erro do Tipo I
Considere uma pesquisa com imageamento por ressonância magnética funcional (fMRI). Nesse tipo de pesquisa, o scanner captura imagens do cérebro que, para análise, são divididas em voxels (pixels tridimensionais que representam pequenas unidades de volume cerebral; Figura 1).
Suponha que usamos um scanner cuja resolução é capaz de dividir o cérebro em 100 mil voxels. Nosso objetivo é comparar a atividade cerebral de pacientes com transtorno de ansiedade generalizada (TAG) com a de um grupo controle, buscando identificar regiões com atividade neural diferencial entre esses grupos.
Para simplificar, faremos duas suposições (implausíveis, mas úteis, para fins didáticos):
- A atividade de cada voxel é independente da atividade dos demais voxels.
- Em 90 mil voxels (90%), não há diferença entre pacientes com TAG e controles (hipótese nula verdadeira).
Se coletarmos dados de 25 pacientes em cada grupo e realizarmos 90 mil testes t para amostras independentes (um para cada um dos voxels onde não há diferença entre grupos), então obteremos uma distribuição uniforme de valores p (Figura 2).
A distribuição da Figura 2 indica que, quando a hipótese nula é verdadeira, todos os valores p são igualmente prováveis. Além disso, com nível de significância de 0,05, cerca de 5% dos testes t rejeitarão incorretamente a hipótese nula — caracterizando falsas descobertas, falsos positivos ou erros do Tipo I.
Taxa de rejeição correta da hipótese nula: o poder estatístico
Anteriormente, assumimos que nosso scanner divide o cérebro em 100 mil voxels, entre os quais 90 mil deles não produzem atividade neural diferencial entre pacientes com TAG e o grupo controle.
Em seguida, consideraremos os 10 mil voxels restantes (10%). Suponha que, neles, o grupo com TAG apresenta uma hiperativação em relação ao grupo controle, com efeito de magnitude média (d = 0,50).
Mantendo o mesmo número de participantes e conduzindo 10 mil testes t para amostras independentes, obteremos uma distribuição assimétrica de valores p (Figura 3).
Quando a hipótese nula é falsa, valores p pequenos costumam ser mais prováveis do que valores próximos de 1. Além disso, em nosso exemplo, com nível de significância de 0,05, rejeitaremos corretamente a hipótese nula falsa em 41,4% dos testes (i.e., valores à esquerda da linha pontilhada vertical da Figura 3).
Esse percentual corresponde ao poder estatístico: a probabilidade de detectar um efeito verdadeiro, dada uma amostra (n = 25 por grupo) e tamanho de efeito (d = 0,50) fixos.
Juntando tudo: a taxa de falsa descoberta do procedimento de Benjamini-Hochberg
As Figuras 2 e 3 permitem identificar claramente se um valor p vem de uma hipótese verdadeira ou falsa.
Entretanto, em dados reais, não sabemos de antemão quais hipóteses são verdadeiras ou falsas — é justamente por isso que realizamos pesquisas científicas e testes estatísticos.
A Figura 4 empilha os histogramas dos dois cenários anteriores, mantendo as mesmas cores distintas. Em cenários reais, porém, não conseguiríamos distinguir visualmente quais valores p são falsos positivos.
Um zoom nos valores ps estatisticamente significativos
Na Figura 4, temos 4.140 valores p significativos vindos de hipóteses nulas falsas, mas 4.503 significativos vindos de hipóteses nulas verdadeiras. Em outras palavras, sem qualquer correção, cerca de 52% dos nossos resultados significativos seriam falsas descobertas.
A Figura 4 divide os valores p de 0 a 1 em 20 faixas de 0,05 cada. Em seguida, a Figura 5 apresenta um zoom da primeira faixa da Figura 4 (i.e., os resultados estatisticamente significativos), dividindo os valores p de 0 até 0,05, em faixas de 0,0025 cada.
Observe que, mesmo entre os valores ps significativos, há uma maior concentração de valores ps menores que 0,01, sobretudo entre aqueles oriundos de uma hipótese nula falsa.
Em resumo, quando realizamos vários testes simultâneos, aumentamos a chance de falsos positivos. A taxa de falsa descoberta quantifica esse problema e mostra que, sem correção, até metade dos resultados significativos pode ser falsa.
O procedimento de Benjamini-Hochberg atua exatamente nesse ponto: ele ajusta os valores p, fazendo com que alguns deles, principalmente aqueles mais próximos de 0,05, deixem de ser considerados significativos. Dessa forma, reduzimos a proporção de falsas descobertas entre as hipóteses rejeitadas, mantendo um bom equilíbrio entre evitar erros e preservar descobertas verdadeiras.
Qual é a diferença entre taxa de falsa descoberta e taxa de erro da família dos testes?
Quando realizamos comparações múltiplas, é importante controlarmos nossos erros. Por exemplo, a correção de Bonferroni é usada em testes post hoc da análise de variância (ANOVA).
No entanto, a correção de Bonferroni não controla a taxa de falsa descoberta, mas sim a taxa de erro da família dos testes (FWER).
A FWER diz respeito à probabilidade de pelo menos um erro Tipo I em uma série de testes relacionados. Quando conduzimos vários testes, como nos post hocs de uma ANOVA, nós aumentamos a probabilidade de encontrar efeitos espúrios simplesmente por termos conduzido muitos testes. A relação entre número de testes e probabilidade de pelo menos um erro do Tipo I é apresentada na Figura 6.
Por exemplo, com 10 testes post hoc, há uma probabilidade de 0,40 de obtermos pelo menos um resultado estatisticamente significativo.
A Tabela 1 resume as diferenças da taxa de falsa descoberta e da taxa de erro da família dos testes.
| Característica | Taxa de falsa descoberta (FDR) | Taxa de erro da família dos testes (FWER) |
| Definição | A proporção de hipóteses nulas incorretamente rejeitadas entre todas as rejeições feitas | A probabilidade de pelo menos um falso positivo em uma série de testes estatísticos |
| Fórmula (conceitual) | FDR = falsos positivos / (falsos positivos + verdadeiros positivos) | FWER = p(número de falsos positivos ≥ 1) |
| Controle | Procedimento de Benjamini-Hochberg: ajusta valores p para limitar a proporção de falsos positivos entre as rejeições | Correção de Bonferroni: adota um nível de significância mais conservador (diminui probabilidade de erro do Tipo I, mas aumenta a probabilidade de erro do Tipo II) |
Como funciona o procedimento de Benjamini-Hochberg?
O procedimento de Benjamini-Hochberg segue uma sequência simples e eficiente para controlar a taxa de falsa descoberta, ajustando os valores ps obtidos:
- Ordenar: liste todos os valores p obtidos em ordem crescente.
- Indexar: atribua um índice i a cada valor p, do menor para o maior.
- Ajustar maior valor p: o valor p ajustado será igual ao valor p original.
- Ajustar demais valores ps: o próximo valor p ajustado, de posição i, será obtido pela seguinte fórmula:
Ou seja, multiplicaremos o valor p não ajustado pela razão entre número de valores p e posição i do valor p que estamos ajustando. Em seguida, selecionaremos o menor valor entre esse valor ajustado e o valor p na posição imediatamente superior (visando garantir a monotonicidade dos valores ps ajustados). Por fim, temos o passo 5:
- Interpretar valor p ajustado: se p é menor que o critério de significância, rejeitar a hipótese nula.
Com esses passos, o procedimento de Benjamini-Hochberg faz com que alguns valores p originalmente < 0,05 cruzem o critério de significância para a região de não significância, reduzindo a proporção de falsos positivos.
Exemplo prático do procedimento de Benjamini-Hochberg
Considere que, após um efeito principal da ANOVA, conduzimos testes post hoc comparando cinco grupos, par a par, com os seguintes valores ps:
Ou seja, na ausência de qualquer ajuste, 8 das 10 comparações em pares indicam diferenças estatisticamente significativas.
De modo a aplicar o procedimento de Benjamini-Hochberg, devemos ordenar os valores p em sequência crescente e atribuir índices a cada um dos valores ps:
Em seguida, ajustaremos o maior valor p. Nesse caso, o “ajuste” será o próprio valor original.
Nós então passamos ao ajuste do segundo maior valor p. Aplicando a fórmula anteriormente introduzida, teremos:
Como o menor dos dois valores foi 0,0578, esse será o nosso valor p ajustado para o índice i = 9:
Em seguida, repetiremos o mesmo procedimento para o índice i = 8.
Dessa vez, o valor ajustado para i = 8 foi maior que o valor ajustado para i = 9. Por esse motivo, repetiremos o valor ajustado para o índice i = 9, visando manter a relação de monotonicidade entre os valores p (i.e., para que não haja inversão de ordenamento de valores ps originais e ajustados).
Em síntese, seguiremos esse mesmo algoritmo até atingirmos o valor p de índice i = 1. Ao final, teremos todos os valores ps ajustados, que serão maiores que os valores ps originais.
Note que, após o procedimento de Benjamini-Hochberg, três valores ps passaram da região de significância (p < 0,05) para a região de não significância (p > 0,05), ou seja, aqueles associados aos índices i = {6, 7, 8}. Por conseguinte, o procedimento de Benjamini-Hochberg reduziu os resultados significativos de 8 para 5.
Os valores ps que mudam da região de significância para a região de não significância são aqueles mais próximos de 0,05. Como vimos anteriormente, dado o caráter uniforme da distribuição de valores ps sob a hipótese nula — mas positivamente assimétrico sob a hipótese alternativa —, é mais provável que os valores ps que estão mudando de status sejam falsas descobertas. Em síntese, é por meio desse algoritmo simples que o procedimento de Benjamini-Hochberg controla a taxa de falsas descobertas.
Conclusão
Neste post, você aprendeu o que é o procedimento de Benjamini-Hochberg. Ele foi inspirado em um vídeo de Josh Starmer, disponível em língua inglesa no YouTube.
Se você precisa aprender análise de dados, então faça parte da Psicometria Online Academy, a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).
Referências
Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society, Series B, 57(1), 289–300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
Field, A., Miles, J., & Field, Z. (2012). Discovering statistics using R. Sage.
StatQuest with Josh Starmer. (2017, 10 de janeiro). False Discovery Rates, FDR, clearly explained [Vídeo]. YouTube. https://www.youtube.com/watch?v=K8LQSvtjcEo
Como citar este post
Lima, M. (2025, 29 de julho). O que é o procedimento de Benjamini-Hochberg? Blog Psicometria Online. https://www.blog.psicometriaonline.com.br/procedimento-de-benjamini-hochberg
