Neste post, falaremos sobre o kappa de Fleiss. Primeiramente, explicaremos o que é essa estatística e como ela difere do kappa de Cohen. Em seguida, detalharemos como calcular o kappa de Fleiss no SPSS. Por fim, discutiremos como interpretar os resultados dessa análise com base em classificações conhecidas.
Entendendo o kappa de Fleiss
O kappa (κ) de Fleiss é uma medida estatística usada a fim de avaliar o grau de concordância entre três ou mais avaliadores. Enquanto o kappa de Cohen se limita a dois avaliadores, o kappa de Fleiss amplia essa possibilidade, sendo ideal para contextos com múltiplos juízes.
Essa estatística é especialmente útil em pesquisas clínicas, diagnósticos psiquiátricos ou estudos educacionais, nos quais diferentes profissionais precisam avaliar os mesmos participantes. Assim, o kappa de Fleiss permite quantificar até que ponto esses avaliadores concordam entre si além do que seria esperado ao acaso.
Portanto, quando há mais de dois avaliadores envolvidos em um estudo, o uso do kappa de Fleiss se torna não apenas recomendável, mas essencial para garantir análises mais precisas e confiáveis.
Kappa de Fleiss vs. kappa de Cohen: quando usar cada medida?
Suponha que 30 pacientes sejam avaliados e diagnosticados em uma de cinco categorias, a saber, (1) depressão, (2) transtorno de personalidade, (3) esquizofrenia, (4) neurose ou (5) outro.
Embora possamos representar os diagnósticos por números, note que esses números não expressam quantidades. Ao invés disso, a variável diagnóstico é nominal, isto é, ela representa categorias distintas, mas sem uma ordem significativa — a associação dos números às categorias é arbitrária.
Dando sequência ao exemplo, se cada um dos 30 pacientes for avaliado por dois psiquiatras distintos, então podemos querer avaliar em que medida esses diferentes psiquiatras concordam em seus julgamentos clínicos. A fim de quantificar o grau de concordância desses profissionais, podemos calcular o kappa de Cohen (Figura 1).
No entanto, se cada paciente for avaliado por três (ou mais) psiquiatras, já não podemos mais aplicar o kappa de Cohen. Nesse caso, para quantificarmos o grau de concordância dos três profissionais, usamos uma versão generalizada do kappa de Cohen — o kappa de Fleiss (Figura 2).
Em seguida, mostraremos como realizar esse cálculo no SPSS, com base no exemplo aqui introduzido.
Como calcular o kappa de Fleiss no SPSS?
Instalando a extensão do kappa de Fleiss no SPSS
Antes de mais nada, é importante destacar que o kappa de Fleiss está nativamente disponível no SPSS apenas a partir da versão 26. Contudo, se você utiliza versões anteriores, como a 24 ou a 25, será necessário instalar uma extensão manualmente.
Para isso, acesse o seguinte repositório do GitHub e baixe o pacote. Em seguida, no SPSS, clique em Extensões → Instalar Pacote de Extensão Local (Figura 3).
Por fim, na janela que se abrir, localize o arquivo baixado e clique em Abrir, que o SPSS instalará a extensão automaticamente (Figura 4).
Após esse processo, você estará pronto para realizar a análise de concordância, seja por meio da funcionalidade nativa do SPSS 26+ ou pela extensão adicionada.
Conhecendo o banco de dados
A Figura 5 apresenta um screenshot do banco de dados no SPSS. Em síntese, o banco possui quatro colunas, sendo uma de identificação dos pacientes (ID) e uma com os diagnósticos fornecidos pelos psiquiatras — rotulados como Observador1, Observador2 e Observador3.
Por exemplo, os pacientes 1 e 2 receberam diagnósticos consistentes entre os três psiquiatras. Em contrapartida, para o paciente 3, um dos psiquiatras (Observador1) forneceu um diagnóstico diferente dos demais profissionais.
Solicitando a análise
Para iniciar a análise, clique em Analisar → Escala → Fleiss Kappa (Figura 6).
Em seguida, mova para a direita as variáveis que representam as avaliações dos observadores. Por exemplo, a Figura 7 ilustra a variável Observador1 já à direita, para cálculo do kappa de Fleiss.
Faça o mesmo para os diagnósticos do Observador2 e do Observador3. Por fim, com todas as variáveis relevantes inseridas do lado direito, clique em OK para gerar a análise.
Interpretando as saídas do SPSS
O SPSS irá apresentar o valor do kappa de Fleiss, seu erro-padrão, a estatística Z (κ / EP) e o valor p associado (Figura 8). No entanto, o valor p apenas nos informa se conseguimos rejeitar a hipótese nula de que o kappa de Fleiss é igual a zero.
Além de ser usado para teste de hipóteses, o erro-padrão também é útil para o cálculo de um intervalo de confiança ao redor do kappa. Felizmente, a extensão que instalamos no SPSS computa o intervalo de confiança para nós.
Por fim, além de exibir o kappa de Fleiss geral, o SPSS também exibirá essa estatística para cada uma das categorias presentes em nossos dados (Figura 9). Isso nos permite avaliar, por exemplo, se a concordância foi mais (ou menos) elevada em determinadas categorias diagnósticas.
Diretrizes para interpretar o kappa de Fleiss
O kappa de Fleiss varia entre –1 e +1, onde um valor negativo indica que a concordância foi pior que o esperado ao acaso. Além disso, o valor 0 sugere que a concordância não foi melhor que o acaso. Por outro lado, valores positivos mostram níveis crescentes de concordância, sendo +1 o ideal, indicando concordância perfeita.
Fleiss (1981) propôs uma classificação prática:
- 0,40 a 0,60: concordância regular.
- 0,61 a 0,75: concordância boa.
- Acima de 0,75: concordância excelente.
Por outro lado, Altman (1991) propôs uma classificação ainda mais detalhada:
- 0 a 0,20: muito fraca.
- 0,21 a 0,40: fraca.
- 0,41 a 0,60: moderada.
- 0,61 a 0,80: boa.
- 0,81 a 1,00: muito boa.
Como relatar os resultados do kappa de Fleiss?
Em seguida, fornecemos um exemplo de como relatar os resultados anteriores. Focamo-nos no kappa geral e seu intervalo de confiança, mas também mencionamos o kappa por categoria.
Para avaliar a concordância dos diagnósticos dos diferentes psiquiatras, calculamos o kappa de Fleiss. Embora a concordância tenha sido estatisticamente maior que zero, κ = 0,53, EP = 0,05, p < 0,001, o intervalo de confiança, IC 95% [0,43, 0,64], é consistente com uma classificação de uma concordância regular a boa (Fleiss, 1981), ou moderada a boa (Altman, 1991).
Além disso, uma análise mais detalhada do kappa de Fleiss por categoria indica heterogeneidade na concordância para diferentes diagnósticos, com a concordância mais baixa para neurose, κ = 0,24, EP = 0,11, p = 0,03, IC 95% [0,03, 0,44], e a mais alta, para outros, κ = 1, EP = 0,11, p < 0,001, IC 95% [0,79, 1,00].1
Conclusão
Gostou deste conteúdo? Então aproveite e também se inscreva em nosso canal do YouTube para ficar por dentro de nossas novidades.
Se você precisa aprender análise de dados, então faça parte da Psicometria Online Academy, a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).
Referências
Altman, D. G. (1991). Practical statistics for medical research. Chapman and Hall.
Fleiss, J. L. (1981). Statistical methods for rates and proportions. John Wiley and Sons.
Como citar este post
Lima, M. (2025, 30 de maio). O que é kappa de Fleiss? Blog Psicometria Online. https://www.blog.psicometriaonline.com.br/kappa-de-fleiss/
- O valor do limite superior do intervalo de confiança foi aqui truncado em 1, o limite superior teórico do kappa de Fleiss. ↩︎
