O seu Blog de Psicometria

Tenha acesso à nossa enciclopédia virtual de conhecimento em Psicometria e Análise de Dados

Junte-se a mais de 22.300 membros e receba conteúdos exclusivos e com prioridade

Kappa de Fleiss

psicometriaonline

maio 8, 2021

O Kappa de Fleiss é derivado do Kappa de Cohen. A principal diferença da estatística Kappa de Fleiss é que podemos avaliar o o grau de concordância entre três ou mais observadores/avaliadores, enquanto o Kappa de Cohen permite apenas dois observadores/avaliadores. Portanto, Agora estendemos o kappa de Cohen para o caso em que o número de avaliadores pode ser maior que dois.

Como calcular o Kappa Generalizado de Fleiss no SPSS?

Antes de começarmos, é importante saber que o Kappa de Fleiss só está disponível a partir da versão 26 do SPSS. Caso você tenha versões anteriores (a partir da 24), você precisará adicionar uma extensão, que pode ser baixada diretamente de um repositório do Github, basta clicar aqui, e ao acessar o repositório, clicar em download.

Para instalar a extensão, você deve abrir o SPSS, no menu Extensões -> Instalar Pacote de Extensão Local…

Ao clicar em Instalar Pacote de Extensão Local uma nova janela irá aparecer e você deve localizar o arquivo que baixou do Github e clicar em abrir.

Após clicar em Abrir, o SPSS instala automáticamente a extensão do Kappa de Fleiss. Agora que você tem Kappa de Fleiss instalado (seja pela versão do SPSS 26+ ou pela extensão adicionada), você pode executar a análise.

Como calcular o Kappa de Fleiss no SPSS

Antes de demonstrar como calcular o Kappa de Fleiss no SPSS, vale a pena contextualizar o exemplo.

Para esse exemplo vamos utilizar dados coletados de laudos de transtornos psiquiátricos de 30 participantes, avaliados por 3 psiquiatras diferentes. Cada um dos psiquiatras deu seu laudo para cada participante. E os laudos poderiam ser: 1: Depressão, 2: Transtorno de personalidade, 3: Esquizofrenia, 4: Neurose e 5: Outro. Os dados estão dispostos como na imagem abaixo.

Vamos então executar a análise. Portanto, clique em Analisar –> Escala –> Análise de Confiabilidade. Se você tiver adicionado a extensão manualmente, clique em Fleiss Kappa e adicione as variáveis referentes aos juízes.

Se tiver a versão do SPSS 26+, clique em Análise de Confiabilidade.

Posteriormente, passe as variáveis correspondentes as valiações de cada observador para a direita. Como na imagem abaixo, o Observador 1 já está na direita, na sequência é necessário inserir os outros Observadores 2 e 3.

Com todos os observadores no campo da direita, basta clicar em OK.

Na saída do SPSS podemos identificar o valor da concordância global (Kappa), a significância estatística atribuída ao Kappa e o intervalo de confiança de 95%.

Vemos que o Kappa global foi de 0.534, sendo é significativo (p = 0.000) com intervalo de confiança entre 0.428 e 0.640.

Além dessa tabela, o SPSS exibi uma tabela com os valores de Kapaa, a significância estatística e os intervalos de confiança para cada uma das categorias, que em nosso exemplo foram: 1: Depressão, 2: Transtorno de personalidade, 3: Esquizofrenia, 4: Neurose e 5: Outro.

Como interpretar o Kappa de Fleiss?

A estatística pode variar de -1 a +1, onde o valor negativo indica que a concordância entre os avaliadores foi menor que a concordância esperada ao acaso. Com -1 estamos indicando que não houve concordância, 0 indica que a concordância não é melhor que o acaso, e valores maiores que 0 representam uma concordância crescente para os avaliadores, até um valor máximo de + 1, indicando uma concordância perfeita.

Fleiss (1981) oferece uma classificação Kappa que pode nos ajudar a interpretar os coeficientes obtidos:

  • Entre 0,40 e 0,60: concordância regular
  • Entre 0,61 e 0,75: concordância boa
  • Acima de 0,75: concordância excelente

Por sua vez, Altman (1991) propõe uma classificação um tanto mais ampla:

  • De 0 a 0,20: concordância muito fraca
  • De 0,21 a 0,40: concordância fraca
  • De 0,41 a 0,60: concordância moderada
  • De 0.61 a 0,80: concordância boa
  • De 0.81 a 1,00: concordância muito boa

Voltando ao nosso exemplo, de acordo com Fleiss (1981), o Kappa global foi de 0.534, o qual pode ser considerada uma concordância regular. Por outro lado, se considerarmos o proposto por Altman (1991), encontramos uma concordância moderada entre os observadores (psiquiatras).

Pronto! Muito simples, não é?

Gostou desse conteúdo? Precisa aprender Análise de dados? Faça parte da Psicometria Online Academy: a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).

Referências:

FLEISS, J.L. (1981). Statistical methods for rates and proportions. New York: John Wiley and Sons

ALTMAN, D.G. (1991). Practical statistics for medical research. New York: Chapman and Hall.

Conteúdo

Mais lidos

Glossário de Análise Fatorial Exploratória

Como lidar com os pressupostos da Análise de Variância (ANOVA)?

Covariância e correlação

Diferenças entre Modelos Lineares e Modelos Lineares Generalizados (GLMs)

Postados recentemente

Glossário de Análise Fatorial Exploratória

Como lidar com os pressupostos da Análise de Variância (ANOVA)?

Covariância e correlação

Diferenças entre Modelos Lineares e Modelos Lineares Generalizados (GLMs)

psicometriaonline

Posts sugeridos

Compreendendo os índices de validade de conteúdo

Ao desenvolver qualquer tipo de teste psicológico, é crucial garantir que eles meçam o que pretendem avaliar. Nesse contexto, entra em cena o conceito de…

Alex França

jul 9, 2023

Qual a diferença entre fidedignidade e validade de um teste

Fidedignidade e validade de um teste são dois dos principais conceitos na psicometria clássica. Ambas são importantes para garantir que um teste seja confiável e…

Alex França

abr 27, 2023

Coeficiente Kappa de Cohen

O coeficiente Kappa, simbolizado pela letra grega minúscula κ e criado pelo estatístico Jacob Cohen (1960), mede a concordância entre dois avaliadores, cada um classificando…

psicometriaonline

maio 11, 2021

Cadastre-se para ser notificado com o link das aulas ao vivo:

Módulo 4: Redes neurais artificiais

• Introdução a Deep Learning

• Avaliando sistemas de Deep Learning

• Redes Neurais feitas (sem programação) no SPSS

• Aula bônus: O futuro da IA na Sociedade

• Aula bônus: Dois Estudos de Caso 

Módulo 3: Interpretar e reportar resultados

• Gerar, interpretar e reportar resultados em Machine Learning

Módulo 2: Criando o seu sistema

• Selecionando algoritmos e métodos 
• Práticas de Machine Learning (Sem programação): Decision Tree (JASP), Linear Discriminant Classification (JASP) e Plataforma ORANGE
• Aula Bônus: Avaliação Psicológica e Machine Learning
• Aula Bônus: Livros e Cursos recomendados  
• Aula Bônus: Entrevista com Cientista de Dados focado na área da Saúde

Módulo 1: O que é Machine Learning

• O que é Machine Learning?
• Como a máquina aprende?
• Machine Learning para Psicometria e Pesquisa Quantitativa (pesquisas comentadas)
• Tipos de Machine Learning (Supervisionado e Não-supervisionado)
• Práticas de Machine Learning (Sem programação): JASP e SPSS
Aula Bônus: Filosofia da Inteligência Artificial
• Aula Bônus: Entrevista com Cientista de Dados graduado em Psicologia
• Aula bônus: Estudo de Caso sobre Redução Dimensional 

Preencha abaixo para
participar gratuitamente

Fique tranquilo, não utilizaremos suas informações de contato para enviar qualquer tipo de SPAM. Os dados coletados são tratados nos termos da Lei Geral de Proteção de Dados e você pode se descadastrar da nossa lista de contatos a qualquer momento.