O que é a validade baseada no processo de resposta?
A validade baseada no processo de resposta é uma das cinco fontes de validade dos testes (AERA, APA, & NCME, 2014). Especificamente, ela se refere às evidências relativas ao ajuste entre o construto e a natureza detalhada do desempenho ou resposta dos examinados.
O que são os processos de resposta?
Os processos de resposta se referem às abordagens e comportamentos dos examinados quando se submetem a situações de avaliação. Em geral, as pesquisas em psicologia trabalham com escalas de autorrelato do tipo Likert, onde os respondentes devem avaliar o quanto concordam ou discordam de diferentes afirmações.
No entanto, as pesquisas psicológicas possuem diversos métodos de pesquisa, cada um deles envolvendo diferentes tipos de resposta, tais como testes de desempenho, verbalizações, rastreamento ocular (eye-tracking), tempos de resposta etc.
Dessa forma, esses dados do processo de resposta podem fornecer informações valiosas sobre até que ponto itens e tarefas envolvem os examinados da maneira pretendida.
Como obter evidências de validade baseada no processo de resposta?
Como mencionado anteriormente, a validade baseada no processo de resposta é uma das formas de validade propostas pelos Standards da AERA, APA e NCME (2014). No entanto, esse guia fornece poucas indicações sobre como obter esse tipo de validade.
De todo modo, podemos agrupar os métodos usados pelos pesquisadores em duas categorias principais:
- Métodos que acessam diretamente os processos psicológicos ou operações cognitivas.
- Métodos que fornecem indicadores indiretos e requerem inferência adicional.
Métodos que acessam diretamente os processos psicológicos ou operações cognitivas
Entrevistas
A entrevista é um dos métodos mais utilizados em estudos de validade baseada no processo de resposta. Isso ocorre porque esse método atende diretamente às diretrizes da AERA, APA e NCME (2014), permitindo que os respondentes expliquem seus processos psicológicos e operações cognitivas ao responderem aos itens do teste. Além disso, é um método de fácil aplicação e que requer relativamente poucos recursos.
Duas estratégias frequentemente utilizadas nas entrevistas são:
- Uso de vinhetas: apresentam-se histórias curtas aos participantes, que devem julgar a situação ilustrada a fim de explicar suas decisões.
- Pensar em voz alta: os respondentes devem verbalizar seus pensamentos enquanto resolvem os itens, de modo a permitir que os pesquisadores tenham acesso aos seus processos decisórios em tempo real.
Grupos focais
Os grupos focais são particularmente úteis para explorar tópicos desconhecidos por meio de discussões coletivas sobre os itens do teste. Por exemplo, esse método permite que os participantes compartilhem sentimentos, pensamentos e opiniões, revelando seus processos psicológicos ao responderem aos itens.
Entrevista cognitiva
A entrevista cognitiva é uma ampla classe de métodos que visam extrair informações verbais dos entrevistados. Tais informações verbais são fornecidas enquanto os entrevistados respondem a itens de autorrelato ou pesquisa. O objetivo principal é obter uma melhor compreensão dos processos mentais nos quais os entrevistados se engajam ao responder aos itens.
Na categoria mais ampla de entrevista cognitiva, dois paradigmas principais surgiram e se diferenciaram: protocolos de pensar em voz alta (think–aloud protocols) e sondagem verbal (verbal probing), embora diversas pesquisas usem uma mistura de ambos os métodos.
Os protocolos de pensar em voz alta representam uma classe de métodos que pede aos participantes que pensem em voz alta enquanto respondem a itens de um questionário ou quando estão envolvidos em uma tarefa.
Os entrevistados devem verbalizar tudo o que estão olhando, pensando, fazendo e sentindo enquanto completam ou registram suas respostas (ou seja, verbalização simultânea). Este método permite estudar os processos intermediários dos respondentes até a resposta, em vez de apenas suas respostas finais em uma medida de autorrelato.
Por outro lado, a sondagem verbal consiste em fazer perguntas ou sondagens sobre os processos cognitivos, motivacionais e emocionais dos entrevistados conforme eles completam as medidas de autorrelato.
Métodos que fornecem indicadores indiretos
Rastreamento ocular (eye-tracking)
O rastreamento ocular tem sido amplamente utilizado como um indicador indireto da atenção e dos processos cognitivos. Por meio de um aparelho que é acoplado à cabeça do respondente, munido de câmeras, pode-se monitorar os movimentos sacádicos, as fixações e as direções do olhar dos respondentes em tempo real enquanto realizam uma tarefa.
Esse método é implementado enquanto os participantes respondem aos itens do teste, permitindo, portanto, acessar os processos psicológicos envolvidos. Por exemplo, Ivie e Embretson (2010) utilizaram o rastreamento ocular para compreender os processos cognitivos em testes de montagem de objetos.
Embora essa técnica seja pouco utilizada em instrumentos de autorrelato, ela pode ser extremamente útil em baterias de avaliação complexas, como testes de atenção concentrada para pilotos e controladores de voo.
Tempos de resposta
Por fim, os estudos de validade baseada no processo de resposta que analisam tempos de resposta buscam compreender a relação entre o tempo gasto na tarefa e a complexidade dos processos cognitivos envolvidos. Esses estudos procuram detectar padrões de comportamento, como adivinhação ou comprometimento dos respondentes com a tarefa.
Conclusão
Gostou desse conteúdo? Se você precisa aprender análise de dados, então faça parte da Psicometria Online Academy, a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).
Referências
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (1999). Standards for educational and psychological testing. American Educational Research Association.
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (2014). Standards for educational and psychological testing. American Educational Research Association.
Ivie, J. L., & Embretson, S. E. (2010). Cognitive process modeling of spatial ability: The assembling objects task. Intelligence, 38, 324–335. https://doi.org/10.1016/j.intell.2010.02.002
Padilla, J. L., & Benítez, I. (2014). Validity evidence based on response processes. Psicothema, 26(1), 136–144. https://doi.org/10.7334/psicothema2013.259
Como citar este post
Damásio, B. (2021, 11 de maio). Validade baseada no processo de resposta. Blog Psicometria Online. https://www.blog.psicometriaonline.com.br/validade-processo-resposta/
