Um Enem mais curto, preciso e seguro: desenvolvimento de uma aplicação em formato de Testagem Adaptativa Computadorizada
Data
2023
Autores
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade São Francisco
Resumo
O Exame Nacional do Ensino Médio (Enem) é composto por uma redação e quatro provas de
45 itens de múltipla escolha: Ciências Humanas e suas Tecnologias (CH); Ciências da Natureza
e suas Tecnologias (CN); Linguagens, Códigos e suas Tecnologias (LC); e Matemática e suas
Tecnologias (MT). O exame é utilizado como processo de seleção para ingresso em cursos de
ensino superior. Esse uso impõe desafios para o exame no seu formato, como: produzir notas
precisas para uma população diversa, minimizar o efeito da posição do item sobre o
desempenho e construir testes equivalentes. É possível avançar nesses desafios ao aplicar o
Enem em formato de Testagem Adaptativa Computadorizada (em inglês Computerized
Adaptive Testing, CAT). Portanto, o objetivo deste trabalho foi desenvolver uma CAT do Enem
mais eficiente, precisa e segura do que o seu formato atual. Dividimos a tese em dois Artigos e
dois Produtos. O Artigo 1 comparou distribuições amostrais na calibração de itens no modelo
logístico de três parâmetros da Teoria de Resposta ao Item. Utilizamos informações das quatro
provas do Enem 2020 para simular as respostas de 5.040 participantes sorteados a partir de três
tipos de desenho amostral: aleatório, retangular e deslocado. Não houve diferença significativa
entre os desenhos para o parâmetro de discriminação. A amostra deslocada recuperou os
parâmetros de dificuldade em CH melhor do que a retangular e em CN, melhor do que a
aleatória. As amostras deslocada e aleatória recuperaram os parâmetros de pseudochute melhor
do que a retangular nas quatro provas. Os resultados não apontam para a prevalência de um tipo
de amostra para calibrar os itens do Enem 2020. O Produto 1 consistiu em um pacote estatístico
para simulação de CAT em ambiente R. O Artigo 2 avaliou o método de controle de exposição
progressivo restrito (PR) com diferentes parâmetros de aceleração em uma CAT em termos de
eficiência, precisão e segurança. Manipulamos o método de seleção de itens (Aleatório,
Máxima Informação de Fisher – MIF – e PR com dois parâmetros de aceleração) e o critério de
parada (Tamanho fixo de 20 e 45 itens, Erro padrão de 0,30 e Redução do erro de 0,015 com
erro padrão de 0,30) e simulamos a aplicação de 16 condições de CAT para cada prova. Por
último, simulamos a aplicação do Enem 2020 em formato linear e comparamos com a CAT de
tamanho fixo de 20 itens. O tamanho da prova foi maior com MIF. Nas CATs de tamanho fixo
e com critério de parada do erro padrão, MIF e PR (com ambos os parâmetros de aceleração)
tiveram resultados parecidos para a precisão. Com o critério de redução do erro, o PR performou
pior. A segurança aumentou conforme o parâmetro de aceleração aumentou. A versão
adaptativa do Enem teve precisão maior do que a versão linear. O Produto 2 da tese foi a
publicação de um aplicativo da CAT Enem com o algoritmo determinado no Artigo 2.
Concluímos que é possível reduzir o tamanho do Enem e melhorar sua precisão e segurança
com uma CAT.
Palavras-chave
Psicometria, Avaliação educacional, Testagem adaptativa informatizada