Teses
URI Permanente para esta coleçãohttps://hdl.handle.net/20.500.14135/635
Navegar
Item Um Enem mais curto, preciso e seguro: desenvolvimento de uma aplicação em formato de Testagem Adaptativa Computadorizada(Tese, 2023) Rego, Alexandre Marques Jaloto; Primi, RicardoO Exame Nacional do Ensino Médio (Enem) é composto por uma redação e quatro provas de 45 itens de múltipla escolha: Ciências Humanas e suas Tecnologias (CH); Ciências da Natureza e suas Tecnologias (CN); Linguagens, Códigos e suas Tecnologias (LC); e Matemática e suas Tecnologias (MT). O exame é utilizado como processo de seleção para ingresso em cursos de ensino superior. Esse uso impõe desafios para o exame no seu formato, como: produzir notas precisas para uma população diversa, minimizar o efeito da posição do item sobre o desempenho e construir testes equivalentes. É possível avançar nesses desafios ao aplicar o Enem em formato de Testagem Adaptativa Computadorizada (em inglês Computerized Adaptive Testing, CAT). Portanto, o objetivo deste trabalho foi desenvolver uma CAT do Enem mais eficiente, precisa e segura do que o seu formato atual. Dividimos a tese em dois Artigos e dois Produtos. O Artigo 1 comparou distribuições amostrais na calibração de itens no modelo logístico de três parâmetros da Teoria de Resposta ao Item. Utilizamos informações das quatro provas do Enem 2020 para simular as respostas de 5.040 participantes sorteados a partir de três tipos de desenho amostral: aleatório, retangular e deslocado. Não houve diferença significativa entre os desenhos para o parâmetro de discriminação. A amostra deslocada recuperou os parâmetros de dificuldade em CH melhor do que a retangular e em CN, melhor do que a aleatória. As amostras deslocada e aleatória recuperaram os parâmetros de pseudochute melhor do que a retangular nas quatro provas. Os resultados não apontam para a prevalência de um tipo de amostra para calibrar os itens do Enem 2020. O Produto 1 consistiu em um pacote estatístico para simulação de CAT em ambiente R. O Artigo 2 avaliou o método de controle de exposição progressivo restrito (PR) com diferentes parâmetros de aceleração em uma CAT em termos de eficiência, precisão e segurança. Manipulamos o método de seleção de itens (Aleatório, Máxima Informação de Fisher – MIF – e PR com dois parâmetros de aceleração) e o critério de parada (Tamanho fixo de 20 e 45 itens, Erro padrão de 0,30 e Redução do erro de 0,015 com erro padrão de 0,30) e simulamos a aplicação de 16 condições de CAT para cada prova. Por último, simulamos a aplicação do Enem 2020 em formato linear e comparamos com a CAT de tamanho fixo de 20 itens. O tamanho da prova foi maior com MIF. Nas CATs de tamanho fixo e com critério de parada do erro padrão, MIF e PR (com ambos os parâmetros de aceleração) tiveram resultados parecidos para a precisão. Com o critério de redução do erro, o PR performou pior. A segurança aumentou conforme o parâmetro de aceleração aumentou. A versão adaptativa do Enem teve precisão maior do que a versão linear. O Produto 2 da tese foi a publicação de um aplicativo da CAT Enem com o algoritmo determinado no Artigo 2. Concluímos que é possível reduzir o tamanho do Enem e melhorar sua precisão e segurança com uma CAT.