Pré-publicação: Grelhas detalhadas de avaliação por IA nem sempre distinguem diferentes dificuldades de aprendizagem

Xi Zhao e colegas examinaram a qualidade diagnóstica de avaliações estruturadas por IA, utilizando 3.041 respostas para 50 questões de ciência da computação. Três modelos comerciais geraram pontuações e comentários, que foram comparados com as avaliações feitas pelos instrutores. As dimensões de pontuação apresentaram forte correlação entre si, variando de 0,82 a 0,99. Segundo a classificação dos autores, os comentários dos modelos identificaram concepções errôneas em 4,8% a 7,4% dos casos, em comparação com 15,0% no caso dos instrutores (considerando o total). Esse índice, por parte dos instrutores, subiu para 31,5% entre as respostas com as pontuações mais baixas. Este preprint, publicado em 7 de outubro, trata-se de uma análise observacional, e não de uma intervenção em sala de aula que demonstre melhoria na aprendizagem.

O estudo refere-se a um contexto institucional específico e a uma determinada geração de modelos. As categorias de comentários baseiam-se na correspondência de padrões linguísticos, e a análise de tom utiliza um léxico de sentimentos; ambos os métodos podem deixar passar nuances. Essas limitações devem ser levadas em conta ao interpretar as porcentagens. Os resultados reforçam a importância de analisar a qualidade diagnóstica separadamente da concordância nas pontuações agregadas, sem, contudo, estabelecer que todos os sistemas de avaliação por IA se comportam da mesma maneira.

Para os leitores do AIEDHK, vale considerar uma revisão de avaliação em um curso de programação. Um professor poderia se deparar com duas respostas que obtiveram pontuações totais semelhantes, mas que refletem raciocínios distintos. Um estudante pode ter omitido uma explicação necessária, enquanto outro aplicou, com convicção, uma regra incorreta. Os revisores poderiam verificar se o feedback gerado identifica essa diferença, cita as evidências pertinentes e propõe um próximo passo para abordá-la. Essa atividade constitui uma sugestão editorial, e não um procedimento testado no artigo.

Um exemplo concreto envolveria explicar por que um teste de software foi bem-sucedido. Uma resposta incompleta poderia descrever o teste, mas omitir suas limitações. Uma resposta equivocada poderia afirmar que um único teste bem-sucedido comprova a correção de todo o programa. Ambas podem conter um vocabulário técnico adequado. Um comentário útil deve ajudar o aluno a distinguir entre a falta de detalhes e uma inferência incorreta. Solicitar que o aluno construa um contraexemplo forneceria ao professor um elemento mais informativo para análise do que apenas vários indicadores de uma rubrica de avaliação.

Um pequeno projeto-piloto local poderia registrar a resposta original, o comentário gerado, o diagnóstico do professor e a revisão feita pelo aluno. Os professores poderiam analisar eventuais divergências antes de liberar o feedback e registrar casos em que o diagnóstico do modelo se mostrou incerto. Uma atividade posterior, realizada sem o auxílio da ferramenta, poderia verificar se o aluno consegue aplicar essa distinção de forma independente. Tal abordagem conectaria a avaliação a uma decisão educacional observável, mantendo a carga de trabalho em um nível gerenciável.

Em um curso bilíngue, seria possível analisar exemplos equivalentes em cada um dos idiomas de ensino, convidando os alunos a explicar um comentário controverso no idioma de sua preferência. Os revisores avaliariam o conteúdo da explicação, em vez de pressupor que uma formulação fluida ou o uso de um termo técnico conhecido demonstrem, por si só, a compreensão conceitual.

As equipas responsáveis ​​pela plataforma também poderiam tornar a incerteza visível na interface. Uma pontuação deveria estar vinculada ao trecho ou à ação que a fundamenta, e um possível equívoco conceitual deveria permanecer passível de correção, tanto pelo professor quanto pelo aluno. Novas dimensões de avaliação só devem ser adicionadas se oferecerem distinções realmente úteis. O objetivo prático é fornecer um feedback que ajude o aluno a decidir o que reconsiderar e por quê. Se um determinado fluxo de trabalho alcança esse objetivo, é algo que depende de evidências coletadas junto aos alunos e no contexto em que a ferramenta será utilizada.