Avaliação de Questões Discursivas Curtas por LLMs:
Desafios e Potenciais Aplicações Educacionais
DOI:
https://doi.org/10.21814/lm.18.2.509Palabras clave:
correção automática de respostas discursivas curtas, ASAG, avaliação das respostas dos alunos, grandes modelos de linguagem, LLMResumen
A relação entre tecnologias emergentes e linguagem humana tem sido amplamente investigada, especialmente após a popularização de grandes modelos de linguagem (LLMs, do inglês Large Language Models) e de sua capacidade de interpretar e gerar textos. No contexto educacional, há intenso debate sobre o uso dessas tecnologias em sala de aula, seja por estudantes, docentes ou instituições. Considerando os avanços no uso de inteligência artificial (IA) na linguística computacional, a pesquisa justifica-se pela necessidade de integrar metodologias inovadoras na análise textual, mais especificamente, na avaliação de questões discursivas curtas (ASAG, do inglês, Automatic Short Answer Grading), respondidas por estudantes de graduação em uma atividade de interpretação textual. O estudo compara a avaliação humana, marcada por subjetividade, com as capacidades dos LLMs, cujo funcionamento se baseia em cálculos probabilísticos. A análise dos dados revelou um padrão de notas bastante próximo entre os dois avaliadores humanos, enquanto os LLMs apresentaram maior variação, tanto entre si quanto em relação aos humanos. A maior correlação positiva entre um LLM e os avaliadores humanos foi observada com o Gemini 3, em uma das variações de prompt propostas neste estudo. Esses achados indicam que ainda são necessários mais estudos para refinar a tarefa de ASAG em português. Ainda assim, desempenhos como os observados com o Gemini sugerem potencial de contribuição educacional, especialmente no apoio ao diagnóstico e ao feedback docente em questões discursivas curtas.
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2026 Roberlei Alves Bertucci, Osmar de Oliveira Braz Junior, Renato Fileto

Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
Los autores que envíen sus trabajos a esta revista implícitamente estón de acuerdo con los siguientes términos:
- Los autores retienen los derechos de autor de sus trabajos, permitiendo a esta revista su primera publicación bajo licencia de Creative Commons Attribution License, que permite a otros acceder libremente, usar y compartir dicho trabajo, citando adecuadamente la autoría del trabajo y su presentación en esta revista.
- Los autores pueden prescindir de los términos de licencia de CC y acordar por su cuenta arreglos contractuales adicionales independientes para la distribución no exclusiva y posterior publicación de este trabajo (p.e., para incluirlo en un repositorio institucional o publicarlo en un libro), citando adecuadamente su publicación inicial en esta revista.
- Además, se anima a los autores a poner en línea su trabajo (p.e., en repositorios institucionales o en su propio sitio web) en cualquier momento antes o durante el proceso de envío, ya que eso puede conducir a intercambios productivos y a un número mayor y más temprano de citas del trabajo publicado (Ver The Effect of Open Access).








