Avaliação de Questões Discursivas Curtas por LLMs:

Desafios e Potenciais Aplicações Educacionais

Autores

  • Roberlei Alves Bertucci Universidade Tecnológica Federal do Paraná image/svg+xml
  • Osmar de Oliveira Braz Junior Universidade do Estado de Santa Catarina image/svg+xml
  • Renato Fileto Universidade Federal de Santa Catarina image/svg+xml

DOI:

https://doi.org/10.21814/lm.18.2.509

Palavras-chave:

correção automática de respostas discursivas curtas, ASAG, avaliação das respostas dos alunos, grandes modelos de linguagem, LLM

Resumo

A relação entre tecnologias emergentes e linguagem humana tem sido amplamente investigada, especialmente após a popularização de grandes modelos de linguagem (LLMs, do inglês Large Language Models) e de sua capacidade de interpretar e gerar textos. No contexto educacional, há intenso debate sobre o uso dessas tecnologias em sala de aula, seja por estudantes, docentes ou instituições. Considerando os avanços no uso de inteligência artificial (IA) na linguística computacional, a pesquisa justifica-se pela necessidade de integrar metodologias inovadoras na análise textual, mais especificamente, na avaliação de questões discursivas curtas (ASAG, do inglês, Automatic Short Answer Grading), respondidas por estudantes de graduação em uma atividade de interpretação textual. O estudo compara a avaliação humana, marcada por subjetividade, com as capacidades dos LLMs, cujo funcionamento se baseia em cálculos probabilísticos. A análise dos dados revelou um padrão de notas bastante próximo entre os dois avaliadores humanos, enquanto os LLMs apresentaram maior variação, tanto entre si quanto em relação aos humanos. A maior correlação positiva entre um LLM e os avaliadores humanos foi observada com o Gemini 3, em uma das variações de prompt propostas neste estudo. Esses achados indicam que ainda são necessários mais estudos para refinar a tarefa de ASAG em português. Ainda assim, desempenhos como os observados com o Gemini sugerem potencial de contribuição educacional, especialmente no apoio ao diagnóstico e ao feedback docente em questões discursivas curtas.

Biografias do Autor

  • Roberlei Alves Bertucci, Universidade Tecnológica Federal do Paraná

    Graduado em Letras Português-Inglês pela PUCPR (2004); mestre em Letras (Estudos Lingüísticos) pela UFPR (2007) e doutor em Lingüística pela USP (2011), tendo feito parte de seu doutorado na Université Paris 8 (2009-2010). Desenvolveu a pesquisa de pós-doutorado na Bar-Ilan University em Israel (2012). Atualmente é professor na Universidade Tecnológica Federal do Paraná (UTFPR) e pesquisador de pós-doutorado do PGLit/NuPILL da UFSC (2025-2026), com bolsa de professor visitante do CNPq. Interessa-se por diferentes processos gramaticais de produção de sentido em línguas naturais, como: sintaxe, semântica e pragmática das línguas naturais, em especial o português brasileiro; descrição e análise linguística nos domínios verbal e nominal, em especial por meio de ferramentas tecnológicas; e aplicação de fundamentos e descobertas linguísticas a ferramentas tecnológicas digitais; ensino de leitura e escrita. É bolsista produtividade da Fundação Araucária desde 2025.

  • Osmar de Oliveira Braz Junior, Universidade do Estado de Santa Catarina

    Possui graduação em Ciência da Computação pela Universidade do Sul de Santa Catarina (1997), mestrado em Engenharia de Produção pela Universidade Federal de Santa Catarina (2000) e doutorado em Ciência da Computação pela Universidade Federal de Santa Catarina (2025). Atualmente é professor adjunto da Universidade do Estado de Santa Catarina (UDESC) e professor horista da Universidade do Sul de Santa Catarina (UNISUL). Tem experiência na área de Ciência da Computação, com ênfase em Banco de Dados, atuando principalmente nos seguintes temas: educação a distância, programação, processamento de linguagem natural e banco de dados. 

  • Renato Fileto, Universidade Federal de Santa Catarina

    Renato Fileto é bacharel em Ciência da Computação pela Universidade Federal de Uberlândia (1992), mestre (1994) e doutor (2003) em Ciência da Computação pela Universidade Estadual de Campinas (UNICAMP), Brasil, com estágio no Georgia Institute of Technology, EUA (2002), e pós-doutorado pela Universidade de São Paulo (2012). Sua trajetória acadêmica tem sido marcada por atividades na indústria. Desde 2006, é professor titular do Departamento de Informática e Estatística (INE) da Universidade Federal de Santa Catarina (UFSC), em Florianópolis, SC, Brasil. Sua área de pesquisa é ciência de dados, com foco em sistemas inteligentes para análise de dados.

     

Downloads

Publicado

2026-11-17

Edição

Secção

Artigos de Investigação

Como Citar

Avaliação de Questões Discursivas Curtas por LLMs:: Desafios e Potenciais Aplicações Educacionais. (2026). Linguamática, 18(2). https://doi.org/10.21814/lm.18.2.509