Desenvolvimento de um framework com estratégias de avaliação de agentes conversacionais educacionais
Bibliographic record
Abstract
O crescimento das tecnologias de informação e comunicação tem demonstrado uma série de ferramentas desenvolvidas para as mais diversas finalidades, entre elas, as ferramentas que possibilitam o envio de mensagens instantâneas e proporcionam uma comunicação em tempo real, como é o caso dos agentes conversacionais, que permitem a participação e intervenção dos sujeitos, promovendo, dessa forma, a interação de um para um. Um agente conversacional mantém um diálogo com quem o utiliza, por meio de perguntas realizadas pelo estudante, mediante texto, simulando um tutor pedagógico que provê suporte ao ensino de conteúdo. De fato, avaliar e construir agentes conversacionais educacionais é um desafio, pois, atualmente, o uso de agentes demanda referências específicas para apoiar a avaliação de agentes conversacionais educacionais por conta de métricas de avaliação da qualidade de software. Nesse sentido, a pesquisa desenvolvida na presente tese resultou na construção de um framework com métricas de avaliação de software, passíveis de serem usadas na avaliação de chatbots em contexto educacional. O conjunto destas métricas foi pensado também como apoio para orientar a construção de um agente conversacional educacional. O framework envolveu métricas de avaliação de software da NBR-ISO IEC-25010 e métricas de trabalhos relacionados que abordam a avaliação de agentes conversacionais. Ademais, um aplicativo web, denominado ChatAval, foi desenvolvido com a finalidade de automatizar a definição das funcionalidades de categorias, métricas, avaliações e de apoiar a criação de questionário e entrega das avaliações com indicadores resultantes das respostas já calculadas automaticamente. O procedimento metodológico adotado neste estudo consiste em uma pesquisa exploratória e descritiva, caracterizada por procedimentos bibliográficos, documentais e estudo de caso. O estudo de campo envolveu alunos do Curso Técnico em Informática para Internet do Senac, unidade São Leopoldo-RS, com os quais foi trabalhado o uso dos agentes conversacionais METIS, ATENA e ALTEIA, que já vêm sendo estudados e desenvolvidos no contexto do Projeto AVATAR (Ambiente Virtual de Aprendizagem e Trabalho Acadêmico Remoto), da Universidade Federal do Rio Grande do Sul. O framework foi validado por um conjunto de especialistas. Neste trabalho, foram considerados especialistas os profissionais que atuam com Tecnologia da Informação e não têm vivências ou experiências na docência; professores de diversas áreas da educação, mas que usam as tecnologias no contexto de suas disciplinas; e profissionais formados nas áreas de Ciência da Computação, Sistemas de Informação, Licenciatura em Computação e outras formações, os quais atuam como docentes na área de Tecnologia da Informação. A coleta de dados envolveu três fases: levantamento do perfil dos sujeitos; atividades práticas de programação com os alunos, a fim de realizar um teste piloto nas funcionalidades do ChatAval a partir da avaliação dos agentes METIS, ATENA e ALTEIA; e a avaliação e validação das métricas que compõem o framework pelos especialistas. Os resultados das Fases 1 e 2 apontam que as funcionalidades do ChatAval foram validadas com sucesso. Já em relação ao resultado do framework, nenhum dos especialistas rejeitou ou sugeriu que fosse excluída uma determinada métrica, mas que fossem realizados pequenos ajustes em relação ao texto ou realocação para uma outra categoria, o que demonstra que as métricas com origem dos trabalhos relacionados, bem como as métricas da ISO/IEC 25010 atenderam, de forma satisfatória, a composição do framework.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.011 | 0.020 |
| Meta-epidemiology (narrow) | 0.002 | 0.001 |
| Meta-epidemiology (broad) | 0.001 | 0.002 |
| Bibliometrics | 0.004 | 0.003 |
| Science and technology studies | 0.002 | 0.003 |
| Scholarly communication | 0.010 | 0.009 |
| Open science | 0.003 | 0.006 |
| Research integrity | 0.002 | 0.003 |
| Insufficient payload (model declined to judge) | 0.006 | 0.002 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".