Desenvolvimento de um framework com estratégias de avaliação de agentes conversacionais educacionais
Notice bibliographique
Résumé
O crescimento das tecnologias de informação e comunicação tem demonstrado uma série de ferramentas desenvolvidas para as mais diversas finalidades, entre elas, as ferramentas que possibilitam o envio de mensagens instantâneas e proporcionam uma comunicação em tempo real, como é o caso dos agentes conversacionais, que permitem a participação e intervenção dos sujeitos, promovendo, dessa forma, a interação de um para um. Um agente conversacional mantém um diálogo com quem o utiliza, por meio de perguntas realizadas pelo estudante, mediante texto, simulando um tutor pedagógico que provê suporte ao ensino de conteúdo. De fato, avaliar e construir agentes conversacionais educacionais é um desafio, pois, atualmente, o uso de agentes demanda referências específicas para apoiar a avaliação de agentes conversacionais educacionais por conta de métricas de avaliação da qualidade de software. Nesse sentido, a pesquisa desenvolvida na presente tese resultou na construção de um framework com métricas de avaliação de software, passíveis de serem usadas na avaliação de chatbots em contexto educacional. O conjunto destas métricas foi pensado também como apoio para orientar a construção de um agente conversacional educacional. O framework envolveu métricas de avaliação de software da NBR-ISO IEC-25010 e métricas de trabalhos relacionados que abordam a avaliação de agentes conversacionais. Ademais, um aplicativo web, denominado ChatAval, foi desenvolvido com a finalidade de automatizar a definição das funcionalidades de categorias, métricas, avaliações e de apoiar a criação de questionário e entrega das avaliações com indicadores resultantes das respostas já calculadas automaticamente. O procedimento metodológico adotado neste estudo consiste em uma pesquisa exploratória e descritiva, caracterizada por procedimentos bibliográficos, documentais e estudo de caso. O estudo de campo envolveu alunos do Curso Técnico em Informática para Internet do Senac, unidade São Leopoldo-RS, com os quais foi trabalhado o uso dos agentes conversacionais METIS, ATENA e ALTEIA, que já vêm sendo estudados e desenvolvidos no contexto do Projeto AVATAR (Ambiente Virtual de Aprendizagem e Trabalho Acadêmico Remoto), da Universidade Federal do Rio Grande do Sul. O framework foi validado por um conjunto de especialistas. Neste trabalho, foram considerados especialistas os profissionais que atuam com Tecnologia da Informação e não têm vivências ou experiências na docência; professores de diversas áreas da educação, mas que usam as tecnologias no contexto de suas disciplinas; e profissionais formados nas áreas de Ciência da Computação, Sistemas de Informação, Licenciatura em Computação e outras formações, os quais atuam como docentes na área de Tecnologia da Informação. A coleta de dados envolveu três fases: levantamento do perfil dos sujeitos; atividades práticas de programação com os alunos, a fim de realizar um teste piloto nas funcionalidades do ChatAval a partir da avaliação dos agentes METIS, ATENA e ALTEIA; e a avaliação e validação das métricas que compõem o framework pelos especialistas. Os resultados das Fases 1 e 2 apontam que as funcionalidades do ChatAval foram validadas com sucesso. Já em relação ao resultado do framework, nenhum dos especialistas rejeitou ou sugeriu que fosse excluída uma determinada métrica, mas que fossem realizados pequenos ajustes em relação ao texto ou realocação para uma outra categoria, o que demonstra que as métricas com origem dos trabalhos relacionados, bem como as métricas da ISO/IEC 25010 atenderam, de forma satisfatória, a composição do framework.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,011 | 0,020 |
| Méta-épidémiologie (sens strict) | 0,002 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,002 |
| Bibliométrie | 0,004 | 0,003 |
| Études des sciences et des technologies | 0,002 | 0,003 |
| Communication savante | 0,010 | 0,009 |
| Science ouverte | 0,003 | 0,006 |
| Intégrité de la recherche | 0,002 | 0,003 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,006 | 0,002 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».