Ce que disent les étudiants au sujet des enseignements : analyse textuelle des commentaires
Notice bibliographique
Résumé
La communication proposée par les auteurs s'ancre dans le champ de l'évaluation des enseignements par les étudiants. Plus précisément, elle s'intéresse à l'analyse de réponses d'étudiants à une question ouverte proposée dans un questionnaire d'évaluation rempli à l'issu de chaque année académique. Cette démarche d'analyse inscrite dans un processus de recherche structuré en trois étapes (Kozlowski, Artus & Derobertmasure, 2014). Cette communication, basée sur l'étude du contenu des réponses ouvertes formulées par les étudiants, consiste à parvenir à une lecture thématique des commentaires formulés par les étudiants. Cette analyse sera réalisée sur la base du modèle de la situation d'enseignement apprentissage (Dehon et Derobertmasure, 2012) et adapté à l'enseignement supérieur. Ces adaptations sont réalisées sur la base des travaux de Winer, Di Genova, Vungoc et Talsma (2012), qui proposent quatre catégories de sujets sur lesquels peuvent porter les commentaires des étudiants lorsque ceux-ci ne sont pas d'ordre général : (1) les éléments que l'enseignant peut améliorer (instructor influence), tels que les stratégies d'enseignement utilisées et les activités proposées ; (2) la responsabilité partagée entre l'enseignant et les étudiants (shared instructor/students), c'est-à-dire les éléments tels que l'intérêt et la communication qui ne reposent pas uniquement sur l'enseignant ; (3) la responsabilité partagée entre l'enseignant et l'administration (shared instructor/administration), c'est-à-dire les éléments relatifs à l'organisation administrative,à l'élaboration des programmes de cours... ; (4) les traits personnels de l'enseignant (personal traits of the instructor), tels que l'accent, l'apparence... In fine, les résultats issus de l'application de ce cadre d'analyse permettront d'assurer, auprès des enseignants « évalués », un retour d'informations objectivées, à visée formative et en lien avec leur pratique d'enseignement. Références : Kozlowski, D., Artus, F. & Derobertmasure, A. (2014 - à paraitre). Evaluation des enseignements par les étudiants Modélisation des réponses aux questions ouvertes dans le cadre de l'évaluation pédagogique annuelle à l'Université de Mons (Belgique). Actes du colloque de l'ADMEE - Maroc. Derobertmasure, A. & Dehon, A. (2012).Développement de la réflexivité et décodage de l'action : questions de méthode. Phronesis, 2. Winer, L., Di Genova, L., Vungoc, P.-A. & Talsma, S. (2012). Interpreting end-of-course evaluation results. Montreal: Teaching and Learning Services, McGill University.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,029 | 0,149 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,005 | 0,005 |
| Études des sciences et des technologies | 0,007 | 0,009 |
| Communication savante | 0,012 | 0,013 |
| Science ouverte | 0,002 | 0,006 |
| Intégrité de la recherche | 0,004 | 0,006 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,012 | 0,004 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».