Ce que disent les étudiants au sujet des enseignements : analyse textuelle des commentaires
Notice bibliographique
Résumé
La communication proposée par les auteurs s'ancre dans le champ de l'évaluation des enseignements par les étudiants. Plus précisément, elle s'intéresse à l'analyse de réponses d'étudiants à une question ouverte proposée dans un questionnaire d'évaluation rempli à l'issu de chaque année académique. Cette démarche d'analyse inscrite dans un processus de recherche structuré en trois étapes (Kozlowski, Artus & Derobertmasure, 2014). Cette communication, basée sur l'étude du contenu des réponses ouvertes formulées par les étudiants, consiste à parvenir à une lecture thématique des commentaires formulés par les étudiants. Cette analyse sera réalisée sur la base du modèle de la situation d'enseignement apprentissage (Dehon et Derobertmasure, 2012) et adapté à l'enseignement supérieur. Ces adaptations sont réalisées sur la base des travaux de Winer, Di Genova, Vungoc et Talsma (2012), qui proposent quatre catégories de sujets sur lesquels peuvent porter les commentaires des étudiants lorsque ceux-ci ne sont pas d'ordre général : (1) les éléments que l'enseignant peut améliorer (instructor influence), tels que les stratégies d'enseignement utilisées et les activités proposées ; (2) la responsabilité partagée entre l'enseignant et les étudiants (shared instructor/students), c'est-à-dire les éléments tels que l'intérêt et la communication qui ne reposent pas uniquement sur l'enseignant ; (3) la responsabilité partagée entre l'enseignant et l'administration (shared instructor/administration), c'est-à-dire les éléments relatifs à l'organisation administrative,à l'élaboration des programmes de cours... ; (4) les traits personnels de l'enseignant (personal traits of the instructor), tels que l'accent, l'apparence... In fine, les résultats issus de l'application de ce cadre d'analyse permettront d'assurer, auprès des enseignants « évalués », un retour d'informations objectivées, à visée formative et en lien avec leur pratique d'enseignement. Références : Kozlowski, D., Artus, F. & Derobertmasure, A. (2014 - à paraitre). Evaluation des enseignements par les étudiants Modélisation des réponses aux questions ouvertes dans le cadre de l'évaluation pédagogique annuelle à l'Université de Mons (Belgique). Actes du colloque de l'ADMEE - Maroc. Derobertmasure, A. & Dehon, A. (2012).Développement de la réflexivité et décodage de l'action : questions de méthode. Phronesis, 2. Winer, L., Di Genova, L., Vungoc, P.-A. & Talsma, S. (2012). Interpreting end-of-course evaluation results. Montreal: Teaching and Learning Services, McGill University.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,003 | 0,002 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,001 |
| Études des sciences et des technologies | 0,004 | 0,002 |
| Communication savante | 0,000 | 0,001 |
| Science ouverte | 0,001 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,003 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; les deux têtes enseignantes s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».