Student chatbot use and perceptions in a course assignment: Comparing two geomatics courses
Notice bibliographique
Résumé
Recent advancements in generative AI have significantly impacted higher education, especially through the integration of AI chatbots in course design, teaching, administration, and student support. However, empirical research on chatbot use in Geomatics education remains limited, particularly regarding students’ choice of platforms, preferences for multimodal prompts, perceived quality of chatbot responses, challenges encountered, and follow-up strategies. To address this gap, we investigated how students used chatbots as part of a given discussion assignment in two university-level Geomatics courses offered in Spring 2025: Measurement Science (n = 20) and Geospatial Analysis (n = 25). As part of the discussion assignment students were tasked to design five prompts based on lecture content, submit them to one of seven chatbot platforms, rate the responses, and provide written justifications. Student interactions were analyzed using regression models that accounted for repeated prompts per student. These models examined how platform choice, prompt modality, and other prompt characteristics influence response ratings and follow-up behavior. Findings revealed distinct patterns. For example, students in Geospatial Analysis posed proportionally more conceptual than computational questions; follow-up prompts were more likely when chatbots produced computational errors than when explanations were unsatisfactory; and data-enhanced prompts (e.g., with tabular inputs) received lower ratings than textual ones, underscoring unmet expectations for chatbot-based GIS data processing. The study concludes with a set of best practice recommendations for chatbot use based on these two courses, which may inform Geomatics instruction in similar university-level courses. • Students rated chatbot responses more favorably for surveying-related prompts than for GIS-related prompts • Multimodal prompts encouraged greater curiosity and exploration among students • Computation-focused prompts produced more unsatisfactory responses and follow-up questions than conceptual prompts • Students used a range of follow-up strategies when initial responses were unsatisfactory • Guidance is needed to help students develop advanced prompting techniques
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,000 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,000 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,000 | 0,001 |
| Science ouverte | 0,001 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».