Speaking of Users: Assessing the Frequency, Consistency, and Depth of User-Related Internal Communication of Strong and Weak Novice Engineering Design Teams
Notice bibliographique
Résumé
Abstract In order for students on novice engineering design teams (NEDTs) to develop relevant, impactful products, it is important that they continuously engage potential users throughout their design processes. In successful user engagements, teams may identify individuals who can describe their experiences so students can elicit user needs and design requirements. Users may also provide feedback on design concepts and prototypes so students can iterate and improve their work. Finally, these individuals may connect students to other potential users so that the team can gain further perspectives. These interactions can significantly strengthen NEDTs’ design processes and outcomes. Unfortunately, instructors of NEDTs may not be present when students engage with off-campus users. This distance makes it difficult for instructors to assess how well teams are advancing in this critical aspect of design. However, instructors may have access to teams’ internal communication, which could help them track user engagement. To understand how student design teams communicate about users, we analyzed a database of 251,744 Slack messages sent by 16 Strong and 16 Weak NEDTs in a senior-level product design course. Searching for the instances in which team members used the word “user,” we found that Strong teams discussed users more consistently than Weak teams throughout the semester. All teams’ user-related conversations also peaked during periods of design convergence compared to divergence. Finally, to assess the depth of user discussion, a topic modeling analysis of the dataset revealed that Strong teams discussed users alongside more process-focused topics, while Weak teams discussed users alongside more task-focused topics. By elucidating these patterns, we provide valuable insights to instructors who are assessing and coaching NEDTs on user engagements. Student designers themselves can also use these findings to aid in monitoring and structuring their own internal team communication to ensure they are focusing on users consistently and deeply.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,012 | 0,078 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,000 |
| Bibliométrie | 0,005 | 0,002 |
| Études des sciences et des technologies | 0,001 | 0,001 |
| Communication savante | 0,004 | 0,003 |
| Science ouverte | 0,001 | 0,005 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,002 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».