MétaCan
Menu
Back to cohort
Record W7042922413

Rapport général du projet Collego : grille d'évaluation, expérimentation et évaluation de didacticiels en chimie et physique, création de didacticiels en mathématiques /

2015· other· fr· W7042922413 on OpenAlexaboutno aff

Bibliographic record

VenueBibliothèque et Archives nationales du Québec (Québec government) · 2015
Typeother
Languagefr
FieldSocial Sciences
TopicEducational Tools and Methods
Canadian institutionsnot available
FundersOffice of International Science and Engineering
KeywordsContext (archaeology)Work (physics)Identification (biology)
DOInot available

Abstract

fetched live from OpenAlex

Après trois années et demie de travail acharné, dont les deux dernières sans dégrèvement, il nous est force de constater que notre "réalisme!"du début était empreint d'illusions.Nous avions embrassé trop d'ambitions pour le temps et les moyens è notre disposition.Nous avons atteint tous nos objectifs, même si, en cours de route, nous avons décidé de nous ajouter du travail en esquissant le profil informatique des étudiants de sciences du réseau collégial québécois.Nous les avons atteints, mais en un temps plus long que prévu.Pour fournir un rapport général fignolé è notre goût, il nous faudrait un autre délai.Cependant, nous sommes conscients que plus le rapport tarde, plus il vieillit et plus il risque de ne présenter qu'un intérêt historique.C'est pourquoi nous sacrifions la "perfection" pour vous faire part, dès maintenant, de l'ensemble de nos résultats.Homme enthousiaste, Robert accepte de collaborer avec l'étudiant et il lui suggère de communiquer avec Pierre Vaillancourt, professeur de mathématiques et Pierre Desautels, professeur de physique.Ces deux derniers sont, eux aussi, intéressés par le projet.Pendant que l'étudiant réussit à obtenir le matériel informatique qui lui sera nécessaire sur la Côte Nord, les trois professeurs consultent les catalogues de logiciels.En se fiant aux titres, presque les deux tiers des cours de chimie seraient couverts, mais beaucoup moins en mathématiques et en physique.De plus, la seule lecture des catalogues ne renseigne pas sur la valeur des produits et il ne semble en exister aucune évaluation.Cette constatation contient les germes du projet Collego.En décembre 82, nos trois larrons ainsi que Renée Desautels, épouse de Pierre, se rencontrent au restaurant "Le Gavroche" pour faire plus ample connaissance et pour discuter ensemble de la possibilité d' un projet commun.Si Renée apparaît dans le décor, c'est qu'elle porte beaucoup d'intérêt au projet et qu'elle remplace Pierre qui ne peut continuer, présentant lui-même èPROS1P, le projet Piago, sur la pensée formelle et l'ordinateur.C'est ce soir-lè qu'à nous trois: Robert Litzler, chimie, Pierre Vaillancourt, mathématiques, et Renée Desautels, physique, nous formons officiellement l'équipe Collego.Tout au long de la première année, Pierre Desautels participera è nos travaux de réflexion sur les critères de qualité d'un didacticiel et sur son évaluation.L'étudiant ne nous donna plus de nouvelles et disparut, mais il nous laissa un énorme projet que nous avions le goût de réaliser.Notre enthousiasme était grand, mais de nombreux problèmes nous attendaient. ProblématiqueNotre objectif initial, c'était de rendre possible l'apprentissage de la chimie, des mathématiques et de la physique des cours du niveau collégial, parle biais principal de l'ordinateur.Pour cela, il fallait, entre autres, un ensemble important de didacticiels couvrant la totalité de la matière.Existait-il déjà sur le marché des produits qui répondraient è nos besoins?Tenter de répondre è cette question fut notre premier problème.Nous fûmes confrontés àune pile de catalogues qui décrivaient très sommairement les didacticiels proposés.Le même produit semblait être offert sous divers titres par plusieurs éditeurs différents.Aucune indication vraiment utile ne pouvait guider notre choix, d'autant plus qu'il ne semblait exister aucun relevé exhaustif des productions nordaméricaines et européennes de didacticiels, encore moins une évaluation basée sur des critères bien définis et appuyée par de l'expérimentation.Certaines évaluations partielles avaient été réalisées par l'équipe Denis de Sherbrooke et la DGME, avait produit, entre autres, un catalogue de didacticiels québécois (1981).Cependant, è notre connaissance, après une vérification bibliographique, aucune grille d'évaluation, tant quantitative que qualitative, n'avait été éprouvée jusque lors.N'étant sûrs de rien et ne pouvant nous repérer sur aucune balise, il nous était difficile de déterminer ce qui était valable.Nous avions pu visionner quelques didacticiels commerciaux dont la qualité était variable et rarement satisfaisante.Il nous semblait alors que la plupart des producteurs, avant de produire un logiciel éducatif, se posaient peu de questions sur le rôle de l'ordinateur dans l'enseignement, sur les objectifs pédagogiques des cours que le didacticiel doit appuyer, sur le type de relations qui doivent exister entre l'étudiant, le professeur et l'ordinateur.Il nous a donc paru nécessaire et urgent de nous interroger sur la place de l'ordinateur dans l'enseignement, de déterminer des critères de qualité, d'efficacité et de pertinence des didacticiels et d'évaluer le marché existant avant de plonger dans le tourbillon de la production.C'est pourquoi nous avons élaboré le projet suivant: mettre au point une grille d'évaluation de didacticiels, expérimenter un bon nombre de didacticiels afin de les évaluer et d'éprouver notre grille, produire au moins un didacticiel par discipline, soit par création originale, soit par traduction et adaptation, et, enfin, assurer une large diffusion de nos résultats afin qu'ils puissent réellement servir è la communauté de renseignement, plus particulièrement è celle du niveau collégial.I GRILLE DEVALUATION DE PRODUIT DIDACTIQUE INFORMATISE Après avoir brièvement fait l'historique du cheminement de l'équipe en évaluation et de ses diverses sources d'inspiration, nous indiquerons dans quel esprit ou selon quel mode l'évaluation s'est déroulée: conception de la grille, type d'expérimentation, énumération des éléments de la grille.Ensuite, nous attirerons votre attention sur les particularités de chacun des trois éléments de l'évaluation, soit la description, la grille, versions détaillée et abrégée, et la liste des points forts, des points faibles et des emplois possibles du produit, et nous expliquerons comment nous avons utilisé ces différentes sections de la fiche d'évaluation.Enfin, nous parlerons de ce qui n'apparaît pas dans notre évaluation, les recommandations.HISTORIQUE Au mois de janvier 1983, lorsque nous nous sommes réunis pour mettre au point la présentation d'un projet commun d'évaluation de didacticiels, nous avions déjà, chacun, notre petite idée de ce qu'était un "bon" didacticiel!Nous avons confronté nos idées personnelles, les résultats de nos échanges avec des collègues et ceux de nos expériences "d'ordinateur" avec les étudiants.Nous avons mis au point une première version de grille d'évaluation, version qui se modifiait au fur et è mesure de notre évolution, due è la réflexion, aux discussions et à l'expérimentation de didacticiels et de la grille auprès d'étudiants et d'enseignants.La grille comportait alors quelques centaines de points et sous-points qui se rapportaient aussi bien a la description du produit qu'à son évaluation.Sous cette forme, la grille était difficilement utilisable, car trop touffue.Nous l'avons donc divisée en deux sections clairement délimitées: une première partie, consacrée uniquement è la description la plus complète possible du produit et, une seconde, fournissant l'évaluation détaillée du produit.C'est alors que nous avons consulté les grilles d'évaluation de messieurs Mataigne et Malone, qui venaient tout juste de paraître, pour constater que leurs grilles recoupaient la nôtre.Même si la nôtre était déjà beaucoup plus imposante que les leurs quant è la quantité d'aspects évalués, nous n'avons pas hésité è y intégrer les quelques éléments qui apparaissaient dans leurs grilles et que nous avions oubliés.Avec ces ajouts, la partie "évaluation" de notre grille était devenue très lourde.Nous avons donc regroupé questions et sous-questions en six thèmes: aspect technique, aspect scientifique, aspect pédagogique, efficacité, pertinence et valeur sociale du produit didactique informatisé.Nous avons alors décidé que la section "évaluation proprement dite" aurait deux versions, l'une abrégée et l'autre, détaillée.En plus, la version abrégée serait accompagnée d'un court texte indiquant les principaux points forts et points faibles du produit, certains de ses emplois possibles et une recommandation.C'est è ce moment que nous avons eu connaissance de la grille "Microsift de l'Oregon" (Evaluator's Guide for Microcomputer-Based Instructional Packages, Developed by MicroSift, University of Oregon).Les grilles "Collego" et "Microsift" se ressemblaient beaucoup: tous les thèmes et sous-thèmes étaient abordés dans les deux grilles, mais regroupés et présentés différemment.Une fois de plus, nous n'avons pas hésité a intégrer ê notre grille quelques détails empruntés a la grille de l'Oregon.En outre, nous nous sommes fortement inspirés de cette grille pour la présentation matérielle de la version abrégée de la nôtre.Nous sommes donc redevables aux auteurs de la grille Microsift et nous sommes heureux de rendre à César ce qui appartient è César.En fait, les deux grilles étaient si compatibles que nous aurions pu utiliser la leur tout aussi bien que la nôtre.Si nous avons conservé la nôtre, c'est que nous y avions tellement travaillé et, aussi, qu'elle représentait le résultat de notre cheminement.Cependant, nous étions contents de constater que les travaux de deux équipes indépendantes et sans contact l'une avec l'autre convergeaient dans une même direction et selon un même esprit.Nous avons continué è expérimenter des didacticiels auprès des étudiants et des enseignants et, par conséquent, è expérimenter notre grille.Toutes ces expérimentations nous ont amenés a croire qu'il était bien difficile de faire une recommandation ferme quant à l'emploi ou au rejet d'un produit.Nous 8vons décidé de ne pas faire ce genre de recommandation, mais plutôt d'insister davantage sur les points forts et les points faibles du produit ainsi que sur ses emplois possibles, complétant ainsi la description du didacticiel.Nous avons été confortés dans cette dernière décision lorsque nous avons pris connaissance des travaux de l'équipe d'évaluation de l'IRNS-éduc

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.

How this classification was reachedexpand

Full frame machine prediction

Teacher imitation

Not calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.

metaresearch head score (Codex)0.057
metaresearch head score (Gemma)0.073
Version: metacan-v3-hybrid-931329e0061cValidation status: machine_predicted_unvalidated
Candidate categoriesnone
Consensus categoriesnone
DomainCandidate signal: none · Consensus signal: none
Study designCandidate signal: Not applicable · Consensus signal: none
GenreCandidate signal: Empirical · Consensus signal: Empirical
Teacher disagreement score0.994
Threshold uncertainty score0.302

Distilled classifier scores by category (both heads)

CategoryCodexGemma
Metaresearch0.0570.073
Meta-epidemiology (narrow)0.0020.001
Meta-epidemiology (broad)0.0010.001
Bibliometrics0.0050.003
Science and technology studies0.0040.005
Scholarly communication0.0110.006
Open science0.0020.011
Research integrity0.0030.005
Insufficient payload (model declined to judge)0.0110.005

Machine scores (provisional)

The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.

Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.

Opus teacher head0.032
GPT teacher head0.331
Teacher spread0.299 · how far apart the two teachers sit on this one work
Validation statusscore_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from it

Classification

machine, unvalidated

Machine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.

The models applied no category: nothing in the taxonomy fit this work.
Study designNot applicable
Domainnot available
GenreEmpirical

How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".

Quick stats

Citations0
Published2015
Admission routes1
Has abstractyes

Explore more

Same venueBibliothèque et Archives nationales du Québec (Québec government)Same topicEducational Tools and MethodsFrench-language works237,207