Rapport général du projet Collego : grille d'évaluation, expérimentation et évaluation de didacticiels en chimie et physique, création de didacticiels en mathématiques /
Why this work is in the frame
A frame that forgets how it found something cannot be audited. These are the routes that admitted this work.
Bibliographic record
Abstract
Aprs trois annes et demie de travail acharn, dont les deux dernires sans dgrvement, il nous est force de constater que notre "ralisme!"du dbut tait empreint d'illusions.Nous avions embrass trop d'ambitions pour le temps et les moyens notre disposition.Nous avons atteint tous nos objectifs, mme si, en cours de route, nous avons dcid de nous ajouter du travail en esquissant le profil informatique des tudiants de sciences du rseau collgial qubcois.Nous les avons atteints, mais en un temps plus long que prvu.Pour fournir un rapport gnral fignol notre got, il nous faudrait un autre dlai.Cependant, nous sommes conscients que plus le rapport tarde, plus il vieillit et plus il risque de ne prsenter qu'un intrt historique.C'est pourquoi nous sacrifions la "perfection" pour vous faire part, ds maintenant, de l'ensemble de nos rsultats.Homme enthousiaste, Robert accepte de collaborer avec l'tudiant et il lui suggre de communiquer avec Pierre Vaillancourt, professeur de mathmatiques et Pierre Desautels, professeur de physique.Ces deux derniers sont, eux aussi, intresss par le projet.Pendant que l'tudiant russit obtenir le matriel informatique qui lui sera ncessaire sur la Cte Nord, les trois professeurs consultent les catalogues de logiciels.En se fiant aux titres, presque les deux tiers des cours de chimie seraient couverts, mais beaucoup moins en mathmatiques et en physique.De plus, la seule lecture des catalogues ne renseigne pas sur la valeur des produits et il ne semble en exister aucune valuation.Cette constatation contient les germes du projet Collego.En dcembre 82, nos trois larrons ainsi que Rene Desautels, pouse de Pierre, se rencontrent au restaurant "Le Gavroche" pour faire plus ample connaissance et pour discuter ensemble de la possibilit d' un projet commun.Si Rene apparat dans le dcor, c'est qu'elle porte beaucoup d'intrt au projet et qu'elle remplace Pierre qui ne peut continuer, prsentant lui-mme PROS1P, le projet Piago, sur la pense formelle et l'ordinateur.C'est ce soir-l qu' nous trois: Robert Litzler, chimie, Pierre Vaillancourt, mathmatiques, et Rene Desautels, physique, nous formons officiellement l'quipe Collego.Tout au long de la premire anne, Pierre Desautels participera nos travaux de rflexion sur les critres de qualit d'un didacticiel et sur son valuation.L'tudiant ne nous donna plus de nouvelles et disparut, mais il nous laissa un norme projet que nous avions le got de raliser.Notre enthousiasme tait grand, mais de nombreux problmes nous attendaient. ProblmatiqueNotre objectif initial, c'tait de rendre possible l'apprentissage de la chimie, des mathmatiques et de la physique des cours du niveau collgial, parle biais principal de l'ordinateur.Pour cela, il fallait, entre autres, un ensemble important de didacticiels couvrant la totalit de la matire.Existait-il dj sur le march des produits qui rpondraient nos besoins?Tenter de rpondre cette question fut notre premier problme.Nous fmes confronts une pile de catalogues qui dcrivaient trs sommairement les didacticiels proposs.Le mme produit semblait tre offert sous divers titres par plusieurs diteurs diffrents.Aucune indication vraiment utile ne pouvait guider notre choix, d'autant plus qu'il ne semblait exister aucun relev exhaustif des productions nordamricaines et europennes de didacticiels, encore moins une valuation base sur des critres bien dfinis et appuye par de l'exprimentation.Certaines valuations partielles avaient t ralises par l'quipe Denis de Sherbrooke et la DGME, avait produit, entre autres, un catalogue de didacticiels qubcois (1981).Cependant, notre connaissance, aprs une vrification bibliographique, aucune grille d'valuation, tant quantitative que qualitative, n'avait t prouve jusque lors.N'tant srs de rien et ne pouvant nous reprer sur aucune balise, il nous tait difficile de dterminer ce qui tait valable.Nous avions pu visionner quelques didacticiels commerciaux dont la qualit tait variable et rarement satisfaisante.Il nous semblait alors que la plupart des producteurs, avant de produire un logiciel ducatif, se posaient peu de questions sur le rle de l'ordinateur dans l'enseignement, sur les objectifs pdagogiques des cours que le didacticiel doit appuyer, sur le type de relations qui doivent exister entre l'tudiant, le professeur et l'ordinateur.Il nous a donc paru ncessaire et urgent de nous interroger sur la place de l'ordinateur dans l'enseignement, de dterminer des critres de qualit, d'efficacit et de pertinence des didacticiels et d'valuer le march existant avant de plonger dans le tourbillon de la production.C'est pourquoi nous avons labor le projet suivant: mettre au point une grille d'valuation de didacticiels, exprimenter un bon nombre de didacticiels afin de les valuer et d'prouver notre grille, produire au moins un didacticiel par discipline, soit par cration originale, soit par traduction et adaptation, et, enfin, assurer une large diffusion de nos rsultats afin qu'ils puissent rellement servir la communaut de renseignement, plus particulirement celle du niveau collgial.I GRILLE DEVALUATION DE PRODUIT DIDACTIQUE INFORMATISE Aprs avoir brivement fait l'historique du cheminement de l'quipe en valuation et de ses diverses sources d'inspiration, nous indiquerons dans quel esprit ou selon quel mode l'valuation s'est droule: conception de la grille, type d'exprimentation, numration des lments de la grille.Ensuite, nous attirerons votre attention sur les particularits de chacun des trois lments de l'valuation, soit la description, la grille, versions dtaille et abrge, et la liste des points forts, des points faibles et des emplois possibles du produit, et nous expliquerons comment nous avons utilis ces diffrentes sections de la fiche d'valuation.Enfin, nous parlerons de ce qui n'apparat pas dans notre valuation, les recommandations.HISTORIQUE Au mois de janvier 1983, lorsque nous nous sommes runis pour mettre au point la prsentation d'un projet commun d'valuation de didacticiels, nous avions dj, chacun, notre petite ide de ce qu'tait un "bon" didacticiel!Nous avons confront nos ides personnelles, les rsultats de nos changes avec des collgues et ceux de nos expriences "d'ordinateur" avec les tudiants.Nous avons mis au point une premire version de grille d'valuation, version qui se modifiait au fur et mesure de notre volution, due la rflexion, aux discussions et l'exprimentation de didacticiels et de la grille auprs d'tudiants et d'enseignants.La grille comportait alors quelques centaines de points et sous-points qui se rapportaient aussi bien a la description du produit qu' son valuation.Sous cette forme, la grille tait difficilement utilisable, car trop touffue.Nous l'avons donc divise en deux sections clairement dlimites: une premire partie, consacre uniquement la description la plus complte possible du produit et, une seconde, fournissant l'valuation dtaille du produit.C'est alors que nous avons consult les grilles d'valuation de messieurs Mataigne et Malone, qui venaient tout juste de paratre, pour constater que leurs grilles recoupaient la ntre.Mme si la ntre tait dj beaucoup plus imposante que les leurs quant la quantit d'aspects valus, nous n'avons pas hsit y intgrer les quelques lments qui apparaissaient dans leurs grilles et que nous avions oublis.Avec ces ajouts, la partie "valuation" de notre grille tait devenue trs lourde.Nous avons donc regroup questions et sous-questions en six thmes: aspect technique, aspect scientifique, aspect pdagogique, efficacit, pertinence et valeur sociale du produit didactique informatis.Nous avons alors dcid que la section "valuation proprement dite" aurait deux versions, l'une abrge et l'autre, dtaille.En plus, la version abrge serait accompagne d'un court texte indiquant les principaux points forts et points faibles du produit, certains de ses emplois possibles et une recommandation.C'est ce moment que nous avons eu connaissance de la grille "Microsift de l'Oregon" (Evaluator's Guide for Microcomputer-Based Instructional Packages, Developed by MicroSift, University of Oregon).Les grilles "Collego" et "Microsift" se ressemblaient beaucoup: tous les thmes et sous-thmes taient abords dans les deux grilles, mais regroups et prsents diffremment.Une fois de plus, nous n'avons pas hsit a intgrer notre grille quelques dtails emprunts a la grille de l'Oregon.En outre, nous nous sommes fortement inspirs de cette grille pour la prsentation matrielle de la version abrge de la ntre.Nous sommes donc redevables aux auteurs de la grille Microsift et nous sommes heureux de rendre Csar ce qui appartient Csar.En fait, les deux grilles taient si compatibles que nous aurions pu utiliser la leur tout aussi bien que la ntre.Si nous avons conserv la ntre, c'est que nous y avions tellement travaill et, aussi, qu'elle reprsentait le rsultat de notre cheminement.Cependant, nous tions contents de constater que les travaux de deux quipes indpendantes et sans contact l'une avec l'autre convergeaient dans une mme direction et selon un mme esprit.Nous avons continu exprimenter des didacticiels auprs des tudiants et des enseignants et, par consquent, exprimenter notre grille.Toutes ces exprimentations nous ont amens a croire qu'il tait bien difficile de faire une recommandation ferme quant l'emploi ou au rejet d'un produit.Nous 8vons dcid de ne pas faire ce genre de recommandation, mais plutt d'insister davantage sur les points forts et les points faibles du produit ainsi que sur ses emplois possibles, compltant ainsi la description du didacticiel.Nous avons t conforts dans cette dernire dcision lorsque nous avons pris connaissance des travaux de l'quipe d'valuation de l'IRNS-ducation et de ceux de monsieur Della-Piena.Une fiche d'valuation Collego comporte donc, dans sa version finale, trois sections: descriptive du produit lui-mme, valuative abrge, descriptive des forces, faiblesses et possibilits d'emploi du produit.Les deux premires parties se prsentent sous forme objective alors qu'un c
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
Full frame distilled prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. Learned from the 10,348 direct Codex labels and 10,348 direct Gemma labels. Candidate is the union of thresholded teacher heads; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels or direct frontier model labels.
Codex and Gemma teacher scores by category
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.010 | 0.014 |
| Meta-epidemiology (narrow) | 0.001 | 0.001 |
| Meta-epidemiology (broad) | 0.001 | 0.000 |
| Bibliometrics | 0.001 | 0.001 |
| Science and technology studies | 0.001 | 0.001 |
| Scholarly communication | 0.001 | 0.002 |
| Open science | 0.001 | 0.000 |
| Research integrity | 0.000 | 0.001 |
| Insufficient payload (model declined to judge) | 0.008 | 0.000 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from it