Web-Based Portal for Impact Evaluation Reveals Information Needs for Museums, Libraries and Archives
Notice bibliographique
Résumé
Objective – This study reports on research into the information and support needs of practitioners in the museum, archive, and library sectors, who are undergoing an impact evaluation. Design – Qualitative survey. Setting – Web-based questionnaire. Subjects – Twenty-one practitioners in the fields of museums, archives, and libraries. Methods – The study made use of a small-scale web portal that provides impact evaluation research findings, toolkits, and examples of methods. The portal’s intent was to present to the users multiple views of the available information in order to overcome the problem of users not being able to identify their needs. A purposive sample group consisting of 50 practitioners from the museum, library, and archive fields was invited to participate in a questionnaire evaluating the website. Main Results – Despite a fairly low response rate (49%) and poor distribution among the three sectors (museums, libraries, and archives), the results indicated a significant difference in the levels of knowledge and understanding of impact evaluation. Over half of the organizations surveyed had done some assessment of their institution’s economic impact, and there appears to be a rising trend towards doing impact studies for specific projects and developments. Nearly a quarter of the organizations had not undertaken any impact evaluation study previously. Practitioners already familiar with impact evaluation tended to look at broader range of fields for expertise, whereas those with less familiarity remained within their own sector. Practitioners with less experience preferred tools, guidance, and examples of methodologies as opposed to actual evidence of impact. The results also provided the authors with feedback on their web portal and how to organize the information therein. Conclusions – One of the findings of the study was that the overall reaction to impact evaluation support through research evidence, guidance, and other mechanisms was positive. For most practitioners, evaluation itself and the level of understanding of impact evaluation are at early stages. The primary goals for those undertaking impact evaluation were found to be professional and organizational learning, thus there is a need for practical help and guidance in these areas. Time limitation appeared to be a significant factor in the responses – particularly with smaller organizations – suggesting that their portal material would provide much-needed assistance to such organizations. Finally, it was concluded that future emphasis should be placed on developing practical applications rather than pure research.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,012 | 0,028 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,003 | 0,004 |
| Études des sciences et des technologies | 0,002 | 0,001 |
| Communication savante | 0,004 | 0,006 |
| Science ouverte | 0,001 | 0,003 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,012 | 0,002 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».