L'établissement de standards de performance pour évaluer les compétences professionnelles minimales requises pour exercer la profession d'acupuncteur au Québec

La reconnaissance des acquis expérientiels des candidats formés à l’étranger représente un enjeu important, notamment au regard du processus d’admission au sein d’un ordre professionnel réglementé. La possibilité de contribuer à l’amélioration de ce processus, qui nous a interpellés, nous a menés à nous questionner : comment établir des standards de performance destinés à évaluer les compétences professionnelles des acupuncteurs formés à l’étranger désirant faire reconnaître leurs acquis expérientiels dans le contexte d’une épreuve clinique afin de favoriser l’accès au permis d’exercice de la profession d’acupuncteur au Québec? C’est cette question qui nous a conduits à réaliser une recherche-action en mesure et évaluation. Pour ce faire, une adaptation du modèle de Doran, l’I-SMART, a d’abord servi à élaborer et à valider les 23 tâches et les 149 items de l’épreuve d’observation clinique. Après avoir recensé les méthodes courantes d’établissement de standards, nous avons développé une méthode alternative à celle d’Ebel. Cette méthode a ensuite été mise à l’essai auprès de panélistes regroupés en deux échantillons intentionnels, auxquels nous avons d’abord proposé des descripteurs élaborés pour deux échelles de mesure renouvelées (difficulté perçue; efficience attendue) et la taxonomie de Bloom a été intégrée à l’échelle de performance (difficulté-efficience). Certains éléments d’autres méthodes ont également été intégrés à la démarche. Quatre opérations itératives avec rétroactions ont ainsi été retenues : la catégorisation, l’assignation, la mise en rang et la délimitation. Lors de la mise à l’essai, les panélistes ont été soumis à quatre rondes de notation par phase; trois individuelles et une consensuelle. Une série de matrices ont par la suite permis, à l’aide l’algorithme d’Ebel, d’établir les standards individuels et consensuels pour chaque panel et un algorithme a été développé pour la collecte et le traitement des données. La deuxième phase s’est limitée aux zones d’incertitude résultant de la liste ordonnée des items de la première phase. L’accord interjuges de la première phase a pu être vérifié par une analyse corrélationnelle linéaire et grâce à l’échelle de Guilford (1965). Au final, une fois la liste ordonnée des items constituée, un double standard a été établi sur la base du pourcentage d’items moyens issus des consensus de l’ensemble des panels. Comme nous l’avions anticipé, l’expérimentation s’est déroulée dans le temps imparti et a, pour l’épreuve clinique et pour chacune des 23 tâches I-SMART, permis d’établir des standards de performance raisonnables et acceptés par les parties prenantes. Au terme des catégorisations individuelles, les zones d’incertitude avaient été fortement réduites et un degré d’accord consensuel élevé a été observé pour les items résiduels. Au final, sept points de coupure ont permis de délimiter huit catégories de performance. Tout comme Cizek (2012) le préconise, cette méthode alternative a l’avantage de fournir des balises claires sur lesquelles appuyer les jugements et, grâce à des algorithmes, d’être économique, fiable et efficace, en plus de fournir des résultats valides et applicables. Dans la présente recherche-action, les standards établis se limitent à leur acceptabilité auprès de l’Ordre des acupuncteurs du Québec. Ils sont applicables dans d’autres contextes. En effet, ces standards reposent sur un procédé d’inférence ayant mené à des conclusions logiques fondées sur un raisonnement déductif et, considérant la petite taille de l’échantillon, à l’acceptation incontestée des données. Les nombreuses catégories de performance représentent toutefois un inconvénient à la méthode alternative proposée et celles-ci devraient être revues à la baisse. Cela étant, outre quelques items ou tâches, les mesures estimées grâce à la modélisation multifacette de Rasch indiquent, en moyenne, un bon degré de précision et de fiabilité, une discrimination acceptable ainsi que des indices de rajustement satisfaisants entre les patrons de réponse observés et ceux prédits par le modèle multifacette. La cohérence interne au sein de la méthode alternative proposée s’avère ainsi satisfaisante, la répartition des items et des tâches se révèle équilibrée et, comme mentionné précédemment, il appert que certaines catégories peu utilisées pourraient être retranchées sans nuire aux résultats. _____________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : établissement de standards, standards de performance, méthode d’Ebel, méthode de l’appariement au descripteur de l’item, méthode d’Angoff, évaluation des compétences professionnelles, approche par compétences, reconnaissance des compétences, référentiel de compétences

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.