Building a validity argument for the listening component of the Test de connaissance du français in the context of Quebec immigration

L’évaluation linguistique est une pratique omniprésente dans les contextes d’immigration, utilisée comme une méthode de collecte de données pour évaluer la capacité des immigrants à communiquer dans la langue du pays d’accueil afin de promouvoir l’intégration sociale et économique ainsi que la productivité au travail (McNamara & Shohamy, 2008). Contrairement aux tests d’anglais, peu d’attention est accordée à l’interprétation et à l’utilisation des scores aux tests en français, ce qui incite - et demande – de la validation des scores pour justifier l’utilisation des tests. Cette étude, qui fait appel aux avancées de la théorie de la validité des tests (Kane, 2006, 2013), construit un argumentaire de validité pour la composante de la compréhension orale du Test de connaissance du français (TCF) dans le contexte de l’immigration au Québec. La théorie de la validité des tests a évolué considérablement depuis le modèle tripartite traditionnel de contenu, de prédiction et de construit (Cronbach et Meehl, 1955), a été conceptualisée comme un construit unitaire (Messick, 1989) et, plus récemment, a été théorisée en termes d’argumentation (Kane, 2006, 2013), empruntant des concepts de modèles d’inférence (Toulmin [1958], 2003), qui englobent des inférences de score, de généralisation, d’explication, d’extrapolation et de décision, ayant des rôles importants dans un argumentaire de validité. Dans une approche de validité fondée sur l’argumentation, les affirmations relatives aux instruments de mesure sont composées de garanties qui doivent être étayées par des études empiriques, qui sont fondamentales pour les affirmations, mais qui appuient également les inférences qui autorisent chacune des affirmations de l’argumentaire. Plus précisément, cette étude a analysé des données empiriques pour appuyer les inférences de scores, de généralisation et d’explication, en proposant trois questions de recherche portant sur la représentativité du construit du TCF, le fonctionnement différentiel d’items et l’utilité de la technique de collecte de données. Les questions ont porté sur les sous-compétences de compréhension orale dont le TCF évalue, le fonctionnement différentiel des items (FDI) selon le genre, la langue maternelle, l’âge et l’emplacement géographique des candidats ainsi que le fonctionnement des items à choix multiples dans l’évaluation de la compréhension orale en langue seconde. Bien que de nombreux modèles statistiques et de mesure soient couramment disponibles pour analyser les données de réponse aux tests, cette étude a privilégié l’analyse factorielle confirmatoire (AFC) pour examiner les sous-compétences de compréhension orale opérationnalisées dans le TCF, en spécifiant des modèles suivant les suggestions d’un comité d’experts. Le modèle unidimensionnel de Rasch a permis de générer les paramètres de difficulté des items entre les sous-groupes d’intérêt pour effectuer les analyses FDI. Et le modèle à réponses nominales (MRN) a été utilisé pour modéliser les options des items à choix multiples. Les résultats issus de ces trois études ont permis d’étayer chacune des inférences retenues dans l’argumentaire de validité pour le TCF. Selon les modèles d’AFC recommandés par le comité d’experts, les résultats suggèrent que les deux versions analysées dans cette étude évaluent principalement la compréhension de l’information explicitement énoncée dans le discours oral, sous représentant ainsi le construit. Quelques items visaient l’habileté à inférer des idées implicites et la compréhension du sujet général ou de l’idée principale, mais cette dernière sous-compétence ne se retrouvait que dans une seule version du test, ce qui suggère que les versions ne sont pas comparables. L’analyse FDI a identifié de nombreux items dans les versions du test et entre les sous-groupes d’intérêt, mais très peu ont été associés à un biais potentiel, qui comprenait la perception de la voix, le genre littéraire et la familiarité du vocabulaire. Par conséquent, étant donné que de nombreux items signalés pour fonctionnement différentiel ne pouvaient pas être associés à un biais potentiel, la réponse à cette question est partiellement élaborée et atténue l’argumentaire de validité. Les résultats du MRN suggèrent que la plupart des items fonctionnaient bien, tandis que d’autres avaient potentiellement deux bonnes réponses. L’approche de la validité fondée sur l’argumentation s’avère utile pour regrouper des études empiriques dans un ensemble cohérent permettant d’étayer et de justifier l’interprétation et les utilisations du TCF dans un contexte d’immigration, qui peut à son tour servir à remédier les points faibles constatés, en fournissant un moyen d’atténuer les réfutations potentielles qui menacent la validité de l’argument. Certaines mises en garde dans le cadre de validation sont également soulignées et concernent l’accessibilité des données pour aborder les inférences d’extrapolation et de décision dans des contextes d’immigration, mais comme Newton et Shaw (2014, p. 142) le soulignent: « l’approche de validité fondée sur l’argumentation sous-tend le fait que la validation n’est pas simplement une étude isolée, mais un programme: potentiellement un programme très intensif ». Et ce programme peut inclure des parties prenantes importantes comme les représentants gouvernementaux qui peuvent aider à compléter l’argumentaire de validité du TCF en matière d’immigration au Québec.

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.