L'intelligence artificielle pour la classification automatisée des textes courts issus de la vigie psychosociale : des méthodes classiques aux grands modèles de langage

RÉSUMÉ : Cette étude explore différentes approches pour automatiser la classification et l'analyse des préoccupations psychosociales exprimées par la population d'une région du Québec. Ces préoccupations sont recueillies sous forme de textes courts dans le cadre d'une veille psychosociale mise en œuvre pendant la pandémie de COVID-19 et qui se poursuit. L'objectif est de concevoir une application web permettant d'assister les intervenants en santé publique dans l'automatisation de la gestion de données. Trois études ont été menées. Tout d'abord, une analyse comparative des algorithmes traditionnels de machine learning (k-NN, SVM, XGBoost) et des modèles de deep learning basés sur les transformateurs, combinés au Finetuning et au SetFit, a montré que les approches utilisant des sentence-transformers sont les plus performantes, atteignant une précision de 70,74 %, contre 68,69 % pour le modèle SVM. Ensuite, une modélisation thématique appliquée à un corpus d'environ 2000 entrées collectées dans les enquêtes mensuelles de la Vigie a permis d'identifier des tendances psychosociales émergentes. La méthode LDA avec unigrams a obtenu les meilleurs résultats (cohérence de 0,59). Enfin, des grands modèles de langage (LLMs), comme LLama3.1, LLama2 et Mistral, ont été intégrés pour transformer la classification en une tâche de génération de texte explicatif. Cette méthode a permis une classification multi-étiquettes et la génération d'explications adaptées aux besoins des équipes en santé publique, avec une précision atteignant 97.2 %. -- Mot(s) clé(s) en français : Intelligence artificielle, classification automatique, modélisation thématique, grands modèles de langage, préoccupations psychosociales, génération adaptative. -- ABSTRACT : This study explores different approaches to automating the classification and analysis of psychosocial concerns expressed by the population of a region in Québec. These concerns are collected in the form of short texts as part of a psychosocial surveillance effort launched during the COVID-19 pandemic and currently continuing. The aim is to design an web application to assist healthcare actors in automating data management. Three studies were carried out. Firstly, a comparative analysis of traditional machine learning algorithms (k-NN, SVM, XGBoost) and deep learning models based on transformers, combined with Finetuning and SetFit, showed that approaches using sentence-transformers performed best, achieving an accuracy of 70.74%, compared with 68.69% for the SVM model. Next, thematic modeling applied to a corpus of around 2000 entries collected in the monthly Vigie surveys identified emerging psychosocial trends. The LDA method with unigrams obtained the best results (consistency of 0.59). Finally, massive language models (LLMs), such as LLama3.1, LLama2 and Mistral, were integrated to transform classification into an explanatory text generation task. This method enabled multilabel classification and the generation of explanations tailored to the needs of professionals, with an accuracy of up to 97%. -- Mot(s) clé(s) en anglais : Artificial intelligence, automated classification, topic modeling, large language models, psychosocial concerns, adaptive generation.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.