Échantillonnage sémantique et classification des couleurs pour la recherche de personnes dans les vidéos

Je tiens à remercier Dr. Guillaume-Alexandre Bilodeau, directeur de recherche au LITIV et responsable de ma Maîtrise.Je le remercie pour tout ce qu'il m'a appris au cours de ces deux années, pour son support, ses conseils, son expertise, ainsi que pour sa confiance et l'autonomie qu'il m'a accordée, et je me sens chanceux d'avoir travaillé avec lui.Merci !v RÉSUMÉ Dans le cadre de ce travail, nous nous intéressons à l'application de la recherche de personnes par une description par mots-clefs, dans des images issues de vidéos de sécurité.Avec ce type d'application, nous cherchons à décrire les personnes présentes dans des vidéos, selon des caractéristiques saillantes (e.g.couleurs des vêtements), sans nous intéresser à leurs identités qui sont inconnues a priori.Il s'agit ainsi d'une approche similaire à la génération de "portraits robots", qui peuvent alors être attachés aux images comme méta-données, facilitant ainsi la recherche de profils particuliers dans des vidéos (e.g. on cherche une personne avec un pantalon vert et un gilet bleu) .Dans un premier temps, nous identifions comme caractéristiques saillantes les vêtements, et en particulier nous cherchons à décrire précisément leurs couleurs.L'objectif de notre travail est ainsi le développement d'une méthode de classification des couleurs des vêtements dans les images qui se veut le plus proche possible de la perception humaine.Pour cela, nous nous intéressons à la fois au vocabulaire utilisé, qui se doit d'être suffisamment généraliste, et aux espaces de couleurs considérés, qui doivent pouvoir émuler les propriétés de la perception des couleurs humaine.Dans un second temps, nous nous intéressons à l'échantillonnage des pixels dans les images : celui-ci doit respecter la sémantique des personnes, et nous permettre d'échantillonner les pixels correspondant aux différents vêtements.Pour aborder ce problème, nous émettons l'hypothèse qu'un réseau de neurones profond peut être utilisé pour apprendre la sémantique des images utilisés comme données d'entraînement.Cette hypothèse est supportée par notre revue de la littérature. D'un point de vue technique, nous privilégions des méthodes d'apprentissage machine explicables, telles que les arbres de décisions.Nous avons développé ainsi une méthode pour décrire les couleurs présentes dans une image, de sorte d'être le plus proche possible de la manière dont des êtres humains les décriraient, à la fois en terme de vocabulaire et en terme d'espace colorimétrique.Concernant l'échantillonnage, nous cherchons à réduire la quantité de données d'entraînement requises en utilisant des méthodes d'apprentissage faiblement supervisées.Nous avons testé nos méthodes sur des jeux de données reconnus, tels que PCN-CNN et Colorful-Fashion.Dans un premier temps, nous montrons que sur ces jeux de données, notre méthode à base d'arbres de décisions atteint la performance des meilleurs modèles actuels, basées sur des réseaux de neurones profonds, pour la classification de couleurs (nous atteignons respectivement 80.4% et 83.0% de précisions sur ces deux jeux de données), et est vi capable de mieux généraliser pour d'autres domaines, sans ré-entraînement.Dans un second temps, nous montrons qu'utiliser une approche faiblement supervisée pour l'échantillonnage dans les images nous permet d'obtenir un gain de précision d'au moins 5% par rapport aux méthodes utilisant le même type de données d'entraînement.vii

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.