Where is the puck? Tiny and fast-moving object detection in videos

Le hockey sur glace, ou tout simplement appelé « le hockey » en Amérique du nord, est considéré comme le sport national d’hiver au Canada. Le développement de la vision numérique, l’émergence des appareils informatiques de pointe et l’avancement des équipements de divertissements personnels ont rendu l’analyse sportive un domaine de recherche particulièrement populaire. La clé pour comprendre et analyser un match de hockey de manière automatisée est de localiser le « protagoniste » du jeu, plus précisément, la rondelle. Pour cela, dans ce projet, nous cherchons à résoudre le problème du suivi de la rondelle dans les vidéos diffusées par la LNH en utilisant un détecteur d’objets miniatures. Les travaux précédents dans le champ de la détection des objets étaient surtout focalisés sur la détection d’objets de taille régulière dans des images fixes. Ainsi, notre projet est une nouvelle contribution qui ouvre des portes à des recherches et applications potentielles dans le domaine. Un des défis majeurs dans cette étude est la petite taille de la rondelle. En effet, dans les vidéos diffusées, la rondelle a une largeur de 4.32 pixels, ce qui représente moins de 0.005% de l’aire de l’image. En revanche, la taille moyenne des petits objets dans MS COCO [1] est de 282 pixels, ce qui correspond à environ 0.255% de l’aire de l’image. Cette comparaison permet de souligner la complexité de notre tâche. De plus, certains facteurs comme le flou de mouvement dû au déplacement rapide de la rondelle, l’occlusion entre cette dernière et d’autres objets, ainsi que le bruit visuel (à savoir les publicités dans la patinoire) introduisent des défis supplémentaires à considérer. Pour adresser ces problématiques, premièrement, nous avons recueilli des vidéos de haute résolution de différents matchs de la LNH et avons annoté manuellement la rondelle dans ces clips. Ce jeu de donnée, le McGill Puck Dataset (MPD), est la première base de données publique sur le hockey comprenant une annotation précise de la rondelle. Ensuite, nous avons conçu un modèle de détection d'objets minuscules en deux étapes. La première étape comprend un réseau de neurones convolutif bidimensionnel qui extrait une représentation résumée de chaque image. Dans la deuxième étape, nous empilons et alimentons la fusion de ces représentations par image dans un réseau neuronal convolutif tridimensionnel pour décoder la dimension temporelle de la vidéo. Le but de ce détecteur est de trouver uniquement le point central de la rondelle (sans extraire sa forme complète), ce qui transforme le problème de détection d’objets traditionnels en une tâche de détection de points-clés. Tenant compte de cette modification, les métriques d’évaluation utilisés dans d’autres tâches de détection d’objets (par exemple : l’évaluation de l’Intersection sur Union) ne s’appliquent plus. Par conséquence, nous mesurons plutôt la distance L2 entre les points centraux prédits et les points de vérité-terrain pour déterminer l'exactitude de la prédiction. Globalement, notre détecteur d’objets minuscules et rapides atteint une Précision de 0.908 et un Rappel de 0.867. Le F1 atteint une valeur de 0.887, ce qui est nettement supérieur à la performance de YOLOv3 [2] (valeur F1 = 0.685) et de Mask RCNN [3] (valeur F1 = 0.749) dansleMcGill Puck Dataset

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.