MuViH: Multi-View Hand gesture dataset for hand and gesture recognition
Notice bibliographique
Résumé
(ENGLISH) The Multi-View Hand gesture (MuViH) dataset comprises RGB-D images and annotations of participants performing various hand gestures in an industrial-type environment. Our aim is to provide a set of images tailored to the field of scene supervision and gesture recognition applied to interactive manufacturing processes using robotics. Compared to existing publicly available datasets, the MuViH dataset provides greater variability in the visual content: changing background according to camera viewpoint, variable viewing angle and distance to the scene, morphology of participants, occlusions caused by the robot or other equipment, participant's position, orientation and pose within the field of view. The data collection took place during the summer of 2023, at the Centre de technologies de fabrication en aérospatiale (CTFA) located in Montreal, Canada. In all, 17 individuals who participated in this activity agreed to be included in the dataset. All the acquisitions took place in a cobotic cell, i.e. an enclosed area containing an industrial robot. The file 'Overview_MuViH.md' provides more details on the dataset and how to access it. Also provided here are some sample images from the dataset and an illustration of the gesture dictionary. (FRANÇAIS) L'ensemble de données Multi-View Hand gesture (MuViH) est constitué d'images RGB-D et d'annotations de participants effectuant divers gestes de la main dans un environnement de type industriel. Notre objectif est de fournir un ensemble d'images adaptées au domaine de la supervision de scènes et de la reconnaissance de gestes appliquées aux processus de fabrication interactifs utilisant la robotique. Comparé aux ensembles de données disponibles publiquement, l'ensemble de données MuViH offre une plus grande variabilité dans le contenu visuel : arrière-plan changeant selon le point de vue de la caméra, angle de vue et distance variables par rapport à la scène, morphologie des participants, occlusions causées par le robot ou d'autres équipements, position, orientation et pose du participant dans le champ de vision. La collecte de données a eu lieu durant l'été 2023, au Centre de technologies de fabrication en aérospatiale (CTFA) situé à Montréal, au Canada. Au total, 17 personnes ayant participé à cette activité ont consenti à être incluses dans le jeu de données. Toutes les acquisitions ont eu lieu dans une cellule cobotique, c'est-à-dire un espace clos contenant un robot industriel. Le fichier 'Overview_MuViH.md' fournit plus de détails sur le jeu de données et comment y accéder. Sont également fournis ici quelques exemples d'images tirées de l'ensemble des données et une illustration du dictionnaire des gestes.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,001 | 0,003 |
| Méta-épidémiologie (sens strict) | 0,005 | 0,001 |
| Méta-épidémiologie (sens large) | 0,003 | 0,002 |
| Bibliométrie | 0,004 | 0,003 |
| Études des sciences et des technologies | 0,001 | 0,001 |
| Communication savante | 0,002 | 0,002 |
| Science ouverte | 0,004 | 0,004 |
| Intégrité de la recherche | 0,003 | 0,002 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,023 | 0,046 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».