Visual Task Inference in Conjunction Search Using Hidden Markov Models and Token Passing
Notice bibliographique
Résumé
The effect of visual task on the pattern and parameters of eye-movements has been long investigated in the oculomotor studies of human vision. However, there is not much done in the inverse process; that is inferring the visual task from eye-movements. Visual search is one of the main ingredients of human vision that plays an important role in our everyday life. In our previous work we developed an ergodic HMM-based model to infer the visual task in pop-out search by locating the focus of covert attention. In this paper, we improve our previous model to infer the task in a conjunction search in an eye-typing application, where users can type a character string by directing their gaze through an on-screen keyboard. In this scenario inferring the task is equivalent to figuring out what word has been eye-typed. The inherent complexity of conjunction search usually calls for off-target fixations before locating the target. However, these off-target fixations are not randomly distributed and show a pattern according to the target. The brain tends to direct the gaze on objects that are seemingly similar to the target. Therefore, we propose a tri-state HMM (TSHMM) to model the attention cognitive process of human brain, where the three states represent the fixations on the target, similar non-target and dissimilar non-target objects. We train a TSHMM for each character by using the Baum-Welch algorithm to capture the dynamics of attention during the search and construct a lexicon network by concatenating the characters and use a technique called token passing to reveal the best state sequence for the test data. The results show a great improvement compared to our previous model. We can further improve the results by setting a-priori constraints on the order of characters by making a dictionary of valid words. Meeting abstract presented at VSS 2012
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,002 | 0,009 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,002 | 0,002 |
| Bibliométrie | 0,001 | 0,001 |
| Études des sciences et des technologies | 0,001 | 0,001 |
| Communication savante | 0,001 | 0,003 |
| Science ouverte | 0,002 | 0,002 |
| Intégrité de la recherche | 0,002 | 0,002 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,003 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».