Predicting Pedestrian Crossing Intentions in Adverse Weather With Self-Attention Models
Notice bibliographique
Résumé
The enhancement of the vehicle perception model represents a crucial undertaking in the successful integration of assisted and automated vehicle driving. By enhancing the perceptual capabilities of the model to accurately anticipate the actions of vulnerable road users, the overall driving experience can be significantly improved, ensuring higher levels of safety. Existing research efforts focusing on the prediction of pedestrians’ crossing intentions have predominantly relied on vision-based deep learning models. However, these models continue to exhibit shortcomings in terms of robustness when faced with adverse weather conditions and domain adaptation challenges. Furthermore, little attention has been given to evaluating the real-time performance of these models. To address these aforementioned limitations, this study introduces an innovative framework for pedestrian crossing intention prediction. The framework incorporates an image enhancement pipeline, which enables the detection and rectification of various defects that may arise during unfavorable weather conditions. Subsequently, a transformer-based network, featuring a self-attention mechanism, is employed to predict the crossing intentions of target pedestrians. This augmentation enhances the model’s resilience and accuracy in classification tasks. Through evaluation on the Joint Attention in Autonomous Driving (JAAD) dataset, our framework attains state-of-the-art performance while maintaining a notably low inference time. Moreover, a deployment environment is established to assess the real-time performance of the model. The results of this evaluation demonstrate that our approach exhibits the shortest model inference time and the lowest end-to-end prediction time, accounting for the processing duration of the selected inputs.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,000 | 0,001 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,001 | 0,000 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,001 | 0,001 |
| Science ouverte | 0,001 | 0,001 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,001 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».