AI-Powered Smart Glasses for Sensing and Recognition of Human-Robot Walking Environments
Notice bibliographique
Résumé
Environment sensing and recognition can allow hu-mans and/or robotic systems to dynamically adapt to different walking terrains. However., fast yet accurate visual perception is challenging., especially on embedded systems with limited computational resources. The purpose of this study was to develop and prototype a new pair of integrated AI-powered smart glasses for onboard sensing and recognition of human-robot walking en-vironments with high accuracy and low latency. Our system in-cludes a Raspberry Pi Pico micro controller and an ArduCam low-power camera., both of which interface with commercial eye-glass frames via 3D-printed mounts that we custom-designed. We trained and optimized a lightweight and efficient convolutional neural network using a MobileN etVI backbone to classify real-world walking terrains as either indoor surfaces., outdoor surfaces (grass and dirt)., or outdoor surfaces (paved) using over 62,500 egocentric images that we adapted and manually labelled from the Meta Eg04D dataset. We compiled and deployed our deep learning model using TensorFlow Lite micro and post-training quantization to create a minimized byte array model of size 0.31MB. Our system was able to accurately classify complex walking environments with 93.6% accuracy and an embedded inference speed of 1.5 seconds during online experiments. These AI-powered smart glasses open new opportunities for visual per-ception of human-robot walking environments where real-time embedded computing is desired. Future research will focus on improving the onboard inference speed and further miniaturization of the mechatronic components.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,000 | 0,001 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,000 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,000 | 0,001 |
| Science ouverte | 0,001 | 0,001 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,011 | 0,002 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».