Decoupled hybrid 360◦ panoramic stereo video
Notice bibliographique
Résumé
A new medium, virtual reality (VR) and 360 • videos, enhanced an audience's sense of presence to a new level.This increased attention to not only adding VR support on game engines and other auxiliary hardware but also to video stitching technology to create more immersive 360 • videos.Head-mounted-display (HMD) is used to view such contents and it can provide a sense of depth by showing slightly different image on the left eye and the right eye.This format is known as stereoscopy and the opposite, where identical content is displayed for both the left and the right eye, is known as a monoscopic format.In this thesis, we present hardware and software to create decoupled hybrid 360 • video.Our custom camera rig is 3D printed to have traditional fronto-parallel stereo camera pair at the front as well as surrounding cameras all around to achieve 360 • field-of-view (FOV) horizontally.This unique design enables hybrid video format which has both stereoscopic and monoscopic regions.Decoupling removes yaw rotation from the source video stream, minimizing cybersickness risk of the audience.Our camera is meant to be used similarly to a conventional camera: track subject of interest.In our case, it is equivalent to keeping it within the FOV of stereo cameras.This reduces motion blur around the subject, which can serve film directors as an additional artistic and narrative tool.Another advantage of having a traditional stereo camera is that professional skills, both production and post-production, regarding the stereo camera are easily transferred to our hybrid medium.The computation overhead is minimal compared to stitching monoscopic 360 • video because our design only has one additional camera at the front.We evaluated the stitching and decoupling performance on three different settings where camera rig went through: no motion, yaw rotation, and any motion.The results were satisfactory but the common issues are flickering and wobbling of stitched videos and drifting of decoupling algorithm.Using more state-of-the-art methods on each component of our software pipe or exploring deep learning based methods would be an interesting future direction.iii ABRÉGÉ Une nouvelle forme de média, la réalité virtuelle (RV) et les vidéos 360 • , ont renforcé l'immersion du public.L'attrait accru pour cette technologie a non seulement encouragé la prise en charge de la RV par les moteurs de jeu vidéo et d'autres plateformes matérielles, mais également le développement de technologies d'assemblage pour créer des vidéos 360 • plus immersives.Un casque de réalité virtuelle est utilisé pour afficher un tel contenu et rendre possible une impression du relief en affichant une image légèrement différente à l'œil gauche et à l'œil droit.Ce format est connu sous le nom de stéréoscopie et le contraire, où un contenu identique est affiché pour les yeux gauche et droit, est appelé format monoscopique.Dans cette thèse, les outils matériels et logiciels permettant de créer une vidéo 360 • hybride découplée sont présentés.Notre plateforme caméra est conçue sur mesure par impression 3D et possède une paire de caméras fronto-parallèles à l'avant ainsi que des caméras individuelles tout autour pour obtenir un champ de vision de 360 • horizontalement.Cette conception unique permet le format vidéo hybride comportant à la fois des régions stéréoscopiques et monoscopiques.Le découplage supprime la rotation en lacet du flux vidéo source, minimisant ainsi le risque d'éprouver le « mal du virtuel ».Notre caméra est conçue pour être utilisée de la même manière qu'une caméra conventionnelle: en poursuivant le sujet d'intérêt.Dans notre cas, cela équivaut à le garder dans le champ de vision de la paire de caméras stéréoscopique.Cette technique réduit le flou de mouvement dans l'image du sujet, ce qui peut servir aux réalisateurs de films comme un outil artistique et narratif supplémentaire.Un autre avantage d'avoir une caméra stéréo traditionnelle est que les compétences professionnelles, à la fois en production et en postproduction, en ce qui concerne la caméra stéréo, sont facilement transférées sur notre support hybride.Les temps de calcul pour l'assemblage des images sont comparables à la vidéo monoscopique 360 • car notre conception ne comporte qu'une caméra supplémentaire à l'avant.Les performances de l'algorithme d'assemblage et de découplage ont été évaluées pour trois iv conditions différentes de tournage: aucun mouvement, pour un mouvement de rotation en lacet et pour mouvement dans tous les axes.Les résultats observés ont été jugés satisfaisants.Toutefois, certains problèmes sont couramment observés: le scintillement et le vacillement des images vidéo assemblées et la dérive de l'algorithme de découplage.Utiliser des méthodes plus avancées pour chaque composante de notre logiciel ou encore explorer les méthodes issues de l'apprentissage profond sont deux directions intéressantes pour la poursuite des travaux.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,000 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,001 | 0,000 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,001 | 0,001 |
| Science ouverte | 0,001 | 0,001 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,014 | 0,002 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».