Object detection for autonomous vehicles operating under varying weather conditions

The rapid development of self-driving vehicles requires integrating a sophisticated sensing system to address the obstacles road traffic poses efficiently. Large cities' expanding populations are causing traffic congestion. Maintaining the city's road network necessitates ongoing monitoring, growth, and modernization. Intelligent traffic monitoring while driving includes identifying and tracking vehicles on roads and highways. Nowadays, autonomous vehicles are more prevalent globally, and it has become essential to have an intelligent vehicle detection system to address road traffic concerns during adverse weather conditions. While several datasets are available to support object detection in autonomous vehicles, it is crucial to carefully evaluate the suitability of these datasets for different weather conditions across the globe. The existing datasets, such as Roboflow and KITTI, are accessible to the public but show less diversity in lighting or weather conditions, driving scenarios, and geographical coverage. Additionally, these datasets have limited annotations in terms of both tasks and range. These issues can lead to overly specialized solutions, which may not be generalized to the full operational design domain of real-world autonomous driving (AD) systems. Furthermore, bad weather conditions may affect object detection in an autonomous environment. Bad weather may make driving dangerous in various ways, whether due to freezing roadways or the illusion of low fog. This research addresses the limitations mentioned above, identifies the challenges associated with publicly available datasets and their usability in object detection in autonomous driving conditions. The presented study fills the gaps in probing the suitability of solutions developed for one country for object detection in bad weather conditions in other countries. To meet the aforementioned requirement, the study proposes a novel Canadian Vehicle Dataset (CVD), with 8388 annotated images. The CVD comprises street-level videos that were recorded by Thales Inc. Canada. These videos were collected with high-quality RGB cameras mounted on a vehicle in the Canadian province of Quebec. The recordings were made during daytime and nighttime, capturing weather conditions such as hazy, snowy, rainy, gloomy, nighttime, and sunny days in all four seasons. A total of 10000 images of vehicles and other road assets were extracted from the collected videos out of 8388 images were annotated with corresponding generated labels 27766 with their respective 11 different classes (biker, car, pedestrian, trafficLight, trafficLight-Green, trafficLight-GreenLeft, trafficLight-Red, trafficLight-RedLeft, trafficLight-Yellow, trafficLight-YellowLeft and truck). The presented dataset is large-scale, highly diverse, and more heterogeneous, having been gathered in changing environments as well as meteorological situations. In addition, the model trained on this diverse dataset exhibits heightened robustness and suits both autonomous and conventional vehicle operations, making it applicable not only in Canada but also in other countries with comparable weather conditions. Recognizing the potential of data science, computer vision, and deep learning techniques in AD, the newly prepared datasets are utilized to train deep learning models considering different scenarios for efficient vehicle and other road-assets recognition in Canada. We used pure modeling and mixed modeling approaches in model training. In pure modeling, a model is first trained and tested only on a dataset captured from one country. In mixed modeling, newly prepared datasets are mixed with the publicly available datasets, and new models are introduced. In the present study, the model underwent training and testing on two distinct datasets, namely RoboFlow, and combined RoboFlow and CVD, in order to determine the suitability of integrating two different image databases. The transfer learning approach is utilized to decrease the size of a dataset. This technique involves using a large generic dataset for initial training, followed by a smaller dataset appropriate for specific applications for the top-up training. Pre-training the network outside of the identification set can enhance classification performance by initiating particular patterns that are also present in the detection set. The model is first trained using the Robolflow dataset utilizing the weights of YOLOv8 pre-trained on the MSCOCO dataset. Next, transfer learning is applied to train YOLOV8 using a combination of Roboflow and CVD datasets. The additional training improves the model’s robustness and increases the vehicle detection system accuracy. The performance of the deep learning models is assessed using F1-score and mean Average Precision (mAP), and the model trained by integrating CVD and publicly available Roboflow dataset is identified as the best performing model in difficult weather conditions. The highest detection accuracy (mAP: 0.924 for object class car) is achieved by the YOLOV8-based model. The study provides new systematic insights into vehicle object detection in everyday or autonomous driving. The study contributes to the literature by offering new data, deep learning-based models for object-level road asset detection and classification, and analysis to transfer the solution from one country to another. The findings shall be helpful for Intelligent transportation planners in developing smart cities, government authorities, road agencies, policymakers, and researchers in proposing guidelines and formulating new strategies that encourage Smartphone-based Al-driven road object monitoring in Canada and several other countries. As an outcome of the study, a smartphone application has been proposed enabling Vehicles detection and classification in real time. The proposed application will also help road managers perform quick road surveys and help road users report traffic conditions and congestion, path changes due to natural calamities or new constructions on the road, and accidents in the vicinity of their surroundings. Le développement rapide des véhicules autonomes nécessite l’intégration d’un système de détection sophistiqué pour répondre efficacement aux différents obstacles posés par le trafic routier. La population croissante des grandes villes provoque des embouteillages. L'entretien du réseau routier de la ville nécessite une surveillance, une croissance et une modernisation continues. La surveillance intelligente du trafic pendant la conduite comprend l'identification et le suivi des véhicules sur les routes et les autoroutes. De nos jours, les véhicules autonomes sont de plus en plus répandus dans le monde, il est devenu essentiel de disposer d'un système de détection de véhicules intelligent pour répondre aux problèmes de circulation routière dans des conditions météorologiques défavorables. Bien que plusieurs ensembles de données soient disponibles pour prendre en charge la détection d'objets dans les véhicules autonomes, il est crucial d'évaluer soigneusement l'adéquation de ces ensembles de données aux différentes conditions météorologiques à travers le monde. Les ensembles de données existants tels que Roboflow et KITTI sont accessibles au public, mais montrent moins de diversité en termes de conditions d'éclairage ou météorologiques, de scénarios de conduite et de couverture géographique. De plus, ces ensembles de données comportent des annotations limitées en termes de tâches et de plage. Ces problèmes peuvent conduire à des solutions trop spécialisées, qui peuvent ne pas être généralisées au domaine de conception opérationnelle complet des systèmes de conduite autonome (AD) du monde réel. De plus, la détection d'objets dans un environnement normal ou autonome peut être affectée par de mauvaises conditions météorologiques. Cette recherche aborde les limites mentionnées ci-dessus, identifie les défis associés aux ensembles de données accessibles au public et leur utilité dans la détection d'objets dans des conditions de conduite autonome. L'étude présentée comble les lacunes pour vérifier l'adéquation des solutions développées pour un pays pour la détection d'objets dans de mauvaises conditions météorologiques dans d'autres pays. Pour répondre à l'exigence susmentionnée, l'étude propose un nouvel ensemble de données sur les véhicules canadiens (CVD), avec 8388 images annotées. Le CVD comprend des vidéos de rue enregistrées par Thales inc. Canada. Ces vidéos ont été collectées avec des caméras RVB de haute qualité montées sur un véhicule dans la province canadienne du Québec. Les enregistrements ont été réalisés de jour comme de nuit, capturant les conditions météorologiques telles que les jours brumeux, enneigés, pluvieux, sombres, nocturnes et ensoleillés au cours des quatre saisons. Un total de 10 000 images de véhicules et autres actifs routiers sont extraites des vidéos collectées sur 8388 images annotées avec les étiquettes générées correspondantes 27 766 avec leurs 11 classes différentes respectives (motard, voiture, piéton, "trafficLight", "trafficLight-Green", "trafficLight-GreenLeft", "trafficLight-Red", "trafficLight-RedLeft", "trafficLight-Yellow", "trafficLight-YellowLeft" et "camion"). L'ensemble de données présenté est à grande échelle, très diversifié et plus hétérogène, ayant été collecté dans des environnements changeants ainsi que dans des situations météorologiques. De plus, le modèle formé sur cet ensemble de données diversifié présente une robustesse accrue et convient à l'exploitation de véhicules autonomes et conventionnels, ce qui le rend applicable non seulement au Canada, mais également dans d'autres pays présentant des conditions météorologiques comparables. Reconnaissant le potentiel de la science des données, de la vision par ordinateur et des techniques d'apprentissage en profondeur dans la DA, les ensembles de données nouvellement préparés sont utilisés pour former des modèles d'a

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.