Optimizing Machine Learning Techniques to Better Understand Sustainability in Transportation Planning
Bibliographic record
Abstract
RÉSUMÉ: Le secteur des transports a une incidence importante sur le développement social, environnemental et économique. Ce secteur est une composante de la lutte contre le changement climatique puisqu'il représente environ 25 % de la consommation d'énergies fossiles, un tiers de la consommation mondiale d'énergie et 23 % des émissions mondiales de gaz à effet de serre (GES). Par conséquent, il est essentiel d'étudier des méthodes capables d'améliorer la durabilité dans le secteur des transports. Par le passé, l'analyse des enquêtes de déplacement a principalement été réalisée à l’aide de méthodes statistiques conventionnelles. Cependant, de nouvelles approches d'intelligence artificielle (IA) permettent aujourd’hui d'améliorer la précision de ces analyses. Néanmoins, ces approches de modélisations et d’analyse par IA présentent certaines lacunes : Leur précision est sensible aux variables inappropriées utilisées dans la modélisation. • Elles sont de type boîte noire, ce qui rend leur interprétation difficile, voire impossible, pour les décideurs et les planificateurs. • Elles sont très sensibles aux « hyperparamètres » qui doivent être choisis par l'analyste/modélisateur. Les techniques conventionnelles de réglage des « hyperparamètres » (c'est-à-dire les techniques de régularisation) ne peuvent pas optimiser les hyperparamètres, et il n'y a aucune garantie qu'elles puissent détecter les meilleures valeurs pour les hyperparamètres. • Elles ont besoin d'observations de données supplémentaires, appelées données de test, pour évaluer la puissance de prédiction du modèle, mais le pourcentage optimal de données de test à utiliser n'est pas clair. Pour résoudre ces problèmes, cette thèse propose des méthodes pour surmonter ces faiblesses dans le contexte des comportements de mobilité des individus et de leur lien avec la durabilité. Une autre question abordée dans la recherche sur les comportements de mobilité est le grand nombre de variables explicatives potentielles (ou caractéristiques) qui sont, peuvent ou ont été prises en compte dans l’analyse des comportements de déplacement. Une technique couramment utilisée dans d’autres domaines de recherche dans de telles circonstances est l'application de techniques de sélection de variables. Cependant, l'application de ces techniques n'a pas reçu beaucoup d'attention dans l’étude des comportements de transport. De plus, les techniques conventionnelles de sélection de variables ne peuvent pas obtenir la précision de prédiction la plus élevée, et la plupart d'entre elles ne peuvent pas présenter un ensemble de variables optimales. Pour pallier ces lacunes, une nouvelle méthode de sélection des variables est développée pour optimiser la sélection de celles employées dans les modèles de prédiction. Ces processus peuvent augmenter considérablement la précision du modèle et éviter de présenter des solutions inexactes.» ABSTRACT: The transportation sector significantly affects social, environmental, and economic development. This sector is a component in trying to combat climate change as it represents roughly 25% of fossil fuel consumption, a third of global energy consumption, and 23% of worldwide greenhouse gas (GHG) emissions. Hence, it is vital to investigate methods capable of enhancing sustainability in the transportation sector. Previous investigations on travel behavior have mostly used conventional statistical analysis. However, new Artificial Intelligence (AI) approaches exist that could significantly improve the accuracy of such analysis. Nonetheless, these AI techniques have some deficiencies: • Their accuracy is sensitive to inappropriate variables being used in the modeling; • They are often black-box tools and hard to interpret, making it difficult or impossible for policymakers and planners to interpret them; • They are highly sensitive to “hyperparameters” that must be chosen by the analyst/modeler. The conventional techniques for tuning “hyperparameters” (i.e., regularization techniques) can not optimize hyperparameters, and there is no guarantee that they can detect the best values for hyperparameters; • They need additional data observations, called testing data, to evaluate the prediction power of the model, but it is not clear what is the optimal percentage of testing data. To address these issues, this thesis proposes methods to overcome these weaknesses in the context of individual travel behavior choices and how they relate to sustainability. To address the problem of inappropriate variables, a common technique used outside of transportation research in such circumstances is the application of feature selection techniques. However, the application of feature selection techniques has not received much attention in transportation studies. Conventional feature selection techniques cannot obtain the highest prediction accuracy, and most of them cannot present a set of optimal features. Accordingly, first, a new feature selection method is developed to optimize the features employed in prediction models. The results of this study showed that these processes increased model accuracy considerably and avoid presenting inaccurate predictions. Then, machine learning techniques contain some parameters, called hyperparameters, that should be tuned. The performance of machine learning techniques is highly sensitive to these parameters. Therefore, a new method is introduced to tune hyperparameters considering multiple performance indicators using a multi-objective metaheuristic optimization framework. Subsequently, a practical question related to how best to split the training and testing data is examined. A new technique based on a metaheuristic optimization algorithm is developed that automatically determines the split that leads to the greatest prediction accuracy.»
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.002 | 0.005 |
| Meta-epidemiology (narrow) | 0.001 | 0.000 |
| Meta-epidemiology (broad) | 0.001 | 0.001 |
| Bibliometrics | 0.001 | 0.001 |
| Science and technology studies | 0.000 | 0.001 |
| Scholarly communication | 0.001 | 0.001 |
| Open science | 0.001 | 0.001 |
| Research integrity | 0.001 | 0.001 |
| Insufficient payload (model declined to judge) | 0.003 | 0.000 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".