Green Function and Electromagnetic Potential for Computer Vision and Convolutional Neural Network Applications

RESUME Pour les problemes de vision machine (CV) avancees, tels que la classification, la segmentation de scenes et la detection d’objets salients, il est necessaire d’extraire le plus de caracteristiques possibles des images. Un des outils les plus utilises pour l’extraction de caracteristiques est l’utilisation d’un noyau de convolution, ou chacun des noyaux est specialise pour l’extraction d’une caracteristique donnee. Ceci a mene au developpement recent des reseaux de neurones convolutionnels (CNN) qui permet d’optimiser des milliers de noyaux a la fois, faisant du CNN la norme pour l’analyse d’images. Toutefois, une limitation importante du CNN est que les noyaux sont petits (generalement de taille 3x3 a 7x7), ce qui limite l’interaction longue-distance des caracteristiques. Une autre limitation est que la fusion des caracteristiques se fait par des additions ponderees et des operations de mise en commun (moyennes et maximums locaux). En effet, ces operations ne permettent pas de fusionner des caracteristiques du domaine spatial avec des caracteristiques puisque ces caracteristiques occupent des positions eloignees sur l’image. L’objectif de cette these est de developper des nouveaux noyaux de convolutions bases sur l’electromagnetisme (EM) et les fonctions de Green (GF) pour etre utilises dans des applications de vision machine (CV) et dans des reseaux de neurones convolutionnels (CNN). Ces nouveaux noyaux sont au moins aussi grands que l’image. Ils evitent donc plusieurs des limitations des CNN standards puisqu’ils permettent l’interaction longue-distance entre les pixels de limages. De plus, ils permettent de fusionner les caracteristiques du domaine spatial avec les caracteristiques du domaine du gradient. Aussi, etant donne tout champ vectoriel, les nouveaux noyaux permettent de trouver le champ vectoriel conservatif le plus rapproche du champ initial, ce qui signifie que le nouveau champ devient lisse, irrotationnel et conservatif (integrable par integrale curviligne). Pour repondre a cet objectif, nous avons d’abord developpe des noyaux convolutionnels symetriques et asymetriques bases sur les proprietes des EM et des GF et resultant en des noyaux qui sont invariants en resolution et en rotation. Ensuite, nous avons developpe la premiere methode qui permet de determiner la probabilite d’inclusion dans des contours partiels, permettant donc d’extrapoler des contours fins en des regions continues couvrant l’espace 2D. De plus, la presente these demontre que les noyaux bases sur les GF sont les solveurs optimaux du gradient et du Laplacien.----------ABSTRACT For advanced computer vision (CV) tasks such as classification, scene segmentation, and salient object detection, extracting features from images is mandatory. One of the most used tools for feature extraction is the convolutional kernel, with each kernel being specialized for specific feature detection. In recent years, the convolutional neural network (CNN) became the standard method of feature detection since it allowed to optimize thousands of kernels at the same time. However, a limitation of the CNN is that all the kernels are small (usually between 3x3 and 7x7), which limits the receptive field. Another limitation is that feature merging is done via weighted additions and pooling, which cannot be used to merge spatial-domain features with gradient-domain features since they are not located at the same pixel coordinate. The objective of this thesis is to develop electromagnetic (EM) convolutions and Green’s functions (GF) convolutions to be used in Computer Vision and convolutional neural networks (CNN). These new kernels do not have the limitations of the standard CNN kernels since they allow an unlimited receptive field and interaction between any pixel in the image by using kernels bigger than the image. They allow merging spatial domain features with gradient domain features by integrating any vector field. Additionally, they can transform any vector field of features into its least-error conservative field, meaning that the field of features becomes smooth, irrotational and conservative (line-integrable). At first, we developed different symmetrical and asymmetrical convolutional kernel based on EM and GF that are both resolution and rotation invariant. Then we developed the first method of determining the probability of being inside partial edges, which allow extrapolating thin edge features into the full 2D space. Furthermore, the current thesis proves that GF kernels are the least-error gradient and Laplacian solvers, and they are empirically demonstrated to be faster than the fastest competing method and easier to implement. Consequently, using the fast gradient solver, we developed the first method that directly combines edges with saliency maps in the gradient domain, then solves the gradient to go back to the saliency domain. The improvement of the saliency maps over the F-measure is on average 6.6 times better than the nearest competing algorithm on a selected dataset. Then, to improve the saliency maps further, we developed the DSS-GIS model which combines edges with salient regions deep inside the network.

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.