FR3128015A1 - Vehicle navigation aid system. - Google Patents

Vehicle navigation aid system. Download PDF

Info

Publication number
FR3128015A1
FR3128015A1 FR2209934A FR2209934A FR3128015A1 FR 3128015 A1 FR3128015 A1 FR 3128015A1 FR 2209934 A FR2209934 A FR 2209934A FR 2209934 A FR2209934 A FR 2209934A FR 3128015 A1 FR3128015 A1 FR 3128015A1
Authority
FR
France
Prior art keywords
neural network
multitasking
aid system
fusion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR2209934A
Other languages
French (fr)
Inventor
Trong-lanh Rémi NGUYEN
Guillaume MAGNIEZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Clermont Auvergne Inp
Centre National de la Recherche Scientifique CNRS
Safran Electronics and Defense SAS
Universite Clermont Auvergne
Original Assignee
Clermont Auvergne Inp
Centre National de la Recherche Scientifique CNRS
Safran Electronics and Defense SAS
Universite Clermont Auvergne
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clermont Auvergne Inp, Centre National de la Recherche Scientifique CNRS, Safran Electronics and Defense SAS, Universite Clermont Auvergne filed Critical Clermont Auvergne Inp
Publication of FR3128015A1 publication Critical patent/FR3128015A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0495Quantised networks; Sparse networks; Compressed networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

Système d’aide à la navigation d’un véhicule comprenant un dispositif de gestion (2), ainsi qu’un moyen de calcul (12), un moyen de fusion (13), un moyen d’acquisition d’image, et un moyen d’affichage (15), le moyen de calcul (12) étant également connecté en sortie au moyen de fusion (13) connecté lui-même en sortie, directement ou indirectement, à un moyen d’affichage (15),le dispositif de gestion (2) étant configuré pour générer une seconde structure multitâche à partir d'une première structure multitâche d'un ensemble de réseaux neuronaux convolutifs le moyen de calcul (12) étant configuré pour appliquer la seconde structure multitâche déterminée par le dispositif de gestion à l’image acquise, le moyen de fusion (13) étant configuré pour superposer les données générées par la seconde structure multitâche avec l’image acquise de sorte à produire une image enrichie. Figure pour l’abrégé : Figure [Fig 3]Vehicle navigation aid system comprising a management device (2), as well as a calculation means (12), a merging means (13), an image acquisition means, and a display means (15), the calculation means (12) also being connected at the output to the merging means (13) itself connected at the output, directly or indirectly, to a display means (15), the device management device (2) being configured to generate a second multitasking structure from a first multitasking structure of a set of convolutional neural networks, the calculation means (12) being configured to apply the second multitasking structure determined by the management device to the acquired image, the fusion means (13) being configured to superimpose the data generated by the second multitasking structure with the acquired image so as to produce an enriched image. Figure for abstract: Figure [Fig 3]

Description

Système d’aide à la navigation d’un véhicule.Vehicle navigation aid system.

L’invention a pour domaine technique la navigation d’un véhicule automobile, aérien, terrestre ou maritime, et plus particulièrement, les systèmes ADAS (acronyme anglophone pour « Advanced driver assistance services ») pour de tels véhicules, notamment ceux comprenant des réseaux neuronaux.The technical field of the invention is the navigation of a motor vehicle, air, land or sea, and more particularly, the ADAS systems (English acronym for "Advanced driver assistance services") for such vehicles, in particular those comprising neural networks .

Art antérieurPrior art

Les systèmes d’aide à la navigation de véhicules, tels que des systèmes ADAS utilisent de plus en plus de moyens de segmentation afin d’enrichir les images acquises par les caméras embarquées. Les moyens de segmentation employés comprennent notamment des réseaux neuronaux et des réseaux neuronaux convolutifs profonds DCNN (acronyme anglophone pour « Deep Convoluted Neural Network ») qui permettent d’obtenir des informations pertinentes dans des durées de traitement restreintes.Vehicle navigation assistance systems, such as ADAS systems, are increasingly using segmentation means to enrich the images acquired by on-board cameras. The means of segmentation used include in particular neural networks and deep convolutional neural networks DCNN (English acronym for "Deep Convoluted Neural Network") which make it possible to obtain relevant information in limited processing times.

Les réseaux neuronaux convolutifs profonds (DCNN) sont largement utilisés dans la reconnaissance d'images et de vidéos, les systèmes de recommandation et le traitement du langage naturel.Deep convolutional neural networks (DCNNs) are widely used in image and video recognition, recommender systems, and natural language processing.

Chaque réseau neuronal convolutif peut réaliser une tâche spécifique telle que la détection ou la segmentation sémantique.Each convolutional neural network can perform a specific task such as detection or semantic segmentation.

Cependant, de nombreuses applications nécessitent désormais une résolution simultanée de ces tâches.However, many applications now require these tasks to be solved simultaneously.

Il est donc proposé d'utiliser des ensembles de réseaux neuronaux dits multitâches, qui sont capables de réaliser simultanément plusieurs tâches distinctes mais corrélées et de partager des ressources entre elles. C’est notamment le cas lorsqu’une même image est traitée par deux réseaux neuronaux différents afin d’extraire différentes informations.It is therefore proposed to use sets of so-called multitasking neural networks, which are capable of performing several distinct but correlated tasks simultaneously and of sharing resources between them. This is particularly the case when the same image is processed by two different neural networks in order to extract different information.

Chaque tâche peut alors bénéficier de particularités qui n'auraient pas été apprises avec son gradient par elle-même.Each task can then benefit from features that would not have been learned with its gradient by itself.

Pour cela, il existe deux catégories de structures de réseaux neuronaux multitâches, la première permettant un « partage strict des poids », c'est-à-dire l'utilisation d'un ensemble commun de calculs.For this, there are two categories of multitasking neural network structures, the first allowing “strict weight sharing”, i.e. the use of a common set of calculations.

Quant à la seconde catégorie de structures, elle conduit à un « partage souple des poids », qui permet à chaque tâche de disposer de ses propres poids entraînables avec des contraintes entre les tâches.As for the second category of structures, it leads to a “flexible sharing of weights”, which allows each task to have its own trainable weights with constraints between the tasks.

Cependant, ces structures sont difficiles à intégrer dans un circuit embarqué en raison de leur taille, du temps de calcul nécessaire pour exécuter les tâches et de la mémoire mobilisée à cet effet.However, these structures are difficult to integrate into an on-board circuit due to their size, the computation time required to perform the tasks and the memory mobilized for this purpose.

Il en découle alors une durée de traitement augmentant avec le nombre de réseaux neuronaux, qui peut mener à un retard dans la disponibilité des informations extraites, se manifestant notamment par un retard d’affichage des images inacceptable pour l’utilisateur final.This then results in a processing time that increases with the number of neural networks, which can lead to a delay in the availability of the extracted information, manifesting itself in particular by an unacceptable delay in the display of images for the end user.

Il est couramment proposé dans de telles situations de fusionner au moins une paire de réseaux neuronaux appliqués à une même image au niveau de couches de même profondeur ayant des caractéristiques redondantes.It is commonly proposed in such situations to merge at least one pair of neural networks applied to the same image at the level of layers of the same depth having redundant characteristics.

Il n'est alors plus nécessaire de calculer les couches antérieures à celle sélectionnée parmi les deux réseaux neuronaux puisque l'accumulation des calculs produit la même carte de particularités.It is then no longer necessary to calculate the layers prior to that selected from among the two neural networks since the accumulation of the calculations produces the same map of features.

Néanmoins, cette fusion conduit à réentraîner les deux réseaux neuronaux, ce qui nécessite du temps de calcul, de la mémoire et aussi la disponibilité de données annotées.Nevertheless, this fusion leads to retrain the two neural networks, which requires computation time, memory and also the availability of annotated data.

Il existe donc un besoin pour un système d’aide à la navigation et un procédé correspondant permettant de réduire la durée de traitement lorsqu’au moins deux réseaux neuronaux embarqués sont appliqués à une même image acquise sans avoir à les réentraîner.There is therefore a need for a navigation aid system and a corresponding method making it possible to reduce the processing time when at least two on-board neural networks are applied to the same acquired image without having to retrain them.

Selon un premier aspect, l'invention concerne un système d’aide à la navigation d’un véhicule comprenant un dispositif de gestion, un moyen de calcul, un moyen de fusion, un moyen d’acquisition d’image, et un moyen d’affichage, le moyen de calcul étant également connecté en sortie au moyen de fusion connecté lui-même en sortie, directement ou indirectement, à un moyen d’affichage.According to a first aspect, the invention relates to a navigation aid system for a vehicle comprising a management device, a means of calculation, a fusion means, an image acquisition means, and a means of display, the calculation means also being connected at the output to the merging means itself connected at the output, directly or indirectly, to a display means.

Le dispositif de gestion est configuré pour générer une seconde structure multitâche à partir d'une première structure multitâche d'un ensemble de réseaux neuronaux convolutifs compris dans une mémoire, ledit ensemble comprenant au moins un premier et un second réseau neuronal entraîné, de même structure, et dans lequel chacun est capable d'exécuter une tâche distincte, le dispositif comprenant en outre :The management device is configured to generate a second multitasking structure from a first multitasking structure of a set of convolutional neural networks included in a memory, said set comprising at least a first and a second trained neural network, of the same structure , and wherein each is capable of performing a separate task, the device further comprising:

- des moyens de comparaison capables de réaliser une comparaison par régression linéaire entre une première carte d'activation, générée par chaque première couche de convolution du premier réseau neuronal, et une seconde carte d'activation, générée par chaque seconde couche de convolution du second réseau neuronal, les première et seconde couches de convolution ayant la même profondeur ;- comparison means capable of carrying out a comparison by linear regression between a first activation map, generated by each first convolution layer of the first neural network, and a second activation map, generated by each second convolution layer of the second neural network, the first and second convolution layers having the same depth;

- des moyens de sélection capables de sélectionner au moins une des couches de convolution du premier réseau neuronal selon la valeur d'au moins un paramètre et,- selection means capable of selecting at least one of the convolution layers of the first neural network according to the value of at least one parameter and,

- des moyens de calcul capables de fusionner ladite couche sélectionnée avec la couche de convolution de même profondeur du second réseau neuronal et de supprimer l'ensemble des couches de convolution du premier réseau neuronal qui précède ladite couche sélectionnée.- Computing means capable of merging said selected layer with the convolution layer of the same depth of the second neural network and of deleting all of the convolution layers of the first neural network which precedes said selected layer.

Le moyen de calcul est configuré pour appliquer la seconde structure multitâche déterminée par le dispositif de gestion à l’image acquise, le moyen de fusion étant configuré pour superposer les données générées par la seconde structure multitâche avec l’image acquise de sorte à produire une image enrichie.The calculation means is configured to apply the second multitasking structure determined by the management device to the acquired image, the merging means being configured to superimpose the data generated by the second multitasking structure with the acquired image so as to produce a enriched image.

Les moyens de sélection peuvent être configurés pour déterminer un point de fusion optimal des réseau neuronaux de la première structure multitâche en :The selection means can be configured to determine an optimal fusion point of the neural networks of the first multitasking structure by:

- en déterminant au moins deux points de fusion potentiels, puis- by determining at least two potential melting points, then

- en déterminant pour chaque point de fusion potentiel, la dégradation de performance et le gain en temps de calcul du réseau neuronal subissant la fusion appliqué à un jeu de données non annoté, et- by determining for each potential fusion point, the performance degradation and the gain in computation time of the neural network undergoing the fusion applied to a non-annotated dataset, and

- en représentant dans un graphe la perte de performance de calcul du réseau neuronal subissant la fusion en fonction du gain de temps de calcul du réseau neuronal subissant la fusion, puis- by representing in a graph the loss of computational performance of the neural network undergoing the fusion as a function of the gain in computation time of the neural network undergoing the fusion, then

- en choisissant le point de fusion potentiel présentant la plus petite distance à l’optimal de Pareto dans le graphe.- by choosing the potential melting point with the smallest distance to the Pareto optimal in the graph.

Le jeu de données non annoté peut être différent du jeu de données d’entrainement du premier réseau neuronal et/ou du deuxième réseau neuronalThe unannotated dataset may be different from the training dataset of the first neural network and/or the second neural network

La deuxième structure multitâche obtenue peut être déjà entrainée et apte à générer des données semblables aux données générées par le premier réseau neuronal et le deuxième réseau neuronal.The second multitasking structure obtained may already be trained and able to generate data similar to the data generated by the first neural network and the second neural network.

Dans un mode de réalisation, les moyens de calcul sont capables de réaliser la fusion entre le premier et le second réseau neuronal convolutif d'une manière non supervisée et/ou par projection linéaire.In one embodiment, the computing means are capable of performing the fusion between the first and the second convolutional neural network in an unsupervised manner and/or by linear projection.

Dans un mode de réalisation, la valeur dudit paramètre est déterminée en fonction des résultats de toutes les comparaisons réalisées et/ou en fonction du temps de calcul à allouer à la seconde structure multitâche et/ou en fonction de la précision de calcul des cartes d'activation générées par la seconde structure.In one embodiment, the value of said parameter is determined according to the results of all the comparisons carried out and/or according to the calculation time to be allocated to the second multitasking structure and/or according to the precision of calculation of the maps of activation generated by the second structure.

La tache exécutée par un réseau neuronal peut être choisie parmi l’inférence de profondeur et la segmentation sémantique.The task performed by a neural network can be chosen from depth inference and semantic segmentation.

L’invention a également pour objet un procédé d’aide à la navigation d’un véhicule comprenant les étapes suivantes :The invention also relates to a method for aiding the navigation of a vehicle comprising the following steps:

- acquisition d’une image par un moyen d’acquisition d’image du véhicule,- acquisition of an image by means of image acquisition of the vehicle,

- génération d’une seconde structure multitâche à partir d'une première structure multitâche d'un ensemble de réseaux neuronaux convolutifs prédéfinis, ledit ensemble comprenant au moins un premier et un second réseau neuronal entraîné, de même structure, et dans lequel chacun est capable d’exécuter une tâche distincte,- generation of a second multitasking structure from a first multitasking structure of a set of predefined convolutional neural networks, said set comprising at least a first and a second trained neural network, of the same structure, and in which each is able to perform a separate task,

- comparaison par régression linéaire entre une première carte d'activation, générée par chaque première couche de convolution du premier réseau neuronal, et une seconde carte d'activation, générée par chaque seconde couche de convolution du second réseau neuronal, les première et seconde couches de convolution ayant la même profondeur ;- comparison by linear regression between a first activation map, generated by each first convolution layer of the first neural network, and a second activation map, generated by each second convolution layer of the second neural network, the first and second layers of convolution having the same depth;

- sélection d’au moins une des couches de convolution du premier réseau neuronal selon la valeur d'au moins un paramètre et,- selection of at least one of the convolution layers of the first neural network according to the value of at least one parameter and,

- fusion de ladite couche sélectionnée avec la couche de convolution de même profondeur du second réseau neuronal et suppression de l'ensemble des couches de convolution du premier réseau neuronal qui précède ladite couche sélectionnée,- fusion of said selected layer with the convolution layer of the same depth of the second neural network and deletion of all the convolution layers of the first neural network which precedes said selected layer,

- application de la seconde structure multitâche déterminée par le dispositif de gestion à l’image acquise,- application of the second multitasking structure determined by the management device to the acquired image,

- superposition des données générées par la seconde structure multitâche avec l’image acquise de sorte à produire une image enrichie.- superposition of the data generated by the second multitasking structure with the acquired image so as to produce an enriched image.

La fusion peut utiliser une couche intermédiaire de transition entrainée.The fusion can use an entrained transition intermediate layer.

Un autre objet de l’invention est un véhicule muni d’un système d’aide à la navigation tel que décrit ci-dessus, notamment un aéronef ou un véhicule automobile.Another object of the invention is a vehicle provided with a navigation aid system as described above, in particular an aircraft or a motor vehicle.

D’autres buts, caractéristiques et avantages de l’invention apparaîtront à la lecture de la description suivante, donnée uniquement à titre d’exemple non limitatif et faite en référence aux dessins annexés sur lesquels :Other aims, characteristics and advantages of the invention will appear on reading the following description, given solely by way of non-limiting example and made with reference to the appended drawings in which:

- illustre les modules d'un dispositif de gestion d'une première structure multitâche d'un ensemble de réseaux neuronaux convolutifs selon un mode de réalisation de l'invention,- illustrates the modules of a device for managing a first multitasking structure of a set of convolutional neural networks according to one embodiment of the invention,

- montre un organigramme d'un procédé de gestion de la première structure multitâche, réalisé par ledit dispositif, selon un mode de réalisation de l'invention,- shows a flowchart of a method for managing the first multitasking structure, produced by said device, according to one embodiment of the invention,

- illustre les principaux éléments d’un système d’aide à la navigation selon l’invention, et- illustrates the main elements of a navigation aid system according to the invention, and

- , et illustrent un front de Pareto appliqué à la détermination du point de fusion optimal selon différents modes de mise en œuvre.- , And illustrate a Pareto front applied to the determination of the optimal melting point according to different modes of implementation.

Claims (10)

Système d’aide à la navigation d’un véhicule comprenant un dispositif de gestion (2), ainsi qu’un moyen de calcul (12), un moyen de fusion (13), un moyen d’acquisition d’image, et un moyen d’affichage (15), le moyen de calcul (12) étant également connecté en sortie au moyen de fusion (13) connecté lui-même en sortie, directement ou indirectement, à un moyen d’affichage (15), le dispositif de gestion (2) étant configuré pour générer une seconde structure multitâche à partir d'une première structure multitâche d'un ensemble de réseaux neuronaux convolutifs compris dans une mémoire (3), ledit ensemble comprenant au moins un premier et un second réseau neuronal entraîné (4, 5), de même structure, et dans lequel chacun est capable d’exécuter une tâche distincte, le dispositif comprenant en outre :
- des moyens de comparaison (6) capables de réaliser une comparaison par régression linéaire entre une première carte d'activation, générée par chaque première couche de convolution du premier réseau neuronal (4), et une seconde carte d'activation, générée par chaque seconde couche de convolution du second réseau neuronal (5), les première et seconde couches de convolution ayant la même profondeur ;
- des moyens de sélection (7) capables de sélectionner au moins une des couches de convolution du premier réseau neuronal (4) selon la valeur d'au moins un paramètre et,
- des moyens de calcul (8) capables de fusionner ladite couche sélectionnée avec la couche de convolution de même profondeur du second réseau neuronal (5) et de supprimer l'ensemble des couches de convolution du premier réseau neuronal (4) qui précède ladite couche sélectionnée
le moyen de calcul (12) étant configuré pour appliquer la seconde structure multitâche déterminée par le dispositif de gestion à l’image acquise, le moyen de fusion (13) étant configuré pour superposer les données générées par la seconde structure multitâche avec l’image acquise de sorte à produire une image enrichie.
Navigation aid system for a vehicle comprising a management device (2), as well as a calculation means (12), a merging means (13), an image acquisition means, and a display means (15), the calculation means (12) also being connected at the output to the merging means (13) itself connected at the output, directly or indirectly, to a display means (15), the device (2) being configured to generate a second multitasking structure from a first multitasking structure of a set of convolutional neural networks included in a memory (3), said set comprising at least a first and a second trained neural network (4, 5), of the same structure, and in which each is capable of performing a separate task, the device further comprising:
- comparison means (6) capable of carrying out a comparison by linear regression between a first activation map, generated by each first convolution layer of the first neural network (4), and a second activation map, generated by each second convolution layer of the second neural network (5), the first and second convolution layers having the same depth;
- selection means (7) capable of selecting at least one of the convolution layers of the first neural network (4) according to the value of at least one parameter and,
- calculation means (8) capable of merging said selected layer with the convolution layer of the same depth of the second neural network (5) and of deleting all the convolution layers of the first neural network (4) which precedes said layer selected
the calculation means (12) being configured to apply the second multitasking structure determined by the management device to the acquired image, the merging means (13) being configured to superimpose the data generated by the second multitasking structure with the image acquired so as to produce an enriched image.
Système d’aide à la navigation selon la revendication 1, dans lequel les moyens de sélection (7) sont configurés pour déterminer un point de fusion optimal des réseau neuronaux de la première structure multitâche en :
- en déterminant au moins deux points de fusion potentiels, puis
- en déterminant pour chaque point de fusion potentiel, la dégradation de performance et le gain en temps de calcul du réseau neuronal subissant la fusion appliqué à un jeu de données non annoté,
- en représentant dans un graphe la perte de performance de calcul du réseau neuronal subissant la fusion en fonction du gain de temps de calcul du réseau neuronal subissant la fusion, puis
- en choisissant le point de fusion potentiel présentant la plus petite distance à l’optimal de Pareto dans le graphe.
Navigation aid system according to claim 1, in which the selection means (7) are configured to determine an optimal fusion point of the neural networks of the first multitasking structure by:
- by determining at least two potential melting points, then
- by determining for each potential fusion point, the performance degradation and the gain in computation time of the neural network undergoing the fusion applied to a non-annotated dataset,
- by representing in a graph the loss of computational performance of the neural network undergoing the fusion as a function of the gain in computation time of the neural network undergoing the fusion, then
- by choosing the potential melting point with the smallest distance to the Pareto optimal in the graph.
Système d’aide à la navigation selon la revendication 2, dans lequel le jeu de données non annoté est différent du jeu de données d’entrainement du premier réseau neuronal et/ou du deuxième réseau neuronalA navigational aid system according to claim 2, wherein the unannotated data set is different from the training data set of the first neural network and/or the second neural network Système d’aide à la navigation selon l’une quelconque des revendications 1 à 3, dans lequel la deuxième structure multitâche obtenue est déjà entrainée et apte à générer des données semblables aux données générées par le premier réseau neuronal et le deuxième réseau neuronal.Navigation aid system according to any one of Claims 1 to 3, in which the second multitasking structure obtained is already trained and able to generate data similar to the data generated by the first neural network and the second neural network. Système d’aide à la navigation selon l’une quelconque des revendications 1 à 4, dans lequel les moyens de calcul (8) sont capables de réaliser la fusion entre le premier et le second réseau neuronal convolutif (4, 5) de manière non supervisée et/ou par projection linéaire.Navigation aid system according to any one of claims 1 to 4, in which the calculation means (8) are able to perform the fusion between the first and the second convolutional neural network (4, 5) in a non supervised and/or by linear projection. Système d’aide à la navigation selon l’une quelconque des revendications 1 à 5, dans lequel la valeur dudit paramètre est déterminée en fonction des résultats de toutes les comparaisons réalisées et/ou en fonction du temps de calcul à allouer à la seconde structure multitâche et/ou en fonction de la précision de calcul des cartes d'activation générées par la seconde structure.Navigation aid system according to any one of Claims 1 to 5, in which the value of the said parameter is determined according to the results of all the comparisons carried out and/or according to the calculation time to be allocated to the second structure multitasking and/or depending on the calculation precision of the activation maps generated by the second structure. Système d’aide à la navigation selon l’une quelconque des revendications 1 à 6, dans lequel la tache exécutée par un réseau neuronal est choisie parmi l’inférence de profondeur et la segmentation sémantique.A navigational aid system according to any one of claims 1 to 6, wherein the task performed by a neural network is selected from depth inference and semantic segmentation. Procédé d’aide à la navigation d’un véhicule comprenant les étapes suivantes :
- acquisition d’une image par un moyen d’acquisition d’image du véhicule,
- génération d’une seconde structure multitâche à partir d'une première structure multitâche d'un ensemble de réseaux neuronaux convolutifs prédéfinis, ledit ensemble comprenant au moins un premier et un second réseau neuronal entraîné (4, 5), de même structure, et dans lequel chacun est capable d’exécuter une tâche distincte,
- comparaison par régression linéaire entre une première carte d'activation, générée par chaque première couche de convolution du premier réseau neuronal (4), et une seconde carte d'activation, générée par chaque seconde couche de convolution du second réseau neuronal (5), les première et seconde couches de convolution ayant la même profondeur ;
- sélection d’au moins une des couches de convolution du premier réseau neuronal (4) selon la valeur d'au moins un paramètre et,
- fusion de ladite couche sélectionnée avec la couche de convolution de même profondeur du second réseau neuronal (5) et suppression de l'ensemble des couches de convolution du premier réseau neuronal (4) qui précède ladite couche sélectionnée,
- application de la seconde structure multitâche déterminée par le dispositif de gestion à l’image acquise,
- superposition des données générées par la seconde structure multitâche avec l’image acquise de sorte à produire une image enrichie.
Method for aiding the navigation of a vehicle comprising the following steps:
- acquisition of an image by an image acquisition means of the vehicle,
- generation of a second multitasking structure from a first multitasking structure of a set of predefined convolutional neural networks, said set comprising at least a first and a second trained neural network (4, 5), of the same structure, and in which each is capable of performing a distinct task,
- comparison by linear regression between a first activation map, generated by each first convolution layer of the first neural network (4), and a second activation map, generated by each second convolution layer of the second neural network (5) , the first and second convolution layers having the same depth;
- selection of at least one of the convolution layers of the first neural network (4) according to the value of at least one parameter and,
- fusion of said selected layer with the convolution layer of the same depth of the second neural network (5) and deletion of all the convolution layers of the first neural network (4) which precedes said selected layer,
- application of the second multitasking structure determined by the management device to the acquired image,
- superposition of the data generated by the second multitasking structure with the acquired image so as to produce an enriched image.
Procédé selon la revendication 8, dans lequel la fusion utilise une couche intermédiaire de transition entrainée.A method according to claim 8, wherein the melting uses an entrained transition interlayer. Véhicule muni d’un système d’aide à la navigation selon l’une quelconque des revendications 1 à 7, notamment un aéronef ou un véhicule automobile.Vehicle provided with a navigation aid system according to any one of claims 1 to 7, in particular an aircraft or a motor vehicle.
FR2209934A 2021-10-07 2022-09-29 Vehicle navigation aid system. Pending FR3128015A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2110644A FR3128045A1 (en) 2021-10-07 2021-10-07 Method for managing a multitasking structure of a set of convolutional neural networks
FR2110644 2021-10-07

Publications (1)

Publication Number Publication Date
FR3128015A1 true FR3128015A1 (en) 2023-04-14

Family

ID=81327661

Family Applications (2)

Application Number Title Priority Date Filing Date
FR2110644A Pending FR3128045A1 (en) 2021-10-07 2021-10-07 Method for managing a multitasking structure of a set of convolutional neural networks
FR2209934A Pending FR3128015A1 (en) 2021-10-07 2022-09-29 Vehicle navigation aid system.

Family Applications Before (1)

Application Number Title Priority Date Filing Date
FR2110644A Pending FR3128045A1 (en) 2021-10-07 2021-10-07 Method for managing a multitasking structure of a set of convolutional neural networks

Country Status (1)

Country Link
FR (2) FR3128045A1 (en)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KOICHI ITO HIROYA KAWAI ET AL: "Merged Multi-CNN with Parameter Reduction for Face Attribute Estimation", 2019 INTERNATIONAL CONFERENCE ON BIOMETRICS (ICB), IEEE, 4 June 2019 (2019-06-04), pages 1 - 8, XP033709024, DOI: 10.1109/ICB45273.2019.8987397 *
NGUYEN TRONG-LANH ET AL: "VampNet : Vampirisation non supervisée de réseaux de convolution VampNet : Unsupervised Vampirizing of Convolutional Networks", 9 September 2021 (2021-09-09), XP093056812, Retrieved from the Internet <URL:https://hal.science/hal-03339673v1/file/ORASIS21.pdf> [retrieved on 20230622] *
WU CHENG-EN ET AL: "Merging Well-Trained Deep CNN Models for Efficient Inference", 7 December 2020 (2020-12-07), pages 1594 - 1600, XP055952760, Retrieved from the Internet <URL:http://www.apsipa.org/proceedings/2020/pdfs/0001594.pdf> *

Also Published As

Publication number Publication date
FR3128045A1 (en) 2023-04-14

Similar Documents

Publication Publication Date Title
US11314990B2 (en) Method for acquiring object information and apparatus for performing same
FR3112007A1 (en) MODEL TRAINING PROCESS AND APPARATUS, AND PREDICTING PROCESS AND APPARATUS
EP3614306B1 (en) Method for facial localisation and identification and pose determination, from a three-dimensional view
EP4315170A1 (en) Multimodal autoencoder with improved latent data fusion
EP3608835A1 (en) Method for processing fingerprint images
EP0681270A1 (en) Object trajectory determination process and device for carrying out this process
WO2022008605A1 (en) Electronic device and method for processing data based on reversible generative networks, associated electronic detection system and associated computer program
EP2174268B1 (en) Method, device and system for merging information from several sensors
EP3712775A1 (en) Method and device for determining the overall memory size of an overall memory area allocated to data from a neural network in view of its topology
FR3128015A1 (en) Vehicle navigation aid system.
EP1387232A1 (en) Method for determining a value to be allocated to different parameters of a system
FR3092546A1 (en) Identification of rolling areas taking into account uncertainty by a deep learning method
EP3660748A1 (en) Method for analyzing a set of parameters of a neural network in order to obtain a technical improvement, for example a memory gain
EP3488383B1 (en) Method and device for aiding the navigation of a vehicule
FR3111424A1 (en) Generation of trajectories by a neural network resulting from a system of generative antagonist networks
EP4322061A1 (en) Electronic device and method for processing data comprising at least one self-adaptive artificial intelligence model with local learning, associated electronic system and computer program
US12049288B2 (en) Method for acquiring object information and apparatus for performing same
WO2024100349A1 (en) System and method for assisting with the navigation of a mobile system
FR3113273A1 (en) Automated Neural Network Compression for Autonomous Driving
EP4345686A1 (en) Method for automatically generating a decision-making assistance algorithm; associated computer program product and computer device
WO2023118275A1 (en) Method and device for generating paths for a mobile apparatus
EP4332914A1 (en) Method and device for detecting material objects in a space surrounding an autonomous robot
EP4191530A1 (en) Simultaneous localization and mapping method incorporating self-supervised temporal masking and machine learning model for generating such masking
Matias Environment reconstruction on disparity images using surface features and Generative Adversarial Networks
Lafarge et al. Scanner Neural Network for On-board Segmentation of Satellite Images

Legal Events

Date Code Title Description
PLSC Publication of the preliminary search report

Effective date: 20230728

PLFP Fee payment

Year of fee payment: 2