FR3101467A1 - MULTIFUNCTIONAL AND MODULAR MATCHING IMAGE PROCESSING SYSTEM FOR AIRCRAFT, AND ASSOCIATED PROCESS - Google Patents
MULTIFUNCTIONAL AND MODULAR MATCHING IMAGE PROCESSING SYSTEM FOR AIRCRAFT, AND ASSOCIATED PROCESS Download PDFInfo
- Publication number
- FR3101467A1 FR3101467A1 FR1910866A FR1910866A FR3101467A1 FR 3101467 A1 FR3101467 A1 FR 3101467A1 FR 1910866 A FR1910866 A FR 1910866A FR 1910866 A FR1910866 A FR 1910866A FR 3101467 A1 FR3101467 A1 FR 3101467A1
- Authority
- FR
- France
- Prior art keywords
- image
- images
- aircraft
- library
- geometric transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000008569 process Effects 0.000 title description 5
- 230000009466 transformation Effects 0.000 claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 101
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 230000007613 environmental effect Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 238000002360 preparation method Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001061260 Emmelichthys struhsakeri Species 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30212—Military
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Système de traitement d’images par mise en correspondance multifonctions et modulaire pour aéronef, et procédé associé Le système (12) comporte des interfaces (70 ; 72 ; 74 ; 76) avec au moins trois sources distinctes d’images (24 ; 26 ; 22 ; 20) et une unité de mise en correspondance (80), propre à recevoir des images provenant des sources d’images (24 ; 26 ; 22 ; 20) par l’intermédiaire des interfaces (70 ; 72 ; 74 ; 76). L’unité de mise en correspondance (80) est propre à mettre en correspondance une première image provenant d’une première source parmi les trois sources distinctes d’images avec une deuxième image provenant d’une deuxième source parmi les au moins trois sources distinctes d’images pour déterminer la transformation géométrique entre la première image et la deuxième image. Le système (12) comprend un module fonctionnel propre à produire, sur la base de la transformation géométrique, au moins un service fonctionnel destiné à un système de mission de l’aéronef (10). Figure pour l'abrégé : figure 1Multifunctional Modular Aircraft Mapping Image Processing System and Method The system (12) includes interfaces (70; 72; 74; 76) with at least three distinct sources of images (24; 26; 22; 20) and a matching unit (80), suitable for receiving images from image sources (24; 26; 22; 20) via interfaces (70; 72; 74; 76) . The matching unit (80) is adapted to match a first image originating from a first source among the three distinct sources of images with a second image originating from a second source among the at least three distinct sources images to determine the geometric transformation between the first image and the second image. The system (12) comprises a functional module capable of producing, on the basis of the geometric transformation, at least one functional service intended for a mission system of the aircraft (10). Figure for abstract: figure 1
Description
La présente invention concerne un système de traitement d'images d’aéronef.The present invention relates to an aircraft image processing system.
Un tel système est notamment destiné à être implémenté dans différents types d’aéronefs comme des avions de combat habités, des drones, des avions de transport civils, des engins volants télé-pilotés ou autonomes (également appelés « Remote Carrier »). Le lieu d’implémentation du système est à bord de l’aéronef ou/et dans une station sol en communication avec l’aéronef.Such a system is intended in particular to be implemented in different types of aircraft such as manned combat aircraft, drones, civil transport aircraft, unmanned or autonomous flying machines (also called "Remote Carrier"). The place of implementation of the system is on board the aircraft and/or in a ground station in communication with the aircraft.
Des systèmes connus du type précité existent dans certains aéronefs militaires, notamment pour améliorer la précision de géo-référencement d'images issues des capteurs de bord de l'aéronef. Les systèmes connus sont basés par exemple sur de la mise en correspondance d'images reposant sur le calcul d’inter-corrélation globale entre images, parfois aidé par l’extraction préalable de primitives.Known systems of the aforementioned type exist in certain military aircraft, in particular to improve the precision of geo-referencing of images coming from the sensors on board the aircraft. Known systems are based, for example, on the matching of images based on the calculation of global inter-correlation between images, sometimes aided by the prior extraction of primitives.
De telles solutions sont souvent limitées à un type de capteur donné pour une bande spectrale donnée, par exemple bandes optiques visibles, infrarouges, bandes électromagnétiques Ka, Ku, X,….Such solutions are often limited to a given type of sensor for a given spectral band, for example visible optical bands, infrared, electromagnetic bands Ka, Ku, X,….
Les systèmes connus ne donnent pas entière satisfaction. En effet, les solutions développées dans un capteur donné sont propres à ce capteur et permettent difficilement une mutualisation des capacités de mise en correspondance pour l’utilisation au profit d’autres équipements de l’aéronef, par exemple pour d’autres capteurs de mission ou de navigation, ou/et pour des armements. Ces solutions sont ainsi peu évolutives ou modulaires à l’échelle de l’aéronef. The known systems do not give complete satisfaction. Indeed, the solutions developed in a given sensor are specific to this sensor and make it difficult to pool matching capabilities for use for the benefit of other aircraft equipment, for example for other mission sensors. or navigation, or/and for armaments. These solutions are therefore not very scalable or modular at the scale of the aircraft.
Les solutions existantes sont généralement dédiées à une nature d'image unique (optronique visible, infrarouge, radar, …) sans possibilité d’exploiter ou/et de mixer différentes sources d’images.Existing solutions are generally dedicated to a single type of image (visible optronics, infrared, radar, etc.) without the possibility of exploiting and/or mixing different image sources.
En outre, les méthodes basées sur le calcul d’inter-corrélation global entre images sont souvent peu robustes aux déformations des images, lorsqu’elles sont prises ou projetées dans des repères différents.In addition, methods based on the calculation of global inter-correlation between images are often not very robust to deformations of the images, when they are taken or projected in different frames.
Ces méthodes, qui nécessitent par ailleurs des superpositions successives de l’image avec des modèles de référence, sont parfois coûteuses en charge de calcul et, de fait, incompatibles avec un calcul temps-réel dans un calculateur de bord.These methods, which also require successive superpositions of the image with reference models, are sometimes costly in terms of computational load and, in fact, incompatible with real-time computation in an on-board computer.
Par ailleurs, les méthodes basées sur des analyses locales aux images (de type SIFT pour transformée de caractéristiques invariantes à l’échelle, « Scale Invariant Feature Transform » en anglais) sont souvent peu robustes aux différences de radiométries ou/et de modalité dans les images comparées (visible, infrarouge, image radar,…) .Furthermore, methods based on image-local analyzes (of the SIFT type for Scale Invariant Feature Transform) are often not very robust to differences in radiometry and/or modality in the images. compared images (visible, infrared, radar image, etc.).
Un but de l'invention est donc d'obtenir un système modulaire et évolutif, capable de traiter des images de natures variées, obtenues à partir de sources diverses (base de donnée cartographique ou satellitaire, images issues des différents capteurs de bord ou reçues par les moyens de communication externes de l’aéronef,…), en vue d’augmenter les fonctionnalités offertes sur l’aéronef.An object of the invention is therefore to obtain a modular and scalable system, capable of processing images of various kinds, obtained from various sources (cartographic or satellite database, images from the various on-board sensors or received by the aircraft's external communication means, etc.), with a view to increasing the functionalities offered on the aircraft.
À cet effet, l’invention a pour objet un système du type précité, comprenant :To this end, the subject of the invention is a system of the aforementioned type, comprising:
- des interfaces avec au moins trois sources distinctes d’images;- interfaces with at least three distinct image sources;
- une unité de mise en correspondance, propre à recevoir des images provenant des sources d’images par l’intermédiaire des interfaces, l’unité de mise en correspondance étant propre à mettre en correspondance une première image provenant d’une première source parmi les trois sources distinctes d’images avec une deuxième image provenant d’une deuxième source, parmi les aux moins trois sources distinctes d’images, la deuxième source étant distincte de la première source, pour déterminer la transformation géométrique entre la première image et la deuxième image ;- a matching unit, able to receive images coming from the image sources via the interfaces, the matching unit being able to match a first image coming from a first source among the three distinct image sources with a second image originating from a second source, among the at least three distinct image sources, the second source being distinct from the first source, to determine the geometric transformation between the first image and the second picture ;
- un module fonctionnel propre à produire, sur la base de la transformation géométrique, au moins un service fonctionnel destiné à un système de mission de l’aéronef.- a functional module capable of producing, on the basis of the geometric transformation, at least one functional service intended for a mission system of the aircraft.
Le système selon l’invention peut comprendre l’une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toute combinaison techniquement possible :The system according to the invention may comprise one or more of the following characteristics, taken separately or in any technically possible combination:
- l’unité de mise en correspondance est propre à mettre en correspondance une troisième image provenant d’une troisième source distincte de la première source et de la deuxième source avec la première image ou/et avec la deuxième image, pour déterminer la transformation géométrique entre la première image et la troisième image ou/et entre la deuxième image et la troisième image ;- the matching unit is able to match a third image coming from a third source distinct from the first source and from the second source with the first image or/and with the second image, to determine the geometric transformation between the first image and the third image or/and between the second image and the third image;
- la première source est une source quelconque d’images parmi les au moins trois sources d’images, la deuxième source étant une source quelconque, distincte de la première source, parmi les aux moins trois sources d’images ;- the first source is any source of images among the at least three sources of images, the second source being any source, distinct from the first source, among the at least three sources of images;
- les sources distinctes d’images sont choisies parmi des capteurs de mission, en particulier des capteurs d'imagerie radar ou optroniques, des capteurs de navigation, en particulier des systèmes de vision de l'aéronef, des bases de données de préparation de mission, en particulier des fichiers de terrain, des cartographies numériques ou de bases de données satellite géo-référencées, des systèmes de communication externes propres à échanger des images avec d’autres acteurs ;- the distinct image sources are chosen from mission sensors, in particular radar or optronic imaging sensors, navigation sensors, in particular aircraft vision systems, mission preparation databases , in particular field files, digital maps or geo-referenced satellite databases, external communication systems capable of exchanging images with other actors;
- l'unité de mise en correspondance est propre à mettre en œuvre un algorithme de mise en correspondance configurable, l'unité de mise en correspondance comportant un module de configuration de l'algorithme en fonction du type de sources d’images utilisée, de la nature de chaque image, et/ou de données d'environnement de la scène visualisée sur les images ;- the mapping unit is capable of implementing a configurable mapping algorithm, the mapping unit comprising a module for configuring the algorithm according to the type of image sources used, the nature of each image, and/or environmental data of the scene viewed in the images;
- l'algorithme de mise en correspondance configurable est propre à appliquer, successivement, sur chaque image, une première fonction de traitement choisie dans une première bibliothèque de fonctions, une deuxième fonction de traitement choisie dans une deuxième bibliothèque de fonctions et avantageusement, au moins une troisième fonction de traitement choisie dans une troisième bibliothèque de fonctions, le module de configuration de l'algorithme de traitement étant propre à définir pour chaque image, chaque fonction de traitement à appliquer dans l'algorithme de traitement dans chaque bibliothèque de fonctions en fonction des sources d’images utilisées, de la nature de chaque image, et/ou de données d'environnement de la scène visualisée ;- the configurable mapping algorithm is capable of applying, successively, to each image, a first processing function chosen from a first library of functions, a second processing function chosen from a second library of functions and advantageously at least a third processing function chosen from a third library of functions, the processing algorithm configuration module being able to define for each image, each processing function to be applied in the processing algorithm in each library of functions as a function the image sources used, the nature of each image, and/or environmental data of the scene viewed;
- la première fonction, la deuxième fonction et la troisième fonction sont choisies parmi un filtre, un détecteur de singularités, et un descripteur de singularités, le module de configuration de l'algorithme de traitement étant propre à choisir le type de filtre appliqué à chaque image, le type de détecteur appliqué à chaque image, et le type de descripteur appliqué à chaque image en fonction des sources d’images utilisées, de la nature de chaque image, et/ou de données d'environnement de la scène visualisée ;- the first function, the second function and the third function are chosen from among a filter, a detector of singularities, and a descriptor of singularities, the configuration module of the processing algorithm being suitable for choosing the type of filter applied to each image, the type of detector applied to each image, and the type of descriptor applied to each image depending on the image sources used, the nature of each image, and/or environmental data of the scene viewed;
- la première bibliothèque est une bibliothèque de filtres applicables, comprenant plusieurs filtres choisis avantageusement parmi un filtre médian, un filtre moyen, un filtre gaussien, et un filtre exponentiel, la deuxième bibliothèque étant une bibliothèque de détecteurs applicables, comprenant plusieurs détecteurs choisis avantageusement parmi un détecteur BLOB, un détecteur de Harris, un détecteur obtenu par apprentissage, notamment un détecteur CNN obtenu par apprentissage à l’aide d’un réseau de neurones convolutionnel entraîné par apprentissage profond, la troisième bibliothèque étant une bibliothèque de descripteurs, comprenant plusieurs descripteurs choisis avantageusement parmi un descripteur SIFT, un descripteur GLOH, un descripteur EOH et un descripteur obtenu par apprentissage, notamment un descripteur CNN obtenu par apprentissage à l’aide d’un réseau de neurones convolutionnel entraîné par apprentissage profond ;- the first library is a library of applicable filters, comprising several filters advantageously chosen from among a median filter, an average filter, a Gaussian filter, and an exponential filter, the second library being a library of applicable detectors, comprising several detectors advantageously chosen from a BLOB detector, a Harris detector, a trained detector, in particular a CNN detector obtained by training using a convolutional neural network trained by deep learning, the third library being a descriptor library, comprising several descriptors advantageously chosen from a SIFT descriptor, a GLOH descriptor, an EOH descriptor and a descriptor obtained by learning, in particular a CNN descriptor obtained by learning using a convolutional neural network trained by deep learning;
- chaque fonction de traitement comporte des paramètres d'optimisation, l'unité de mise en correspondance comprenant un module de définition des paramètres d'optimisation en fonction de la fonction de traitement choisie dans la bibliothèque de fonctions, des sources d’images utilisées, de la nature de chaque image, et/ou de données d'environnement de la scène visualisée, les paramètres d’optimisation ayant avantageusement été obtenus par apprentissage préalable ;- each processing function comprises optimization parameters, the matching unit comprising a module for defining the optimization parameters according to the processing function chosen from the library of functions, the image sources used, the nature of each image, and/or environmental data of the scene viewed, the optimization parameters having advantageously been obtained by prior learning;
- l’unité de mise en correspondance est propre à déterminer une transformation géométrique entre une image d’un capteur de bord et une image géo-référencée, le module fonctionnel étant propre à acquérir des données de position géographique à partir d’un système de navigation de l’aéronef, et à calculer un vecteur d'erreur entre les données de position de l'avion fournies par le système de navigation et une position réelle de l'avion obtenue sur la base de la transformation géométrique entre l’image du capteur de bord et l’image géo-référencée :- the matching unit is able to determine a geometric transformation between an image of an edge sensor and a geo-referenced image, the functional module being able to acquire geographical position data from a navigation of the aircraft, and in calculating an error vector between the position data of the aircraft supplied by the navigation system and a real position of the aircraft obtained on the basis of the geometric transformation between the image of the edge sensor and geo-referenced image:
- l’unité de mise en correspondance est propre à déterminer une transformation géométrique entre d’une image d’une source d’images et une image géo-référencée, le module fonctionnel étant propre à corriger le géoréférencement de l’image de la source d’images sur la base de la transformation géométrique entre l’image de la source d’images et l’image géo-référencée ;- the matching unit is capable of determining a geometric transformation between an image of an image source and a geo-referenced image, the functional module being capable of correcting the georeferencing of the source image images based on the geometric transformation between the image source image and the geo-referenced image;
- le module fonctionnel est propre à engendrer et à transmettre une information de recalage d'un système de l’aéronef, notamment d’un système d’armes, l’information de recalage étant obtenue à partir du géoréférencement corrigé de l’image provenant de la source d’images ;- the functional module is capable of generating and transmitting information on the registration of a system of the aircraft, in particular of a weapon system, the registration information being obtained from the corrected georeferencing of the image coming from the image source;
- l’unité de mise en correspondance est propre à déterminer une transformation géométrique entre une image provenant d’un capteur de bord et une image ou modèle de référence d’une piste, d’un porte-avion ou d’un avion ravitailleur, le module fonctionnel étant propre à calculer des données de guidage relatif de l’aéronef vers la piste d'atterrissage, le pont de porte-avion ou le panier de ravitaillement d’un avion ravitailleur à partir de la transformation géométrique entre l’image provenant du capteur de bord et l’image ou modèle de référence de la piste, du porte-avion ou de l’avion ravitailleur ;- the matching unit is able to determine a geometric transformation between an image coming from an on-board sensor and an image or reference model of a runway, an aircraft carrier or a tanker aircraft, the functional module being suitable for calculating relative guidance data of the aircraft towards the landing strip, the aircraft carrier deck or the refueling basket of a tanker aircraft from the geometric transformation between the image coming from of the onboard sensor and the image or reference model of the runway, carrier or tanker aircraft;
- l’unité de mise en correspondance est propre à déterminer la transformation géométrique pour aligner géométriquement deux images de capteurs d’une même scène prises à des instants différents, notamment d’une image issue d’une mission de reconnaissance et une image acquise durant la mission, le module fonctionnel étant propre à effectuer une détection d’un changement entre les deux images alignées, et- the matching unit is capable of determining the geometric transformation to geometrically align two sensor images of the same scene taken at different times, in particular of an image resulting from a reconnaissance mission and an image acquired during the mission, the functional module being capable of detecting a change between the two aligned images, and
- l’unité de mise en correspondance est propre à déterminer la transformation géométrique entre une image capteur petit champ et un extrait de cartographie numérique, le module fonctionnel étant propre à incruster l’image capteur petit champ dans l’extrait de cartographie numérique sur la base de la transformation géométrique.- the matching unit is suitable for determining the geometric transformation between a small field sensor image and a digital cartography extract, the functional module being suitable for embedding the small field sensor image in the digital cartography extract on the basis of geometric transformation.
L’invention a également pour objet un procédé de traitement d’images, mis en œuvre dans un aéronef, comprenant les étapes suivantes :The invention also relates to an image processing method, implemented in an aircraft, comprising the following steps:
- fourniture d’un système tel que décrit précédemment,- supply of a system as described above,
- acquisition par les interfaces d'une première image provenant d'une première source d’images parmi au moins les trois sources d’images et d'une deuxième image provenant d'une deuxième source d’images distincte de la première source d’images choisie parmi les aux moins trois sources d’images ;- acquisition by the interfaces of a first image coming from a first source of images among at least the three sources of images and of a second image coming from a second source of images distinct from the first source of images chosen from the at least three image sources;
- mise en correspondance, par l’unité de mise en correspondance, de la première image avec la deuxième image pour déterminer la transformation géométrique entre la première image et la deuxième image ;- matching, by the matching unit, of the first image with the second image to determine the geometric transformation between the first image and the second image;
- production par le module fonctionnel, sur la base de la transformation géométrique, d’au moins un service fonctionnel destiné à un système de mission de l’aéronef.- production by the functional module, on the basis of the geometric transformation, of at least one functional service intended for a mission system of the aircraft.
Le procédé selon l’invention peut comprendre l’une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toute combinaison techniquement possible :The process according to the invention may comprise one or more of the following characteristics, taken separately or in any technically possible combination:
- l’unité de mise en correspondance est propre à mettre en œuvre un algorithme de mise en correspondance configurable, l’unité de mise en correspondance comportant un module de configuration de l’algorithme en fonction des sources d’images utilisées, de la nature de chaque image, et/ou de données d'environnement de la scène visualisée dans les images.- the matching unit is capable of implementing a configurable matching algorithm, the matching unit comprising a module for configuring the algorithm according to the image sources used, the nature of each image, and/or environmental data of the scene displayed in the images.
le procédé comprenant l’application successivement, sur chaque image, par l'algorithme configurable, d’une première fonction de traitement choisie dans une première bibliothèque de fonctions, d’une deuxième fonction de traitement choisie dans une deuxième bibliothèque de fonctions et avantageusement, d’au moins une troisième fonction de traitement choisie dans une troisième bibliothèque de fonctions,the method comprising the successive application, on each image, by the configurable algorithm, of a first processing function chosen from a first library of functions, of a second processing function chosen from a second library of functions and advantageously, at least one third processing function chosen from a third library of functions,
le module de configuration de l'algorithme de traitement définissant pour chaque image, chaque fonction de traitement à appliquer dans l'algorithme de traitement dans chaque bibliothèque de fonctions en fonction des sources d’images utilisées, de la nature de chaque image, et/ou de données d'environnement de la scène visualisée dans les images.the processing algorithm configuration module defining for each image, each processing function to be applied in the processing algorithm in each library of functions according to the image sources used, the nature of each image, and/ or environmental data of the scene visualized in the images.
L’invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple, et faite en se référant aux dessins annexés, sur lesquels :The invention will be better understood on reading the following description, given solely by way of example, and made with reference to the appended drawings, in which:
-
-
-
-
-
-
-
-
-
Un premier aéronef 10, muni d'un système 12 de traitement d'images selon l'invention, est illustré schématiquement sur la figure 1.A first aircraft 10, equipped with an image processing system 12 according to the invention, is schematically illustrated in FIG. 1.
L'aéronef 10 est par exemple un avion ou un drone destiné à la chasse ou à la reconnaissance.The aircraft 10 is for example an airplane or a drone intended for hunting or reconnaissance.
L'aéronef 10 évolue dans un environnement 14 ou « théâtre » comportant une zone de topographie connue et référencée dans des bases de données cartographiques.The aircraft 10 operates in an environment 14 or "theater" comprising a known topographic zone referenced in cartographic databases.
En référence à la figure 1, l’aéronef 10 comporte de manière connue un système de navigation 30, un système de communication 22, et un système de capteurs de bord 20, 24, destiné à la détection de l'environnement 14 autour de l'aéronef 10.Referring to Figure 1, the aircraft 10 comprises in known manner a navigation system 30, a communication system 22, and a system of onboard sensors 20, 24, intended for the detection of the environment 14 around the aircraft 10.
Dans cet exemple, l'aéronef 10 comporte en outre un système de mission comportant au moins une base de données 26 pouvant être chargée en préparation de mission ou enrichie pendant la mission, et un système d'arme 28.In this example, the aircraft 10 further comprises a mission system comprising at least one database 26 which can be loaded in preparation for the mission or enriched during the mission, and a weapon system 28.
Le système de navigation 30 comporte au moins une unité de positionnement calculant la position de l'aéronef, en particulier sa latitude, sa longitude, et son altitude. L'unité de positionnement comporte par exemple un capteur inertiel, un capteur de navigation globale par satellite (ou GNSS pour « Global Navigation Satellite System »).The navigation system 30 comprises at least one positioning unit calculating the position of the aircraft, in particular its latitude, its longitude, and its altitude. The positioning unit comprises for example an inertial sensor, a global navigation satellite sensor (or GNSS for "Global Navigation Satellite System").
Le système de navigation 30 est propre à fournir des données de localisation de l'aéronef 10 aux autres systèmes de l'aéronef 10, en particulier au système de traitement d’images 12 selon l'invention. Il est propre à recevoir des informations de recalage, notamment du système de traitement d’images 12.The navigation system 30 is capable of supplying location data of the aircraft 10 to the other systems of the aircraft 10, in particular to the image processing system 12 according to the invention. It is capable of receiving registration information, in particular from the image processing system 12.
Le système de communication 22 est propre à permettre l’échange de données entre différents acteurs d’un dispositif aérien ou avec une composante sol.The communication system 22 is suitable for allowing the exchange of data between different actors of an aerial device or with a ground component.
Comme décrit plus bas, le système de communication 22 est notamment propre à recevoir des images de l'environnement 14, ou des images de référence pour le guidage du système d’arme 28, provenant de bases de données présentes dans des moyens au sol 32.As described below, the communication system 22 is in particular able to receive images of the environment 14, or reference images for the guidance of the weapon system 28, coming from databases present in means on the ground 32 .
Le système de capteurs de bord 20, 24 comporte au moins un capteur de navigation 34. Le capteur de navigation 34 est par exemple un capteur permettant à l'équipage d'observer l'environnement situé autour de l'aéronef 10. Il peut-être, par exemple, intégré dans un système de vision amélioré ("Enhanced Vision System") sur un avion civil.The on-board sensor system 20, 24 comprises at least one navigation sensor 34. The navigation sensor 34 is for example a sensor allowing the crew to observe the environment located around the aircraft 10. It can be, for example, integrated into an enhanced vision system ("Enhanced Vision System") on a civil aircraft.
En particulier, le capteur de navigation 34 est un capteur optronique opérant dans le domaine visible ou infrarouge.In particular, the navigation sensor 34 is an optronic sensor operating in the visible or infrared range.
Le système de capteurs de bord 24 comporte en outre des capteurs 36, 38 de mission.The on-board sensor system 24 further includes mission sensors 36, 38.
Les capteurs de mission 36, 38 incluent par exemple au moins un capteur radar 36 capable de fournir une cartographie radar de l'environnement 14, et un capteur optronique 38 propre à fournir une image optique dans le domaine visible ou/et infrarouge.The mission sensors 36, 38 include for example at least one radar sensor 36 capable of providing radar mapping of the environment 14, and an optronic sensor 38 capable of providing an optical image in the visible and/or infrared range.
Le capteur radar 36 est par exemple capable d’imager l’environnement 14 via des modes radar de cartographie du sol de type SAR (« Synthetic Aperture Radar »), DBS (« Doppler Beam Sharpening »), ou RBGM (« Real Beam Ground Map »).The radar sensor 36 is for example capable of imaging the environment 14 via ground mapping radar modes of the SAR (Synthetic Aperture Radar), DBS (Doppler Beam Sharpening) or RBGM (Real Beam Ground) type. Map”).
La base de données avion 26 comporte des bases de données géo-référencées 40, contenant des images référencées du terrain dans lequel évolue l'aéronef, par exemple des images satellite, et/ou de la cartographie numérique. Chaque image référencée est associée à des métadonnées de géo-référencement. Par exemple, chaque point sur l'image référencée est associé à des coordonnées géographiques.The aircraft database 26 comprises geo-referenced databases 40, containing referenced images of the terrain in which the aircraft is moving, for example satellite images, and/or digital cartography. Each referenced image is associated with geo-referencing metadata. For example, each point on the referenced image is associated with geographic coordinates.
Avantageusement, la base de données avion 26 comporte également un fichier 42 de terrain définissant une altimétrie de référence du terrain en fonction des coordonnées géographiques.Advantageously, the airplane database 26 also includes a terrain file 42 defining a reference altimetry of the terrain as a function of the geographic coordinates.
Le système de mission est propre à permettre au pilote de l’aéronef 10 de configurer, de mettre en œuvre et de suivre le déroulé de la mission à exécuter avec l’aéronef 10. Il comprend avantageusement au moins un affichage de données tactiques de mission et avantageusement, une interface homme-machine.The mission system is capable of allowing the pilot of the aircraft 10 to configure, implement and monitor the course of the mission to be executed with the aircraft 10. It advantageously comprises at least one display of mission tactical data and advantageously, a man-machine interface.
Le système d'arme 28 comporte au moins une arme 50 largable à partir de l'aéronef 10 pour atteindre une cible, et une unité 52 de guidage à imagerie (également désignée par « autodirecteur »).The weapon system 28 includes at least one weapon 50 that can be dropped from the aircraft 10 to reach a target, and an imaging guidance unit 52 (also referred to as "seeker").
L'unité de guidage 52 est propre à recevoir au moins une image de référence ou des descripteurs image, par exemple des descripteurs linéiques ou ponctuels, pour permettre le guidage terminal de l’arme jusqu’à la cible. L'unité de guidage 52 est en outre propre à recevoir des désignations d’objectif (ou coordonnées) des cibles à traiter.The guidance unit 52 is suitable for receiving at least one reference image or image descriptors, for example line or point descriptors, to allow terminal guidance of the weapon to the target. The guidance unit 52 is also capable of receiving objective designations (or coordinates) of the targets to be processed.
Préférentiellement, le système de traitement d’images 12 est implémenté dans un calculateur temps réel de bord, par exemple le calculateur de mission principal de l’avion, mais peut être projeté dans un calculateur d’une composante sol, par exemple une station sol d’un drone télé-piloté.Preferably, the image processing system 12 is implemented in an on-board real-time computer, for example the aircraft's main mission computer, but can be projected into a computer of a ground component, for example a ground station of a remotely piloted drone.
Le calculateur mettant en œuvre le système de traitement d’images 12 comporte au moins un processeur et au moins une mémoire propre à recevoir des modules logiciels ou des unités logicielles propres à être exécutées par le processeur.The computer implementing the image processing system 12 comprises at least one processor and at least one memory capable of receiving software modules or software units capable of being executed by the processor.
Le système de traitement d’images 12 comporte une interface 70 propre à recevoir des images provenant de chaque capteur de mission 36, 38 du système de capteurs 20, 24, une interface 72 propre à recevoir des images de référence provenant de la base de données tactique avion 26, une interface 74 propre à recevoir des images externes transitant par le système de communication 22 et une interface 76 propre à recevoir des images provenant des capteurs de navigation 34 du système de capteurs 20, 24.The image processing system 12 comprises an interface 70 able to receive images coming from each mission sensor 36, 38 of the system of sensors 20, 24, an interface 72 able to receive reference images coming from the database tactical aircraft 26, an interface 74 capable of receiving external images passing through the communication system 22 and an interface 76 capable of receiving images from the navigation sensors 34 of the sensor system 20, 24.
Le système de traitement d’images 12 comporte en outre une unité de mise en correspondance d’images 80 connectée à chaque interface 70 à 76 pour mettre en correspondance des images de sources différentes reçues de chaque système avion 20 à 26 et déterminer ainsi la transformation géométrique ou homographie entre deux images provenant de sources différentes en produisant des données d’appariement entre ces images.The image processing system 12 further comprises an image matching unit 80 connected to each interface 70 to 76 to match images from different sources received from each aircraft system 20 to 26 and thus determine the transformation geometry or homography between two images from different sources by producing matching data between these images.
Les images de sources différentes sont des images d’une même scène de l’environnement 14, produites à partir de capteurs distincts ou obtenues à partir de bases de données distinctes, au même instant ou à des instants différents, sous le même angle de vue ou dans des référentiels de projection différents (ortho-images, prise de vue oblique,…).Dissimilar source images are images of the same scene in environment 14, produced from separate sensors or obtained from separate databases, at the same time or at different times, from the same viewing angle or in different projection reference frames (ortho-images, oblique view, etc.).
Le système de traitement d’images 12 comporte également un module fonctionnel 81 propre à exploiter les données d’appariement d’images issues de l’unité de mise en correspondance 80 en vue de fournir des services fonctionnels pour l’aéronef 10.The image processing system 12 also comprises a functional module 81 suitable for exploiting the image matching data from the matching unit 80 with a view to providing functional services for the aircraft 10.
Comme on le verra plus bas, ces services fonctionnels sont notamment choisis parmi des fonctions de géo-référencement précis d’images, des fonctions de navigation par vision, des fonctions de détection de changements par comparaison d’images prises à des instants différents de la mission par des acteurs dotés de capacités d’imagerie potentiellement hétérogènes, des fonctions d’incrustation d’une image petit champ dans une image grand champ ou d’une carte numérique pour lui donner du contexte, des fonctions d’enrichissement d’images par des objets synthétiques.As will be seen below, these functional services are chosen in particular from functions of precise geo-referencing of images, functions of navigation by vision, functions of detection of changes by comparison of images taken at different instants of the mission by actors with potentially heterogeneous imaging capabilities, functions for embedding a small field image in a large field image or a digital map to give it context, functions for enriching images by synthetic objects.
L’interface 70 est raccordée au système de capteurs 20, 24 pour recevoir respectivement des images radar ou optronique obtenues respectivement à partir des capteurs de mission 36, 38. Les capteurs 36, 38 constituent des sources distinctes d’images destinées à alimenter l’unité de mise en correspondance 80.The interface 70 is connected to the system of sensors 20, 24 to respectively receive radar or optronic images obtained respectively from the mission sensors 36, 38. The sensors 36, 38 constitute distinct sources of images intended to feed the matching unit 80.
L’interface 72 avec la base de données tactique avion 26 est propre à recevoir des fichiers de terrains définissant l’altimétrie du terrain ou/et des images géo-référencées du terrain dans lequel évolue l'aéronef (par exemple des ortho-images satellite, des extraits de cartographie numérique,…). Cette base de données 40 constitue une autre source d’images, destinée à alimenter l’unité de mise en correspondance 80.The interface 72 with the aircraft tactical database 26 is suitable for receiving terrain files defining the altimetry of the terrain and/or geo-referenced images of the terrain in which the aircraft is flying (for example satellite ortho-images , extracts from digital cartography, etc.). This database 40 constitutes another source of images, intended to feed the matching unit 80.
L’interface 74 est liée au système de communication 22 pour être reliée à une base de données d’images externes. Cette base de données constitue encore une autre source d’images, destinée à alimenter l’unité de mise en correspondance 80.The interface 74 is linked to the communication system 22 to be linked to an external image database. This database constitutes yet another source of images, intended to feed the matching unit 80.
Les images externes sont par exemple des images prises par d’autres acteurs que l’aéronef 10. Ces images sont par exemple des images de reconnaissance prises antérieurement à la mission ou lors de celle-ci. Les images externes peuvent par exemple aussi provenir de composantes terrestres (troupes au sol, véhicules,…) et transmises par un système ROVER (« Remotely Operated Video Enhanced Receiver »).The external images are for example images taken by actors other than the aircraft 10. These images are for example reconnaissance images taken prior to the mission or during the latter. The external images can for example also come from terrestrial components (troops on the ground, vehicles, etc.) and transmitted by a ROVER system ("Remotely Operated Video Enhanced Receiver").
L’interface 76 avec le capteur de navigation 34 est propre à recevoir des images de caméras infrarouges ou visibles équipant l’aéronef 10. Le capteur de navigation 34 constitue une autre source d’images destinée à alimenter l’unité de mise en correspondance 80.The interface 76 with the navigation sensor 34 is suitable for receiving images from infrared or visible cameras fitted to the aircraft 10. The navigation sensor 34 constitutes another source of images intended to feed the matching unit 80 .
L’unité de mise en correspondance 80 est propre à mettre en œuvre un algorithme 82 modulaire et configurable, pour appliquer successivement sur chaque image d’une paire d’images provenant de sources différentes via les interfaces 70 à 76, une première fonction de traitement d’image, notamment une fonction de filtrage/dé-bruitage, choisie dans une première bibliothèque de fonction 84 (voir figure 2), une deuxième fonction de traitement d’image, en particulier une fonction de détection de point d’intérêt ou singularité dans l’image, choisie dans une deuxième bibliothèque de fonction 86 (voir figure 2), une troisième fonction de traitement d’image, notamment une fonction de calcul de descripteur de singularité autour du ou des points d’intérêt, choisie dans une troisième bibliothèque de fonction 88 (voir figure 2), et une fonction d’appariement entre les descripteurs des deux images.The matching unit 80 is capable of implementing a modular and configurable algorithm 82, to successively apply to each image of a pair of images originating from different sources via the interfaces 70 to 76, a first processing function image, in particular a filtering/denoising function, chosen from a first function library 84 (see FIG. 2), a second image processing function, in particular a point of interest or singularity detection function in the image, chosen from a second function library 86 (see FIG. 2), a third image processing function, in particular a singularity descriptor calculation function around the point(s) of interest, chosen from a third function library 88 (see figure 2), and a matching function between the descriptors of the two images.
L’unité de mise en correspondance 80 comprend en outre un module 90 de configuration de l’algorithme, en fonction des sources d’images utilisées, de la nature de chaque image, et des données d’environnement de la scène visualisée sur chaque image.The matching unit 80 further comprises a module 90 for configuring the algorithm, depending on the image sources used, the nature of each image, and the environmental data of the scene displayed on each image. .
Le module de configuration 90 est propre à sélectionner, pour chaque paire d’images à mettre en correspondance, les trois fonctions successives de traitement des images issues des trois bibliothèques de fonctions 84, 86, 88, ici respectivement de filtrage, de détection de point d’intérêt et de calcul de descripteur.The configuration module 90 is able to select, for each pair of images to be put into correspondence, the three successive image processing functions from the three libraries of functions 84, 86, 88, here respectively filtering, point detection interest and descriptor calculation.
L’unité de mise en correspondance 80 comprend en outre un module 92 de définition du paramétrage de chacune des trois fonctions de traitement choisies, pour chaque image d’une paire d’images à mettre en correspondance, en fonction du type de fonction de traitement choisie, des sources d’images utilisées, de la nature de chaque image, et de données d’environnement de la scène observée sur les images.The mapping unit 80 further comprises a module 92 for defining the parameterization of each of the three processing functions chosen, for each image of a pair of images to be mapped, according to the type of processing function chosen, the image sources used, the nature of each image, and environmental data of the scene observed on the images.
Dans cet exemple, la première bibliothèque 84 de fonctions de traitement comprend par exemple, un filtre médian, un filtre moyen, un filtre gaussien, et/ou un filtre ISEF (filtre exponentiel symétrique de taille infinie ou « Infinite Symmetric Exponential Filter »).In this example, the first library 84 of processing functions includes, for example, a median filter, an average filter, a Gaussian filter, and/or an ISEF filter (Infinite Symmetric Exponential Filter).
Le filtre ISEF permet d’obtenir un gradient par ratio robuste aux bruits de type multiplicatif. Ces bruits fortement corrélés à l’intensité du signal sont typiques des images radar (bruit de « Speckle »).The ISEF filter makes it possible to obtain a gradient by ratio that is robust to multiplicative type noise. These noises strongly correlated to the signal intensity are typical of radar images ("Speckle noise").
La première fonction de traitement est choisie pour chaque image d’une paire d’images à mettre en correspondance parmi les filtres précités.The first processing function is chosen for each image of a pair of images to be matched among the aforementioned filters.
La deuxième bibliothèque 86 de fonctions de traitement comprend par exemple un détecteur BLOB, un détecteur de Harris et un détecteur entraîné par apprentissage profond (réseau de neurones convolutionnel ou CNN « Convolutionnal Neural Network »), non représenté ici.The second library 86 of processing functions includes for example a BLOB detector, a Harris detector and a detector trained by deep learning (convolutional neural network or CNN "Convolutional Neural Network"), not shown here.
Le détecteur BLOB permet de déterminer des régions d’une image qui diffèrent en propriétés, notamment en brillance ou en couleur, en comparaison d’autres régions.The BLOB detector is used to determine regions of an image that differ in properties, such as brightness or color, compared to other regions.
Ces fonctions sont particulièrement adaptées pour déterminer des singularités dans des environnements naturels peu denses en constructions humaines.These functions are particularly suitable for determining singularities in natural environments that are not very dense in human constructions.
Le détecteur de Harris permet d’extraire les singularités de type « coin » présents dans les images. Le détecteur de Harris est notamment adapté aux zones denses en construction humaines.The Harris detector is used to extract "corner" type singularities present in the images. The Harris detector is particularly suitable for dense areas under human construction.
La troisième bibliothèque 88 de fonctions comprend par exemple un descripteur SIFT (pour transformée de caractéristiques invariantes à l’échelle, « Scale Invariant Feature Transform » en anglais), un descripteur GLOH (pour histogramme d’orientation et de localisation de gradient ou « Gradient Location and Orientation Histogram »), un descripteur EOH (pour histogramme d’orientation de bord ou « Edge Orientation Histogram » en anglais) et un descripteur entraîné par apprentissage profond (réseau de neurones convolutionnel ou « Convolutionnal Neural Network »), non représenté ici.The third function library 88 comprises for example a SIFT descriptor (for Scale Invariant Feature Transform), a GLOH descriptor (for Gradient Orientation and Localization Histogram or “Gradient Location and Orientation Histogram"), an EOH descriptor (Edge Orientation Histogram) and a deep learning trained descriptor (Convolutional Neural Network), not shown here .
Le descripteur SIFT est basé sur les méthodes de David Lowe pour transformer une image en vecteurs de caractéristiques, chacun étant invariant à une translation, une mise à l’échelle, et à une rotation de l’image.The SIFT descriptor is based on David Lowe's methods for transforming an image into feature vectors, each of which is invariant to translation, scaling, and rotation of the image.
Le descripteur GLOH est du même type que le descripteur SIFT mais considère plus de régions spatiales pour déterminer des histogrammes. Il utilise une analyse en composantes principales (PCA ou Principal Component Analysis) pour réduire la taille vectorielle utilisée à la taille d’un descripteur de type SIFT. Le descripteur GLOH est très performant sur des images de même nature.The GLOH descriptor is of the same type as the SIFT descriptor but considers more spatial regions to determine histograms. It uses principal component analysis (PCA or Principal Component Analysis) to reduce the vector size used to the size of a SIFT type descriptor. The GLOH descriptor performs very well on images of the same nature.
Le descripteur EOH est propre à construire un histogramme d’orientation des contours extraits dans les images. Un tel descripteur est robuste aux inversions de contrastes, notamment dans des images de nature différente, par exemple des images optiques (IR, visible,…) et des images radars.The EOH descriptor is suitable for constructing an orientation histogram of the contours extracted from the images. Such a descriptor is robust to contrast inversions, in particular in images of a different nature, for example optical images (IR, visible, etc.) and radar images.
Le descripteur CNN obtenu par apprentissage profond est propre à être entraîné à traiter des images de modalités différentes et ainsi être robuste aux images hétérogènes, par exemple des images optroniques IR/visibles et radar.The CNN descriptor obtained by deep learning is suitable to be trained to process images of different modalities and thus to be robust to heterogeneous images, for example IR/visible optronic and radar images.
Le module de configuration 90 de l’algorithme de mise en correspondance est propre à choisir parmi chaque bibliothèque de fonction 84, 86, 88, pour chaque image d’une paire d’image à apparier, une première fonction de traitement, en particulier un filtre, une deuxième fonction de traitement, en particulier un détecteur et une troisième fonction de traitement, en particulier un descripteur, adaptée à l’image, pour la paire d’images à apparier.The configuration module 90 of the matching algorithm is able to choose from among each function library 84, 86, 88, for each image of a pair of images to be matched, a first processing function, in particular a filter, a second processing function, in particular a detector and a third processing function, in particular a descriptor, adapted to the image, for the pair of images to be matched.
Le choix est effectué sur la base d’au moins un test mis en œuvre par le module de configuration 90.The choice is made on the basis of at least one test implemented by the configuration module 90.
Un premier test T1 est par exemple un test de détermination de la nature de chaque image, parmi une image visible, une image infrarouge ou une image radar. En fonction du type d’image, un filtre particulier est utilisé, en particulier pour une image optique ou infrarouge, un filtre médian, un filtre moyen, ou un filtre gaussien, et pour une image de type radar, un filtre ISEF. A first test T1 is for example a test for determining the nature of each image, among a visible image, an infrared image or a radar image. Depending on the type of image, a particular filter is used, in particular for an optical or infrared image, a median filter, an average filter, or a Gaussian filter, and for a radar type image, an ISEF filter .
Un deuxième test T2 permet avantageusement de déterminer un descripteur adapté en fonction de la densité de constructions humaines dans la scène visualisée.A second test T2 advantageously makes it possible to determine an appropriate descriptor as a function of the density of human constructions in the scene viewed.
Par exemple, le deuxième test T2 comprend le calcul d’un rapport R de la densité de constructions à la densité d’éléments naturels sur chaque image. Si ce rapport R est supérieur à un seuil prédéterminé, alors un détecteur de Harris est utilisé, alors que si ce rapport est inférieur au seuil prédéterminé, un détecteur BLOB est utilisé. À titre d’exemple, un tel rapport R peut être obtenu par l’exploitation des métadonnées issues des bases de données géo-référencées 40 de cartographie numérique (couches réseau routier, couche infrastructures/cadastre,…) et issues du fichier de terrain (présence d’étendue d’eau,…).For example, the second test T2 includes the calculation of a ratio R of the density of constructions to the density of natural elements on each image. If this ratio R is greater than a predetermined threshold, then a Harris detector is used, whereas if this ratio is lower than the predetermined threshold, a BLOB detector is used. By way of example, such a report R can be obtained by using metadata from geo-referenced digital mapping databases 40 (road network layers, infrastructure/cadastre layer, etc.) and from the terrain file ( presence of a body of water, etc.).
Un troisième test T3 est un test de modalité (ou de bande spectrale) entre les images pour déterminer le descripteur à utiliser pour chaque image. Par exemple, si les images sont de modalités analogues, des descripteurs GLOH ou SIFT seront préférentiellement utilisés. Au contraire, si les images présentent des modalités différentes, par exemple une image radar et une image optronique, un descripteur EOH ou un descripteur CNN est alors utilisé.A third test T3 is a modality (or spectral band) test between images to determine which descriptor to use for each image. For example, if the images are of analogous modalities, GLOH or SIFT descriptors will preferably be used. On the contrary, if the images present different modalities, for example a radar image and an optronic image, an EOH descriptor or a CNN descriptor is then used.
Ainsi, dans l’exemple représenté sur les figures 3 et 4 où une carte radar CR est appariée à une image optique IO, un filtre ISEF est appliqué à la carte radar CR, suivi d’un détecteur de Harris, compte tenu de la présence de constructions, et un descripteur EOH ou CNN, puisque les images CR et IO sont de modalités différentes.Thus, in the example shown in Figures 3 and 4 where a radar map CR is paired with an optical image IO, an ISEF filter is applied to the radar map CR, followed by a Harris detector, taking into account the presence of constructions, and an EOH or CNN descriptor, since the CR and IO images are of different modalities.
Sur l’image optique IO, un filtre gaussien est utilisé, suivi d’un détecteur de Harris et d’un descripteur EOH ou CNN.On the IO optical image, a Gaussian filter is used, followed by a Harris detector and an EOH or CNN descriptor.
En fonction des résultats des tests mis en œuvre, le module de configuration 90 comporte une base de données d’affectation des fonctions choisies dans les différentes bibliothèques, pour permettre l’appel dynamique des fonctions par le module de configuration 90.Depending on the results of the tests implemented, the configuration module 90 comprises a database of assignment of the functions chosen from the various libraries, to allow the dynamic call of the functions by the configuration module 90.
Le module de définition de paramètres 92 est propre à établir des fichiers de paramétrage FP1, FP2, FP3 de chacune des fonctions sélectionnées par le module de configuration 90.The parameter definition module 92 is capable of establishing parameter files FP1, FP2, FP3 for each of the functions selected by the configuration module 90.
Ces fichiers de paramétrage FP1, FP2, FP3 sont déterminés par exemple en fonction de l’origine de l’image CR, IO, en particulier en fonction de la nature N1 du capteur utilisé pour établir l’image CR, IO, et de la nature N2 de l’image CR, IO afin de déterminer par exemple les fichiers de paramètres FP1, FP2, FP3 du filtre et du descripteur. Les entrées de ce paramétrage peuvent être la nature de l’image (par exemple infra rouge, caméra visible, électromagnétisme,…), la taille de l’image, la résolution de l’image,…These parameter files FP1, FP2, FP3 are determined for example as a function of the origin of the image CR, IO, in particular as a function of the nature N1 of the sensor used to establish the image CR, IO, and of the nature N2 of the image CR, IO in order to determine for example the parameter files FP1, FP2, FP3 of the filter and of the descriptor. Inputs to this setting can be the nature of the image (e.g. infrared, visible camera, electromagnetism,…), image size, image resolution,…
Le module de définition de paramètres 92 est propre à utiliser en outre des données d’environnement DE, par exemple des métadonnées issue des bases de données géo-référencées 40 de cartographie numérique (couches réseau routier, couche infrastructures/cadastre,…) et issues du fichier de terrain (présence d’étendue d’eau,…).The parameter definition module 92 is able to also use environment data DE, for example metadata from geo-referenced databases 40 of digital cartography (road network layers, infrastructure/cadastre layer, etc.) and from the terrain file (presence of a body of water, etc.).
Ceci permet de déterminer un fichier de paramétrage FP2 du détecteur choisi pour chaque image donnée d’une paire d’image à apparier.This makes it possible to determine an FP2 parameter file of the chosen detector for each given image of an image pair to be matched.
Les paramètres des fichiers de paramétrage FP1, FP2, FP3 sont déterminés préalablement à la mission par apprentissage à partir d’images test et concernent les niveaux de décimation de l’image, le choix de la taille des descripteurs, le choix des seuils de détections, le nombre de points singuliers à extraire dans chaque image, les règles d’appariement…The parameters of the FP1, FP2, FP3 configuration files are determined prior to the mission by learning from test images and concern the levels of image decimation, the choice of the size of the descriptors, the choice of detection thresholds , the number of singular points to extract in each image, the matching rules…
Une fois les fonctions de traitement et les fichiers de paramétrages déterminés, pour chaque image d’une paire d’image à mettre en correspondance, l’unité de mise en correspondance 80 est propre à appliquer successivement sur chaque image la première fonction de traitement, la deuxième fonction de traitement et la troisième fonction de traitement propre à chaque image, telle que définie par le module de configuration 90, en utilisant les paramètres définis par le module de définition 92.Once the processing functions and the settings files have been determined, for each image of a pair of images to be matched, the matching unit 80 is able to successively apply the first processing function to each image, the second processing function and the third processing function specific to each image, as defined by the configuration module 90, using the parameters defined by the definition module 92.
La fonction d’appariement est propre à apparier les descripteurs des deux images, afin d’obtenir des données d’appariement entre les deux imagesThe matching function is suitable for matching the descriptors of the two images, in order to obtain matching data between the two images
Les données d’appariement obtenues permettent d’en déduire la transformation géométrique ou homographie entre les deux images mises en correspondance.The matching data obtained makes it possible to deduce the geometric transformation or homography between the two matched images.
Le module fonctionnel 81 est propre à produire différents services fonctionnels destinés au système de mission de l’aéronef 10 sur la base de la transformation géométrique, tels que décrits plus haut.The functional module 81 is capable of producing various functional services intended for the mission system of the aircraft 10 on the basis of the geometric transformation, as described above.
Dans l’exemple représenté sur la figure 1, le module 81 comporte par exemple un sous-module 100 de calcul d’un vecteur d’erreur sur la position de l’avion.In the example represented in FIG. 1, the module 81 comprises for example a sub-module 100 for calculating an error vector on the position of the aircraft.
Le vecteur d’erreur sur la position avion est calculé à partir du vecteur de désignation relatif du capteur de mission 34, 36 utilisé pour obtenir une première image, de la position avion, avant correction, estimée par l’unité de positionnement et du géo-référencement de l’image de référence IG.The error vector on the aircraft position is calculated from the relative designation vector of the mission sensor 34, 36 used to obtain a first image, of the aircraft position, before correction, estimated by the positioning unit and of the geo -referencing the IG reference image.
Le système de navigation 30 corrige alors, éventuellement après validation de l’équipage, les données de localisation de l’avion sur la base du vecteur d’erreur relatif déterminé par le sous-module 100.The navigation system 30 then corrects, possibly after validation by the crew, the airplane location data on the basis of the relative error vector determined by the sub-module 100.
Dans une variante, le module 81 comporte un sous-module 110 de calcul de redressement d’image ou de champ de descripteurs image lorsque nécessaire. En effet, les méthodes basées sur les descripteurs image sont relativement robustes aux déformations entre deux images prises dans des repères de projection différents.In a variant, the module 81 comprises a sub-module 110 for calculating image rectification or field of image descriptors when necessary. Indeed, methods based on image descriptors are relatively robust to deformations between two images taken in different projection frames.
En référence notamment à la figure 5, un premier exemple de fonctionnement du système de traitement d’image 12 selon l’invention, dans un aéronef 10, va maintenant être décrit, pour mettre en œuvre une première fonctionnalité de recalage automatique ou semi-automatique du système de navigation 30.With particular reference to Figure 5, a first example of operation of the image processing system 12 according to the invention, in an aircraft 10, will now be described, to implement a first automatic or semi-automatic registration functionality of the navigation system 30.
En vol, l’aéronef 10 utilise un capteur de mission 36, 38 pour prendre une image du théâtre sur lequel évolue l’aéronef 10, par exemple une image radar CR ou une image optronique IOP comportant des caractéristiques particulières identifiables du terrain. L’image prise par le capteur 36, 38 est reçue par l’interface 70 pour être transférée à l’unité de mise en correspondance 80.In flight, the aircraft 10 uses a mission sensor 36, 38 to take an image of the theater in which the aircraft 10 is flying, for example a radar image CR or an optronic image IOP comprising particular identifiable characteristics of the terrain. The image taken by the sensor 36, 38 is received by the interface 70 to be transferred to the matching unit 80.
Parallèlement, l’interface 72 transmet à l’unité de mise en correspondance 80 au moins une image géo-référencée IG de la même zone issue de la base de données 26. Cette image géo-référencée IG est par exemple un extrait d’ortho-images satellite chargée au sol en préparation de mission.At the same time, the interface 72 transmits to the matching unit 80 at least one geo-referenced image IG of the same area from the database 26. This geo-referenced image IG is for example an extract from ortho - satellite images loaded on the ground in preparation for the mission.
Le module de configuration 90 de l’algorithme de mise en correspondance 82 est alors activé. En référence à la figure 4, le module de configuration 90 détermine à l’aide d’un premier test T1 la nature de l’image CR, IOP prise par le capteur de mission 36, 38 et détermine à partir de la nature d’image le type de filtre pouvant être utilisé pour cette image CR, IOP. Ce filtre est par exemple un filtre médian, un filtre moyen ou un filtre gaussien si l’image est une image optronique IOP, ou un filtre ISEF, si l’image est une image radar CR.The configuration module 90 of the mapping algorithm 82 is then activated. Referring to Figure 4, the configuration module 90 determines using a first test T1 the nature of the image CR, IOP taken by the mission sensor 36, 38 and determines from the nature of image the type of filter that can be used for this image CR, IOP. This filter is for example a median filter, an average filter or a Gaussian filter if the image is an optronic image IOP, or an ISEF filter, if the image is a radar image CR.
De même, le module de configuration 90 détermine à l’aide du premier test T1 la nature de l’image géo-référencée IG et détermine à partir de la nature d’image, le type de filtre pouvant être utilisé pour cette image IG.Similarly, the configuration module 90 determines using the first test T1 the nature of the geo-referenced image IG and determines from the nature of the image, the type of filter that can be used for this image IG.
À l’aide du deuxième test T2, le module de configuration 90 détermine ensuite sur l’image IR, IOP prise par le capteur de mission 36, 38 le rapport de la densité de construction à la densité d’éléments naturels dans la scène et détermine, en fonction de ce rapport le détecteur à utiliser, comme décrit plus haut.Using the second test T2, the configuration module 90 then determines on the IR image, IOP taken by the mission sensor 36, 38 the ratio of the construction density to the density of natural elements in the scene and determines, according to this ratio, the detector to be used, as described above.
Puis, à l’aide du troisième test T3, le module de configuration 90 compare la nature de l’image IR, IOP prise par le capteur de mission 36, 38 à la nature de l’image géo-référencée IG récupérée à partir du système de préparation de mission 26 pour déterminer le descripteur le plus approprié à utiliser pour l’image CR, IOP issue du capteur de mission 36, 38 et pour l’image géo-référencée IG.Then, using the third test T3, the configuration module 90 compares the nature of the IR image, IOP taken by the mission sensor 36, 38 with the nature of the geo-referenced image IG recovered from the mission preparation system 26 to determine the most appropriate descriptor to use for the image CR, IOP from the mission sensor 36, 38 and for the geo-referenced image IG.
Dans le cas d’une image radar CR et d’une image géo-référencée IG, ces images étant différentes, un descripteur « type EOH » (histogramme de contours) ou un descripteur de type CNN (Convolutionnal Neural Network) est utilisé pour les deux images.In the case of a CR radar image and a geo-referenced IG image, these images being different, an "EOH type" (contour histogram) descriptor or a CNN (Convolutional Neural Network) type descriptor is used for the two pictures.
Puis, le module de définition des paramètres 92 détermine un fichier de paramétrage du filtre FP1 et du descripteur FP3 à partir de l’origine du capteur 36, 38 et de la nature de chaque image, et un fichier de paramétrage FP2 du détecteur, à partir des données environnementales.Then, the parameter definition module 92 determines a parameter file for the filter FP1 and the descriptor FP3 from the origin of the sensor 36, 38 and the nature of each image, and a parameter file FP2 for the detector, from environmental data.
Comme indiqué plus haut, les fichiers de paramétrages FP1, FP2, FP3 sont déterminés à partir de paramètres obtenus par apprentissage au sol sur des images test.As indicated above, the parameterization files FP1, FP2, FP3 are determined from parameters obtained by learning on the ground on test images.
Puis, l’appariement est effectué entre l’image CR, IOP issue du capteur de mission 36, 38 et l’image géo-référencée IG pour obtenir la transformation géométrique ou homographie entre ces images.Then, the pairing is performed between the image CR, IOP from the mission sensor 36, 38 and the geo-referenced image IG to obtain the geometric transformation or homography between these images.
Le sous-module de calcul du vecteur d’erreur 100 calcule alors un vecteur d’erreur sur la position avion à partir d’un vecteur de désignation relatif du capteur de mission 36, 38 utilisé, de la position avion estimée avant correction par l’unité de positionnement du système de navigation 30 de l’aéronef et du géo-référencement de l’image de référence IG.The error vector calculation sub-module 100 then calculates an error vector on the aircraft position from a relative designation vector of the mission sensor 36, 38 used, the aircraft position estimated before correction by the positioning unit of the navigation system 30 of the aircraft and of the geo-referencing of the reference image IG.
Le système de navigation 30 corrige alors, éventuellement après validation de l’équipage, les données de localisation de l’avion sur la base du vecteur d’erreur relatif déterminées par le sous-module 100.The navigation system 30 then corrects, possibly after validation by the crew, the airplane location data on the basis of the relative error vector determined by the sub-module 100.
En référence à la figure 6, un deuxième exemple de mise en œuvre du système de traitement d’image 12 va maintenant être décrit, dans le cas de l’amélioration de la précision d’extraction de coordonnées.With reference to FIG. 6, a second example of implementation of the image processing system 12 will now be described, in the case of the improvement of the precision of extraction of coordinates.
Dans ce cas, une image de référence IREF chargée par les moyens sol, est reçue par l’interface 74.In this case, an IREF reference image loaded by the ground means is received by the interface 74.
L’image de référence IREF est par exemple une ortho-image satellite dans le domaine visible.The IREF reference image is for example a satellite ortho-image in the visible domain.
L’image de référence IREF est alors mise en correspondance par l’unité 80 avec une image IOP d’un capteur de navigation 34, en particulier un capteur optronique, sur laquelle le pilote désigne des objets d’intérêt (cibles,…).The reference image IREF is then matched by the unit 80 with an image IOP of a navigation sensor 34, in particular an optronic sensor, on which the pilot designates objects of interest (targets, etc.).
Comme décrit précédemment, en fonction de la nature de l’image, le module de configuration 90 détermine par le premier test T1, parmi les filtres de la première bibliothèque 84, le filtre appliqué sur chaque image de la paire d’image à mettre en correspondance.As described previously, depending on the nature of the image, the configuration module 90 determines by the first test T1, among the filters of the first library 84, the filter applied to each image of the pair of images to be put in correspondence.
Puis, comme décrit précédemment, le module de configuration 90 calcule, par le deuxième test T2, le rapport de la densité de construction à la densité d’éléments naturels sur chaque image pour déterminer le détecteur adapté parmi les détecteurs de la deuxième bibliothèque 86.Then, as described previously, the configuration module 90 calculates, by the second test T2, the ratio of the density of construction to the density of natural elements on each image to determine the suitable detector among the detectors of the second library 86.
Enfin, en fonction de la nature analogue ou différente des images de la paire d’images à apparier, le module de configuration 90 choisit, par le troisième test T3, un descripteur approprié parmi les descripteurs de la troisième bibliothèque.Finally, depending on the analogous or different nature of the images of the pair of images to be matched, the configuration module 90 chooses, by the third test T3, an appropriate descriptor from among the descriptors of the third library.
Dans le cas présent, les images IREF, IOP sont par exemple des images comprenant une forte densité de construction et un détecteur de Harris est utilisé. Par ailleurs, les images sont ici analogues, en particulier sont des images optiques. Un descripteur GLOH est utilisé.In the present case, the IREF, IOP images are for example images comprising a high construction density and a Harris detector is used. Moreover, the images here are analogous, in particular they are optical images. A GLOH descriptor is used.
Puis, l’algorithme 82 est mis en œuvre par l’unité 80 pour réaliser la mise en correspondance entre l’image de référence IREF et l’image capteur IOP par détermination de la transformation géométrique ou homographie entre ces images. Ceci localise précisément l’image capteur IOP et permet d’en extraire des coordonnées géographiques plus précises.Then, the algorithm 82 is implemented by the unit 80 to carry out the matching between the reference image IREF and the sensor image IOP by determining the geometric transformation or homography between these images. This precisely locates the IOP sensor image and makes it possible to extract more precise geographical coordinates.
Le sous-module 110 de calcul de redressement du champ de descripteur image est activé lorsque le point de vue du capteur utilisé pour obtenir l’image IOP est très différent de celui de l’image de référence IREF (en fonction de l’angle de rasance de l’acquisition capteur).The image descriptor field rectification calculation sub-module 110 is activated when the point of view of the sensor used to obtain the image IOP is very different from that of the reference image IREF (according to the angle of rasance of the sensor acquisition).
Dans une autre variante, non représentée, le système de traitement d’image 12 selon l’invention effectue une fonction de guidage relatif de l’aéronef par rapport à un terrain, par exemple une piste d’appontage ou d’atterrissage ou par rapport un un panier de ravitaillement d’un avion ravitailleur.In another variant, not shown, the image processing system 12 according to the invention performs a function of relative guidance of the aircraft with respect to a terrain, for example a landing strip or landing strip or with respect to a a supply basket from a tanker plane.
Dans cet exemple, une image optique du terrain en approche, obtenue par une caméra de navigation 34 est utilisée dans l’unité de mise en correspondance 80. Une image géo-référencée de référence du terrain ou un modèle de l’avion ravitailleur, obtenue par exemple à partir du système de préparation de mission est également chargée dans l’unité de mise en correspondance 80 par l’interface 72.In this example, an optical image of the approaching terrain, obtained by a navigation camera 34 is used in the mapping unit 80. A geo-referenced reference image of the terrain or a model of the tanker aircraft, obtained for example from the mission preparation system is also loaded into the mapping unit 80 via the interface 72.
Comme décrit précédemment, le module de configuration 90 sélectionne automatiquement pour chaque image de la paire d’images à apparier, un filtre, un détecteur et un descripteur et le module de définition 92 définit des paramètres correspondants à ces fonctions sont déterminés en fonction de l’origine du capteur ayant permis d’obtenir l’image, de la nature des images, du type de fond de scène et de l’environnement. Le module 82 réalise ensuite un appariement entre les images pour calculer la transformation géométrique entre ces images.As described previously, the configuration module 90 automatically selects for each image of the pair of images to be matched, a filter, a detector and a descriptor and the definition module 92 defines parameters corresponding to these functions are determined according to the origin of the sensor used to obtain the image, the nature of the images, the type of background and the environment. The module 82 then performs a pairing between the images to calculate the geometric transformation between these images.
Le module 81 détermine ensuite à partir de cette transformation géométrique des données de navigation, en particulier la position, et les attitudes avion.The module 81 then determines from this geometric transformation of the navigation data, in particular the position, and the aircraft attitudes.
Dans une variante illustrée par la figure 7, le système de traitement d’images 12 est utilisé pour faire de la détection de changement entre deux images.In a variant illustrated by FIG. 7, the image processing system 12 is used to perform change detection between two images.
À cet effet, l’unité de mise en correspondance 80 charge une image externe IEXT provenant d’un autre acteur à travers le système de communication 22 par l’interface 74 et charge en parallèle une image IN obtenue par un capteur de mission 36, 38, par l’interface 76.For this purpose, the mapping unit 80 loads an external image IEXT coming from another actor through the communication system 22 by the interface 74 and loads in parallel an image IN obtained by a mission sensor 36, 38, through interface 76.
L’image externe IEXT est par exemple une image optronique reçue d’un équipier ou d’un système externe, prise lors d’une mission de reconnaissance.The external image IEXT is for example an optronic image received from a team member or from an external system, taken during a reconnaissance mission.
L’unité de mise en correspondance 80 met en œuvre l’algorithme 82 modulaire et configurable. Comme décrit précédemment, le module de configuration 90 sélectionne, pour chaque image IN, IEXT de la paire d’image à apparier, un filtre, un détecteur, et un descripteur pour créer un alignement des deux images IN, IEXT avec une région 150 de superposition entre les deux images IN, IEXT, en déterminant la transformation géométrique entre ces images.The Matching Unit 80 implements the modular and configurable Algorithm 82. As described previously, the configuration module 90 selects, for each image IN, IEXT of the pair of images to be matched, a filter, a detector, and a descriptor to create an alignment of the two images IN, IEXT with a region 150 of superimposition between the two images IN, IEXT, by determining the geometric transformation between these images.
Le module 81 extrait alors, dans la région de superposition 150, les modifications entre l’image reçue par le système de communication 22 et l’image acquise par les capteurs de bord. Ceci est par exemple obtenu par un calcul effectuant une soustraction des deux images superposées IN, IEXT associé à une logique à seuillage pour la détection de différences significatives.The module 81 then extracts, in the superposition region 150, the modifications between the image received by the communication system 22 and the image acquired by the on-board sensors. This is for example obtained by a calculation performing a subtraction of the two superimposed images IN, IEXT associated with a thresholding logic for the detection of significant differences.
Par exemple, le module 81 détecte l’apparition d’objets 152 dans la région de superposition 150, notamment des véhicules. Le module d’extraction 81 transmet alors une information tactique au système de mission de l’aéronef qui correspond à la position et/ou à la nature des objets apparus.For example, the module 81 detects the appearance of objects 152 in the superposition region 150, in particular vehicles. The extraction module 81 then transmits tactical information to the mission system of the aircraft which corresponds to the position and/or the nature of the objects that appeared.
Dans une autre variante, représentée sur la figure 8, le système de traitement d’images 12 est propre à enrichir une image petit champ IPC prise par le système de capteur 24 de l’aéronef, par exemple un capteur radar 36.In another variant, represented in FIG. 8, the image processing system 12 is capable of enriching a small field image IPC taken by the sensor system 24 of the aircraft, for example a radar sensor 36.
L’image petit champ IPC est acquise par le module d’acquisition 70 et est transmise à l’unité de mise en correspondance 80.The small field image IPC is acquired by the acquisition module 70 and is transmitted to the matching unit 80.
Parallèlement, un extrait de cartographie numérique est chargé à partir du système de préparation de mission 26 par l’interface 72.At the same time, an extract of digital cartography is loaded from the mission preparation system 26 via the interface 72.
L’unité de mise en correspondance 80 effectue alors l’appariement entre l’image petit champ IPC et l’image cartographique en définissant pour chaque image à apparier, un filtre, un détecteur, et un descripteur pour aligner finement les deux images, en déterminant la transformation géométrique entre ces images.The matching unit 80 then carries out the matching between the small field image IPC and the cartographic image by defining for each image to be matched, a filter, a detector, and a descriptor to finely align the two images, in determining the geometric transformation between these images.
Puis, le module fonctionnel 81 aligne les images pour permettre un affichage des images appariées par le système de mission.Then, the functional module 81 aligns the images to allow display of the matched images by the mission system.
Dans une variante représentée sur la figure 9, des incrustations sont réalisées en réalité augmentée dans une image ICA obtenue par un capteur de l’aéronef, par exemple obtenue à partir d’un capteur de navigation 34 pour indexer les objets réels 200 présent dans l’image par des objets synthétiques 202 positionnés avec précision dans l’image capteur ICA par mise en correspondance avec une image synthétique définissant la position de ces objets.In a variant represented in FIG. 9, overlays are produced in augmented reality in an ICA image obtained by a sensor of the aircraft, for example obtained from a navigation sensor 34 to index the real objects 200 present in the image by synthetic objects 202 positioned with precision in the ICA sensor image by matching with a synthetic image defining the position of these objects.
Grace à l’invention qui vient d’être décrite, il est possible, en utilisant la même unité de mise en correspondance 80, de facilement traiter des images provenant de sources très différentes au sein de l’aéronef, en particulier des systèmes de capteur 20, 24, des systèmes de communication 22, des systèmes de préparation de mission 26 et des systèmes de navigation 30, pour les apparier de manière très efficace deux à deux.Thanks to the invention which has just been described, it is possible, by using the same matching unit 80, to easily process images coming from very different sources within the aircraft, in particular sensor systems 20, 24, communication systems 22, mission preparation systems 26 and navigation systems 30, to pair them very effectively in pairs.
L’unité de mise en correspondance 80, propre à mettre en œuvre un algorithme modulaire 82 qui s’adapte automatiquement à la nature très variées des images devant être comparées et détermine le meilleur jeu de fonctions de post-traitement image et de paramétrages associés à appliquer à ces images. Le système de traitement d’images 12 est donc capable de traiter différents types d’images, et de s’enrichir rapidement de nouvelles sources d’images lorsque celles-ci deviennent disponibles.The matching unit 80, capable of implementing a modular algorithm 82 which automatically adapts to the very varied nature of the images to be compared and determines the best set of image post-processing functions and settings associated with apply to these images. The image processing system 12 is therefore capable of processing different types of images, and of rapidly enriching itself with new image sources when these become available.
En outre, la même unité modulaire de mise en correspondance 80 du système de traitement d’image 12 permet d’obtenir des fonctions opérationnelles très variées comme le recalage de la localisation avion, l’amélioration de la précision d’extraction de coordonnées dans des images de référence, notamment pour guider une arme vers sa cible, le guidage relatif de l’aéronef 10 (en particulier l’aide à l’appontage ou à l’atterrissage), la détection de changements dans une image, l’enrichissement d’images petit champ pour leur donner un contexte tactique, ou l’incrustation système en réalité augmentée.In addition, the same modular matching unit 80 of the image processing system 12 makes it possible to obtain very varied operational functions such as the resetting of the aircraft location, the improvement of the precision of extraction of coordinates in reference images, in particular to guide a weapon towards its target, the relative guidance of the aircraft 10 (in particular aid to deck-mounting or landing), the detection of changes in an image, the enrichment of small-field images to give them tactical context, or augmented reality system overlay.
Ces fonctions sont applicables à différents capteurs ou systèmes de bord, quel que soit le type d’image qu’ils produisent, ou à des sources d’imagerie externe, quel que soit la nature du capteur ayant permis d’obtenir l’image.These functions are applicable to different sensors or onboard systems, regardless of the type of image they produce, or to external imaging sources, regardless of the nature of the sensor that made it possible to obtain the image.
Ainsi, le système de traitement d’images 12 selon l’invention corrige l’incapacité des méthodes basées sur des descripteurs à traiter des images de nature très différentes, grâce au module de configuration 90 permettant de sélectionner des fonctions de traitement très variées dans des bibliothèques 84, 86, 88 et par paramétrage intelligent de ces fonctions.Thus, the image processing system 12 according to the invention corrects the inability of the methods based on descriptors to process images of very different nature, thanks to the configuration module 90 making it possible to select very varied processing functions in libraries 84, 86, 88 and by intelligent parameterization of these functions.
Le système de traitement d’images 12 selon l’invention présente donc l’avantage d’adapter les méthodes de mise en correspondance basées sur les descripteurs qui sont relativement robustes aux déformations d’images et sont, de plus, relativement économes en charge calcul et/ou mémoire, pour l’utilisation dans un contexte de calculateur temps réel embarqué.The image processing system 12 according to the invention therefore has the advantage of adapting the matching methods based on the descriptors which are relatively robust to image deformations and are, moreover, relatively economical in computational load. and/or memory, for use in an embedded real-time computer context.
Claims (15)
- des interfaces (70 ; 72 ; 74 ; 76) avec au moins trois sources distinctes d’images (24 ; 26 ; 22 ; 20) ;
- une unité de mise en correspondance (80), propre à recevoir des images provenant des sources d’images (24 ; 26 ; 22 ; 20) par l’intermédiaire des interfaces (70 ; 72 ; 74 ; 76), l’unité de mise en correspondance (80) étant propre à mettre en correspondance une première image provenant d’une première source parmi les trois sources distinctes d’images (24 ; 26 ; 22 ; 20) avec une deuxième image provenant d’une deuxième source parmi les au moins trois sources distinctes d’images (24 ; 26 ; 22 ; 20), la deuxième source étant distincte de la première source, pour déterminer la transformation géométrique entre la première image et la deuxième image ;
- un module fonctionnel (81) propre à produire, sur la base de la transformation géométrique, au moins un service fonctionnel destiné à un système de mission de l’aéronef (10).System (12) for processing aircraft images (10), comprising:
- Interfaces (70; 72; 74; 76) with at least three separate image sources (24; 26; 22; 20);
- a matching unit (80), able to receive images coming from the image sources (24; 26; 22; 20) via the interfaces (70; 72; 74; 76), the unit matching (80) being able to match a first image coming from a first source among the three distinct sources of images (24; 26; 22; 20) with a second image coming from a second source among the at least three distinct image sources (24; 26; 22; 20), the second source being distinct from the first source, to determine the geometric transformation between the first image and the second image;
- a functional module (81) capable of producing, on the basis of the geometric transformation, at least one functional service intended for a mission system of the aircraft (10).
- fourniture d’un système (12) selon l’une quelconque des revendications précédentes,
- acquisition par les interfaces (70 ; 72 ; 74 ; 76) d'une première image provenant d'une première source d’images parmi les au moins trois sources d’images (24 ; 26 ; 22 ; 20) et d'une deuxième image provenant d'une deuxième source d’images choisie parmi les au moins trois sources d’images (24 ; 26 ; 22 ; 20), la deuxième source d’images étant distincte de la première source d’images ;
- mise en correspondance, par l’unité de mise en correspondance (80), de la première image avec la deuxième image pour déterminer la transformation géométrique entre la première image et la deuxième image ;
- production par le module fonctionnel (81), sur la base de la transformation géométrique, d’au moins un service fonctionnel destiné à un système de mission de l’aéronef (10).Image processing method, implemented in an aircraft (10), comprising the following steps:
- provision of a system (12) according to any one of the preceding claims,
- acquisition by the interfaces (70; 72; 74; 76) of a first image coming from a first source of images among the at least three sources of images (24; 26; 22; 20) and of a second image coming from a second image source chosen from among the at least three image sources (24; 26; 22; 20), the second image source being distinct from the first image source;
- matching, by the matching unit (80), of the first image with the second image to determine the geometric transformation between the first image and the second image;
- production by the functional module (81), on the basis of the geometric transformation, of at least one functional service intended for a mission system of the aircraft (10).
le procédé comprenant l’application successivement, sur chaque image, par l'algorithme configurable, d’une première fonction de traitement choisie dans une première bibliothèque de fonctions (84), d’une deuxième fonction de traitement choisie dans une deuxième bibliothèque de fonctions (86) et avantageusement, d’au moins une troisième fonction de traitement choisie dans une troisième bibliothèque de fonctions (88),
le module de configuration (90) de l'algorithme de traitement définissant pour chaque image, chaque fonction de traitement à appliquer dans l'algorithme de traitement dans chaque bibliothèque de fonctions (84, 86, 88) en fonction des sources d’images (24 ; 26 ; 22 ; 20) utilisées, de la nature de chaque image, et/ou de données d'environnement de la scène visualisée dans les images.A method according to claim 14, wherein the mapping unit (80) is adapted to implement a configurable mapping algorithm, the mapping unit (80) including a configuration module (90) of the algorithm according to the image sources (24; 26; 22; 20) used, the nature of each image, and/or environmental data of the scene displayed in the images.
the method comprising the successive application, on each image, by the configurable algorithm, of a first processing function chosen from a first library of functions (84), of a second processing function chosen from a second library of functions (86) and advantageously, at least one third processing function chosen from a third library of functions (88),
the configuration module (90) of the processing algorithm defining for each image, each processing function to be applied in the processing algorithm in each library of functions (84, 86, 88) as a function of the image sources ( 24; 26; 22; 20) used, the nature of each image, and/or environmental data of the scene displayed in the images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1910866A FR3101467B1 (en) | 2019-10-01 | 2019-10-01 | MULTIFUNCTIONAL AND MODULAR MATCHING IMAGE PROCESSING SYSTEM FOR AIRCRAFT, AND ASSOCIATED PROCESS |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1910866 | 2019-10-01 | ||
| FR1910866A FR3101467B1 (en) | 2019-10-01 | 2019-10-01 | MULTIFUNCTIONAL AND MODULAR MATCHING IMAGE PROCESSING SYSTEM FOR AIRCRAFT, AND ASSOCIATED PROCESS |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3101467A1 true FR3101467A1 (en) | 2021-04-02 |
| FR3101467B1 FR3101467B1 (en) | 2021-10-15 |
Family
ID=69903232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1910866A Active FR3101467B1 (en) | 2019-10-01 | 2019-10-01 | MULTIFUNCTIONAL AND MODULAR MATCHING IMAGE PROCESSING SYSTEM FOR AIRCRAFT, AND ASSOCIATED PROCESS |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3101467B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861393A (en) * | 2023-02-16 | 2023-03-28 | 中国科学技术大学 | Image matching method, spacecraft landing point positioning method and related device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070076920A1 (en) * | 2005-10-04 | 2007-04-05 | Microsoft Corporation | Street side maps and paths |
| US20140064554A1 (en) * | 2011-11-14 | 2014-03-06 | San Diego State University Research Foundation | Image station matching, preprocessing, spatial registration and change detection with multi-temporal remotely-sensed imagery |
-
2019
- 2019-10-01 FR FR1910866A patent/FR3101467B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070076920A1 (en) * | 2005-10-04 | 2007-04-05 | Microsoft Corporation | Street side maps and paths |
| US20140064554A1 (en) * | 2011-11-14 | 2014-03-06 | San Diego State University Research Foundation | Image station matching, preprocessing, spatial registration and change detection with multi-temporal remotely-sensed imagery |
Non-Patent Citations (3)
| Title |
|---|
| GIANPAOLO CONTE: "Vision-based localization and guidance for unmanned aerial vehicles", WITAS, 2009, Linkoping, XP055691701, ISBN: 978-91-7-393603-3, Retrieved from the Internet <URL:http://www.diva-portal.org/smash/get/diva2:214103/FULLTEXT02.pdf> [retrieved on 20200527] * |
| LE MOIGNE J ET AL: "Image Registration and Fusion Studies for the Integration of Multiple Remote Sensing Data", ACOUSTICS, SPEECH AND SIGNAL PROCESSING, 2006. ICASSP 2006 PROCEEDINGS . 2006 IEEE INTERNATIONAL CONFERENCE ON TOULOUSE, FRANCE 14-19 MAY 2006, PISCATAWAY, NJ, USA,IEEE, PISCATAWAY, NJ, USA, 2006, pages V - V, XP031101727, ISBN: 978-1-4244-0469-8, [retrieved on 20200527] * |
| TEODOR TOMIC ET AL: "Toward a Fully Autonomous UAV: Research Platform for Indoor and Outdoor Urban Search and Rescue", IEEE ROBOTICS & AUTOMATION MAGAZINE, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 19, no. 3, September 2012 (2012-09-01), pages 46 - 56, XP011460471, ISSN: 1070-9932, DOI: 10.1109/MRA.2012.2206473 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861393A (en) * | 2023-02-16 | 2023-03-28 | 中国科学技术大学 | Image matching method, spacecraft landing point positioning method and related device |
| CN115861393B (en) * | 2023-02-16 | 2023-06-16 | 中国科学技术大学 | Image matching method, spacecraft landing point positioning method and related device |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3101467B1 (en) | 2021-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fazeli et al. | Evaluating the potential of RTK-UAV for automatic point cloud generation in 3D rapid mapping | |
| US8797400B2 (en) | Apparatus and method for generating an overview image of a plurality of images using an accuracy information | |
| US8902308B2 (en) | Apparatus and method for generating an overview image of a plurality of images using a reference plane | |
| EP2513664B1 (en) | Method for calibrating a measurement instrument of an optronic system | |
| Kaiser et al. | Vision-based estimation for guidance, navigation, and control of an aerial vehicle | |
| WO2016156352A1 (en) | Method of determining a direction of an object on the basis of an image of the object | |
| FR3062720A1 (en) | SYSTEM AND METHOD FOR AIDING THE LANDING OF AN AIRCRAFT, AND THE AIRCRAFT CORRESPONDING | |
| Kedzierski et al. | Methodology of improvement of radiometric quality of images acquired from low altitudes | |
| Fragoso et al. | A seasonally invariant deep transform for visual terrain-relative navigation | |
| Chen et al. | Real-time geo-localization using satellite imagery and topography for unmanned aerial vehicles | |
| FR3101467A1 (en) | MULTIFUNCTIONAL AND MODULAR MATCHING IMAGE PROCESSING SYSTEM FOR AIRCRAFT, AND ASSOCIATED PROCESS | |
| Koizumi et al. | Development of attitude sensor using deep learning | |
| EP2513592B1 (en) | Method for designating a target for a weapon having terminal guidance via imaging | |
| WO2016005535A2 (en) | Airborne optoelectronic equipment for imaging, monitoring and/or designating targets | |
| Oliveira et al. | Height gradient approach for occlusion detection in UAV imagery | |
| Sandru | Sea Ice Field Analysis Using Machine Vision | |
| Shahid et al. | A cross-platform hd dataset and a two-step framework for robust aerial image matching | |
| Nassar et al. | Aerial imagery registration using deep learning for uav geolocalization | |
| Mahé et al. | Simulations for vision-based navigation and collision avoidance in unmanned aerial systems | |
| US20230316745A1 (en) | Atmospheric chemical species detection using multispectral imaging | |
| EP3324338B1 (en) | Method for video indexing, and method for searching video sequence in a video database | |
| Essel et al. | ADGEO: A new shore‐based approach to improving spatial accuracy when mapping water bodies using low‐cost drones | |
| Berveglieri et al. | Locating Control Points In Aerial Images With A Multi‐Scale Approach Based On Terrestrial Image Patches | |
| Zhuo et al. | Fusion and classification of aerial images from MAVS and airplanes for local information enrichment | |
| Del Pizzo et al. | Roll and pitch estimation using visual horizon recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20210402 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |