FR3075438A1 - HYBRID SYNTHESIS METHOD OF IMAGES - Google Patents

Abstract

Procédé de synthèse d'une image par une unité centrale (200), qui comporte les étapes suivantes : C) à partir de paramètres physiques d'un scenario du type de l'image à synthétiser, simulation par l'unité centrale, d'une image physique, B) génération d'au moins une image supplémentaire ayant une loi conditionnelle obtenue à partir : - d'une loi non conditionnelle donnée par des paramètres statistiques de l'image à synthétiser et, - de contraintes imposées par l'image physique simulée, C) ajout d'un bruit à chaque image supplémentaire.Method for synthesizing an image by a central unit (200), which comprises the following steps: C) from physical parameters of a scenario of the type of image to be synthesized, simulation by the central unit, a physical image, B) generation of at least one additional image having a conditional law obtained from: - a non-conditional law given by statistical parameters of the image to be synthesized and, - constraints imposed by the image simulated physics, C) adding noise to each additional image.

Description

PROCEDE DE SYNTHESE HYBRIDE D’IMAGESHYBRID IMAGE SYNTHESIS PROCESS

Le domaine de l’invention est celui de la synthèse hybride d’images réalistes, précises et fidèles, représentatives d’images prises par des caméras passives ou actives dans les longueurs d’onde de l’optique. Par synthèse hybride, on entend une synthèse qui part d’un modèle statistique et d’un moteur de synthèse physique pour aboutir à des images synthétisées. Le modèle statistique peut être supposé connu (cas dit « modèle direct ») ou être lui-même issu d’une image réelle (cas dit « modèle estimé »).The field of the invention is that of the hybrid synthesis of realistic, precise and faithful images, representative of images taken by passive or active cameras in the wavelengths of the optics. By hybrid synthesis is meant a synthesis which starts from a statistical model and from a physical synthesis engine to arrive at synthesized images. The statistical model can be assumed to be known (case called "direct model") or itself be derived from a real image (case called "estimated model").

On rappelle que les longueurs d’onde dites optiques couvrent classiquement celles de l’ultraviolet (typiquement à partir de 20 nm) à celles de l’infrarouge lointain (typiquement jusqu’à 500 pm), alors que les longueurs d’onde radiofréquence sont supérieures à 500 pm, jusqu’à plusieurs mètres ou centaines de mètres. A part pour des capteurs fonctionnant hors atmosphère, les longueurs d’onde de 15 pm à 1 mm ne sont pas utilisées car elles sont atténuées par l’atmosphère. Dans la suite, on parlera donc d’optique pour des longueurs d’onde de 20 nm à 15 pm, et de radar pour les longueurs d’onde supérieures à 1 mm.It is recalled that the so-called optical wavelengths conventionally cover those of the ultraviolet (typically from 20 nm) to those of the far infrared (typically up to 500 μm), while the radiofrequency wavelengths are greater than 500 pm, up to several meters or hundreds of meters. Except for sensors operating outside the atmosphere, the wavelengths from 15 pm to 1 mm are not used because they are attenuated by the atmosphere. In the following, we will therefore speak of optics for wavelengths from 20 nm to 15 pm, and radar for wavelengths greater than 1 mm.

Dans la suite du texte, on appelle image réelle une image qui a été acquise au moyen d’un capteur d’images (capteur optronique tel qu’une caméra ou radar), observant une scène réelle, cette image étant généralement numérisée, et on appelle image synthétique une image obtenue au moyen d’un programme d’ordinateur mettant en œuvre un logiciel de modélisation et de simulation.In the remainder of the text, a real image is an image which has been acquired by means of an image sensor (optronic sensor such as a camera or radar), observing a real scene, this image being generally digitized, and we called a synthetic image an image obtained by means of a computer program implementing modeling and simulation software.

Globalement, le processus de synthèse part d’images réelles par exemple issues d’une base de données initiale d’images réelles et conduit à une base de données étendue contenant des images réelles et des images synthétiques.Overall, the synthesis process starts with real images, for example from an initial database of real images and leads to an extensive database containing real images and synthetic images.

Le besoin d’extension d’une base de données d’images par synthèse d’images est dû aux raisons suivantes :The need to expand an image database by image synthesis is due to the following reasons:

- pour développer des algorithmes automatiques de détection / poursuite / identification de cibles, il est nécessaire de disposer de bases de données contenant beaucoup d’images représentatives des scènes. On souhaite idéalement qu’un algorithme ait le même comportement sur les images synthétisées que sur des images réelles. En particulier, on souhaite que les statistiques extraites des images synthétisées soient proches de celles de l’image réelle.- to develop automatic target detection / tracking / identification algorithms, it is necessary to have databases containing many images representative of the scenes. Ideally, we want an algorithm to have the same behavior on synthesized images as on real images. In particular, we want the statistics extracted from the synthesized images to be close to those of the real image.

- il peut être long et coûteux d’acquérir des images réelles, en outre elles ne sont pas complètement renseignées notamment avec des conditions météorologiques précises déterminant les paramètres d’acquisition,- it can be long and expensive to acquire real images, moreover they are not completely informed in particular with precise meteorological conditions determining the parameters of acquisition,

- il peut arriver que des images réelles ne soient pas accessibles, soit parce que l’on ne dispose pas d’un capteur ayant les bonnes caractéristiques (résolution, bruit), soit parce que l’on souhaite disposer d’une image dans des conditions de scénario différentes de celles des images réelles (rapport signal sur bruit différent, type de fond ou conditions de température différents de ceux observés avec les images réelles).- it may happen that real images are not accessible, either because we do not have a sensor with the right characteristics (resolution, noise), or because we want to have an image in scenario conditions different from those of real images (different signal to noise ratio, background type or temperature conditions different from those observed with real images).

Le domaine de l’invention est plus particulièrement celui de la synthèse d’un grand nombre d’images à partir d’un modèle statistique (direct ou pouvant lui-même être issu d’une image réelle) et d’un moteur de synthèse physique, en particulier sur des fonds complexes car c’est sur ce type de fond que les algorithmes sont les plus difficiles à développer et à optimiser. Un fond complexe en optronique passive est par exemple constitué de nuages.The field of the invention is more particularly that of the synthesis of a large number of images from a statistical model (direct or which can itself be derived from a real image) and from a synthesis engine. physical, in particular on complex backgrounds because it is on this type of background that algorithms are the most difficult to develop and optimize. A complex background in passive optronics is for example made up of clouds.

Le domaine de l’invention peut s’étendre à la synthèse de séquences d’images appelées communément des « vidéos ». Il peut aussi s’étendre à d’autres types de fonds (fond de mer, de sol,...), ainsi qu’à d’autres types de capteurs comme des radars (par exemple des images « distance - vitesse » pour les radars Doppler ou des images du sol pour des radars de type SAR (Synthetic Aperture Radar).The field of the invention can extend to the synthesis of sequences of images commonly called "videos". It can also extend to other types of seabed (seabed, ground, etc.), as well as to other types of sensors such as radars (for example "distance - speed" images for Doppler radars or ground images for SAR radars (Synthetic Aperture Radar).

Il existe classiquement trois grandes façons de synthétiser de telles images :There are conventionally three main ways of synthesizing such images:

les modèles simples de texturation, qui peuvent utiliser soit des coefficients de réflexion, transmission, absorption paramétrés par des fonctions simples représentatives des variations en fonction des angles, couramment observées pour des interfaces matériaux simples, soit une structuration expérimentale plaquée sur les facettes décrivant les objets. L’utilisation de ce type de texturation suppose un important travail de préparation et conduit à des textures constantes par morceaux, peu représentatives des fonds complexes visés dans le cadre de cette invention,simple texturing models, which can use either reflection, transmission, absorption coefficients parameterized by simple functions representative of variations as a function of angles, commonly observed for simple material interfaces, or an experimental structuring applied to the facets describing the objects . The use of this type of texturing requires significant preparation work and leads to constant textures in pieces, not very representative of the complex backgrounds targeted in the context of this invention,

- la synthèse physique est fondée sur une représentation physique de la scène, et utilise les équations de la physique pour produire une image.- physical synthesis is based on a physical representation of the scene, and uses the equations of physics to produce an image.

Par exemple, dans le cas d’une image en optronique passive d’un fond de nuage, les principes de la synthèse physique sont décrits dans la description détaillée ; ils consistent, à partir de paramètres physiques représentatifs de la scène, à déduire une image dite « entrée pupille » au niveau du capteur, puis à appliquer à cette image la « fonction de transfert » apportée par le capteur. L’état de l’art de la synthèse physique comprend les modèles de calcul lié au transfert radiatif permettant la simulation de l’absorption d’une onde lumineuse à travers un milieu comprenant des structures de gouttes d’eau ou de glace. Les modèles comprennent aussi les données météorologiques et les données physiques modélisant les classes de nuages (code de calcul SHDOM « Spherical Harmonie Discrète Ordinate Method for 3D Atmospheric Radiative Transfer», code de calcul «Monte Carlo radiative transfer methods ») Typiquement le code de calcul permet d’utiliser des coordonnées discrètes espacées de 100m, des modèles de coefficient de réflexion bidirectionnel peuvent y être incorporés. Le calcul de transfert radiatif dépend aussi de la statistique de répartition des éléments diffusant la lumière. Nous pouvons parler d'une moyenne de l'intensité optique transmise à travers le nuage.For example, in the case of a passive optronics image of a cloud background, the principles of physical synthesis are described in the detailed description; they consist, from physical parameters representative of the scene, in deducing an image called “pupil input” at the level of the sensor, then in applying to this image the “transfer function” provided by the sensor. The state of the art of physical synthesis includes calculation models linked to radiative transfer allowing the simulation of the absorption of a light wave through a medium comprising structures of water or ice drops. The models also include meteorological and physical data modeling the cloud classes (calculation code SHDOM “Spherical Harmonie Discrète Ordinate Method for 3D Atmospheric Radiative Transfer”, calculation code “Monte Carlo radiative transfer methods”) Typically the calculation code allows the use of discrete coordinates spaced 100m apart, two-way reflection coefficient models can be incorporated. The radiative transfer calculation also depends on the distribution statistics of the light scattering elements. We can speak of an average of the optical intensity transmitted through the cloud.

Ce type de modèle physique permet de bien représenter les éléments de « structure » de la scène (les contours des nuages par exemple, ou encore les variations d’intensité à grande échelle), ceci sur un champ spatial (domaine angulaire) aussi grand que souhaité, mais une limitation importante est liée à la résolution spatiale du modèle de description des nuages utilisé, déterminée par la plus petite zone tridimensionnelle où les paramètres du nuage sont considérés comme constants. Les processus physiques formant le nuage, notamment les turbulences, sont souvent décrits par un ensemble de paramètres moyens ne permettant pas d’obtenir une représentativité de la physique à petite échelle, et les différents paramètres physiques (concentration, tailles des gouttelettes d’eau...) sont des données expérimentales mesurées sur un certain échantillonnage qui définit la cellule de résolution de l’équation de transfert radiatif. La résolution de l’équation de transfert ne peut être entreprise sur des cellules de dimensions faibles car ceci nécessiterait un maillage volumique du nuage particulièrement important.This type of physical model makes it possible to properly represent the elements of “structure” of the scene (the contours of clouds for example, or even variations of intensity on a large scale), this over a spatial field (angular domain) as large as desired, but an important limitation is linked to the spatial resolution of the cloud description model used, determined by the smallest three-dimensional area where the cloud parameters are considered to be constant. The physical processes forming the cloud, in particular the turbulences, are often described by a set of average parameters which do not make it possible to obtain a representativeness of physics on a small scale, and the various physical parameters (concentration, sizes of water droplets. ..) are experimental data measured on a certain sampling which defines the resolution cell of the radiative transfer equation. The resolution of the transfer equation cannot be undertaken on cells of small dimensions because this would require a particularly large volume mesh of the cloud.

Une autre limitation réside dans le fait que les équations de transfert radiatif ne rendent pas complètement compte des effets de la polarisation de l’onde (seule la propagation de l’intensité de l’onde est prise en compte), qui se produisent essentiellement sur les bords de certains nuages (car dus à la réflexion des sources externes à la scène elle-même) et à certaines longueurs d’onde. Ces effets se présentent souvent comme une scintillation (apparition de points brillants dispersés) dans les régions du nuage proches de son bord.Another limitation lies in the fact that the radiative transfer equations do not fully account for the effects of the polarization of the wave (only the propagation of the intensity of the wave is taken into account), which essentially occur on the edges of certain clouds (because of the reflection of sources external to the scene itself) and at certain wavelengths. These effects often appear as a scintillation (appearance of scattered bright dots) in the regions of the cloud near its edge.

- la synthèse statistique est fondée sur les caractéristiques statistiques de l’image, et utilise un moteur de synthèse statistique appelé parfois « échantillonner », pour produire une image.- statistical synthesis is based on the statistical characteristics of the image, and uses a statistical synthesis engine sometimes called "sampling", to produce an image.

II existe de nombreuses façons de synthétiser une ou plusieurs images à partir d’une image réelle. Celle qui est aujourd’hui la plus appropriée par rapport aux objectifs est la méthode de Portilla / Simoncelli, décrite dans la publication « A parametric texture model based on joint statistics of complex wavelet coefficients. » International Journal of Computer Vision 40(1),49-71,2000 ». Elle se décompose en deux étapes :There are many ways to synthesize one or more images from a real image. The one that is most appropriate today in relation to the objectives is the Portilla / Simoncelli method, described in the publication "A parametric texture model based on joint statistics of complex wavelet coefficients. "International Journal of Computer Vision 40 (1), 49-71.2000". It breaks down into two stages:

- extraire de l’image réelle les valeurs prises par un certain nombre de «descripteurs statistiques», par exemple des coefficients d’ondelettes multiéchelle, des distributions marginales, des covariances, etc.- extract from the real image the values taken by a certain number of "statistical descriptors", for example multiscale wavelet coefficients, marginal distributions, covariances, etc.

- synthétiser une autre image ayant les mêmes valeurs de descripteurs. Pour cela, la méthode consiste à partir d’un bruit blanc ou autre (pour lequel les valeurs des descripteurs sont en général très différentes de celles de l’image réelle), puis à lui appliquer de façon itérative des transformations jusqu’à ce que les valeurs des descripteurs soient suffisamment proches de celles de l’image réelle.- synthesize another image having the same descriptor values. For this, the method consists of starting with white or other noise (for which the values of the descriptors are generally very different from those of the real image), then applying it iteratively transformations until the values of the descriptors are sufficiently close to those of the real image.

La figure 2 montre une image d’un nuage synthétisée à partir de l’image réelle de la figure 1 ; il apparaît que ses caractéristiques statistiques sont très voisines de celles de l’image de la figure 1, mais les zones claires (respectivement sombres) ne sont pas situées aux mêmes endroits.Figure 2 shows an image of a cloud synthesized from the actual image in Figure 1; it appears that its statistical characteristics are very close to those of the image in FIG. 1, but the light areas (respectively dark) are not located in the same places.

Les avantages de cette méthode sont les suivants :The advantages of this method are:

- il est possible de synthétiser un grand nombre d’images du type de celle de la figure 2, en partant de réalisations différentes du bruit à l’origine de la deuxième phase du procédé,- it is possible to synthesize a large number of images of the type of that of FIG. 2, starting from different realizations of the noise at the origin of the second phase of the process,

- la résolution spatiale dans l’image peut être aussi fine que souhaité, pourvu que l’on dispose d’images réelles ayant cette résolution. On peut envisager d’augmenter encore la résolution en faisant des hypothèses particulières (interpolation de la covariance spatiale par exemple), mais ces hypothèses ne sont pas vérifiables sur les images réelles,- the spatial resolution in the image can be as fine as desired, provided that there are real images having this resolution. We can consider further increasing the resolution by making specific assumptions (interpolation of the spatial covariance for example), but these assumptions are not verifiable on real images,

- la méthode a une capacité naturelle à représenter, en particulier à travers les distributions marginales, certains effets comme ceux de la polarisation, qui compte tenu de la présence de points brillants dispersés, ne relèvent pas de la statistique linéaire gaussienne,- the method has a natural capacity to represent, in particular through the marginal distributions, certain effects like those of polarization, which taking into account the presence of scattered bright points, do not concern the linear statistics Gaussian,

- il est possible également de faire varier les caractéristiques statistiques de l’image de la figure 2, en jouant sur les paramètres extraits de l’image de la figure 1.- it is also possible to vary the statistical characteristics of the image of FIG. 2, by playing on the parameters extracted from the image of FIG. 1.

Mais par rapport aux objectifs décrits, la méthode présente les limitations suivantes :However, compared to the objectives described, the method has the following limitations:

- la représentativité des images synthétisées est à portée spatiale limitée (leur représentativité est locale). De façon concomitante, ces modèles ne rendent pas compte efficacement des éléments de structure de la scène.- the representativeness of the synthesized images is of limited spatial scope (their representativeness is local). Concomitantly, these models do not effectively account for the structural elements of the scene.

- il n’est pas possible de faire la part, dans les descripteurs extraits de l’image réelle, entre la contribution de la scène elle-même et celle du capteur d’image. Par exemple, si l’image réelle a été prise dans des conditions où le bruit du capteur est important (correspondant par exemple à un nuage vu depuis une grande distance), alors il n’est pas possible de synthétiser une image du même nuage vu dans des conditions plus favorables (plus proches ou avec une meilleure résolution par exemple),- it is not possible to make the distinction, in the descriptors extracted from the real image, between the contribution of the scene itself and that of the image sensor. For example, if the real image was taken under conditions where the noise of the sensor is significant (corresponding for example to a cloud seen from a great distance), then it is not possible to synthesize an image of the same cloud seen under more favorable conditions (closer or with better resolution for example),

- il n’est pas possible non plus d’agir librement sur la statistique marginale de chaque pixel, qui peut souvent être caractérisée par des moyens complémentaires, comme cela sera explicité dans la suite du texte. Cette remarque est applicable particulièrement au cas du radar.- it is also not possible to act freely on the marginal statistics of each pixel, which can often be characterized by complementary means, as will be explained in the following text. This remark is particularly applicable in the case of radar.

II existe donc un besoin pour un procédé de synthèse d’images qui ne présente pas ces limitations c’est-à-dire :There is therefore a need for an image synthesis process which does not have these limitations, that is to say:

- qui soit fidèle à la réalité à toutes les échelles, de façon à reproduire convenablement les éléments de structure et les éléments de texture, — ayant la capacité à représenter des phénomènes complexes tels que les effets de la polarisation,- which is faithful to reality at all scales, so as to adequately reproduce the elements of structure and the elements of texture, - having the capacity to represent complex phenomena such as the effects of polarization,

- et présentant une certaine capacité d’extrapolation à des cas non observés.- and having a certain capacity for extrapolation to unobserved cases.

Plus précisément l’invention a pour objet un procédé de synthèse d’une image par une unité centrale, qui comporte les étapes suivantes :More precisely, the subject of the invention is a method of synthesis of an image by a central unit, which comprises the following steps:

A) à partir de paramètres physiques d’un scénario du type de l’image à synthétiser, simulation par l’unité centrale, d’une image physique,A) from physical parameters of a scenario of the type of image to be synthesized, simulation by the central unit, of a physical image,

B) génération d’au moins une image supplémentaire ayant une loi conditionnelle obtenue à partir :B) generation of at least one additional image having a conditional law obtained from:

- d’une loi non conditionnelle donnée par des paramètres statistiques de l’image à synthétiser et,- an unconditional law given by statistical parameters of the image to be synthesized and,

- de contraintes imposées par l’image physique simulée,- constraints imposed by the simulated physical image,

C) ajout d’un bruit à chaque image supplémentaire.C) adding noise to each additional image.

Selon une caractéristique de l’invention, les contraintes imposées par l’image physique simulée sont :According to a characteristic of the invention, the constraints imposed by the simulated physical image are:

- des contraintes basses fréquence strictes ou relaxées, ou- strict or relaxed low frequency constraints, or

- des contraintes basses fréquence strictes linéaires, et la loi non conditionnelle est gaussienne, ou- strict linear low frequency constraints, and the unconditional law is Gaussian, or

- des contraintes basses fréquence linéaires et relaxées et la loi non conditionnelle est gaussienne.- linear and relaxed low frequency constraints and the unconditional law is Gaussian.

Selon une autre caractéristique de l’invention, les paramètres statistiques sont estimés à partir d’une image réelle acquise par un capteur et débruitée.According to another characteristic of the invention, the statistical parameters are estimated from a real image acquired by a sensor and denoised.

Le bruit ajouté est par exemple un bruit de Poisson et un bruit blanc de détection.The added noise is for example a Poisson noise and a white detection noise.

Lorsque le capteur est un capteur optronique passif qui comporte une matrice de détection, le bruit blanc de détection est le bruit de la matrice de détection.When the sensor is a passive optronic sensor which includes a detection matrix, the white detection noise is the noise of the detection matrix.

Les étapes peuvent être réitérées pour chaque image d’une séquence d’images avec parmi les paramètres statistiques, des paramètres représentatifs de mouvements internes à la séquence d’images. Dans certains cas, le scénario est le même pour chaque image.The steps can be repeated for each image of a sequence of images with among the statistical parameters, parameters representative of movements internal to the sequence of images. In some cases, the scenario is the same for each image.

Selon une autre caractéristique de l’invention, le bruit ajouté est un bruit statistique et un bruit blanc de détection.According to another characteristic of the invention, the added noise is a statistical noise and a white detection noise.

Lorsque le capteur est un capteur optronique actif ou un radar, le procédé comprend réalisées par l’unité centrale, une étape de calcul des écarts entre l’image acquise et l’image débruitée, et le bruit statistique est un bruit statistique estimé de l’image acquise par le capteur, et le bruit blanc de détection est le bruit de détection du capteur.When the sensor is an active optronic sensor or a radar, the method comprises, carried out by the central unit, a step of calculating the differences between the acquired image and the denoised image, and the statistical noise is an estimated statistical noise of l the image acquired by the sensor, and the white detection noise is the detection noise of the sensor.

Lorsque le capteur est un radar, l’image réelle est par exemple une image distance-vitesse ou une image de type Synthetic Aperture Radar.When the sensor is a radar, the real image is for example a distance-speed image or an image of the Synthetic Aperture Radar type.

L’invention a aussi pour objet un produit programme d’ordinateur, ledit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé tel que décrit, lorsque ledit programme est exécuté sur un ordinateur.The invention also relates to a computer program product, said computer program comprising code instructions making it possible to carry out the steps of the method as described, when said program is executed on a computer.

Ce procédé de synthèse hybride permet de surmonter les limitations des méthodes indiquées en préambule.This hybrid synthesis process overcomes the limitations of the methods indicated in the preamble.

D’autres caractéristiques et avantages de l’invention apparaîtront à la lecture de la description détaillée qui suit, faite à titre d’exemple non limitatif et en référence aux dessins annexés dans lesquels :Other characteristics and advantages of the invention will appear on reading the detailed description which follows, given by way of nonlimiting example and with reference to the appended drawings in which:

la figure 1 représente schématiquement une image réelle d’un nuage en optronique passive, la figure 2 représente schématiquement une image synthétisée à partir de l’image de la figure 1, la figure 3a représente schématiquement un exemple de capteur optronique passif, la figure 3b représente schématiquement un exemple de capteur radar, la figure 4 montre différentes étapes du procédé selon l’invention dans le cas de l’optronique passive, selon un premier mode de réalisation (modèle direct), la figure 5 montre différentes étapes du procédé selon l’invention dans le cas de l’optronique passive, selon un deuxième mode de réalisation (modèle estimé), la figure 6 montre différentes étapes du procédé selon l’invention dans le cas du radar, selon le premier mode de réalisation (modèle direct), la figure 7 montre différentes étapes du procédé selon l’invention dans le cas du radar, selon le deuxième mode de réalisation (modèle estimé).FIG. 1 schematically represents a real image of a cloud in passive optronics, FIG. 2 schematically represents an image synthesized from the image of FIG. 1, FIG. 3a schematically represents an example of a passive optronic sensor, FIG. 3b schematically represents an example of a radar sensor, FIG. 4 shows different stages of the method according to the invention in the case of passive optronics, according to a first embodiment (direct model), FIG. 5 shows different stages of the method according to the invention invention in the case of passive optronics, according to a second embodiment (estimated model), FIG. 6 shows different stages of the method according to the invention in the case of radar, according to the first embodiment (direct model) , Figure 7 shows different steps of the method according to the invention in the case of radar, according to the second embodiment (estimated model).

D’une figure à l’autre, les mêmes éléments sont repérés par les mêmes références.From one figure to another, the same elements are identified by the same references.

On rappelle qu’on entend par image réelle, une image acquise par un capteur. Dans le cas d’un capteur en optronique passive, le capteur 100 comporte comme montré figure 3a, une optique 10 de focalisation, qui fait converger les rayons optiques provenant de la scène en des points qui ne dépendent, en première approximation, que de leur angle d’arrivée, une matrice de détection 20 et une unité de traitement 30 configurée pour réaliser les traitements « bas niveau » de l’image comme par exemple corriger les non-uniformités de la matrice de détection. La matrice de détection comporte une matrice de pixels 21, chaque pixel étant relié à sa propre électronique de lecture 22. Pour des raisons de simplification, la figure 3a ne représente fonctionnellement le capteur optronique que dans un plan alors qu’en réalité l’image est une vision « 2D » de la scène. Dans le cadre de l’invention les images acquises par le capteur 100 sont importées dans une unité centrale 200 configurée pour les traiter.It is recalled that by real image is meant an image acquired by a sensor. In the case of a passive optronics sensor, the sensor 100 includes, as shown in FIG. 3a, a focusing optics 10, which converges the optical rays coming from the scene at points which depend, at first approximation, only on their angle of arrival, a detection matrix 20 and a processing unit 30 configured to perform “low level” image processing such as, for example, correcting the non-uniformities of the detection matrix. The detection matrix comprises a matrix of pixels 21, each pixel being connected to its own reading electronics 22. For reasons of simplification, FIG. 3a only shows the optronic sensor functionally in a plane when in reality the image is a “2D” vision of the scene. In the context of the invention, the images acquired by the sensor 100 are imported into a central unit 200 configured to process them.

Avant de décrire la solution technique, il est nécessaire d’expliquer plus en détail la physique des phénomènes mis en jeu en optronique et les caractéristiques d’images qui en résultent.Before describing the technical solution, it is necessary to explain in more detail the physics of the phenomena involved in optronics and the resulting image characteristics.

On considère tout d’abord la physique des phénomènes et les caractéristiques des images. On se place dans un cadre de description de l’image sous la forme d’un processus aléatoire, le contenu de chaque pixel étant une variable aléatoire. Cette variable aléatoire est réelle dans le cas de l’optronique passive, complexe dans le cas du radar (cependant, on s’intéresse généralement au module ou au carré du module du signal, la variable aléatoire est donc réelle), réelle ou complexe dans le cas de l’optronique active.We first consider the physics of phenomena and the characteristics of images. We place ourselves in a description frame of the image in the form of a random process, the content of each pixel being a random variable. This random variable is real in the case of passive optronics, complex in the case of radar (however, we are generally interested in the module or the square of the signal module, the random variable is therefore real), real or complex in the case of active optronics.

Chaque variable aléatoire présente une valeur moyenne, et des variations autour de la moyenne. L’ensemble des valeurs moyennes est appelée « fonction moyenne ». La fonction moyenne peut elle-même être un processus aléatoire dont la fonction de covariance (spatiale) rend compte du fait que le fond présente généralement des variations lentes à l’intérieur de l’image.Each random variable has an average value, and variations around the average. The set of average values is called "average function". The average function can itself be a random process whose covariance (spatial) function accounts for the fact that the background generally presents slow variations inside the image.

En optronique, la fonction moyenne décrit pour chaque pixel la moyenne du flux photonique. Or, il est bien connu que le flux photonique suit une loi de Poisson dont le paramètre λ est égal à la moyenne du flux. On a p(F = Æ) = e^;l — ⁷ k\ où P (F = k) est la probabilité pour que le flux F, exprimé en nombre de photons par unité de temps, soit égal au nombre entier k, où k e N. II est visible que l’on a bien k&NIn optronics, the average function describes the average of the photon flux for each pixel. However, it is well known that the photonic flux follows a Poisson law whose parameter λ is equal to the mean of the flux. We ap (F = Æ) = e ^{; l} - ⁷ k \ where P (F = k) is the probability that the flux F, expressed in number of photons per unit of time, is equal to the integer k, where ke N. It is visible that we have k & N

II est connu également que, pour une variable aléatoire suivant une loi de Poisson, sa variance est égale à sa moyenne λ, et que par ailleurs, lorsque le paramètre λ devient grand, la loi de Poisson se rapproche d’une loi gaussienne de moyenne λ et de variance Λ, donc d’écart-type ^λ. Plus λ est grand, plus le flux se rapproche d’une gaussienne et présente de façon concomitante des variations relatives petites, et a contrario quand λ est petit, les variations relatives du flux autour de sa moyenne (petite) sont grandes et le flux s’éloigne d’une gaussienne. De plus, à l’intérieur de l’image, les valeurs du flux dans les différents pixels sont indépendantes entre elles (à part le fait qu’elles sont corrélées à travers leurs valeurs moyennes) ; on dit qu’elles sont conditionnellement indépendantes. Cette indépendance conditionnelle est due au fait que les différents pixels « sélectionnent » des portions de l’espace différentes, les flux photoniques sont donc physiquement séparés.It is also known that, for a random variable according to a Poisson law, its variance is equal to its mean λ, and that moreover, when the parameter λ becomes large, the Poisson law approximates to a Gaussian law of mean λ and variance Λ, therefore standard deviation ^ λ. The larger λ is, the more the flux approaches a Gaussian and concomitantly presents small relative variations, and conversely when λ is small, the relative variations of the flux around its mean (small) are large and the flux s away from a Gaussian. In addition, inside the image, the values of the flux in the different pixels are independent of each other (apart from the fact that they are correlated through their average values); they are said to be conditionally independent. This conditional independence is due to the fact that the different pixels "select" different portions of space, the photonic fluxes are therefore physically separated.

Il faut encore ajouter le bruit de réception qui est un bruit blanc gaussien de variance connue.It is also necessary to add the reception noise which is a white Gaussian noise of known variance.

On peut noter que la variance du bruit de réception n’est en général pas la même dans les différents pixels, la principale raison étant la correction des non-uniformités de la matrice de détection du capteur. Le bruit de réception est donc blanc et «hétéroschédastique», mais de caractéristiques connues (si les corrections de non uniformités ont bien été relevées).It can be noted that the variance of the reception noise is generally not the same in the different pixels, the main reason being the correction of the non-uniformities of the detection matrix of the sensor. The reception noise is therefore white and “heteroschedastic”, but with known characteristics (if the corrections of non-uniformities have been noted).

On peut résumer ces propriétés avec le modèle suivant : soit i l’indice de pixel (i est donc un couple de deux nombres entiers), et soit y, une réalisation du processus aléatoire réel positif, en général corrélé, dit « fonction moyenne ». Ce processus aléatoire est entièrement défini, comme tout processus aléatoire, par la distribution de probabilité conjointe des variables aléatoires qui le constituent ; ici, chaque variable aléatoire représente le niveau du signal dans un pixel. En général, et c’est ce qui est supposé ici, la distribution conjointe est résumée au moyen de propriétés et d’un nombre fini de paramètres statistiques 0_y. Par exemple, une des représentations les plus simples, sans être triviale, est exprimée de la façon suivante : le processus aléatoire est stationnaire, gaussien de moyenne nulle, et il a la structure de covariance d’un « SAR », acronyme pour l’expression anglaise « Simultaneous Autoregressive » (qui n’a rien à voir avec l’acronyme du radar SAR mentionné par ailleurs pour Synthetic Aperture Radar) aux quatre ppv (plus proches voisins) et isotrope, ce qui signifie que la variable aléatoire y, est liée à ses quatre plus proches voisins, nommés ici collectivement y_Vi, par la relation yi=a Zy_Vi + z, où l’ensemble des z₍ constitue un bruit blanc de variance (σ_ζ)². Le paramètre a définit la portée de la corrélation spatiale dans l’image, alors que le paramètre (σ_ζ)², combiné à a, définit la variance de y. Les SAR sont par exemple décrits et étudiés dans l’ouvrage de X. Guyon : Statistiques spatiales. In Conférence S.A.D.A., 2007 (Statistique Appliquée pour le Développement en Afrique), fev 2007. Sur cet exemple, le processus est entièrement défini par a et σ_ζ, ces deux nombres constituant l’ensemble de paramètres 0_y.We can summarize these properties with the following model: either i the pixel index (i is therefore a couple of two whole numbers), and either y, a realization of the positive real random process, generally correlated, called "average function" . This random process is entirely defined, like any random process, by the joint probability distribution of the random variables which constitute it; here, each random variable represents the signal level in a pixel. In general, and this is what is assumed here, the joint distribution is summarized by means of properties and a finite number of statistical parameters 0 _y . For example, one of the simplest representations, without being trivial, is expressed as follows: the random process is stationary, Gaussian of zero mean, and it has the covariance structure of a "SAR", acronym for the English expression “Simultaneous Autoregressive” (which has nothing to do with the acronym of SAR radar mentioned elsewhere for Synthetic Aperture Radar) with four ppv (nearest neighbors) and isotropic, which means that the random variable y, is linked to its four closest neighbors, collectively named here y _V i, by the relation yi = a Zy _V i + z, where the set of z ₍ constitutes a white noise with variance (σ _ζ ) ^2. The parameter a defines the scope of the spatial correlation in the image, while the parameter (σ _ζ ) ² , combined with a, defines the variance of y.The SAR are for example described and studied in the work of X. Guyon: Spatial statistics . In SADA Conference, 2007 (Applied Statistics for Development in Africa), Feb 2007. In this example, the process is entirely defined by a and σ _ζ , these two numbers constituting the set of parameters 0 _y .

Un autre exemple est donné par le modèle SAR aux quatre ppv non isotrope, où la formule applicable pour y, devient yi=a Zy_vhi + β Zy™ + z, si l’on appelle maintenant y_Vhi les ppv « horizontaux », qui sont ici au nombre de deux : le pixel à droite et le pixel à gauche, et y_VVi les ppv « verticaux », qui sont également au nombre de deux : le pixel au-dessus et le pixel endessous. Lorsque a et β sont différents, l’image est non isotrope, par exemple si α > β, alors la corrélation spatiale dans l’image est plus forte dans la direction horizontale que dans la direction verticale.Another example is given by the SAR model with four non-isotropic ppv, where the formula applicable for y, becomes yi = a Zy _vh i + β Zy ™ + z, if we now call y _V hi the “horizontal” ppv , which are here two in number: the pixel on the right and the pixel on the left, and y _VV i the "vertical" ppv, which are also two in number: the pixel above and the pixel below. When a and β are different, the image is non-isotropic, for example if α> β, then the spatial correlation in the image is stronger in the horizontal direction than in the vertical direction.

Alors le contenu Xj du pixel i (réel également) est donné parThen the content Xj of pixel i (also real) is given by

X, = Vj + Wj (1) où Vj ~P(yi) (P = loi de Poisson) (ou dit autrement Vj suit une loi de Poisson de paramètre y,), avec les v, conditionnellement indépendants, et w, ~ Ν(0,σ²), N étant la loi normale ou gaussienne de moyenne 0, Wj étant indépendants entre eux et indépendants des Vj, o,² étant la variance de Wj, et les o² étant connus. La formule (1) s'écrit de façon équivalente sous la forme x, = Yi + (Vj - y,) + Wj = y, + ôy, + w, (2) où y, est la moyenne de la variable aléatoire x, et les deux termes ôy₍ = v, yi et Wj sont les termes de « bruit » de moyenne nulle : ôy, est le bruit de photons centré, w, est le bruit de réception aussi désigné bruit de détection.X, = Vj + Wj (1) where Vj ~ P (yi) (P = Poisson law) (or in other words Vj follows a Poisson law of parameter y,), with the v, conditionally independent, and w, ~ Ν (0, σ ² ), N being the normal or Gaussian law of mean 0, Wj being independent of each other and independent of Vj, o, ² being the variance of Wj, and the o ² being known. The formula (1) is written equivalently in the form x, = Yi + (Vj - y,) + Wj = y, + ôy, + w, (2) where y, is the mean of the random variable x , and the two terms ôy ₍ = v, yi and Wj are the terms of “noise” of zero mean: ôy, is the noise of centered photons, w, is the noise of reception also designated noise of detection.

Le procédé selon l’invention permet de construire des modèles statistiques réalistes d’images, à partir d’une part de paramètres physiques et d’autre part de paramètres statistiques d’images ou de paramètres statistiques estimés à partir d’images réelles.The method according to the invention makes it possible to construct realistic statistical models of images, on the one hand from physical parameters and on the other hand from statistical image parameters or from statistical parameters estimated from real images.

On va à présent décrire en détail le procédé selon l’invention dans le cas de l’optronique passive, en relation avec les figures 4 et 5 qui décrivent respectivement deux modes de réalisation, le premier (figure 4) étant appelé « avec modèle statistique direct » qui suppose que le modèle statistique a été obtenu par ailleurs, le second (figure 5) étant appelé « avec modèle statistique estimé » qui part d’images réelles et intègre l’extraction du modèle statistique à partir de ces images. Sur ces figures, les rectangles contiennent des opérations sur des données. L’ensemble de ces opérations résume le procédé et sont assurées par l’unité centrale 200. Les données sur fond grisé sont d’une part les entrées du procédé (scénario du type de l’image à synthétiser et paramètres statistiques de l’image à synthétiser pour la figure 4, scénario du type de l’image et image réelle pour la figure 5) et d’autre part les sorties du procédé (les « pluralités d’images »).We will now describe in detail the method according to the invention in the case of passive optronics, in relation to Figures 4 and 5 which respectively describe two embodiments, the first (Figure 4) being called "with statistical model direct ”which assumes that the statistical model was obtained elsewhere, the second (Figure 5) being called“ with estimated statistical model ”which starts from real images and integrates the extraction of the statistical model from these images. In these figures, the rectangles contain operations on data. All of these operations summarize the process and are provided by the central unit 200. The data on a gray background are, on the one hand, the process inputs (scenario of the type of image to be synthesized and statistical parameters of the image to be synthesized for FIG. 4, scenario of the type of the image and real image for FIG. 5) and on the other hand the outputs of the method (the "pluralities of images").

La figure 4 décrit l’invention dans son mode de mise en œuvre le plus simple, dit « avec modèle statistique direct ». Il prend en entrée d’une part des données de scénario, d’autre part un ensemble de paramètres statistiques 6_y a priori qui auraient été « appris » précédemment, par exemple y peut être un SAR (Simultaneous Autoregressive) aux quatre ppv, isotrope ou non, caractérisé, comme décrit précédemment par σ² et par a dans le cas isotrope, ou par a et β dans le cas non isotrope.FIG. 4 describes the invention in its simplest mode of implementation, known as “with direct statistical model”. It takes as input a part of the scenario data, the other a set of statistical parameters 6 priori _there that would have been "learned" above, for example there may be a SAR (Simultaneous Autoregressive) four ppv, isotropic or not, characterized, as described above by σ ² and by a in the isotropic case, or by a and β in the non-isotropic case.

A partir des données de scénario du type de l’image, c’est-à-dire les paramètres nécessaires à la synthèse physique décrite ci-dessous, et des paramètres du modèle statistique (« 0_y estimé »), on obtient en deux étapes une pluralité d’images désignée pluralité2 comme montré dans le cadre de la figure 4.From the scenario type data of the image, that is to say the parameters necessary for the physical synthesis described below, and from the parameters of the statistical model (“0 estimated _there ”), we obtain in two steps a plurality of images designated plurality2 as shown in the context of FIG. 4.

L’objectif du moteur de synthèse physique est de fournir une image conforme à ce que verrait le capteur, par exemple un capteur optronique passif placé devant une scène complexe telle qu’un fond de nuages, ou encore un radar placé devant une scène complexe.The objective of the physical synthesis engine is to provide an image in accordance with what the sensor would see, for example a passive optronic sensor placed in front of a complex scene such as a cloud background, or a radar placed in front of a complex scene.

Pour un capteur optronique passif et lorsque l’image est de type nuage, les données de scénario sont par exemple fournies par un modèle type Météo France qui fournit une description du nuage : classe du nuage, forme 3D du nuage, maillage en zones tridimensionnelles dans lesquelles les paramètres pertinents suivants sont considérés comme constants : taux d’humidité, structure et concentration des gouttes d’eau et des particules de glace. La propagation de l’intensité électromagnétique représentant par exemple l’intensité lumineuse des fonds de ciel, soleil, lune... est décrite par une équation de transfert radiatif. L’émissivité du nuage dans les bandes infrarouges est prise en compte par une équation du type corps noir, elle est reliée directement à la fonction d’absorption du nuage provenant de sa structure interne. L’équation de transfert radiatif est résolue sur une direction de propagation entre un point d’une source de la scène optronique et un point du récepteur de la scène optronique. L’intensité totale est reconstruite sur le plan image du récepteur en fonction de l’ensemble des rayons matérialisant la direction de propagation de l’intensité électromagnétique traversant les nuages cellules maillant la structure du nuage. L’intensité totale est alors la somme des intensités élémentaires portées par chaque rayon. On obtient à ce stade une « image entrée pupille ».For a passive optronic sensor and when the image is of the cloud type, the scenario data are for example provided by a Météo France type model which provides a description of the cloud: cloud class, 3D shape of the cloud, mesh in three-dimensional zones in which the following relevant parameters are considered to be constant: humidity, structure and concentration of water drops and ice particles. The propagation of the electromagnetic intensity representing for example the light intensity of the backgrounds of the sky, sun, moon ... is described by a radiative transfer equation. The emissivity of the cloud in the infrared bands is taken into account by a black body equation, it is directly related to the absorption function of the cloud coming from its internal structure. The radiative transfer equation is solved on a propagation direction between a point of a source of the optronic scene and a point of the receiver of the optronic scene. The total intensity is reconstructed on the image plane of the receiver as a function of the set of rays materializing the direction of propagation of the electromagnetic intensity crossing the cell clouds meshing the structure of the cloud. The total intensity is then the sum of the elementary intensities carried by each ray. At this stage, a "pupil entry image" is obtained.

Cette image est ensuite transformée en une image telle qu’elle est vue par le capteur optronique en lui appliquant la « fonction de transfert » dudit capteur : réponse spectrale, fonction de transfert de modulation (FTM), distribution des pixels. Dans le cadre de cette invention, les deux sources de bruit décrites précédemment (voir formule 2 : ôy, pour le bruit de scène et w, pour le bruit du capteur) ne sont pas introduites à ce stade, en effet elles sont introduites ultérieurement, après l’opération de synthèse hybride décrite cidessous.This image is then transformed into an image as it is seen by the optronic sensor by applying to it the "transfer function" of said sensor: spectral response, modulation transfer function (FTM), pixel distribution. In the context of this invention, the two noise sources described above (see formula 2: ôy, for scene noise and w, for sensor noise) are not introduced at this stage, in fact they are introduced later, after the hybrid synthesis operation described below.

Pour d’autres types de fonds complexes, les paramètres physiques sont par exemple dans le cas d’un fond de mer :For other types of complex funds, the physical parameters are for example in the case of a seabed:

le modèle statistique spatio-temporel de la surface de la mer (densité de probabilité et fonction de corrélation des hauteurs), les caractéristiques des contributeurs au rayonnement électromagnétique de la surface de la mer, par exemple position du soleil et émissivité / réflectivité de la mer.the spatio-temporal statistical model of the sea surface (probability density and height correlation function), the characteristics of the contributors to electromagnetic radiation from the sea surface, for example position of the sun and emissivity / reflectivity of the sea .

L’étape de fusion ou « synthèse hybride » a pour objectif principal de satisfaire à la première exigence énoncée précédemment : la fidélité de l’image, par rapport à la réalité, à toutes les échelles, de façon à reproduire convenablement les éléments de structure et les éléments de texture, ceci en cumulant les avantages décrits précédemment de forte résolution spatiale de la synthèse statistique, avec la capacité de champ spatial large apportée par le processus de synthèse physique.The main objective of the fusion or “hybrid synthesis” stage is to satisfy the first requirement stated above: the fidelity of the image, in relation to reality, at all scales, so as to adequately reproduce the structural elements and texture elements, this by combining the advantages described above of high spatial resolution of statistical synthesis, with the wide spatial field capacity provided by the process of physical synthesis.

L'objectif de la fusion est donc d'obtenir une image respectant au mieux deux types de contraintes: des contraintes sur les basses fréquences issues, dans le cadre de cette invention, de la synthèse physique (ou image physique) et des contraintes statistiques locales (ou loi non conditionnelle) données par les paramètres statistiques de y.The objective of the fusion is therefore to obtain an image respecting at best two types of constraints: constraints on the low frequencies resulting, within the framework of this invention, from physical synthesis (or physical image) and local statistical constraints (or unconditional law) given by the statistical parameters of y.

Dans le cas où les contraintes sur les basses fréquences sont strictes, il s’agit d’un problème de statistique conditionnelle, qu’on peut exprimer « naïvement » de la façon suivante: trouver parmi des images tirées suivant la statistique non conditionnelle une image qui satisfait les contraintes basses fréquences. Cette façon de faire n'est pas viable car, en toute généralité, la probabilité pour une image de satisfaire les contraintes basses fréquences est nulle. (On rappelle qu’en probabilité, on appelle évènement presque sûr un évènement dont la probabilité est égale à 1. Ici il est « presque sûr » qu’une image synthétisée de façon non conditionnelle ne passera pas par les points imposés, d’où une probabilité égale à 0 pour qu’elle passe par les points imposés).In the case where the constraints on the low frequencies are strict, it is a problem of conditional statistics, which one can express "naively" in the following way: to find among images drawn according to nonconditional statistics an image which meets the constraints of low frequencies. This way of doing things is not viable because, in general, the probability for an image to satisfy the constraints of low frequencies is zero. (We recall that in probability, we call almost sure event an event whose probability is equal to 1. Here it is "almost sure" that an image synthesized unconditionally will not pass through the imposed points, hence a probability equal to 0 for it to pass through the imposed points).

Dans le cadre de cette invention, deux approches sont décrites pour obtenir de telles images. La première est applicable à tous les cas elle correspond à un algorithme de type projection alternée pour lequel l’opération de base du procédé est la propagation d’une image sur les contraintes souhaitées. La seconde n’est applicable qu’au cas particulier où la contrainte basse fréquence est linéaire et où la contrainte statistique est une loi gaussienne, mais elle présente l’avantage de donner une formulation directe explicite du contenu de l’image, et par ailleurs son champ d’application est large.In the context of this invention, two approaches are described for obtaining such images. The first is applicable to all cases; it corresponds to an algorithm of alternating projection type for which the basic operation of the method is the propagation of an image over the desired constraints. The second is only applicable in the particular case where the low frequency constraint is linear and where the statistical constraint is a Gaussian law, but it has the advantage of giving an explicit direct formulation of the content of the image, and moreover its scope is wide.

Notons que pour ces deux algorithmes, une version relaxée où les contraintes ne sont qu'approximativement respectées est possible. Les deux versions relaxées sont également décrites.Note that for these two algorithms, a relaxed version where the constraints are only approximately respected is possible. The two relaxed versions are also described.

La suite du document décrit donc, pour l’opération de fusion, quatre cas :The rest of the document therefore describes, for the merger operation, four cases:

- cas « général » pour la forme des contraintes, ou cas particulier de contraintes basse fréquence linéaires et de contrainte statistique gaussienne,- "general" case for the form of the constraints, or particular case of linear low frequency constraints and Gaussian statistical constraint,

- contraintes basses fréquences strictes ou relaxées.- strict or relaxed low frequency constraints.

Cas général, version « contraintes basses fréquences strictes »General case, version "strict low frequency constraints"

On suppose ici que pour chaque contrainte, qu'elle soit pour la basse fréquence ou pour la partie statistique, il existe une opération explicite permettant d'obtenir à partir d'une image initiale une projection, l'image la plus proche (ou à défaut proche) satisfaisant la contrainte. Cette opération correspond à une simple projection pour les contraintes linéaires ou plus généralement les contraintes convexes. Il existe également des formules explicites pour imposer des moments d'ordre supérieur que ce soit sur l'image ou sur une transformée de celle-ci. L'algorithme consiste à appliquer de manière itérative ces opérations jusqu'à obtenir une image satisfaisante.It is assumed here that for each constraint, whether for the low frequency or for the statistical part, there is an explicit operation making it possible to obtain from a initial image a projection, the closest image (or at near fault) satisfying the constraint. This operation corresponds to a simple projection for the linear constraints or more generally the convex constraints. There are also explicit formulas for imposing higher order moments whether on the image or on a transform thereof. The algorithm consists in applying iteratively these operations until obtaining a satisfactory image.

Cas où la contrainte basse fréquence est « stricte » linéaire et où la contrainte statistique est une loi gaussienne (dit autrement la loi non conditionnelle est gaussienne).Case where the low frequency constraint is “strict” linear and where the statistical constraint is a Gaussian law (in other words the unconditional law is Gaussian).

Dans la suite des calculs, l’image en sortie du processus d’hybridation est appelée X (y sur la figure 4). Dans la suite du document, l’image X est écrite sous la forme d’un vecteur X contenant (dans un ordre quelconque a priori) les n1 x n2 pixels de l’image, cette formulation étant nécessaire pour représenter les opérations linéaires sur l’image au moyen de matrices.In the remainder of the calculations, the image at the output of the hybridization process is called X (y in FIG. 4). In the rest of the document, the image X is written in the form of a vector X containing (in any order a priori) the n1 x n2 pixels of the image, this formulation being necessary to represent the linear operations on l image using matrices.

L’objectif est ici de donner des formules explicites pour la synthèse hybride dans le cas où la contrainte basse fréquence est linéaire et où la contrainte statistique est une loi gaussienne. Soit X l’image de taille n1 x n2 à synthétiser, on dispose de deux types d’information : la sortie de la synthèse physique et les paramètres statistiques 0_y. Dans la suite, ces deux types d’informations seront appelées des « contraintes » (respectivement les « contraintes physiques » et les « contraintes statistiques »), et pour des raisons explicitées plus bas, on appellera image non conditionnelle une image qui ne satisfait que les contraintes statistiques, et image conditionnelle une image qui satisfait simultanément les deux contraintes (contrainte physique et contrainte statistique). La synthèse physique donne une version basse fréquence de l’image, exprimée soit par des valeurs en certains points (on parlera dans ce cas de contrainte du type « attache aux points »), soit par des moyennes locales en certains points, tandis que la contrainte statistique est donnée par les paramètres statistiques 0_y (dans le cas présent, 0_y peut se résumer par la matrice de covariance spatiale bidimensionnelle de l’image) et définit une image non conditionnelle (cette image non conditionnelle est une image que l’on obtiendrait par le seul processus de synthèse statistique à partir des paramètres 0_y). L’objectif du mécanisme de fusion est donc de fournir une image conditionnelle.The objective here is to give explicit formulas for hybrid synthesis in the case where the low frequency constraint is linear and where the statistical constraint is a Gaussian law. Let X be the image of size n1 x n2 to be synthesized, we have two types of information: the output of the physical synthesis and the statistical parameters 0 _y . In the following, these two types of information will be called "constraints" (respectively "physical constraints" and "statistical constraints"), and for reasons explained below, we will call an unconditional image an image which satisfies only statistical constraints, and conditional image an image which simultaneously satisfies both constraints (physical constraint and statistical constraint). The physical synthesis gives a low frequency version of the image, expressed either by values at certain points (we will speak in this case of a constraint of the type “attach to points”), or by local averages at certain points, while the statistical constraint is given by the statistical parameters 0 _y (in this case, 0 _y can be summed up by the two-dimensional spatial covariance matrix of the image) and defines an unconditional image (this unconditional image is an image that the one would obtain by the only process of statistical synthesis starting from the parameters 0 _y ). The objective of the fusion mechanism is therefore to provide a conditional image.

Plus précisément, dans le cas des moyennes locales en certains points, on fait l’hypothèse que la contrainte physique est donnée par un opérateur linéaire L sous la forme LX = L_o tandis que la contrainte statistique est de la forme X ~ N (0, Σ) (ou dit autrement, X suit la loi normale N (= est un vecteur gaussien) de moyenne 0 et de covariance Σ). On est donc amené à étudier la possibilité de simuler X sous la contrainte LX = Lo, qui est un problème de type simulation de loi conditionnelle.More precisely, in the case of local means at certain points, we assume that the physical constraint is given by a linear operator L in the form LX = L _o while the statistical constraint is of the form X ~ N (0 , Σ) (or in other words, X follows the normal distribution N (= is a Gaussian vector) with mean 0 and covariance Σ). We are therefore led to study the possibility of simulating X under the constraint LX = Lo, which is a problem of the conditional law simulation type.

On verra que l’on peut synthétiser un grand nombre de telles images : chacune passe par les points imposés, ou dans le cas général respecte les contraintes issues du moteur de synthèse physique, mais elles sont indépendantes les unes des autres, conditionnellement aux contraintes.We will see that we can synthesize a large number of such images: each passes through the imposed points, or in the general case respects the constraints from the physical synthesis engine, but they are independent of each other, conditionally to the constraints.

Sous une hypothèse de gaussianité pour X, on peut donner explicitement la loi de X sous la contrainte LX = L_o. Soit ker L, le noyau de L, et Pker l et Pker l-L, les projections orthogonales sur respectivement le noyau de L et son orthogonal. On vérifie aisément que la condition LX = L_o correspond à imposer la valeur de P_{ker L}1 X tout en laissant libre P_ker l X · D’autre part, l’image d’un vecteur gaussien étant un vecteur gaussien, on obtient immédiatement que / p γ λUnder a Gaussianity assumption for X, we can explicitly give the law of X under the constraint LX = L _o . Let ker L, the kernel of L, and Pker l and Pker lL, the orthogonal projections on the kernel of L and its orthogonal respectively. We easily verify that the condition LX = L _o corresponds to imposing the value of P _{ker L} 1 X while leaving free P _ker l X · On the other hand, the image of a Gaussian vector being a Gaussian vector, we obtain immediately that / p γ λ

ΛΛ

ΛΑΛΑ

))))

Et on en déduit que P_{ker L} X | P_ker l-L X suit une loi gaussienne de moyenne μ’ et de variance Σ’ respectivement :And we deduce that P _{ker L} X | P _ke r lL X follows a Gaussian law with mean μ 'and variance Σ' respectively:

μ' · ρ^χμ '· ρ ^ χ

Σ’=Σ '=

( ^kerh^kerL¹ ^ker^^keri(^ kerh ^ kerL ¹ ^ ker ^^ keri

Sans trop de perte de généralité, on peut supposer que Σ'¹ = B_tB avec B inversible de sorte que BX~N(0,1) et Σ= B'¹ B^_t. Les formules précédentes se réécrivent :Without too much loss of generality, we can assume that Σ ' ¹ = B _t B with B invertible so that BX ~ N (0,1) and Σ = B' ¹ B ^_t . The previous formulas are rewritten:

On peut montrer que :We can show that:

X = ((BPkerl)¹ (BPkerl))’¹ (BP_kerl/ (Z-(BP_kerΙ±)Χ) (3) où Z est un vecteur gaussien standard (N (0, I )) qui suit la loi précédente. Ceci donne une formule explicite de simulation de la loi conditionnelle. On vérifie de plus qu’elle correspond à la solution du problème de minimisation en PkenX :X = ((BPkerl) ¹ (BPkerl)) ' ¹ (BP _k erl / (Z- (BP _ke rΙ ±) Χ) (3) where Z is a standard Gaussian vector (N (0, I)) which follows the previous law. This gives an explicit formula for simulating the conditional law. We also check that it corresponds to the solution of the minimization problem in PkenX:

Il (BPker L) (Pker L X) - (Z-(BP_ker _L±)X) ||²- (4)Il (BPker L) (Pker LX) - (Z- (BP _ke r _L ±) X) || ² - (4)

La simulation de P_ker l X peut donc être obtenue à partir d’une réalisation de Z soit en utilisant directement la formule (3) (premier mode de mise en œuvre), soit en résolvant le problème d’optimisation (4) (deuxième mode de mise en œuvre). La première formulation est plus simple mais implique l’inversion d’une matrice de grande taille tandis que la seconde permet une résolution de type algorithme itératif permettant d’éviter une telle inversion. Z étant une réalisation quelconque d’un vecteur gaussien standard N(0, I), les formules (3) ou (4) montrent clairement qu’on peut synthétiser de cette façon autant de réalisations indépendantes de X que l’on souhaite.The simulation of P _ker l X can therefore be obtained from a realization of Z either by directly using formula (3) (first mode of implementation), or by solving the optimization problem (4) (second mode of implementation). The first formulation is simpler but implies the inversion of a large matrix while the second allows a resolution of the iterative algorithm type making it possible to avoid such an inversion. Z being any realization of a standard Gaussian vector N (0, I), the formulas (3) or (4) clearly show that one can synthesize in this way as many realizations independent of X as one wishes.

On étudie à présent ces questions dans le cas où l’attache aux données est de type attache aux points, ce qui simplifie grandement l’écriture.We are now studying these questions in the case where the data attachment is of the point attachment type, which greatly simplifies writing.

En effet, dans le cas où L correspond à fixer des valeurs de X en des points c, on introduit Xc le vecteur des n_c valeurs contraintes (correspondant à Pker i/ X dans la section précédente) et X| le vecteur des n_t valeurs libres (correspondant à PkeriX dans la section précédente). Quitte à réordonner le vecteur X pour que X = (X/Xc)¹, B s’écrit [B|B_C] avec Bi et B_c des matrices de tailles respectives n x ni et n x n_c (correspondant aux matricesIndeed, in the case where L corresponds to fix values of X at points c, we introduce Xc the vector of the n _c constrained values (corresponding to Pker i / X in the previous section) and X | the vector of n _t free values (corresponding to PkeriX in the previous section). Leaves to reorder the vector X so that X = (X / Xc) ¹ , B is written [B | B _C ] with Bi and B _c matrices of respective sizes nx ni and nxn _c (corresponding to the matrices

B Pker l et B Pker L^-1 dans la section précédente).B Pker l and B Pker L ^-1 in the previous section).

Les formules permettant la simulation de la loi conditionnelle deviennent alors respectivementThe formulas allowing the simulation of the conditional law then become respectively

Xi = (B/B,)-¹ Βι^ι(Ζ-ΒοΧ_ο) pour la formule directe qui revient à minimiser || B|X_l-(Z-BcX_c) J².Xi = (B / B,) - ¹ Βι ^ι (Ζ-ΒοΧ _ο ) for the direct formula which amounts to minimizing || B | X _l - (Z-BcX _c ) J ² .

Cas général, « contraintes basses fréquences relaxées »General case, “relaxed low frequency constraints”

Dans ce cas, on adoptera une version relaxée de l’algorithme de projection alternée décrit précédemment : à chaque étape, l'image est remplacée, non pas par sa projection, mais par une combinaison linéaire de l'image et de sa projection. Les poids dans la combinaison sont choisis soit fixes, soit inversement proportionnels à la norme de la modification, soit décroissants avec le temps.In this case, we will adopt a relaxed version of the alternating projection algorithm described above: at each step, the image is replaced, not by its projection, but by a linear combination of the image and its projection. The weights in the combination are chosen either fixed, or inversely proportional to the standard of the modification, or decreasing with time.

Cas particulier de contraintes basse fréquence linéaires et de contraintes statistiques gaussiennes, « contraintes basses fréquences relaxées »Special case of linear low frequency constraints and Gaussian statistical constraints, "relaxed low frequency constraints"

Dans ce cas, la relaxation consiste à transformer le problème de minimisation sous contrainte d’égalité, donnée par la formule (4), en la minimisation en X de γ ||BX-Z ||²+ || LX-Lo ||², γ étant un nombre réel positif (>0).In this case, relaxation consists in transforming the minimization problem under equality constraint, given by formula (4), into the minimization in X of γ || BX-Z || ² + || LX-Lo || ² , γ being a positive real number (> 0).

Lorsque γ tend vers 0, on retrouve le problème avec contrainte stricte. On obtient ainsi une famille de solutions correspondant à des contraintes plus ou moins fortes selon le choix du γ.When γ tends to 0, we find the problem with strict constraint. We thus obtain a family of solutions corresponding to more or less strong constraints according to the choice of γ.

Ce problème se résout par algèbre linéaire et conduit, comme dans le cas des contraintes basse fréquence strictes, à une expression explicite du contenu de l’image, qui va maintenant être décrite dans le cas particulier où l’attache aux données est de type attache aux points. Dans ce cas, on reprend les mêmes définitions et notations que précédemment (voir X|, X_c, Bi, B_c en supposant que l’on a réordonné le vecteur X), cependant un élément important doit être pris en compte : dans le cas de l’attache aux données « stricte », X_c n’était pas modifié par le processus de fusion (ce qui correspond à la définition d’une contrainte stricte), alors que si la contrainte est relaxée, les valeurs seront modifiées par le processus de fusion. On distinguera donc X_co (valeurs imposées mais de façon relaxée) et X_c (valeurs obtenues après fusion). Avec ces notations, on obtient pour X = (Χ*Χ₀ ¹)¹ les formules explicites suivantes :This problem is solved by linear algebra and leads, as in the case of strict low frequency constraints, to an explicit expression of the content of the image, which will now be described in the particular case where the attachment to the data is of attachment type at points. In this case, we take the same definitions and notations as before (see X |, X _c , Bi, B _c assuming that we have reordered the vector X), however an important element must be taken into account: in the case of the attachment to “strict” data, X _c was not modified by the merging process (which corresponds to the definition of a strict constraint), whereas if the constraint is relaxed, the values will be modified by the merger process. A distinction will therefore be made between X _c o (values imposed but relaxed) and X _c (values obtained after fusion). With these notations, we obtain for X = (Χ * Χ ₀ ¹ ) ¹ the following explicit formulas:

soit M la matrice de taille ni x n donnée par la formulelet M be the size matrix ni x n given by the formula

M =(1 +γ)Βι* - y B,‘ B_C(B_C‘B_C)·¹ B_c‘ alorsM = (1 + γ) Βι * - y B, 'B _C (B _C ' B _C ) · ¹ B _c 'then

XrfMBirtMZ-Bt'BcXco) etXrfMBirtMZ-Bt'BcXco) and

Xc= (B_C'B_C)-¹[(-BC'B| (MB,)’¹ M+BC')Z + B_C*B| (MB,)'¹ Β,'ΒοΧο]Xc = (B _C 'B _C ) - ¹ [(-BC'B | (MB,)' ¹ M + BC ') Z + B _C * B | (MB,) ' ¹ Β,' ΒοΧο]

On voit que, pour Z fixé (une réalisation d’un bruit blanc), X = (Χι^ιΧ0⁴)⁴ ne dépend que de B = [B|BC], X_co et y.We see that, for fixed Z (a realization of white noise), X = (Χι ^ι Χ0 ⁴ ) ⁴ depends only on B = [B | BC], X _c o and y.

Cette relaxation permet de prendre en compte par exemple des incertitudes sur les contraintes. On peut ainsi choisir la valeur de y assurant le meilleur compromis entre les contraintes basse fréquence et la structure supposée à haute fréquence.This relaxation makes it possible to take into account, for example, uncertainties on the constraints. One can thus choose the value of y ensuring the best compromise between the low frequency constraints and the supposed high frequency structure.

Dans le cas où la contrainte statistique est linéaire gaussienne, la pluralitél d’images de synthèse est donc obtenue au moyen d’un procédé de synthèse hybride, qui est une « fusion » entre les sorties du moteur de synthèse physique, et ce que seraient les sorties d’un moteur de synthèse statistique « libre » ou « non conditionnel », qui consisterait à appliquer simplement la formuleIn the case where the statistical constraint is linear Gaussian, the pluralityl of synthetic images is therefore obtained by means of a hybrid synthesis process, which is a "fusion" between the outputs of the physical synthesis engine, and what would be the outputs of a “free” or “unconditional” statistical synthesis engine, which would consist in simply applying the formula

X = BZ.X = BZ.

L’étape suivante consiste à ajouter un bruit à cette pluralitél d’images.The next step is to add noise to this plurality of images.

Dans le cas de l’optronique passive (figure 4), l’ajout du bruit est une opération simple comme indiqué précédemment. Elle consiste à :In the case of passive optronics (Figure 4), adding noise is a simple operation as indicated above. It consists of :

- générer pour chaque pixel (indicé par i) une variable aléatoire v, suivant une loi de Poisson de paramètre yi estimé. Cette génération relève des connaissances de base de tout ingénieur et est programmée dans tous les langages scientifiques, comme par exemple Matlab,- generate for each pixel (indexed by i) a random variable v, following a Poisson law of estimated parameter yi. This generation comes from the basic knowledge of any engineer and is programmed in all scientific languages, such as Matlab,

- ajouter à V, une variable aléatoire gaussienne Wj de moyenne nulle et de variance o², la « carte » des o² étant supposée connue. Ici aussi, cette génération relève des connaissances de base de tout ingénieur, et est programmée dans tous les langages scientifiques, comme par exemple Matlab.- add to V, a Gaussian random variable Wj with zero mean and variance o ² , the “map” of o ² being assumed to be known. Here too, this generation comes from the basic knowledge of any engineer, and is programmed in all scientific languages, such as Matlab for example.

On obtient à l’issue de cette étape d’ajout de bruit, une pluralité2 d’images de synthèse.At the end of this step of adding noise, a plurality2 of synthetic images are obtained.

La description de l’invention qui vient d’être faite sur la base de la figure 4 est dite « avec modèle statistique direct », nous allons maintenant décrire l’invention dans un second mode de réalisation, dit « avec modèle statistique estimé », sur la base de la figure 5. Ce second mode de réalisation se distingue du premier par le fait que les paramètres statistiques, au lieu d’être donnés a priori, sont estimés à partir d’une image réelle x, cette opération faisant l’objet du premier cadre I de la figure 5.The description of the invention which has just been made on the basis of FIG. 4 is called "with direct statistical model", we will now describe the invention in a second embodiment, called "with estimated statistical model", on the basis of FIG. 5. This second embodiment is distinguished from the first by the fact that the statistical parameters, instead of being given a priori, are estimated from a real image x, this operation making the object of the first frame I of FIG. 5.

La fonction de débruitage a pour objectif de supprimer le bruit de flux photonique et le bruit de la matrice de détection du capteur, car ces bruits sont présents dans l’image réelle. Cette fonction relève de l’état de l’art du débruitage d’image. On peut citer des méthodes linéaires commeThe objective of the denoising function is to suppress the photon flux noise and the noise of the sensor detection matrix, because these noises are present in the real image. This function is part of the state of the art of image denoising. We can cite linear methods like

i) les méthodes à noyau, ou ii) des techniques de filtrage dans le domaine des fréquences (spatiales), et des méthodes non linéaires comme celles qui sont fondées sur le seuillage de coefficients d’ondelettes.i) kernel methods, or ii) filtering techniques in the (spatial) frequency domain, and non-linear methods such as those based on thresholding of wavelet coefficients.

On préfère les méthodes robustes par rapport à l’hétéroschédasticité. Par exemple, comme le caractère hétéroschédastique du bruit ne modifie pas le fait que la densité spectrale du bruit est constante, une technique consistant à ne garder, dans le domaine des fréquences spatiales, que les fréquences pour lesquelles le périodogramme dépasse un certain seuil, est robuste à l’hétéroschédasticité.We prefer robust methods over heteroschedasticity. For example, since the heteroschedastic nature of the noise does not modify the fact that the spectral density of the noise is constant, a technique consisting in keeping, in the domain of spatial frequencies, only the frequencies for which the periodogram exceeds a certain threshold, is robust to heteroschedasticity.

L’opération d’estimation des paramètres statistiques 0_y de y a pour objectif de « capter » les caractéristiques des variations de la fonction aléatoire y dans l’image, afin d’être en mesure d’en synthétiser d’autres réalisations. Dans le contexte, on dispose de l’estimation d’une seule réalisation de y pour capter ces caractéristiques ; on suppose donc que le processus y est ergodique.The objective of the estimation of the statistical parameters 0 _y of y is to “capture” the characteristics of the variations of the random function y in the image, in order to be able to synthesize other realizations. In the context, we have the estimation of a single realization of y to capture these characteristics; we therefore assume that the process is ergodic.

De nombreuses méthodes relevant de l’état de l’art, permettent de réaliser cette opération ; elles se décomposent en :Many state-of-the-art methods allow this operation to be carried out; they break down into:

- méthodes paramétriques. Il faut pour cela se donner un modèle de y qui ne dépend que d’un nombre fini de préférence petit, de paramètres. Un exemple simple est le modèle « SAR », acronyme pour l’expression anglaise « Simultaneous Autoregressive. Dans le cadre de cette invention, il faut ajouter un troisième paramètre qui est la moyenne du processus, car celui-ci doit toujours être à valeurs positives.- parametric methods. This requires a model of y which depends only on a finite number, preferably small, of parameters. A simple example is the "SAR" model, acronym for the English expression "Simultaneous Autoregressive. Within the framework of this invention, it is necessary to add a third parameter which is the average of the process, because this one must always have positive values.

Les techniques d’estimation paramétrique relèvent de l’état de l’art, du moins dans des cas suffisamment simples, comme le SAR (Simultaneous Autoregressive).Parametric estimation techniques are state of the art, at least in sufficiently simple cases, such as SAR (Simultaneous Autoregressive).

On peut encore classer dans les techniques d’estimation paramétrique celles qui nécessitent une sélection de modèle : au lieu d’un modèle paramétrique unique (un SAR aux quatre ppv isotrope par exemple), on part d’un ensemble de modèles paramétriques, par exemple un SAR aux n1 ppv, ou un SAR aux n2 ppv, ou etc. La méthode consiste à calculer les paramètres pour chaque modèle de l’ensemble de modèles, puis à sélectionner le meilleur des modèles en appliquant des techniques qui permettent d’aboutir à un modèle qui « colle » aux données tout en étant le plus simple possible, c’est-à-dire avec peu de paramètres ; ceci peut se faire par des méthodes de pénalisation. La sélection de modèle relève de l’état de l’art ; voir par exemple l’ouvrage de Pascal Massart « Concentration inequalities and model sélection » Lecture Notes in Math., 1896,Springer, 2007.We can also classify in parametric estimation techniques those which require model selection: instead of a single parametric model (a SAR with four isotropic ppv for example), we start from a set of parametric models, for example a SAR at n1 ppv, or a SAR at n2 ppv, or etc. The method consists in calculating the parameters for each model of the set of models, then in selecting the best of the models by applying techniques which make it possible to arrive at a model which "sticks" to the data while being as simple as possible, that is to say with few parameters; this can be done by penalty methods. Model selection is state of the art; see for example the work by Pascal Massart "Concentration inequalities and model selection" Lecture Notes in Math., 1896, Springer, 2007.

- méthodes non paramétriques. Elles consistent à extraire de l’ensemble y un certain nombre de caractéristiques prédéterminées, par exemple la covariance empirique à deux dimensions, ou encore le périodogramme à deux dimensions ou une forme lissée de celui-ci (voir en fin de paragraphe), ou encore des descripteurs du type de ceux de Portilla et Simoncelli (voir la publication déjà citée). L’utilisation d’une forme lissée pour le périodogramme est liée aux propriétés de celui-ci. On montre en effet que le périodogramme n’est pas un estimateur consistant de la densité spectrale, en d’autres termes son erreur ne tend pas vers 0 lorsque la taille de l’échantillon n croît indéfiniment, ceci étant lié aux propriétés fondamentales des processus aléatoires stationnaires lorsqu’on les exprime en termes de représentation spectrale. Au contraire le périodogramme lissé est asymptotiquement sans biais et consistant, il consiste à opérer sur le périodogramme une opération linéaire de filtrage local, c’est-à-dire un moyennage sur m valeurs autour de la valeur courante. La consistance est alors assurée, c’est-à-dire que l’erreur d’estimation tend vers 0 quand la taille n de l’échantillon tend vers l’infini, à condition que dans le même temps m tende aussi vers l’infini en respectant le fait que m/n tend vers 0.- non-parametric methods. They consist in extracting from the set y a certain number of predetermined characteristics, for example the two-dimensional empirical covariance, or even the two-dimensional periodogram or a smoothed form of it (see at the end of the paragraph), or else descriptors of the type of those of Portilla and Simoncelli (see the publication already cited). The use of a smoothed form for the periodogram is linked to its properties. We show in fact that the periodogram is not a consistent estimator of the spectral density, in other words its error does not tend towards 0 when the size of the sample n increases indefinitely, this being linked to the fundamental properties of the processes. stationary random variables when expressed in terms of spectral representation. On the contrary, the smoothed periodogram is asymptotically unbiased and consistent, it consists in operating a linear local filtering operation on the periodogram, that is to say an averaging over m values around the current value. Consistency is then ensured, i.e. the estimation error tends to 0 when the sample size n tends to infinity, provided that at the same time m also tends to l infinite respecting the fact that m / n tends towards 0.

On a décrit le procédé de synthèse sur l’exemple d’images optroniques sur un fond de nuage. Il s’applique plus généralement à des séquences d’images réalistes, une séquence d’images (appelée communément « vidéo ») correspondant à des vues successives d’une même scène, qui peut évoluer au cours du temps. Par exemple, les évolutions d’un fond de nuage peuvent être des déformations lentes de la structure des nuages et/ou de petites variations de leur texture. Si la séquence est suffisamment courte, on pourra supposer que, compte tenu de la résolution spatiale limitée de l’image obtenue par synthèse physique, cette image de « structure » restera fixe pendant la durée de la séquence, et seule la texture évoluera au cours du temps ; l’extension du procédé à des séquences d’images pourra alors être réalisée selon le même procédé que celui de la figure 4 ou de la figure 5. Dans le cas de la figure 4 (modèle direct), on suppose que les paramètres statistiques comprennent, en plus des caractéristiques spatiales, des caractéristiques temporelles qui décrivent les mouvements internes à l’image, les équations de la fusion se généralisant à ce cas qui a trois dimensions au lieu de deux, puisqu’elles se fondent sur une formulation vectorielle des données. Dans cet espace à trois dimensions, et dans l’hypothèse prise ici d’une durée suffisamment courte de la séquence d’images, les contraintes physiques décrites précédemment ne dépendent que des deux dimensions spatiales. Dans le cas de la figure 5 (modèle estimé), alors il faudra utiliser à l’entrée du cadre I non plus une image réelle, mais une séquence d’images réelles dont on pourra extraire les paramètres statistiques spatio-temporels. Si maintenant la durée de la séquence est plus longue, il sera alors nécessaire de faire exécuter la synthèse physique plusieurs fois, en modifiant les paramètres du scénario de façon à faire évoluer la partie « structure » de la séquence d’images.The synthesis process has been described on the example of optronic images on a cloud background. It more generally applies to realistic image sequences, a sequence of images (commonly called "video") corresponding to successive views of the same scene, which can evolve over time. For example, the evolutions of a cloud background can be slow deformations of the structure of clouds and / or small variations in their texture. If the sequence is sufficiently short, it can be assumed that, given the limited spatial resolution of the image obtained by physical synthesis, this “structure” image will remain fixed for the duration of the sequence, and only the texture will evolve during time ; the extension of the method to image sequences can then be carried out according to the same method as that of FIG. 4 or of FIG. 5. In the case of FIG. 4 (direct model), it is assumed that the statistical parameters include , in addition to the spatial characteristics, temporal characteristics which describe the internal movements in the image, the equations of the fusion generalizing to this case which has three dimensions instead of two, since they are based on a vector formulation of the data . In this three-dimensional space, and assuming here a sufficiently short duration of the image sequence, the physical constraints described above depend only on the two spatial dimensions. In the case of figure 5 (estimated model), then it will be necessary to use at the entry of the frame I either a real image, but a sequence of real images from which we can extract the spatio-temporal statistical parameters. If now the duration of the sequence is longer, it will then be necessary to execute the physical synthesis several times, by modifying the parameters of the scenario so as to modify the "structure" part of the sequence of images.

L’invention se généralise également à d’autres fonds que les nuages, par exemple la mer ou le sol, pour lesquels il est également possible de trouver des modèles qui permettent de les décrire au moyen de paramètres statistiques.The invention is also generalized to other backgrounds than clouds, for example the sea or the ground, for which it is also possible to find models which make it possible to describe them by means of statistical parameters.

L’invention s’applique également à d’autres types de capteurs, par exemple des radars.The invention also applies to other types of sensors, for example radars.

Dans le cas d’un radar supposé cohérent, comme montré sur la figure 3b, le capteur est actif : il émet par son antenne 11 une onde générée par l’émetteur 15 et aiguillée par le circulateur 40 vers l’antenne, onde qui se réfléchit sur les éléments de la scène et dont une partie revient vers l’antenne. Cette onde est ensuite aiguillée par le circulateur 40 pour être orientée vers un mélangeur 50 où elle est mélangée à une fraction du signal émis pour constituer un signal temporel qui sera numérisé et traité par une unité de traitement 30 afin de former une image, par exemple une image distance-vitesse ou encore une image du sol. Comme dans le cas d’un capteur optronique passif, les images acquises par le capteur 100 sont importées dans une unité centrale 200 configurée pour les traiter. Le schéma de la figure 3b s’applique encore à un capteur optronique actif cohérent, en remplaçant antenne par optique. Si le capteur optronique actif est non cohérent, il n’est pas nécessaire de prélever une portion de l’onde émise pour démoduler le signal. Le cas du capteur optronique actif non cohérent peut être fonctionnellement considéré comme ayant certaines caractéristiques de la figure 3a et certaines caractéristiques de la figure 3b :In the case of a radar assumed to be coherent, as shown in FIG. 3b, the sensor is active: it emits by its antenna 11 a wave generated by the transmitter 15 and directed by the circulator 40 towards the antenna, which wave is reflects on the elements of the scene and part of which returns to the antenna. This wave is then routed by the circulator 40 to be directed to a mixer 50 where it is mixed with a fraction of the signal transmitted to constitute a time signal which will be digitized and processed by a processing unit 30 in order to form an image, for example a distance-speed image or an image of the ground. As in the case of a passive optronic sensor, the images acquired by the sensor 100 are imported into a central unit 200 configured to process them. The diagram in Figure 3b still applies to a coherent active optronic sensor, replacing antenna by optics. If the active optronic sensor is not coherent, it is not necessary to take a portion of the transmitted wave to demodulate the signal. The case of the non-coherent active optronic sensor can be functionally considered to have certain characteristics of FIG. 3a and certain characteristics of FIG. 3b:

c’est généralement un capteur d’image, il comporte donc une matrice de détecteurs (20 dans la figure 3a) et un émetteur d’onde (figure 3b).it is generally an image sensor, so it includes an array of detectors (20 in Figure 3a) and a wave emitter (Figure 3b).

Du point de vue des caractéristiques de l’image, le radar cohérent se distingue de l’optronique passive par les points suivants :From the point of view of image characteristics, coherent radar differs from passive optronics by the following points:

- les pixels de l’image radar ne représentent pas des directions dans l’espace, mais par exemple des cellules de résolution en « distance-vitesse » si l’on a affaire à un « radar Doppler », ou des portions du sol si l’on a affaire à un radar de type SAR (acronyme de l'expression anglo-saxonne Synthetic Aperture Radar),- the pixels of the radar image do not represent directions in space, but for example “distance-speed” resolution cells if we are dealing with a “Doppler radar”, or portions of the ground if we are dealing with a SAR type radar (acronym of the Anglo-Saxon expression Synthetic Aperture Radar),

- les signaux sont complexes, i.e. v,, w_h x, e c, y, toujours réel représentant la moyenne du carré du module de v, (comme indiqué précédemment, on s’intéresse en général à |Vj| ou à |Vj|²),- the signals are complex, ie v ,, w _h x, ec, y, always real representing the mean of the square of the module of v, (as indicated previously, we are generally interested in | Vj | or | Vj | ² ),

- la statistique dans chaque pixel dépend de plusieurs facteurs, le lien entre les y, et les v, n’est donc pas prédéterminé (par la loi de Poisson) comme c’est le cas en optronique passive. Cette statistique est liée à la structure de réflectivité de la portion de scène sélectionnée par le pixel. Plus précisément, elle dépend du nombre de réflecteurs élémentaires dans cette portion de scène et de la répartition de leur pouvoir de réflexion. Si la scène est homogène et si la cellule de résolution n’est pas très petite, alors Vj a deux composantes proches d’une gaussienne et indépendantes, si bien que |Vi|² suit une loi exponentielle (ou ce qui revient au même |ν,| suit une loi de Rayleigh). Si au contraire le nombre de réflecteurs élémentaires dans le pixel est petit (cas d’un radar à haute résolution distance par exemple) et / ou que ces réflecteurs sont très hétérogènes, si bien qu’un petit nombre seulement d’entre eux contribuent à la plus grande partie du signal, alors la loi du module s’écarte de la loi de Rayleigh en présentant des « queues de distribution » plus importantes. Cette loi peut être par exemple une loi de Weibull (décrite ci-dessous) ou une K-distribution. De façon générale, on écrit v, ~ Lj(yi) où L, est une loi indicée en même temps par l’indice i du pixel et par y,. Le cas dit multiplicatif est celui où la loi L est la même dans tous les pixels, au facteur multiplicatif y, près.- the statistics in each pixel depend on several factors, the link between the y, and the v, is therefore not predetermined (by Poisson's law) as is the case in passive optronics. This statistic is linked to the reflectivity structure of the scene portion selected by the pixel. More precisely, it depends on the number of elementary reflectors in this portion of the scene and on the distribution of their reflection power. If the scene is homogeneous and if the resolution cell is not very small, then Vj has two components close to a Gaussian and independent, so that | Vi | ² follows an exponential law (or what amounts to the same | ν, | follows a Rayleigh law). If on the contrary the number of elementary reflectors in the pixel is small (case of a high resolution distance radar for example) and / or if these reflectors are very heterogeneous, so that only a small number of them contribute to most of the signal, then the law of the module deviates from Rayleigh's law by presenting larger "distribution tails". This law can be for example a Weibull law (described below) or a K-distribution. Generally, we write v, ~ Lj (yi) where L, is a law indexed at the same time by the pixel index i and by y ,. The so-called multiplicative case is that where the law L is the same in all the pixels, except for the multiplicative factor y.

La loi de Weibull est caractérisée par les deux paramètres kj (paramètre de forme) et s, (paramètre d’échelle), avec une densité de probabilité /(x, £,., 5,. ) =Weibull's law is characterized by the two parameters kj (shape parameter) and s, (scale parameter), with a probability density / (x, £,., 5 ,.) =

On démontre que la moyenne μ, de cette loi vaut μ, = s, r(1+1/kj) où Γ désigne la fonction gamma. Compte tenu des notations utilisées précédemment, en particulier la formule (2), μ, est égal à y,.We show that the mean μ, of this law is worth μ, = s, r (1 + 1 / kj) where Γ denotes the gamma function. Given the notations used previously, in particular the formula (2), μ, is equal to y ,.

Dans le cas multiplicatif, k, ne dépend pas de i (k, = k), et, en écrivant G = f(1+1/k) pour simplifier l’écriture, s, = μ, / G = y, / G, on obtient donc :In the multiplicative case, k, does not depend on i (k, = k), and, by writing G = f (1 + 1 / k) to simplify the writing, s, = μ, / G = y, / G, we thus obtain:

/(x,£„5₍)=/(x,fc,y₍) = kGÎ xGY/ (x, £ „5 ₍ ) = / (x, fc, y ₍ ) = kGÎ xGY

y< k λ j dont la moyenne vaut bien y,.y <k λ j whose average is well worth y ,.

Des études concernant les signaux de radars (= les images radars) ont permis de relier en partie le type de loi (Weibull, autre) ou des paramètres de loi (k et s pour une loi de Weibull) au type de fond (sol, mer). Ces connaissances peuvent être utilisées dans le procédé.Studies concerning radar signals (= radar images) have made it possible to partially relate the type of law (Weibull, other) or parameters of law (k and s for a Weibull law) to the background type (ground, sea). This knowledge can be used in the process.

Les autres caractéristiques sont les mêmes que pour l’optronique passive : indépendance conditionnelle des Vj, caractère blanc, gaussien et hétéroschédastique (a priori connu) des Wj.The other characteristics are the same as for passive optronics: conditional independence of Vj, white, Gaussian and heteroschedastic (a priori known) character of Wj.

L’optronique active peut être incohérente ou cohérente. Du point de vue de la statistique, les signaux (= les images) issus de l’optronique active ressemblent plutôt à ceux du radar.Active optronics can be inconsistent or consistent. From a statistical point of view, the signals (= images) from active optronics rather resemble those from radar.

Dans le cas incohérent, on a généralement affaire à des images spatiales à valeurs réelles (comme dans l’optronique passive), et dans le cas cohérent, les images sont par exemple des images « distance vitesse » à valeurs complexes.In the incoherent case, we generally deal with spatial images with real values (as in passive optronics), and in the coherent case, the images are for example "distance speed" images with complex values.

Dans le cas du radar, pour le premier mode de mise en œuvre (modèle direct), la figure 4 doit être modifiée pour devenir la figure 6, avec les remarques suivantes : d’une part, les paramètres statistiques comprennent, en plus des paramètres de y, ceux du bruit ôy, et d’autre part l’opération d’ajout du bruit doit prendre en entrée les paramètres de ôy, d’où la flèche supplémentaire entre la boîte « paramètres statistiques » et la boîte « ajout bruit ». Par ailleurs, ce schéma suppose que la synthèse physique a été capable, à partir des paramètres du scénario seulement, de synthétiser les images (distance-vitesse, ou carte du sol pour le SAR) telles qu’elles seraient formées par le traitement radar.In the case of radar, for the first mode of implementation (direct model), Figure 4 must be modified to become Figure 6, with the following remarks: on the one hand, the statistical parameters include, in addition to the parameters of y, those of noise ôy, and on the other hand the operation of adding noise must take as input the parameters of ôy, hence the additional arrow between the box "statistical parameters" and the box "adding noise" . Furthermore, this diagram assumes that the physical synthesis was able, from the parameters of the scenario only, to synthesize the images (distance-speed, or ground map for SAR) as they would be formed by radar processing.

Dans le cas du radar, pour le deuxième mode de mise en œuvre (modèle estimé), la figure 5 doit être modifiée pour devenir la figure 7, avec les remarques suivantes : d’une part, l’estimation des paramètres statistiques comprend, en plus de celle des paramètres de y, celle des paramètres du bruit ôy, décrite ci-dessous, et d’autre part l’opération d’ajout du bruit doit prendre en entrée les paramètres de ôy, d’où la flèche supplémentaire entre la boîte « estimation des paramètres statistiques » et la boîte « ajout bruit ».In the case of radar, for the second mode of implementation (estimated model), FIG. 5 must be modified to become FIG. 7, with the following remarks: on the one hand, the estimation of the statistical parameters includes, in more than that of the parameters of y, that of the parameters of noise ôy, described below, and on the other hand the operation of adding noise must take as input the parameters of ôy, hence the additional arrow between the "Estimate of statistical parameters" box and the "add noise" box.

Les méthodes d’estimation de la statistique de ôy (estimation de densité) relèvent encore de l’état de l’art. On peut encore distinguer des méthodes paramétriques et des méthodes non paramétriques, appliquées ici à l'estimation de densité conditionnelle (à ys). L’hypothèse la plus naturelle est de supposer que la statistique est multiplicative, ce qui revient, après division du contenu de chaque pixel par y, estimé (en d’autres termes : diviser pixel par pixel l’image réelle 11 par l’image I2 qui est le résultat du débruitage de 11), à estimer une densité de probabilité dont on observe n réalisations indépendantes, n étant le nombre de pixels, affectées d’un bruit additif hétéroschédastique (w,) dont les variances sont connues. Un estimateur de densité non paramétrique est donné par l’histogramme, mais celui-ci étant par nature discontinu, les méthodes « à noyau » (qui sont encore des méthodes non paramétriques) permettent de retrouver un estimateur continu, sous réserve de choisir convenablement la forme du noyau et surtout sa « largeur » h, dite paramètre de lissage. De nombreux travaux existent dans ce domaine. Le domaine des estimateurs paramétriques de densité est également largement exploré et relève des mêmes techniques générales que celles qui ont été décrites précédemment pour l’estimation des paramètres statistiques 0_y de y.The methods for estimating the ôy statistics (density estimation) are still state of the art. We can also distinguish between parametric and non-parametric methods, applied here to the estimation of conditional density (at ys). The most natural hypothesis is to assume that the statistic is multiplicative, which is, after dividing the content of each pixel by y, estimated (in other words: divide pixel by pixel real image 11 by image I2 which is the result of the denoising of 11), to estimate a probability density of which one observes n independent realizations, n being the number of pixels, affected by a heteroschedastic additive noise (w,) whose variances are known. A nonparametric density estimator is given by the histogram, but this one being by nature discontinuous, the “kernel” methods (which are still nonparametric methods) allow to find a continuous estimator, subject to choosing the appropriate shape of the core and especially its "width" h, called the smoothing parameter. Many works exist in this field. The domain of parametric density estimators is also widely explored and is based on the same general techniques as those described above for the estimation of statistical parameters 0 _y of y.

Comme indiqué précédemment, des études sur les signaux radar ont permis d’établir des liens entre le type de fond et les caractéristiques statistiques des signaux. Selon les cas, il sera donc possible d’apporter des informations a priori sur la densité à estimer, ce qui permet d’améliorer la performance de l’estimation. Ces cas sont ceux où l’image de référence est accompagnée de données auxiliaires sur le fond observé.As noted earlier, studies of radar signals have established links between the background type and the statistical characteristics of the signals. Depending on the case, it will therefore be possible to provide a priori information on the density to be estimated, which makes it possible to improve the performance of the estimate. These cases are those where the reference image is accompanied by auxiliary data on the observed background.

Les étapes du procédé de synthèse hybride (autres que l’étape d’acquisition d’images réelles) peuvent notamment s’implémenter à partir d’un produit programme d’ordinateur, ce programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du 10 procédé de reconstruction. II est enregistré sur un support lisible par ordinateur, comme par exemple l’unité centrale 200. Le support peut être électronique, magnétique, optique, électromagnétique ou être un support de diffusion de type infrarouge.The steps of the hybrid synthesis method (other than the step of acquiring real images) can in particular be implemented from a computer program product, this computer program comprising code instructions making it possible to carry out the steps of the reconstruction process. It is recorded on a computer-readable medium, such as for example the central unit 200. The medium can be electronic, magnetic, optical, electromagnetic or be an infrared type diffusion medium.

Claims (13)

REVENDICATIONS 1. Procédé de synthèse d’une image par une unité centrale (200), qui comporte les étapes suivantes :1. Method for synthesizing an image by a central unit (200), which comprises the following steps: A) à partir de paramètres physiques d’un scénario du type de l’image à synthétiser, simulation par l’unité centrale, d’une image physique,A) from physical parameters of a scenario of the type of image to be synthesized, simulation by the central unit, of a physical image, B) génération d’au moins une image supplémentaire ayant une loi conditionnelle obtenue à partir :B) generation of at least one additional image having a conditional law obtained from: - d’une loi non conditionnelle donnée par des paramètres statistiques de l’image à synthétiser et,- an unconditional law given by statistical parameters of the image to be synthesized and, - de contraintes imposées par l’image physique simulée,- constraints imposed by the simulated physical image, C) ajout d’un bruit à chaque image supplémentaire.C) adding noise to each additional image. 2. Procédé de synthèse d’une image selon la revendication précédente, caractérisé en ce que les contraintes imposées par l’image physique simulée sont des contraintes basses fréquence strictes ou relaxées.2. Method for synthesizing an image according to the preceding claim, characterized in that the constraints imposed by the simulated physical image are strict or relaxed low frequency constraints. 3. Procédé de synthèse d’une image selon la revendication 1, caractérisé en ce que les contraintes imposées par l’image physique simulée sont des contraintes basses fréquence strictes linéaires, et la loi non conditionnelle est gaussienne.3. Method for synthesizing an image according to claim 1, characterized in that the constraints imposed by the simulated physical image are strict linear low frequency constraints, and the unconditional law is Gaussian. 4. Procédé de synthèse d’une image selon la revendication 1, caractérisé en ce que les contraintes imposées par l’image physique simulée sont des contraintes basses fréquence linéaires et relaxées et la loi non conditionnelle est gaussienne.4. Method for synthesizing an image according to claim 1, characterized in that the constraints imposed by the simulated physical image are linear and relaxed low frequency constraints and the unconditional law is Gaussian. 5. Procédé de synthèse d’une image selon l'une des revendications précédentes, caractérisé en ce que les paramètres statistiques sont estimés à partir d’une image réelle acquise par un capteur (100) et débru itée.5. Method for synthesizing an image according to one of the preceding claims, characterized in that the statistical parameters are estimated from a real image acquired by a sensor (100) and broken down. 6. Procédé de synthèse d’une image selon l'une des revendications précédentes, caractérisé en ce que le bruit ajouté est un bruit de Poisson et un bruit blanc de détection (Wj).6. Method for synthesizing an image according to one of the preceding claims, characterized in that the added noise is a Poisson noise and a white detection noise (Wj). 7. Procédé de synthèse d’une image selon les revendications 5 et 6, caractérisé en ce que le capteur (100) est un capteur optronique passif qui comporte une matrice de détection et en ce que le bruit blanc de détection (Wj) est le bruit de la matrice de détection (20).7. A method of synthesizing an image according to claims 5 and 6, characterized in that the sensor (100) is a passive optronic sensor which comprises a detection matrix and in that the white detection noise (Wj) is the noise of the detection matrix (20). 8. Procédé de synthèse d’une image selon la revendication précédente, caractérisé en ce que les étapes sont réitérées pour chaque image d’une séquence d’images et en ce que des paramètres statistiques sont représentatifs de mouvements internes à la séquence d’images.8. Method for synthesizing an image according to the preceding claim, characterized in that the steps are repeated for each image of a sequence of images and in that statistical parameters are representative of movements internal to the sequence of images . 9. Procédé de synthèse d’une image selon la revendication précédente, caractérisé en ce que le scénario est le même pour chaque image.9. Method for synthesizing an image according to the preceding claim, characterized in that the scenario is the same for each image. 10. Procédé de synthèse d’une image selon l'une des revendications 1 à 5, caractérisé en ce que le bruit ajouté est un bruit statistique (ôy,) et un bruit blanc de détection (Wj).10. Method for synthesizing an image according to one of claims 1 to 5, characterized in that the added noise is a statistical noise (ôy,) and a white detection noise (Wj). 11. Procédé de synthèse d’une image selon la revendication précédente, caractérisé en ce que le capteur (100) est un capteur optronique actif ou un radar, en ce qu’il comprend réalisées par l’unité centrale, une étape de calcul des écarts entre l’image acquise et l’image débruitée, et en ce que le bruit statistique (ôy,) est un bruit statistique estimé de l’image acquise par le capteur, et en ce que le bruit blanc de détection (Wj) est le bruit de détection du capteur.11. Method for synthesizing an image according to the preceding claim, characterized in that the sensor (100) is an active optronic sensor or a radar, in that it comprises, performed by the central unit, a step of calculating the deviations between the acquired image and the denoised image, and in that the statistical noise (ôy,) is an estimated statistical noise of the image acquired by the sensor, and in that the white detection noise (Wj) is the sensor detection noise. 12. Procédé de synthèse d’une image selon la revendication précédente, caractérisé en ce que le capteur (100) est un radar et en ce que l’image réelle est une image distance-vitesse ou une image de type Synthetic Aperture Radar.12. Method for synthesizing an image according to the preceding claim, characterized in that the sensor (100) is a radar and in that the real image is a distance-speed image or an image of the Synthetic Aperture Radar type. 13. Un produit programme d’ordinateur, ledit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé selon l'une quelconque des revendications 1 à 12, lorsque ledit programme est exécuté sur un ordinateur.13. A computer program product, said computer program comprising code instructions making it possible to carry out the steps of the method according to any one of claims 1 to 12, when said program is executed on a computer.