FR3075438A1 - Procede de synthese hybride d'images - Google Patents

Procede de synthese hybride d'images Download PDF

Info

Publication number
FR3075438A1
FR3075438A1 FR1701306A FR1701306A FR3075438A1 FR 3075438 A1 FR3075438 A1 FR 3075438A1 FR 1701306 A FR1701306 A FR 1701306A FR 1701306 A FR1701306 A FR 1701306A FR 3075438 A1 FR3075438 A1 FR 3075438A1
Authority
FR
France
Prior art keywords
image
noise
synthesizing
sensor
statistical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1701306A
Other languages
English (en)
Other versions
FR3075438B1 (fr
Inventor
Michel Prenat
Erwan Le Pennec
Gerard Berginc
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Priority to FR1701306A priority Critical patent/FR3075438B1/fr
Publication of FR3075438A1 publication Critical patent/FR3075438A1/fr
Application granted granted Critical
Publication of FR3075438B1 publication Critical patent/FR3075438B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Procédé de synthèse d'une image par une unité centrale (200), qui comporte les étapes suivantes : C) à partir de paramètres physiques d'un scenario du type de l'image à synthétiser, simulation par l'unité centrale, d'une image physique, B) génération d'au moins une image supplémentaire ayant une loi conditionnelle obtenue à partir : - d'une loi non conditionnelle donnée par des paramètres statistiques de l'image à synthétiser et, - de contraintes imposées par l'image physique simulée, C) ajout d'un bruit à chaque image supplémentaire.

Description

PROCEDE DE SYNTHESE HYBRIDE D’IMAGES
Le domaine de l’invention est celui de la synthèse hybride d’images réalistes, précises et fidèles, représentatives d’images prises par des caméras passives ou actives dans les longueurs d’onde de l’optique. Par synthèse hybride, on entend une synthèse qui part d’un modèle statistique et d’un moteur de synthèse physique pour aboutir à des images synthétisées. Le modèle statistique peut être supposé connu (cas dit « modèle direct ») ou être lui-même issu d’une image réelle (cas dit « modèle estimé »).
On rappelle que les longueurs d’onde dites optiques couvrent classiquement celles de l’ultraviolet (typiquement à partir de 20 nm) à celles de l’infrarouge lointain (typiquement jusqu’à 500 pm), alors que les longueurs d’onde radiofréquence sont supérieures à 500 pm, jusqu’à plusieurs mètres ou centaines de mètres. A part pour des capteurs fonctionnant hors atmosphère, les longueurs d’onde de 15 pm à 1 mm ne sont pas utilisées car elles sont atténuées par l’atmosphère. Dans la suite, on parlera donc d’optique pour des longueurs d’onde de 20 nm à 15 pm, et de radar pour les longueurs d’onde supérieures à 1 mm.
Dans la suite du texte, on appelle image réelle une image qui a été acquise au moyen d’un capteur d’images (capteur optronique tel qu’une caméra ou radar), observant une scène réelle, cette image étant généralement numérisée, et on appelle image synthétique une image obtenue au moyen d’un programme d’ordinateur mettant en œuvre un logiciel de modélisation et de simulation.
Globalement, le processus de synthèse part d’images réelles par exemple issues d’une base de données initiale d’images réelles et conduit à une base de données étendue contenant des images réelles et des images synthétiques.
Le besoin d’extension d’une base de données d’images par synthèse d’images est dû aux raisons suivantes :
- pour développer des algorithmes automatiques de détection / poursuite / identification de cibles, il est nécessaire de disposer de bases de données contenant beaucoup d’images représentatives des scènes. On souhaite idéalement qu’un algorithme ait le même comportement sur les images synthétisées que sur des images réelles. En particulier, on souhaite que les statistiques extraites des images synthétisées soient proches de celles de l’image réelle.
- il peut être long et coûteux d’acquérir des images réelles, en outre elles ne sont pas complètement renseignées notamment avec des conditions météorologiques précises déterminant les paramètres d’acquisition,
- il peut arriver que des images réelles ne soient pas accessibles, soit parce que l’on ne dispose pas d’un capteur ayant les bonnes caractéristiques (résolution, bruit), soit parce que l’on souhaite disposer d’une image dans des conditions de scénario différentes de celles des images réelles (rapport signal sur bruit différent, type de fond ou conditions de température différents de ceux observés avec les images réelles).
Le domaine de l’invention est plus particulièrement celui de la synthèse d’un grand nombre d’images à partir d’un modèle statistique (direct ou pouvant lui-même être issu d’une image réelle) et d’un moteur de synthèse physique, en particulier sur des fonds complexes car c’est sur ce type de fond que les algorithmes sont les plus difficiles à développer et à optimiser. Un fond complexe en optronique passive est par exemple constitué de nuages.
Le domaine de l’invention peut s’étendre à la synthèse de séquences d’images appelées communément des « vidéos ». Il peut aussi s’étendre à d’autres types de fonds (fond de mer, de sol,...), ainsi qu’à d’autres types de capteurs comme des radars (par exemple des images « distance - vitesse » pour les radars Doppler ou des images du sol pour des radars de type SAR (Synthetic Aperture Radar).
Il existe classiquement trois grandes façons de synthétiser de telles images :
les modèles simples de texturation, qui peuvent utiliser soit des coefficients de réflexion, transmission, absorption paramétrés par des fonctions simples représentatives des variations en fonction des angles, couramment observées pour des interfaces matériaux simples, soit une structuration expérimentale plaquée sur les facettes décrivant les objets. L’utilisation de ce type de texturation suppose un important travail de préparation et conduit à des textures constantes par morceaux, peu représentatives des fonds complexes visés dans le cadre de cette invention,
- la synthèse physique est fondée sur une représentation physique de la scène, et utilise les équations de la physique pour produire une image.
Par exemple, dans le cas d’une image en optronique passive d’un fond de nuage, les principes de la synthèse physique sont décrits dans la description détaillée ; ils consistent, à partir de paramètres physiques représentatifs de la scène, à déduire une image dite « entrée pupille » au niveau du capteur, puis à appliquer à cette image la « fonction de transfert » apportée par le capteur. L’état de l’art de la synthèse physique comprend les modèles de calcul lié au transfert radiatif permettant la simulation de l’absorption d’une onde lumineuse à travers un milieu comprenant des structures de gouttes d’eau ou de glace. Les modèles comprennent aussi les données météorologiques et les données physiques modélisant les classes de nuages (code de calcul SHDOM « Spherical Harmonie Discrète Ordinate Method for 3D Atmospheric Radiative Transfer», code de calcul «Monte Carlo radiative transfer methods ») Typiquement le code de calcul permet d’utiliser des coordonnées discrètes espacées de 100m, des modèles de coefficient de réflexion bidirectionnel peuvent y être incorporés. Le calcul de transfert radiatif dépend aussi de la statistique de répartition des éléments diffusant la lumière. Nous pouvons parler d'une moyenne de l'intensité optique transmise à travers le nuage.
Ce type de modèle physique permet de bien représenter les éléments de « structure » de la scène (les contours des nuages par exemple, ou encore les variations d’intensité à grande échelle), ceci sur un champ spatial (domaine angulaire) aussi grand que souhaité, mais une limitation importante est liée à la résolution spatiale du modèle de description des nuages utilisé, déterminée par la plus petite zone tridimensionnelle où les paramètres du nuage sont considérés comme constants. Les processus physiques formant le nuage, notamment les turbulences, sont souvent décrits par un ensemble de paramètres moyens ne permettant pas d’obtenir une représentativité de la physique à petite échelle, et les différents paramètres physiques (concentration, tailles des gouttelettes d’eau...) sont des données expérimentales mesurées sur un certain échantillonnage qui définit la cellule de résolution de l’équation de transfert radiatif. La résolution de l’équation de transfert ne peut être entreprise sur des cellules de dimensions faibles car ceci nécessiterait un maillage volumique du nuage particulièrement important.
Une autre limitation réside dans le fait que les équations de transfert radiatif ne rendent pas complètement compte des effets de la polarisation de l’onde (seule la propagation de l’intensité de l’onde est prise en compte), qui se produisent essentiellement sur les bords de certains nuages (car dus à la réflexion des sources externes à la scène elle-même) et à certaines longueurs d’onde. Ces effets se présentent souvent comme une scintillation (apparition de points brillants dispersés) dans les régions du nuage proches de son bord.
- la synthèse statistique est fondée sur les caractéristiques statistiques de l’image, et utilise un moteur de synthèse statistique appelé parfois « échantillonner », pour produire une image.
II existe de nombreuses façons de synthétiser une ou plusieurs images à partir d’une image réelle. Celle qui est aujourd’hui la plus appropriée par rapport aux objectifs est la méthode de Portilla / Simoncelli, décrite dans la publication « A parametric texture model based on joint statistics of complex wavelet coefficients. » International Journal of Computer Vision 40(1),49-71,2000 ». Elle se décompose en deux étapes :
- extraire de l’image réelle les valeurs prises par un certain nombre de «descripteurs statistiques», par exemple des coefficients d’ondelettes multiéchelle, des distributions marginales, des covariances, etc.
- synthétiser une autre image ayant les mêmes valeurs de descripteurs. Pour cela, la méthode consiste à partir d’un bruit blanc ou autre (pour lequel les valeurs des descripteurs sont en général très différentes de celles de l’image réelle), puis à lui appliquer de façon itérative des transformations jusqu’à ce que les valeurs des descripteurs soient suffisamment proches de celles de l’image réelle.
La figure 2 montre une image d’un nuage synthétisée à partir de l’image réelle de la figure 1 ; il apparaît que ses caractéristiques statistiques sont très voisines de celles de l’image de la figure 1, mais les zones claires (respectivement sombres) ne sont pas situées aux mêmes endroits.
Les avantages de cette méthode sont les suivants :
- il est possible de synthétiser un grand nombre d’images du type de celle de la figure 2, en partant de réalisations différentes du bruit à l’origine de la deuxième phase du procédé,
- la résolution spatiale dans l’image peut être aussi fine que souhaité, pourvu que l’on dispose d’images réelles ayant cette résolution. On peut envisager d’augmenter encore la résolution en faisant des hypothèses particulières (interpolation de la covariance spatiale par exemple), mais ces hypothèses ne sont pas vérifiables sur les images réelles,
- la méthode a une capacité naturelle à représenter, en particulier à travers les distributions marginales, certains effets comme ceux de la polarisation, qui compte tenu de la présence de points brillants dispersés, ne relèvent pas de la statistique linéaire gaussienne,
- il est possible également de faire varier les caractéristiques statistiques de l’image de la figure 2, en jouant sur les paramètres extraits de l’image de la figure 1.
Mais par rapport aux objectifs décrits, la méthode présente les limitations suivantes :
- la représentativité des images synthétisées est à portée spatiale limitée (leur représentativité est locale). De façon concomitante, ces modèles ne rendent pas compte efficacement des éléments de structure de la scène.
- il n’est pas possible de faire la part, dans les descripteurs extraits de l’image réelle, entre la contribution de la scène elle-même et celle du capteur d’image. Par exemple, si l’image réelle a été prise dans des conditions où le bruit du capteur est important (correspondant par exemple à un nuage vu depuis une grande distance), alors il n’est pas possible de synthétiser une image du même nuage vu dans des conditions plus favorables (plus proches ou avec une meilleure résolution par exemple),
- il n’est pas possible non plus d’agir librement sur la statistique marginale de chaque pixel, qui peut souvent être caractérisée par des moyens complémentaires, comme cela sera explicité dans la suite du texte. Cette remarque est applicable particulièrement au cas du radar.
II existe donc un besoin pour un procédé de synthèse d’images qui ne présente pas ces limitations c’est-à-dire :
- qui soit fidèle à la réalité à toutes les échelles, de façon à reproduire convenablement les éléments de structure et les éléments de texture, — ayant la capacité à représenter des phénomènes complexes tels que les effets de la polarisation,
- et présentant une certaine capacité d’extrapolation à des cas non observés.
Plus précisément l’invention a pour objet un procédé de synthèse d’une image par une unité centrale, qui comporte les étapes suivantes :
A) à partir de paramètres physiques d’un scénario du type de l’image à synthétiser, simulation par l’unité centrale, d’une image physique,
B) génération d’au moins une image supplémentaire ayant une loi conditionnelle obtenue à partir :
- d’une loi non conditionnelle donnée par des paramètres statistiques de l’image à synthétiser et,
- de contraintes imposées par l’image physique simulée,
C) ajout d’un bruit à chaque image supplémentaire.
Selon une caractéristique de l’invention, les contraintes imposées par l’image physique simulée sont :
- des contraintes basses fréquence strictes ou relaxées, ou
- des contraintes basses fréquence strictes linéaires, et la loi non conditionnelle est gaussienne, ou
- des contraintes basses fréquence linéaires et relaxées et la loi non conditionnelle est gaussienne.
Selon une autre caractéristique de l’invention, les paramètres statistiques sont estimés à partir d’une image réelle acquise par un capteur et débruitée.
Le bruit ajouté est par exemple un bruit de Poisson et un bruit blanc de détection.
Lorsque le capteur est un capteur optronique passif qui comporte une matrice de détection, le bruit blanc de détection est le bruit de la matrice de détection.
Les étapes peuvent être réitérées pour chaque image d’une séquence d’images avec parmi les paramètres statistiques, des paramètres représentatifs de mouvements internes à la séquence d’images. Dans certains cas, le scénario est le même pour chaque image.
Selon une autre caractéristique de l’invention, le bruit ajouté est un bruit statistique et un bruit blanc de détection.
Lorsque le capteur est un capteur optronique actif ou un radar, le procédé comprend réalisées par l’unité centrale, une étape de calcul des écarts entre l’image acquise et l’image débruitée, et le bruit statistique est un bruit statistique estimé de l’image acquise par le capteur, et le bruit blanc de détection est le bruit de détection du capteur.
Lorsque le capteur est un radar, l’image réelle est par exemple une image distance-vitesse ou une image de type Synthetic Aperture Radar.
L’invention a aussi pour objet un produit programme d’ordinateur, ledit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé tel que décrit, lorsque ledit programme est exécuté sur un ordinateur.
Ce procédé de synthèse hybride permet de surmonter les limitations des méthodes indiquées en préambule.
D’autres caractéristiques et avantages de l’invention apparaîtront à la lecture de la description détaillée qui suit, faite à titre d’exemple non limitatif et en référence aux dessins annexés dans lesquels :
la figure 1 représente schématiquement une image réelle d’un nuage en optronique passive, la figure 2 représente schématiquement une image synthétisée à partir de l’image de la figure 1, la figure 3a représente schématiquement un exemple de capteur optronique passif, la figure 3b représente schématiquement un exemple de capteur radar, la figure 4 montre différentes étapes du procédé selon l’invention dans le cas de l’optronique passive, selon un premier mode de réalisation (modèle direct), la figure 5 montre différentes étapes du procédé selon l’invention dans le cas de l’optronique passive, selon un deuxième mode de réalisation (modèle estimé), la figure 6 montre différentes étapes du procédé selon l’invention dans le cas du radar, selon le premier mode de réalisation (modèle direct), la figure 7 montre différentes étapes du procédé selon l’invention dans le cas du radar, selon le deuxième mode de réalisation (modèle estimé).
D’une figure à l’autre, les mêmes éléments sont repérés par les mêmes références.
On rappelle qu’on entend par image réelle, une image acquise par un capteur. Dans le cas d’un capteur en optronique passive, le capteur 100 comporte comme montré figure 3a, une optique 10 de focalisation, qui fait converger les rayons optiques provenant de la scène en des points qui ne dépendent, en première approximation, que de leur angle d’arrivée, une matrice de détection 20 et une unité de traitement 30 configurée pour réaliser les traitements « bas niveau » de l’image comme par exemple corriger les non-uniformités de la matrice de détection. La matrice de détection comporte une matrice de pixels 21, chaque pixel étant relié à sa propre électronique de lecture 22. Pour des raisons de simplification, la figure 3a ne représente fonctionnellement le capteur optronique que dans un plan alors qu’en réalité l’image est une vision « 2D » de la scène. Dans le cadre de l’invention les images acquises par le capteur 100 sont importées dans une unité centrale 200 configurée pour les traiter.
Avant de décrire la solution technique, il est nécessaire d’expliquer plus en détail la physique des phénomènes mis en jeu en optronique et les caractéristiques d’images qui en résultent.
On considère tout d’abord la physique des phénomènes et les caractéristiques des images. On se place dans un cadre de description de l’image sous la forme d’un processus aléatoire, le contenu de chaque pixel étant une variable aléatoire. Cette variable aléatoire est réelle dans le cas de l’optronique passive, complexe dans le cas du radar (cependant, on s’intéresse généralement au module ou au carré du module du signal, la variable aléatoire est donc réelle), réelle ou complexe dans le cas de l’optronique active.
Chaque variable aléatoire présente une valeur moyenne, et des variations autour de la moyenne. L’ensemble des valeurs moyennes est appelée « fonction moyenne ». La fonction moyenne peut elle-même être un processus aléatoire dont la fonction de covariance (spatiale) rend compte du fait que le fond présente généralement des variations lentes à l’intérieur de l’image.
En optronique, la fonction moyenne décrit pour chaque pixel la moyenne du flux photonique. Or, il est bien connu que le flux photonique suit une loi de Poisson dont le paramètre λ est égal à la moyenne du flux. On a p(F = Æ) = e;l7 k\ où P (F = k) est la probabilité pour que le flux F, exprimé en nombre de photons par unité de temps, soit égal au nombre entier k, où k e N. II est visible que l’on a bien k&N
II est connu également que, pour une variable aléatoire suivant une loi de Poisson, sa variance est égale à sa moyenne λ, et que par ailleurs, lorsque le paramètre λ devient grand, la loi de Poisson se rapproche d’une loi gaussienne de moyenne λ et de variance Λ, donc d’écart-type ^λ. Plus λ est grand, plus le flux se rapproche d’une gaussienne et présente de façon concomitante des variations relatives petites, et a contrario quand λ est petit, les variations relatives du flux autour de sa moyenne (petite) sont grandes et le flux s’éloigne d’une gaussienne. De plus, à l’intérieur de l’image, les valeurs du flux dans les différents pixels sont indépendantes entre elles (à part le fait qu’elles sont corrélées à travers leurs valeurs moyennes) ; on dit qu’elles sont conditionnellement indépendantes. Cette indépendance conditionnelle est due au fait que les différents pixels « sélectionnent » des portions de l’espace différentes, les flux photoniques sont donc physiquement séparés.
Il faut encore ajouter le bruit de réception qui est un bruit blanc gaussien de variance connue.
On peut noter que la variance du bruit de réception n’est en général pas la même dans les différents pixels, la principale raison étant la correction des non-uniformités de la matrice de détection du capteur. Le bruit de réception est donc blanc et «hétéroschédastique», mais de caractéristiques connues (si les corrections de non uniformités ont bien été relevées).
On peut résumer ces propriétés avec le modèle suivant : soit i l’indice de pixel (i est donc un couple de deux nombres entiers), et soit y, une réalisation du processus aléatoire réel positif, en général corrélé, dit « fonction moyenne ». Ce processus aléatoire est entièrement défini, comme tout processus aléatoire, par la distribution de probabilité conjointe des variables aléatoires qui le constituent ; ici, chaque variable aléatoire représente le niveau du signal dans un pixel. En général, et c’est ce qui est supposé ici, la distribution conjointe est résumée au moyen de propriétés et d’un nombre fini de paramètres statistiques 0y. Par exemple, une des représentations les plus simples, sans être triviale, est exprimée de la façon suivante : le processus aléatoire est stationnaire, gaussien de moyenne nulle, et il a la structure de covariance d’un « SAR », acronyme pour l’expression anglaise « Simultaneous Autoregressive » (qui n’a rien à voir avec l’acronyme du radar SAR mentionné par ailleurs pour Synthetic Aperture Radar) aux quatre ppv (plus proches voisins) et isotrope, ce qui signifie que la variable aléatoire y, est liée à ses quatre plus proches voisins, nommés ici collectivement yVi, par la relation yi=a ZyVi + z, où l’ensemble des z( constitue un bruit blanc de variance (σζ)2. Le paramètre a définit la portée de la corrélation spatiale dans l’image, alors que le paramètre (σζ)2, combiné à a, définit la variance de y. Les SAR sont par exemple décrits et étudiés dans l’ouvrage de X. Guyon : Statistiques spatiales. In Conférence S.A.D.A., 2007 (Statistique Appliquée pour le Développement en Afrique), fev 2007. Sur cet exemple, le processus est entièrement défini par a et σζ, ces deux nombres constituant l’ensemble de paramètres 0y.
Un autre exemple est donné par le modèle SAR aux quatre ppv non isotrope, où la formule applicable pour y, devient yi=a Zyvhi + β Zy™ + z, si l’on appelle maintenant yVhi les ppv « horizontaux », qui sont ici au nombre de deux : le pixel à droite et le pixel à gauche, et yVVi les ppv « verticaux », qui sont également au nombre de deux : le pixel au-dessus et le pixel endessous. Lorsque a et β sont différents, l’image est non isotrope, par exemple si α > β, alors la corrélation spatiale dans l’image est plus forte dans la direction horizontale que dans la direction verticale.
Alors le contenu Xj du pixel i (réel également) est donné par
X, = Vj + Wj (1) où Vj ~P(yi) (P = loi de Poisson) (ou dit autrement Vj suit une loi de Poisson de paramètre y,), avec les v, conditionnellement indépendants, et w, ~ Ν(0,σ2), N étant la loi normale ou gaussienne de moyenne 0, Wj étant indépendants entre eux et indépendants des Vj, o,2 étant la variance de Wj, et les o2 étant connus. La formule (1) s'écrit de façon équivalente sous la forme x, = Yi + (Vj - y,) + Wj = y, + ôy, + w, (2) où y, est la moyenne de la variable aléatoire x, et les deux termes ôy( = v, yi et Wj sont les termes de « bruit » de moyenne nulle : ôy, est le bruit de photons centré, w, est le bruit de réception aussi désigné bruit de détection.
Le procédé selon l’invention permet de construire des modèles statistiques réalistes d’images, à partir d’une part de paramètres physiques et d’autre part de paramètres statistiques d’images ou de paramètres statistiques estimés à partir d’images réelles.
On va à présent décrire en détail le procédé selon l’invention dans le cas de l’optronique passive, en relation avec les figures 4 et 5 qui décrivent respectivement deux modes de réalisation, le premier (figure 4) étant appelé « avec modèle statistique direct » qui suppose que le modèle statistique a été obtenu par ailleurs, le second (figure 5) étant appelé « avec modèle statistique estimé » qui part d’images réelles et intègre l’extraction du modèle statistique à partir de ces images. Sur ces figures, les rectangles contiennent des opérations sur des données. L’ensemble de ces opérations résume le procédé et sont assurées par l’unité centrale 200. Les données sur fond grisé sont d’une part les entrées du procédé (scénario du type de l’image à synthétiser et paramètres statistiques de l’image à synthétiser pour la figure 4, scénario du type de l’image et image réelle pour la figure 5) et d’autre part les sorties du procédé (les « pluralités d’images »).
La figure 4 décrit l’invention dans son mode de mise en œuvre le plus simple, dit « avec modèle statistique direct ». Il prend en entrée d’une part des données de scénario, d’autre part un ensemble de paramètres statistiques 6y a priori qui auraient été « appris » précédemment, par exemple y peut être un SAR (Simultaneous Autoregressive) aux quatre ppv, isotrope ou non, caractérisé, comme décrit précédemment par σ2 et par a dans le cas isotrope, ou par a et β dans le cas non isotrope.
A partir des données de scénario du type de l’image, c’est-à-dire les paramètres nécessaires à la synthèse physique décrite ci-dessous, et des paramètres du modèle statistique (« 0y estimé »), on obtient en deux étapes une pluralité d’images désignée pluralité2 comme montré dans le cadre de la figure 4.
L’objectif du moteur de synthèse physique est de fournir une image conforme à ce que verrait le capteur, par exemple un capteur optronique passif placé devant une scène complexe telle qu’un fond de nuages, ou encore un radar placé devant une scène complexe.
Pour un capteur optronique passif et lorsque l’image est de type nuage, les données de scénario sont par exemple fournies par un modèle type Météo France qui fournit une description du nuage : classe du nuage, forme 3D du nuage, maillage en zones tridimensionnelles dans lesquelles les paramètres pertinents suivants sont considérés comme constants : taux d’humidité, structure et concentration des gouttes d’eau et des particules de glace. La propagation de l’intensité électromagnétique représentant par exemple l’intensité lumineuse des fonds de ciel, soleil, lune... est décrite par une équation de transfert radiatif. L’émissivité du nuage dans les bandes infrarouges est prise en compte par une équation du type corps noir, elle est reliée directement à la fonction d’absorption du nuage provenant de sa structure interne. L’équation de transfert radiatif est résolue sur une direction de propagation entre un point d’une source de la scène optronique et un point du récepteur de la scène optronique. L’intensité totale est reconstruite sur le plan image du récepteur en fonction de l’ensemble des rayons matérialisant la direction de propagation de l’intensité électromagnétique traversant les nuages cellules maillant la structure du nuage. L’intensité totale est alors la somme des intensités élémentaires portées par chaque rayon. On obtient à ce stade une « image entrée pupille ».
Cette image est ensuite transformée en une image telle qu’elle est vue par le capteur optronique en lui appliquant la « fonction de transfert » dudit capteur : réponse spectrale, fonction de transfert de modulation (FTM), distribution des pixels. Dans le cadre de cette invention, les deux sources de bruit décrites précédemment (voir formule 2 : ôy, pour le bruit de scène et w, pour le bruit du capteur) ne sont pas introduites à ce stade, en effet elles sont introduites ultérieurement, après l’opération de synthèse hybride décrite cidessous.
Pour d’autres types de fonds complexes, les paramètres physiques sont par exemple dans le cas d’un fond de mer :
le modèle statistique spatio-temporel de la surface de la mer (densité de probabilité et fonction de corrélation des hauteurs), les caractéristiques des contributeurs au rayonnement électromagnétique de la surface de la mer, par exemple position du soleil et émissivité / réflectivité de la mer.
L’étape de fusion ou « synthèse hybride » a pour objectif principal de satisfaire à la première exigence énoncée précédemment : la fidélité de l’image, par rapport à la réalité, à toutes les échelles, de façon à reproduire convenablement les éléments de structure et les éléments de texture, ceci en cumulant les avantages décrits précédemment de forte résolution spatiale de la synthèse statistique, avec la capacité de champ spatial large apportée par le processus de synthèse physique.
L'objectif de la fusion est donc d'obtenir une image respectant au mieux deux types de contraintes: des contraintes sur les basses fréquences issues, dans le cadre de cette invention, de la synthèse physique (ou image physique) et des contraintes statistiques locales (ou loi non conditionnelle) données par les paramètres statistiques de y.
Dans le cas où les contraintes sur les basses fréquences sont strictes, il s’agit d’un problème de statistique conditionnelle, qu’on peut exprimer « naïvement » de la façon suivante: trouver parmi des images tirées suivant la statistique non conditionnelle une image qui satisfait les contraintes basses fréquences. Cette façon de faire n'est pas viable car, en toute généralité, la probabilité pour une image de satisfaire les contraintes basses fréquences est nulle. (On rappelle qu’en probabilité, on appelle évènement presque sûr un évènement dont la probabilité est égale à 1. Ici il est « presque sûr » qu’une image synthétisée de façon non conditionnelle ne passera pas par les points imposés, d’où une probabilité égale à 0 pour qu’elle passe par les points imposés).
Dans le cadre de cette invention, deux approches sont décrites pour obtenir de telles images. La première est applicable à tous les cas elle correspond à un algorithme de type projection alternée pour lequel l’opération de base du procédé est la propagation d’une image sur les contraintes souhaitées. La seconde n’est applicable qu’au cas particulier où la contrainte basse fréquence est linéaire et où la contrainte statistique est une loi gaussienne, mais elle présente l’avantage de donner une formulation directe explicite du contenu de l’image, et par ailleurs son champ d’application est large.
Notons que pour ces deux algorithmes, une version relaxée où les contraintes ne sont qu'approximativement respectées est possible. Les deux versions relaxées sont également décrites.
La suite du document décrit donc, pour l’opération de fusion, quatre cas :
- cas « général » pour la forme des contraintes, ou cas particulier de contraintes basse fréquence linéaires et de contrainte statistique gaussienne,
- contraintes basses fréquences strictes ou relaxées.
Cas général, version « contraintes basses fréquences strictes »
On suppose ici que pour chaque contrainte, qu'elle soit pour la basse fréquence ou pour la partie statistique, il existe une opération explicite permettant d'obtenir à partir d'une image initiale une projection, l'image la plus proche (ou à défaut proche) satisfaisant la contrainte. Cette opération correspond à une simple projection pour les contraintes linéaires ou plus généralement les contraintes convexes. Il existe également des formules explicites pour imposer des moments d'ordre supérieur que ce soit sur l'image ou sur une transformée de celle-ci. L'algorithme consiste à appliquer de manière itérative ces opérations jusqu'à obtenir une image satisfaisante.
Cas où la contrainte basse fréquence est « stricte » linéaire et où la contrainte statistique est une loi gaussienne (dit autrement la loi non conditionnelle est gaussienne).
Dans la suite des calculs, l’image en sortie du processus d’hybridation est appelée X (y sur la figure 4). Dans la suite du document, l’image X est écrite sous la forme d’un vecteur X contenant (dans un ordre quelconque a priori) les n1 x n2 pixels de l’image, cette formulation étant nécessaire pour représenter les opérations linéaires sur l’image au moyen de matrices.
L’objectif est ici de donner des formules explicites pour la synthèse hybride dans le cas où la contrainte basse fréquence est linéaire et où la contrainte statistique est une loi gaussienne. Soit X l’image de taille n1 x n2 à synthétiser, on dispose de deux types d’information : la sortie de la synthèse physique et les paramètres statistiques 0y. Dans la suite, ces deux types d’informations seront appelées des « contraintes » (respectivement les « contraintes physiques » et les « contraintes statistiques »), et pour des raisons explicitées plus bas, on appellera image non conditionnelle une image qui ne satisfait que les contraintes statistiques, et image conditionnelle une image qui satisfait simultanément les deux contraintes (contrainte physique et contrainte statistique). La synthèse physique donne une version basse fréquence de l’image, exprimée soit par des valeurs en certains points (on parlera dans ce cas de contrainte du type « attache aux points »), soit par des moyennes locales en certains points, tandis que la contrainte statistique est donnée par les paramètres statistiques 0y (dans le cas présent, 0y peut se résumer par la matrice de covariance spatiale bidimensionnelle de l’image) et définit une image non conditionnelle (cette image non conditionnelle est une image que l’on obtiendrait par le seul processus de synthèse statistique à partir des paramètres 0y). L’objectif du mécanisme de fusion est donc de fournir une image conditionnelle.
Plus précisément, dans le cas des moyennes locales en certains points, on fait l’hypothèse que la contrainte physique est donnée par un opérateur linéaire L sous la forme LX = Lo tandis que la contrainte statistique est de la forme X ~ N (0, Σ) (ou dit autrement, X suit la loi normale N (= est un vecteur gaussien) de moyenne 0 et de covariance Σ). On est donc amené à étudier la possibilité de simuler X sous la contrainte LX = Lo, qui est un problème de type simulation de loi conditionnelle.
On verra que l’on peut synthétiser un grand nombre de telles images : chacune passe par les points imposés, ou dans le cas général respecte les contraintes issues du moteur de synthèse physique, mais elles sont indépendantes les unes des autres, conditionnellement aux contraintes.
Sous une hypothèse de gaussianité pour X, on peut donner explicitement la loi de X sous la contrainte LX = Lo. Soit ker L, le noyau de L, et Pker l et Pker l-L, les projections orthogonales sur respectivement le noyau de L et son orthogonal. On vérifie aisément que la condition LX = Lo correspond à imposer la valeur de Pker L1 X tout en laissant libre Pker l X · D’autre part, l’image d’un vecteur gaussien étant un vecteur gaussien, on obtient immédiatement que / p γ λ
Λ
ΛΑ
))
Et on en déduit que Pker L X | Pker l-L X suit une loi gaussienne de moyenne μ’ et de variance Σ’ respectivement :
μ' · ρ^χ
Σ’=
( ^kerh^kerL1 ^ker^^keri
Sans trop de perte de généralité, on peut supposer que Σ'1 = BtB avec B inversible de sorte que BX~N(0,1) et Σ= B'1 B_t. Les formules précédentes se réécrivent :
On peut montrer que :
X = ((BPkerl)1 (BPkerl))’1 (BPkerl/ (Z-(BPkerΙ±)Χ) (3) où Z est un vecteur gaussien standard (N (0, I )) qui suit la loi précédente. Ceci donne une formule explicite de simulation de la loi conditionnelle. On vérifie de plus qu’elle correspond à la solution du problème de minimisation en PkenX :
Il (BPker L) (Pker L X) - (Z-(BPker L±)X) ||2- (4)
La simulation de Pker l X peut donc être obtenue à partir d’une réalisation de Z soit en utilisant directement la formule (3) (premier mode de mise en œuvre), soit en résolvant le problème d’optimisation (4) (deuxième mode de mise en œuvre). La première formulation est plus simple mais implique l’inversion d’une matrice de grande taille tandis que la seconde permet une résolution de type algorithme itératif permettant d’éviter une telle inversion. Z étant une réalisation quelconque d’un vecteur gaussien standard N(0, I), les formules (3) ou (4) montrent clairement qu’on peut synthétiser de cette façon autant de réalisations indépendantes de X que l’on souhaite.
On étudie à présent ces questions dans le cas où l’attache aux données est de type attache aux points, ce qui simplifie grandement l’écriture.
En effet, dans le cas où L correspond à fixer des valeurs de X en des points c, on introduit Xc le vecteur des nc valeurs contraintes (correspondant à Pker i/ X dans la section précédente) et X| le vecteur des nt valeurs libres (correspondant à PkeriX dans la section précédente). Quitte à réordonner le vecteur X pour que X = (X/Xc)1, B s’écrit [B|BC] avec Bi et Bc des matrices de tailles respectives n x ni et n x nc (correspondant aux matrices
B Pker l et B Pker L-1 dans la section précédente).
Les formules permettant la simulation de la loi conditionnelle deviennent alors respectivement
Xi = (B/B,)-1 Βιι(Ζ-ΒοΧο) pour la formule directe qui revient à minimiser || B|Xl-(Z-BcXc) J2.
Cas général, « contraintes basses fréquences relaxées »
Dans ce cas, on adoptera une version relaxée de l’algorithme de projection alternée décrit précédemment : à chaque étape, l'image est remplacée, non pas par sa projection, mais par une combinaison linéaire de l'image et de sa projection. Les poids dans la combinaison sont choisis soit fixes, soit inversement proportionnels à la norme de la modification, soit décroissants avec le temps.
Cas particulier de contraintes basse fréquence linéaires et de contraintes statistiques gaussiennes, « contraintes basses fréquences relaxées »
Dans ce cas, la relaxation consiste à transformer le problème de minimisation sous contrainte d’égalité, donnée par la formule (4), en la minimisation en X de γ ||BX-Z ||2+ || LX-Lo ||2, γ étant un nombre réel positif (>0).
Lorsque γ tend vers 0, on retrouve le problème avec contrainte stricte. On obtient ainsi une famille de solutions correspondant à des contraintes plus ou moins fortes selon le choix du γ.
Ce problème se résout par algèbre linéaire et conduit, comme dans le cas des contraintes basse fréquence strictes, à une expression explicite du contenu de l’image, qui va maintenant être décrite dans le cas particulier où l’attache aux données est de type attache aux points. Dans ce cas, on reprend les mêmes définitions et notations que précédemment (voir X|, Xc, Bi, Bc en supposant que l’on a réordonné le vecteur X), cependant un élément important doit être pris en compte : dans le cas de l’attache aux données « stricte », Xc n’était pas modifié par le processus de fusion (ce qui correspond à la définition d’une contrainte stricte), alors que si la contrainte est relaxée, les valeurs seront modifiées par le processus de fusion. On distinguera donc Xco (valeurs imposées mais de façon relaxée) et Xc (valeurs obtenues après fusion). Avec ces notations, on obtient pour X = (Χ*Χ0 1)1 les formules explicites suivantes :
soit M la matrice de taille ni x n donnée par la formule
M =(1 +γ)Βι* - y B,‘ BC(BC‘BC1 Bc‘ alors
XrfMBirtMZ-Bt'BcXco) et
Xc= (BC'BC)-1[(-BC'B| (MB,)’1 M+BC')Z + BC*B| (MB,)'1 Β,'ΒοΧο]
On voit que, pour Z fixé (une réalisation d’un bruit blanc), X = (ΧιιΧ04)4 ne dépend que de B = [B|BC], Xco et y.
Cette relaxation permet de prendre en compte par exemple des incertitudes sur les contraintes. On peut ainsi choisir la valeur de y assurant le meilleur compromis entre les contraintes basse fréquence et la structure supposée à haute fréquence.
Dans le cas où la contrainte statistique est linéaire gaussienne, la pluralitél d’images de synthèse est donc obtenue au moyen d’un procédé de synthèse hybride, qui est une « fusion » entre les sorties du moteur de synthèse physique, et ce que seraient les sorties d’un moteur de synthèse statistique « libre » ou « non conditionnel », qui consisterait à appliquer simplement la formule
X = BZ.
L’étape suivante consiste à ajouter un bruit à cette pluralitél d’images.
Dans le cas de l’optronique passive (figure 4), l’ajout du bruit est une opération simple comme indiqué précédemment. Elle consiste à :
- générer pour chaque pixel (indicé par i) une variable aléatoire v, suivant une loi de Poisson de paramètre yi estimé. Cette génération relève des connaissances de base de tout ingénieur et est programmée dans tous les langages scientifiques, comme par exemple Matlab,
- ajouter à V, une variable aléatoire gaussienne Wj de moyenne nulle et de variance o2, la « carte » des o2 étant supposée connue. Ici aussi, cette génération relève des connaissances de base de tout ingénieur, et est programmée dans tous les langages scientifiques, comme par exemple Matlab.
On obtient à l’issue de cette étape d’ajout de bruit, une pluralité2 d’images de synthèse.
La description de l’invention qui vient d’être faite sur la base de la figure 4 est dite « avec modèle statistique direct », nous allons maintenant décrire l’invention dans un second mode de réalisation, dit « avec modèle statistique estimé », sur la base de la figure 5. Ce second mode de réalisation se distingue du premier par le fait que les paramètres statistiques, au lieu d’être donnés a priori, sont estimés à partir d’une image réelle x, cette opération faisant l’objet du premier cadre I de la figure 5.
La fonction de débruitage a pour objectif de supprimer le bruit de flux photonique et le bruit de la matrice de détection du capteur, car ces bruits sont présents dans l’image réelle. Cette fonction relève de l’état de l’art du débruitage d’image. On peut citer des méthodes linéaires comme
i) les méthodes à noyau, ou ii) des techniques de filtrage dans le domaine des fréquences (spatiales), et des méthodes non linéaires comme celles qui sont fondées sur le seuillage de coefficients d’ondelettes.
On préfère les méthodes robustes par rapport à l’hétéroschédasticité. Par exemple, comme le caractère hétéroschédastique du bruit ne modifie pas le fait que la densité spectrale du bruit est constante, une technique consistant à ne garder, dans le domaine des fréquences spatiales, que les fréquences pour lesquelles le périodogramme dépasse un certain seuil, est robuste à l’hétéroschédasticité.
L’opération d’estimation des paramètres statistiques 0y de y a pour objectif de « capter » les caractéristiques des variations de la fonction aléatoire y dans l’image, afin d’être en mesure d’en synthétiser d’autres réalisations. Dans le contexte, on dispose de l’estimation d’une seule réalisation de y pour capter ces caractéristiques ; on suppose donc que le processus y est ergodique.
De nombreuses méthodes relevant de l’état de l’art, permettent de réaliser cette opération ; elles se décomposent en :
- méthodes paramétriques. Il faut pour cela se donner un modèle de y qui ne dépend que d’un nombre fini de préférence petit, de paramètres. Un exemple simple est le modèle « SAR », acronyme pour l’expression anglaise « Simultaneous Autoregressive. Dans le cadre de cette invention, il faut ajouter un troisième paramètre qui est la moyenne du processus, car celui-ci doit toujours être à valeurs positives.
Les techniques d’estimation paramétrique relèvent de l’état de l’art, du moins dans des cas suffisamment simples, comme le SAR (Simultaneous Autoregressive).
On peut encore classer dans les techniques d’estimation paramétrique celles qui nécessitent une sélection de modèle : au lieu d’un modèle paramétrique unique (un SAR aux quatre ppv isotrope par exemple), on part d’un ensemble de modèles paramétriques, par exemple un SAR aux n1 ppv, ou un SAR aux n2 ppv, ou etc. La méthode consiste à calculer les paramètres pour chaque modèle de l’ensemble de modèles, puis à sélectionner le meilleur des modèles en appliquant des techniques qui permettent d’aboutir à un modèle qui « colle » aux données tout en étant le plus simple possible, c’est-à-dire avec peu de paramètres ; ceci peut se faire par des méthodes de pénalisation. La sélection de modèle relève de l’état de l’art ; voir par exemple l’ouvrage de Pascal Massart « Concentration inequalities and model sélection » Lecture Notes in Math., 1896,Springer, 2007.
- méthodes non paramétriques. Elles consistent à extraire de l’ensemble y un certain nombre de caractéristiques prédéterminées, par exemple la covariance empirique à deux dimensions, ou encore le périodogramme à deux dimensions ou une forme lissée de celui-ci (voir en fin de paragraphe), ou encore des descripteurs du type de ceux de Portilla et Simoncelli (voir la publication déjà citée). L’utilisation d’une forme lissée pour le périodogramme est liée aux propriétés de celui-ci. On montre en effet que le périodogramme n’est pas un estimateur consistant de la densité spectrale, en d’autres termes son erreur ne tend pas vers 0 lorsque la taille de l’échantillon n croît indéfiniment, ceci étant lié aux propriétés fondamentales des processus aléatoires stationnaires lorsqu’on les exprime en termes de représentation spectrale. Au contraire le périodogramme lissé est asymptotiquement sans biais et consistant, il consiste à opérer sur le périodogramme une opération linéaire de filtrage local, c’est-à-dire un moyennage sur m valeurs autour de la valeur courante. La consistance est alors assurée, c’est-à-dire que l’erreur d’estimation tend vers 0 quand la taille n de l’échantillon tend vers l’infini, à condition que dans le même temps m tende aussi vers l’infini en respectant le fait que m/n tend vers 0.
On a décrit le procédé de synthèse sur l’exemple d’images optroniques sur un fond de nuage. Il s’applique plus généralement à des séquences d’images réalistes, une séquence d’images (appelée communément « vidéo ») correspondant à des vues successives d’une même scène, qui peut évoluer au cours du temps. Par exemple, les évolutions d’un fond de nuage peuvent être des déformations lentes de la structure des nuages et/ou de petites variations de leur texture. Si la séquence est suffisamment courte, on pourra supposer que, compte tenu de la résolution spatiale limitée de l’image obtenue par synthèse physique, cette image de « structure » restera fixe pendant la durée de la séquence, et seule la texture évoluera au cours du temps ; l’extension du procédé à des séquences d’images pourra alors être réalisée selon le même procédé que celui de la figure 4 ou de la figure 5. Dans le cas de la figure 4 (modèle direct), on suppose que les paramètres statistiques comprennent, en plus des caractéristiques spatiales, des caractéristiques temporelles qui décrivent les mouvements internes à l’image, les équations de la fusion se généralisant à ce cas qui a trois dimensions au lieu de deux, puisqu’elles se fondent sur une formulation vectorielle des données. Dans cet espace à trois dimensions, et dans l’hypothèse prise ici d’une durée suffisamment courte de la séquence d’images, les contraintes physiques décrites précédemment ne dépendent que des deux dimensions spatiales. Dans le cas de la figure 5 (modèle estimé), alors il faudra utiliser à l’entrée du cadre I non plus une image réelle, mais une séquence d’images réelles dont on pourra extraire les paramètres statistiques spatio-temporels. Si maintenant la durée de la séquence est plus longue, il sera alors nécessaire de faire exécuter la synthèse physique plusieurs fois, en modifiant les paramètres du scénario de façon à faire évoluer la partie « structure » de la séquence d’images.
L’invention se généralise également à d’autres fonds que les nuages, par exemple la mer ou le sol, pour lesquels il est également possible de trouver des modèles qui permettent de les décrire au moyen de paramètres statistiques.
L’invention s’applique également à d’autres types de capteurs, par exemple des radars.
Dans le cas d’un radar supposé cohérent, comme montré sur la figure 3b, le capteur est actif : il émet par son antenne 11 une onde générée par l’émetteur 15 et aiguillée par le circulateur 40 vers l’antenne, onde qui se réfléchit sur les éléments de la scène et dont une partie revient vers l’antenne. Cette onde est ensuite aiguillée par le circulateur 40 pour être orientée vers un mélangeur 50 où elle est mélangée à une fraction du signal émis pour constituer un signal temporel qui sera numérisé et traité par une unité de traitement 30 afin de former une image, par exemple une image distance-vitesse ou encore une image du sol. Comme dans le cas d’un capteur optronique passif, les images acquises par le capteur 100 sont importées dans une unité centrale 200 configurée pour les traiter. Le schéma de la figure 3b s’applique encore à un capteur optronique actif cohérent, en remplaçant antenne par optique. Si le capteur optronique actif est non cohérent, il n’est pas nécessaire de prélever une portion de l’onde émise pour démoduler le signal. Le cas du capteur optronique actif non cohérent peut être fonctionnellement considéré comme ayant certaines caractéristiques de la figure 3a et certaines caractéristiques de la figure 3b :
c’est généralement un capteur d’image, il comporte donc une matrice de détecteurs (20 dans la figure 3a) et un émetteur d’onde (figure 3b).
Du point de vue des caractéristiques de l’image, le radar cohérent se distingue de l’optronique passive par les points suivants :
- les pixels de l’image radar ne représentent pas des directions dans l’espace, mais par exemple des cellules de résolution en « distance-vitesse » si l’on a affaire à un « radar Doppler », ou des portions du sol si l’on a affaire à un radar de type SAR (acronyme de l'expression anglo-saxonne Synthetic Aperture Radar),
- les signaux sont complexes, i.e. v,, wh x, e c, y, toujours réel représentant la moyenne du carré du module de v, (comme indiqué précédemment, on s’intéresse en général à |Vj| ou à |Vj|2),
- la statistique dans chaque pixel dépend de plusieurs facteurs, le lien entre les y, et les v, n’est donc pas prédéterminé (par la loi de Poisson) comme c’est le cas en optronique passive. Cette statistique est liée à la structure de réflectivité de la portion de scène sélectionnée par le pixel. Plus précisément, elle dépend du nombre de réflecteurs élémentaires dans cette portion de scène et de la répartition de leur pouvoir de réflexion. Si la scène est homogène et si la cellule de résolution n’est pas très petite, alors Vj a deux composantes proches d’une gaussienne et indépendantes, si bien que |Vi|2 suit une loi exponentielle (ou ce qui revient au même |ν,| suit une loi de Rayleigh). Si au contraire le nombre de réflecteurs élémentaires dans le pixel est petit (cas d’un radar à haute résolution distance par exemple) et / ou que ces réflecteurs sont très hétérogènes, si bien qu’un petit nombre seulement d’entre eux contribuent à la plus grande partie du signal, alors la loi du module s’écarte de la loi de Rayleigh en présentant des « queues de distribution » plus importantes. Cette loi peut être par exemple une loi de Weibull (décrite ci-dessous) ou une K-distribution. De façon générale, on écrit v, ~ Lj(yi) où L, est une loi indicée en même temps par l’indice i du pixel et par y,. Le cas dit multiplicatif est celui où la loi L est la même dans tous les pixels, au facteur multiplicatif y, près.
La loi de Weibull est caractérisée par les deux paramètres kj (paramètre de forme) et s, (paramètre d’échelle), avec une densité de probabilité /(x, £,., 5,. ) =
On démontre que la moyenne μ, de cette loi vaut μ, = s, r(1+1/kj) où Γ désigne la fonction gamma. Compte tenu des notations utilisées précédemment, en particulier la formule (2), μ, est égal à y,.
Dans le cas multiplicatif, k, ne dépend pas de i (k, = k), et, en écrivant G = f(1+1/k) pour simplifier l’écriture, s, = μ, / G = y, / G, on obtient donc :
/(x,£„5()=/(x,fc,y() = kGÎ xGY
y< k λ j dont la moyenne vaut bien y,.
Des études concernant les signaux de radars (= les images radars) ont permis de relier en partie le type de loi (Weibull, autre) ou des paramètres de loi (k et s pour une loi de Weibull) au type de fond (sol, mer). Ces connaissances peuvent être utilisées dans le procédé.
Les autres caractéristiques sont les mêmes que pour l’optronique passive : indépendance conditionnelle des Vj, caractère blanc, gaussien et hétéroschédastique (a priori connu) des Wj.
L’optronique active peut être incohérente ou cohérente. Du point de vue de la statistique, les signaux (= les images) issus de l’optronique active ressemblent plutôt à ceux du radar.
Dans le cas incohérent, on a généralement affaire à des images spatiales à valeurs réelles (comme dans l’optronique passive), et dans le cas cohérent, les images sont par exemple des images « distance vitesse » à valeurs complexes.
Dans le cas du radar, pour le premier mode de mise en œuvre (modèle direct), la figure 4 doit être modifiée pour devenir la figure 6, avec les remarques suivantes : d’une part, les paramètres statistiques comprennent, en plus des paramètres de y, ceux du bruit ôy, et d’autre part l’opération d’ajout du bruit doit prendre en entrée les paramètres de ôy, d’où la flèche supplémentaire entre la boîte « paramètres statistiques » et la boîte « ajout bruit ». Par ailleurs, ce schéma suppose que la synthèse physique a été capable, à partir des paramètres du scénario seulement, de synthétiser les images (distance-vitesse, ou carte du sol pour le SAR) telles qu’elles seraient formées par le traitement radar.
Dans le cas du radar, pour le deuxième mode de mise en œuvre (modèle estimé), la figure 5 doit être modifiée pour devenir la figure 7, avec les remarques suivantes : d’une part, l’estimation des paramètres statistiques comprend, en plus de celle des paramètres de y, celle des paramètres du bruit ôy, décrite ci-dessous, et d’autre part l’opération d’ajout du bruit doit prendre en entrée les paramètres de ôy, d’où la flèche supplémentaire entre la boîte « estimation des paramètres statistiques » et la boîte « ajout bruit ».
Les méthodes d’estimation de la statistique de ôy (estimation de densité) relèvent encore de l’état de l’art. On peut encore distinguer des méthodes paramétriques et des méthodes non paramétriques, appliquées ici à l'estimation de densité conditionnelle (à ys). L’hypothèse la plus naturelle est de supposer que la statistique est multiplicative, ce qui revient, après division du contenu de chaque pixel par y, estimé (en d’autres termes : diviser pixel par pixel l’image réelle 11 par l’image I2 qui est le résultat du débruitage de 11), à estimer une densité de probabilité dont on observe n réalisations indépendantes, n étant le nombre de pixels, affectées d’un bruit additif hétéroschédastique (w,) dont les variances sont connues. Un estimateur de densité non paramétrique est donné par l’histogramme, mais celui-ci étant par nature discontinu, les méthodes « à noyau » (qui sont encore des méthodes non paramétriques) permettent de retrouver un estimateur continu, sous réserve de choisir convenablement la forme du noyau et surtout sa « largeur » h, dite paramètre de lissage. De nombreux travaux existent dans ce domaine. Le domaine des estimateurs paramétriques de densité est également largement exploré et relève des mêmes techniques générales que celles qui ont été décrites précédemment pour l’estimation des paramètres statistiques 0y de y.
Comme indiqué précédemment, des études sur les signaux radar ont permis d’établir des liens entre le type de fond et les caractéristiques statistiques des signaux. Selon les cas, il sera donc possible d’apporter des informations a priori sur la densité à estimer, ce qui permet d’améliorer la performance de l’estimation. Ces cas sont ceux où l’image de référence est accompagnée de données auxiliaires sur le fond observé.
Les étapes du procédé de synthèse hybride (autres que l’étape d’acquisition d’images réelles) peuvent notamment s’implémenter à partir d’un produit programme d’ordinateur, ce programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du 10 procédé de reconstruction. II est enregistré sur un support lisible par ordinateur, comme par exemple l’unité centrale 200. Le support peut être électronique, magnétique, optique, électromagnétique ou être un support de diffusion de type infrarouge.

Claims (13)

  1. REVENDICATIONS
    1. Procédé de synthèse d’une image par une unité centrale (200), qui comporte les étapes suivantes :
    A) à partir de paramètres physiques d’un scénario du type de l’image à synthétiser, simulation par l’unité centrale, d’une image physique,
    B) génération d’au moins une image supplémentaire ayant une loi conditionnelle obtenue à partir :
    - d’une loi non conditionnelle donnée par des paramètres statistiques de l’image à synthétiser et,
    - de contraintes imposées par l’image physique simulée,
    C) ajout d’un bruit à chaque image supplémentaire.
  2. 2. Procédé de synthèse d’une image selon la revendication précédente, caractérisé en ce que les contraintes imposées par l’image physique simulée sont des contraintes basses fréquence strictes ou relaxées.
  3. 3. Procédé de synthèse d’une image selon la revendication 1, caractérisé en ce que les contraintes imposées par l’image physique simulée sont des contraintes basses fréquence strictes linéaires, et la loi non conditionnelle est gaussienne.
  4. 4. Procédé de synthèse d’une image selon la revendication 1, caractérisé en ce que les contraintes imposées par l’image physique simulée sont des contraintes basses fréquence linéaires et relaxées et la loi non conditionnelle est gaussienne.
  5. 5. Procédé de synthèse d’une image selon l'une des revendications précédentes, caractérisé en ce que les paramètres statistiques sont estimés à partir d’une image réelle acquise par un capteur (100) et débru itée.
  6. 6. Procédé de synthèse d’une image selon l'une des revendications précédentes, caractérisé en ce que le bruit ajouté est un bruit de Poisson et un bruit blanc de détection (Wj).
  7. 7. Procédé de synthèse d’une image selon les revendications 5 et 6, caractérisé en ce que le capteur (100) est un capteur optronique passif qui comporte une matrice de détection et en ce que le bruit blanc de détection (Wj) est le bruit de la matrice de détection (20).
  8. 8. Procédé de synthèse d’une image selon la revendication précédente, caractérisé en ce que les étapes sont réitérées pour chaque image d’une séquence d’images et en ce que des paramètres statistiques sont représentatifs de mouvements internes à la séquence d’images.
  9. 9. Procédé de synthèse d’une image selon la revendication précédente, caractérisé en ce que le scénario est le même pour chaque image.
  10. 10. Procédé de synthèse d’une image selon l'une des revendications 1 à 5, caractérisé en ce que le bruit ajouté est un bruit statistique (ôy,) et un bruit blanc de détection (Wj).
  11. 11. Procédé de synthèse d’une image selon la revendication précédente, caractérisé en ce que le capteur (100) est un capteur optronique actif ou un radar, en ce qu’il comprend réalisées par l’unité centrale, une étape de calcul des écarts entre l’image acquise et l’image débruitée, et en ce que le bruit statistique (ôy,) est un bruit statistique estimé de l’image acquise par le capteur, et en ce que le bruit blanc de détection (Wj) est le bruit de détection du capteur.
  12. 12. Procédé de synthèse d’une image selon la revendication précédente, caractérisé en ce que le capteur (100) est un radar et en ce que l’image réelle est une image distance-vitesse ou une image de type Synthetic Aperture Radar.
  13. 13. Un produit programme d’ordinateur, ledit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé selon l'une quelconque des revendications 1 à 12, lorsque ledit programme est exécuté sur un ordinateur.
FR1701306A 2017-12-14 2017-12-14 Procede de synthese hybride d'images Active FR3075438B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1701306A FR3075438B1 (fr) 2017-12-14 2017-12-14 Procede de synthese hybride d'images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1701306A FR3075438B1 (fr) 2017-12-14 2017-12-14 Procede de synthese hybride d'images
FR1701306 2017-12-14

Publications (2)

Publication Number Publication Date
FR3075438A1 true FR3075438A1 (fr) 2019-06-21
FR3075438B1 FR3075438B1 (fr) 2023-02-24

Family

ID=62143218

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1701306A Active FR3075438B1 (fr) 2017-12-14 2017-12-14 Procede de synthese hybride d'images

Country Status (1)

Country Link
FR (1) FR3075438B1 (fr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016145406A1 (fr) * 2015-03-11 2016-09-15 Massachusetts Institute Of Technology Procédés et appareil pour modéliser les déformations d'un objet

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016145406A1 (fr) * 2015-03-11 2016-09-15 Massachusetts Institute Of Technology Procédés et appareil pour modéliser les déformations d'un objet

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GREENBERG D P ET AL: "A FRAMEWORK FOR REALISTIC IMAGE SYNTHESIS", COMPUTER GRAPHICS PROCEEDINGS. SIGGRAPH 97. LOS ANGELES, AUG. 3 - 8, 1997; [COMPUTER GRAPHICS PROCEEDINGS. SIGGRAPH], READING, ADDISON WESLEY, US, 3 August 1997 (1997-08-03), pages 477 - 494, XP000765845, ISBN: 978-0-201-32220-0 *
HUEI-YUNG LIN ET AL: "Photo-Consistent Motion Blur Modeling for Realistic Image Synthesis", 1 January 2006, ADVANCES IN IMAGE AND VIDEO TECHNOLOGY LECTURE NOTES IN COMPUTER SCIENCE;;LNCS, SPRINGER, BERLIN, DE, PAGE(S) 1273 - 1282, ISBN: 978-3-540-68297-4, XP019052901 *
MAX-GERD RETZLAFF ET AL: "Physically based computer graphics for realistic image formation to simulate optical measurement systems", JOURNAL OF SENSORS AND SENSOR SYSTEMS, vol. 6, no. 1, 8 May 2017 (2017-05-08), pages 171 - 184, XP055511047, DOI: 10.5194/jsss-6-171-2017 *
YOSHINORI DOBASHI ET AL: "Modeling of Clouds from a Single Photograph", COMPUTER GRAPHICS FORUM, 1 September 2010 (2010-09-01), Oxford, pages 2083, XP055511073, Retrieved from the Internet <URL:https://ime.ist.hokudai.ac.jp/~doba/projects/photo_cloud_modeling/photoCloudModeling.pdf> [retrieved on 20180928], DOI: 10.1111/j.1467-8659.2010.01795.x *

Also Published As

Publication number Publication date
FR3075438B1 (fr) 2023-02-24

Similar Documents

Publication Publication Date Title
US11625812B2 (en) Recovering occluded image data using machine learning
Wan et al. CoRRN: Cooperative reflection removal network
Zwicker et al. Recent advances in adaptive sampling and reconstruction for Monte Carlo rendering
Li et al. CS-ToF: High-resolution compressive time-of-flight imaging
Raihan A et al. Review of underwater image restoration algorithms
US20130243334A1 (en) System and Method for Image Enhancement and Improvement
US20200150266A1 (en) Synthetic Apertures for Long-Range, Sub-Diffraction Limited Visible Imaging Using Fourier Ptychography
US20230081137A1 (en) Spatial metrics for denoising depth image data
US20230147186A1 (en) Adaptive processing in time of flight imaging
FR3028988A1 (fr) Procede et dispositif de filtrage adaptatif temps reel d&#39;images de disparite ou de profondeur bruitees
Boughida et al. Bayesian collaborative denoising for Monte Carlo rendering
EP4392926A1 (fr) Débruitage de données de profondeur de pixels à faible signal
Wang et al. Multiscale single image dehazing based on adaptive wavelet fusion
Klinghoffer et al. Physics vs. learned priors: Rethinking camera and algorithm design for task-specific imaging
Li et al. Underwater image enhancement utilizing adaptive color correction and model conversion for dehazing
Prasath et al. Application of different techniques for underwater image processing-a systematic review
EP3797398B1 (fr) Procédé d&#39;augmentation de résolution spatiale d&#39;une image multi-spectrale à partir d&#39;une image panchromatique
EP3384462A1 (fr) Procede de caracterisation d&#39;une scene par calcul d&#39;orientation 3d
FR3075438A1 (fr) Procede de synthese hybride d&#39;images
Cao et al. A deep thermal-guided approach for effective low-light visible image enhancement
EP2943935B1 (fr) Estimation de mouvement d&#39;une image
Marhaba Satellite image restoration by nonlinear statistical filtering techniques
FR3075437A1 (fr) Procede de synthese d&#39;images
Proppe et al. 3D-2D Neural Nets for Phase Retrieval in Noisy Interferometric Imaging
Yuan et al. Illumination consistency based on single low dynamic range images

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20190621

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7