FR3143163A1 - Procede et systeme de correction de bruit fixe d’une image - Google Patents
Procede et systeme de correction de bruit fixe d’une image Download PDFInfo
- Publication number
- FR3143163A1 FR3143163A1 FR2213248A FR2213248A FR3143163A1 FR 3143163 A1 FR3143163 A1 FR 3143163A1 FR 2213248 A FR2213248 A FR 2213248A FR 2213248 A FR2213248 A FR 2213248A FR 3143163 A1 FR3143163 A1 FR 3143163A1
- Authority
- FR
- France
- Prior art keywords
- images
- fixed noise
- correction parameter
- acquired
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012937 correction Methods 0.000 claims abstract description 73
- 238000001914 filtration Methods 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001594 aberrant effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
- H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Procédé de correction de bruit fixe dans au moins une image, le procédé comprenant les étapes suivantes : - acquisition (E1) d’au moins N images sensiblement distinctes et régulières par au moins un capteur d’images rotatif de sorte que la combinaison des N images forme un panorama d’une scène environnante, le bruit fixe compris dans chacune des N images acquises étant sensiblement identique, - détermination (E2) d’au moins un paramètre de correction de bruit fixe par un module de traitement (2) à partir des au moins N images acquises, l’au moins un paramètre de correction minimisant une fonctionnelle, - correction (E3) du bruit fixe compris dans chacune des N images acquises par le module de traitement (2) à partir de l’au moins un paramètre de correction de bruit fixe déterminé. Figure pour l’abrégé : Fig. 2
Description
La présente invention concerne un procédé de correction de bruit fixe dans au moins une image. Elle concerne aussi un système pour la correction de bruit fixe dans au moins une image.
Bien que calibrées en usine, les caméras infrarouges sont connues pour subir de légères déviations dans les réponses des capteurs. Ces déviations changent lentement dans le temps, d’une prise image à l’autre. Mais ce changement est relativement lent par rapport à la fréquence de rafraîchissement de la caméra. Sur l’image, ces déviations causent une réponse non-uniforme spatialement pour un même signal lumineux, qui apparaît visuellement comme un bruit fixe d’une image à l’autre, d’où l’appellation de « Fixed Pattern Noise » (FPN). Ce bruit est typiquement modélisé comme ayant une composante fixe et une composante multiplicative par rapport au signal d’entrée (offsets et gains). On connaît des documents de l’état de l’art des procédés de correction de non uniformité d’une image tel que le document US8503821. Ce document propose de déterminer le mouvement de la scène par rapport au capteur entre deux prises de la même scène et d’utiliser les différentes réponses des pixels pour un même endroit de la scène pour déterminer ladite correction.
Le document US9900526 propose d’utiliser un obturateur visuel pour calibrer une scène. Cet obturateur visuel correspond à un objet qui apparaît quasiment uniforme et couvre une grande partie de la caméra.
Le document US9208542 propose une méthode de réduction du bruit au niveau des pixels dans les images thermiques. Cette méthode permet de compter le nombre de fois qu'un pixel est plus petit ou grand que ses pixels voisins et en fonction, de corriger le pixel en question.
Les procédés en question s’appuient donc soit sur la comparaison de vues différentes d’un même objet avec des lots de pixels différents, soit sur la présence d’un obturateur physique ou virtuel, soit sur des hypothèses de régularité des images réelles. Les méthodes basées sur la régularité des images réelles ont le problème que l’hypothèse de la régularité n’est pas bien vérifiée partout dans l’image. Certains pixels ne peuvent donc pas être corrigés correctement à partir d’une seule image. Les méthodes basées sur l’obturateur physique ont le désavantage de ne pas corriger exactement le bruit observé en pratique. Les méthodes basées sur l’obturateur virtuel impliquent une certaine logique complexe à mettre en place. Enfin, des méthodes comparant deux vues d’un même objet ou d’une même scène après un mouvement, ou à l’aide de plusieurs capteurs, sont assez sensibles à la qualité de la mise en correspondance des deux scènes et de la similarité entre les images. De plus, l’algorithme de mise en correspondance peut être coûteux en ressources de calcul.
Le but de la présente invention est de résoudre au moins un des inconvénients susmentionnés.
Cet objectif est atteint avec un procédé de correction de bruit fixe dans au moins une image. Le procédé comprend les étapes suivantes :
- acquisition d’au moins N images sensiblement distinctes et régulières par au moins un capteur d’images rotatif de sorte que la combinaison des N images forme un panorama d’une scène environnante, le bruit fixe compris dans chacune des N images acquises étant sensiblement identique,
- détermination d’au moins un paramètre de correction de bruit fixe par un module de traitement à partir des au moins N images acquises, l’au moins un paramètre de correction minimisant une fonctionnelle,
- correction du bruit fixe compris dans chacune des N images acquises par le module de traitement à partir de l’au moins un paramètre de correction de bruit fixe déterminé.
De nombreux paramètres de l’environnement peuvent affecter la non-uniformité du capteur, tels que de petites variations de la température. Cette non-uniformité varie donc avec le temps. On peut cependant considérer qu’elle reste quasiment fixe par rapport à plusieurs images consécutives prises à la fréquence image maximale du capteur. Il convient donc de mettre à jour fréquemment la correction.
La présente invention s’appuie sur plusieurs images acquises de scènes différentes prises avec le même capteur d’images dans un temps court. Ceci est réalisé avec un capteur d’images rotatif qui peut reconstruire un panorama à l’aide d’images prises lors de la rotation du capteur d’images : chaque image correspond à un morceau ou secteur de scène panoramique différent. Une fréquence d’acquisition F du capteur d’images est supérieure à une fréquence de changement de bruit fixe entre l’acquisition de deux images. La fréquence d’acquisition F est suffisante pour que les éventuelles évolutions des paramètres de bruit fixe soient très faibles. L’invention permet alors d’éviter les défauts des méthodes traditionnelles basées sur la régularité, car chaque correction de bruit fixe est estimée non à partir d’une, mais de plusieurs images acquises.
Il est également considéré que les images acquises sont sensiblement régulières sur une majorité de l’image, et qu’en chaque pixel on peut trouver une ou plusieurs images bien régulières localement autour de ce pixel parmi les images acquises. On entend par « régulière », le fait que le dénivelé d’intensité dans l’image considérée ne subit pas de changement brusque sur une majorité de l’image. Une image est également dite « régulière localement » si les valeurs des pixels dans un petit voisinage peuvent être décrites avec une formule mathématique simple, par exemple l’équation d’un plan, avec peu d'erreurs. Les images naturelles sont généralement considérées être, avec grande probabilité, régulières en une majorité de pixels. Cela correspond par exemple aux zones aplaties de l'image, ou avec de légers dégradés. Les zones à fort contraste, comme les bords des objets, ou les zones fortement texturées, par exemple une pile de branches, ne sont pas considérées comme régulières.
Les paramètres de la correction de non-uniformité peuvent être ré-estimés suffisamment fréquemment pour compenser les variations de non-uniformité du capteur. On entend par « variations de non uniformité » les variations de bruit fixe. Il est considéré ici, au vu de la fréquence d’acquisition d’images élevée, que la valeur du bruit fixe dans chaque image est sensiblement identique. Par « sensiblement identique », on entend que le bruit fixe a une évolution négligeable entre la première et la dernière des N images acquises.
L’au moins un paramètre de correction de bruit fixe déterminé par le module de traitement selon l’invention minimise une fonctionnelle de la forme
Dans cette fonctionnelle, correspond à l'image i, et correspond à l'image i corrigée, c'est à dire
où , et sont des matrices de la taille d'une image, et est le produit de Hadamard. et correspondent respectivement à une matrice de gain et d'offset.
Les valeurs des matrices et sont les paramètres qui sont estimés.
Un nombre variable de paramètres peut être déterminé à partir des N images acquises. Dans le cas où seulement est estimé, l’invention donne des résultats plus robustes et rapides. Dans le cas où plusieurs paramètres sont estimés, le signal est mieux représenté et la correction est plus performante en pratique. Les valeurs des matrices et sont les paramètres qui sont estimés dans le cas présent.
L’étape de détermination d’au moins un paramètre de correction de bruit fixe par le module de traitement peut comprendre l’étape suivante :
- détermination d’un jeu d’au moins deux paramètres de correction pour l’ensemble des N images acquises par le module de traitement, le jeu de paramètres de correction comprenant une valeur de gain et une valeur d’offset.
Afin de minimiser la fonctionnelle, un jeu de deux paramètres est directement déterminé à partir des N images acquises. L’ensemble des N images est pris en compte pour déterminer le jeu de paramètres. Dans cette réalisation la fonctionnelle peut être définie par :
et
L’étape de détermination d’au moins un paramètre de correction de bruit fixe par le module de traitement peut être réalisée via une implémentation directe.
L’implémentation directe peut comprendre les étapes suivantes :
- premier filtrage des N images,
- deuxième filtrage le long des N images.
Avantageusement, le premier filtrage des N images peut comprendre l’utilisation d’un filtre passe haut.
Un choix judicieux de et permet une implémentation directe, où une succession de filtrages permet d'obtenir directement le minimum de la fonctionnelle. Au moins un paramètre de correction peut être déterminé de cette manière. Dans une réalisation, le choix judicieux de et correspond à
Ce qui donne
où est la matrice de la taille de l’image contenant 1 dans chaque case,
où F est un filtre passe haut sur l’image acquise, tel que la soustraction du médian des pixels voisins à la valeur de chaque pixel,
et
où l’opérateur médian est sous-entendu appliqué indépendamment en chaque position dans la matrice.
Une implémentation directe de la minimisation de la fonctionnelle consiste alors d'abord en un filtrage des N images selon le filtre passe haut F. Le filtre passe haut correspond à un filtre spatial. Ensuite les résultats de ces filtrages sont filtrés par l'opérateur médian le long des N images.
D'autres fonctionnelles similaires disposent d'implémentations directes. Par implémentation directe, on entend que le résultat de la minimisation de la fonctionnelle est obtenu directement sans utiliser d’algorithme de minimisation de la fonctionnelle.
Utiliser a pour effet de remplacer dans l'implémentation directe le médian par l'opérateur moyenne. Une moyenne pondérée est obtenue en utilisant des opérateurs intégrant une pondération différente pour chaque image. Dans le cas de l'implémentation directe utilisant l'opérateur médian, on peut constater l'intérêt d'utiliser la norme 1 dans . En effet l'application du médian sur le résultat des filtres passe-haut a pour effet de ne pas prendre en compte les scènes où, pour le pixel considéré, et il y a fort contraste de la scène, et donc une réponse aberrante du filtre passe-haut. La majorité des scènes aura en ce pixel une valeur non erronée, et c'est donc ce que le médian retourne.
L’étape de détermination d’au moins un paramètre de correction de bruit fixe par un module de traitement peut comprendre également l’étape suivante :
- lissage temporel de l’au moins un paramètre de correction commun à chacune des N images acquises.
Cette étape de lissage temporel permet d’affiner les résultats du ou des paramètres de correction déterminés.
Suivant encore un autre aspect de l'invention, il est proposé un système configuré pour la correction de bruit fixe d’au moins une image, le système comprenant :
- au moins un capteur d’images rotatif agencé pour acquérir au moins N images sensiblement distinctes et régulières, de sorte que la combinaison des images distinctes forme un panorama d’une scène environnante, le bruit fixe compris dans chacune des N images acquises étant sensiblement identique,
- un module de traitement agencé et/ou programmé pour déterminer au moins un paramètre de correction de bruit fixe à partir des N images acquises par le capteur d’images, l’au moins un paramètre de correction minimisant une fonctionnelle, et pour corriger le bruit fixe dans chacune des N images acquises à partir de ladite estimation de l’au moins un paramètre de correction déterminé.
Suivant encore un autre aspect de l'invention, il est proposé un produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes du procédé selon l’invention.
D’autres avantages et particularités de l’invention apparaîtront à la lecture de la description détaillée de mises en œuvre et de modes de réalisation nullement limitatifs, et des dessins annexés suivants :
Ces modes de réalisation n’étant nullement limitatifs, on pourra notamment considérer des variantes de l’invention ne comprenant qu’une sélection de caractéristiques décrites ou illustrées par la suite isolées des autres caractéristiques décrites ou illustrées (même si cette sélection est isolée au sein d’une phrase comprenant ces autres caractéristiques), si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure. Cette sélection comprend au moins une caractéristique de préférence fonctionnelle sans détails structurels, et/ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou à différencier l’invention par rapport à l’état de la technique antérieure.
On va tout d’abord décrire, en référence à la , un système configuré pour la correction de bruit fixe d’au moins une image. Le système comprend un capteur d’images rotatif 1 agencé pour acquérir N images sensiblement distinctes et régulières, de sorte que la combinaison des images distinctes forme un panorama d’une scène environnante, le bruit fixe compris dans chacune des N images acquises étant sensiblement identique. Dans un autre mode de réalisation, le système peut comprendre plusieurs capteurs d’image qu’ils soient rotatifs ou non. Le capteur d’images 1 est mis en rotation afin d’acquérir plusieurs images de l’environnement en suivant un panorama. Les images acquises sont distinctes l’une de l’autre, c’est-à-dire que chaque image acquise image un secteur de panorama. Dans d’autres modes de réalisation, il peut également y avoir parmi les images acquises des images de la même scène ou avec un recouvrement fort avec d’autres images.
Une image est définie comme un ensemble de valeurs de pixels mesurées lors d’une capture par un capteur d’images 1. Une scène correspond à une réalité physique en face du capteur d’images 1 et qui est capturée par ledit capteur d’images 1 qui en réalise une image. Lorsque le capteur d’images 1 tourne, il observe une autre scène. Le capteur d’images rotatif 1 correspond, dans un mode de réalisation préféré, à un capteur d’images rotatif 1 infrarouge. Le capteur d’images est composé d’un ensemble de capteurs correspondant chacun à un pixel. En effet, en fonction du modèle, le capteur d’images rotatif 1 infrarouge acquiert de multiples images pour reconstruire un panorama. Un panorama correspond donc à un ensemble de scènes, ou d’images, mises bout à bout pour produire une observation 360 degrés, préférentiellement d’au moins 90 degrés. Le capteur d’images 1 rotatif tourne selon une fréquence de rotation typiquement de 2Hz à 0.5Hz. Le capteur d’images 1 peut faire une rotation dans le sens des aiguilles d’une montre et vice versa. Préférentiellement, le capteur d’images rotatif 1 acquiert des images selon une fréquence d’acquisition minimale F. F peut prendre des valeurs comme 7.5Hz, 45Hz ou 64Hz. L’invention peut s’appliquer à d’autres systèmes déplaçant ou tournant le système à une fréquence suffisamment élevée pour que plusieurs images soient acquises selon le mode de réalisation présenté.
Le système comprend également un module de traitement (non représenté sur la figure) agencé et/ou programmé pour déterminer au moins un paramètre de correction de bruit fixe à partir des N images acquises par le capteur d’images, l’au moins un paramètre de correction minimisant une fonctionnelle, et de corriger le bruit fixe dans chacune des N images acquises à partir de ladite estimation de l’au moins un paramètre de correction déterminé.
On va décrire, en référence à la , un ordinogramme du procédé de l’invention selon un mode de réalisation.
Le procédé de correction de bruit fixe dans au moins une image comprend trois étapes (E1 à E3). L’étape E1 correspond à une acquisition par le capteur d’images 1 de N images sensiblement distinctes et régulières, de sorte que la combinaison des images distinctes forme un panorama d’une scène environnante, le bruit fixe compris dans chacune des N images acquises étant sensiblement identique. L’acquisition des images est traitée de la même manière que celle présentée .
L’étape E2 correspond à la détermination d’au moins un paramètre de correction de bruit fixe par un module de traitement 2 à partir des N images acquises, l’au moins un paramètre de correction minimisant une fonctionnelle.
Selon un premier mode de réalisation, le module de traitement 2 est configuré pour directement déterminer au moins un paramètre de correction de bruit fixe en minimisant une fonctionnelle. Le module de traitement 2 est alors configuré pour estimer un jeu de paramètres pour l’ensemble des N images acquises, le jeu de paramètres comprenant une valeur de gain et une valeur d’offset.
La fonctionnelle retourne un nombre, souvent défini positif, qui est lié à la quantité de bruit fixe présent dans le groupe des N images acquises considéré. L’objectif est de diminuer cette valeur pour éliminer le bruit fixe. La fonctionnelle varie selon les paramètres de corrections définis (offset, gain, etc.). La valeur de la fonctionnelle correspond à la valeur d'une fonction liée à la quantité de bruit présente dans l'image dans laquelle ces corrections sont appliquées. Le jeu de paramètres de correction déterminés par le module de traitement 2 vient minimiser cette fonctionnelle.
En pratique, la fonctionnelle est souvent composée d’un terme d’attache aux données et d’un terme de régularisation. Le choix des deux termes reflète des hypothèses de régularité faites sur les scènes que l’on s’attend à observer en pratique. Ici, un terme de “variation totale” est utilisé comme terme de régularisation, et une pénalisation quadratique, sur la norme des corrections gains (moins un) et offsets estimés, comme attache aux données. Le terme de régularisation, basé sur la variation totale, reflète que l’image , après correction , doit donner une image dont la variation totale sera faible. Le terme d’attache aux données reflète que les intensités des images et doivent être proches, et donc que le gain doit être proche de 1 en chaque pixel et l’offset proche de 0. Ainsi, des paramètres de correction sont appliqués à l’image, ici un paramètre d’offset (d’ordre 0) et un paramètre de gain (d’ordre 1). Les paramètres qui minimisent ladite quantité sont recherchés.
Ici, plusieurs images sont à disposition (l’indice d’image i allant de 1 à N), un seul jeu de paramètres gain et offset est déterminé pour l’ensemble des images (le bruit fixe est supposé fixe sur ce jeu d’images acquises). Les variations totales sont sommées pour les différentes images car l’ensemble des images doivent avoir leurs discontinuités diminuées par la bonne correction de bruit fixe. D’autres méthodes d’agrégation pourraient aussi être utilisées comme le minimum ou la médiane.
Nous obtenons alors la fonctionnelle :
Le bruit fixe variant légèrement avec le temps, les paramètres correctifs sont donc mis à jour pour un nouveau groupe d’images. A chaque fois, les paramètres de corrections sont estimés à partir de plusieurs images. On entend par « nouveau groupe » un lot de N images acquises lors d'une rotation par le capteur d’images. Une fois la correction estimée pour N images, on suppose que, pour les N images suivantes, le bruit fixe aura très peu changé. On peut donc répartir des paramètres de correction déterminés et les adapter.
Dans ce mode de réalisation, ou d’autres, afin de minimiser la fonctionnelle et d’obtenir les paramètres de correction, plusieurs techniques peuvent être utilisées, par exemple :
- une méthode itérative d’optimisation,
- une méthode avec un apprentissage machine, où une fonction est apprise pour produire directement une bonne approximation de solution de la minimisation de la fonctionnelle. Cette fonction prendra en entrée les N images et soit retourne les paramètres de correction, soit directement les N images corrigées (l’estimation des paramètres étant alors considérée comme implicite).
Selon un deuxième mode de réalisation, le module de traitement 2 est configuré pour déterminer au moins un paramètre de correction de bruit fixe à partir des N images acquises via une implémentation directe.
Ce mode de réalisation consiste à prendre chacune des images acquises individuellement et à appliquer un traitement équivalent à un filtre passe-haut sur chacune des N images acquises. Plus précisément, ce filtre passe haut consiste à prendre, pour chaque pixel de l’image acquise, la valeur médiane de ses huit pixels voisins directs et à la soustraire à la valeur du pixel en question. Le résultat du filtre passe-haut sur chaque image contient plusieurs composantes, tels que la différence naturelle du contenu de la scène en chaque pixel par rapport aux voisins et le bruit composé d’une composante temporellement dépendante (bruit fixe) et d’une composante temporellement indépendante (bruit photonique et électronique). Dans d’autres modes de réalisation, un certain nombre d’autres filtres alternatifs sont possibles. Par exemple, pour la première étape de détermination, on peut utiliser la soustraction de la moyenne des voisins ou la soustraction de tout autre filtre passe-bas (ce qui est équivalent à appliquer un filtre passe-haut). De l’apprentissage machine peut également être utilisé pour prédire indépendamment sur chaque image la correction en chaque pixel.
Selon le mode de réalisation décrit, l’étape E2 comprend également une étape de filtrage des N images traitées pour extraire au moins un paramètre de correction commun à chacune des N images acquises. Le filtrage permet de réduire fortement la contribution des scènes observées, ce qui implique que les scènes doivent correspondre à des scènes variées. C’est le cas ici puisque, selon l’invention, un capteur d’images rotatif est utilisé, chaque image acquise couvrant un angle de vue différent et avec peu de recouvrement avec l’image précédente. Le résultat de l’étape de traitement avec un filtre passe-haut sur chaque image acquise est donc filtré pour produire une unique image, soit une unique estimation en chaque pixel. Plus précisément, un médian en chaque pixel de l’ensemble des images est réalisé, récupéré et fait office de paramètre de correction. Ce second filtrage a pour effet de réduire fortement en chaque pixel la contribution du bruit temporellement indépendant et des scènes observées, alors que le bruit fixe est conservé. Le paramètre de correction commun correspond donc à une estimation du bruit fixe présent dans les images acquises. Dans d’autres modes de réalisation, d’autres filtres que celui présenté dans ce mode de réalisation sont envisageables comme moyenner après retrait des éléments au-delà des quantiles extrêmes ou filtrer la valeur apparaissant le plus.
Cette étape de second filtrage est équivalente à chercher un consensus entre les estimations indépendantes des paramètres de correction de chaque image.
Si le nombre d’images utilisé est faible et que la fréquence de variation de la non-uniformité est suffisamment lente, un lissage temporel de l’au moins un paramètre de correction commun est utilisé afin d’affiner les résultats de l’au moins un paramètre de correction commun.
L’étape E3 du procédé correspond à la correction du bruit fixe compris dans chacune des N images acquises par le module de traitement à partir de l’au moins un paramètre de correction de bruit fixe déterminé.
Quel que soit le mode de réalisation, la correction est appliquée de la même manière. Il s'agit d’appliquer le ou les paramètres de correction déterminés sur les N images, c’est à dire de multiplier chaque image par le gain et d'ajouter l'offset déterminé. La correction peut être appliquée à la suite d’une calibration du capteur d’images prédéterminée en usine par exemple.
Typiquement, au moins un des moyens du dispositif selon l’invention précédemment décrits, de préférence chacun des moyens du dispositif selon l’invention précédemment décrits, est un moyen technique.
Typiquement, chacun des moyens du dispositif selon l’invention précédemment décrits peut comprendre au moins un ordinateur, une unité centrale ou de calcul, un circuit électronique analogique (de préférence dédié), un circuit électronique numérique (de préférence dédié), et/ou un microprocesseur (de préférence dédié), et/ou des moyens logiciels.
Bien sûr, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l’invention.
Bien entendu, les différents modes de réalisation, caractéristiques, formes et variantes de l’invention peuvent être associés les uns avec les autres selon diverses combinaisons, dans la mesure où ils ne sont pas incompatibles ou exclusifs les uns des autres.
Claims (8)
- Procédé de correction de bruit fixe dans au moins une image, caractérisé en ce que le procédé comprend les étapes suivantes :
- acquisition (E1) d’au moins N images sensiblement distinctes et régulières par au moins un capteur d’images rotatif (1) de sorte que la combinaison des N images forme un panorama d’une scène environnante, le bruit fixe compris dans chacune des N images acquises étant sensiblement identique,
- détermination (E2) d’au moins un paramètre de correction de bruit fixe par un module de traitement (2) à partir des au moins N images acquises, l’au moins un paramètre de correction minimisant une fonctionnelle,
- correction (E3) du bruit fixe compris dans chacune des N images acquises par le module de traitement (2) à partir de l’au moins un paramètre de correction de bruit fixe déterminé. - Procédé selon la revendication 1, caractérisé en ce que l’étape de détermination d’au moins un paramètre de correction de bruit fixe par le module de traitement (2) comprend l’étape suivante :
- détermination d’un jeu d’au moins deux paramètres de correction pour l’ensemble des N images acquises par le module de traitement (2), le jeu de paramètres de correction comprenant une valeur de gain et une valeur d’offset. - Procédé selon la revendication 1, caractérisé en ce que l’étape de détermination d’au moins un paramètre de correction de bruit fixe par le module de traitement (2) est réalisée via une implémentation directe.
- Procédé selon la revendication 3, caractérisé en ce que l’implémentation directe comprend les étapes suivantes :
- premier filtrage des N images,
- deuxième filtrage le long des N images. - Procédé selon la revendication 4, caractérisé en ce que le premier filtrage des N images comprend l’utilisation d’un filtre passe haut.
- Procédé selon l’une quelconque des revendications 1 à 5, caractérisé en ce que l’étape de détermination d’au moins un paramètre de correction de bruit fixe par un module de traitement (2) comprend également l’étape suivante :
- lissage temporel de l’au moins un paramètre de correction commun à chacune des N images acquises. - Système configuré pour la correction de bruit fixe d’au moins une image, le système comprenant :
- au moins un capteur d’images rotatif (1) agencé pour acquérir au moins N images sensiblement distinctes et régulières de sorte que la combinaison des images distinctes forme un panorama d’une scène environnante le bruit fixe compris dans chacune des N images acquises étant sensiblement identique,
- un module de traitement (2) agencé et/ou programmé pour déterminer au moins un paramètre de correction de bruit fixe à partir des N images acquises par le capteur d’images, l’au moins un paramètre de correction minimisant une fonctionnelle, et pour corriger le bruit fixe dans chacune des N images acquises à partir de ladite estimation de l’au moins un paramètre de correction déterminé. - Produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes du procédé selon l’une quelconque des revendications 1 à 6.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2213248A FR3143163A1 (fr) | 2022-12-13 | 2022-12-13 | Procede et systeme de correction de bruit fixe d’une image |
PCT/EP2023/082076 WO2024125939A1 (fr) | 2022-12-13 | 2023-11-16 | Procede et systeme de correction de bruit fixe d'une image |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2213248 | 2022-12-13 | ||
FR2213248A FR3143163A1 (fr) | 2022-12-13 | 2022-12-13 | Procede et systeme de correction de bruit fixe d’une image |
Publications (1)
Publication Number | Publication Date |
---|---|
FR3143163A1 true FR3143163A1 (fr) | 2024-06-14 |
Family
ID=85937110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR2213248A Pending FR3143163A1 (fr) | 2022-12-13 | 2022-12-13 | Procede et systeme de correction de bruit fixe d’une image |
Country Status (2)
Country | Link |
---|---|
FR (1) | FR3143163A1 (fr) |
WO (1) | WO2024125939A1 (fr) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1727359A2 (fr) * | 2005-05-26 | 2006-11-29 | Infrared Solutions, Inc. | Procédé de reduction du motif de bruit fixe dans une caméra infrarouge |
WO2012170949A2 (fr) * | 2011-06-10 | 2012-12-13 | Flir Systems, Inc. | Techniques de correction de non-uniformité pour dispositifs d'imagerie infrarouge |
US8503821B2 (en) | 2008-04-15 | 2013-08-06 | Flir Systems, Inc. | Scene based non-uniformity correction systems and methods |
US20150172545A1 (en) * | 2013-10-03 | 2015-06-18 | Flir Systems, Inc. | Situational awareness by compressed display of panoramic views |
US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
US20170372453A1 (en) * | 2016-06-28 | 2017-12-28 | Raytheon Company | Continuous motion scene based non-uniformity correction |
US9900526B2 (en) | 2011-06-10 | 2018-02-20 | Flir Systems, Inc. | Techniques to compensate for calibration drifts in infrared imaging devices |
WO2019222364A1 (fr) * | 2018-05-15 | 2019-11-21 | Flir Commercial Systems, Inc. | Construction d'image panoramique basée sur des images capturées par un imageur rotatif |
-
2022
- 2022-12-13 FR FR2213248A patent/FR3143163A1/fr active Pending
-
2023
- 2023-11-16 WO PCT/EP2023/082076 patent/WO2024125939A1/fr unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1727359A2 (fr) * | 2005-05-26 | 2006-11-29 | Infrared Solutions, Inc. | Procédé de reduction du motif de bruit fixe dans une caméra infrarouge |
US8503821B2 (en) | 2008-04-15 | 2013-08-06 | Flir Systems, Inc. | Scene based non-uniformity correction systems and methods |
US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
WO2012170949A2 (fr) * | 2011-06-10 | 2012-12-13 | Flir Systems, Inc. | Techniques de correction de non-uniformité pour dispositifs d'imagerie infrarouge |
US9900526B2 (en) | 2011-06-10 | 2018-02-20 | Flir Systems, Inc. | Techniques to compensate for calibration drifts in infrared imaging devices |
US20150172545A1 (en) * | 2013-10-03 | 2015-06-18 | Flir Systems, Inc. | Situational awareness by compressed display of panoramic views |
US20170372453A1 (en) * | 2016-06-28 | 2017-12-28 | Raytheon Company | Continuous motion scene based non-uniformity correction |
WO2019222364A1 (fr) * | 2018-05-15 | 2019-11-21 | Flir Commercial Systems, Inc. | Construction d'image panoramique basée sur des images capturées par un imageur rotatif |
Non-Patent Citations (2)
Title |
---|
CHAO ZUO ET AL: "Scene-based nonuniformity correction algorithm based on interframe registration", JOURNAL OF THE OPTICAL SOCIETY OF AMERICA A, vol. 28, no. 6, June 2011 (2011-06-01), pages 1164, XP055647952, ISSN: 1084-7529, DOI: 10.1364/JOSAA.28.001164 * |
TORLE PETTER: "Scene-based correction of image sensor deficiencies", 6 May 2003 (2003-05-06), pages 1 - 83, XP093066712, Retrieved from the Internet <URL:https://www.diva-portal.org/smash/get/diva2:19078/FULLTEXT01.pdf;fulltext> [retrieved on 20230724] * |
Also Published As
Publication number | Publication date |
---|---|
WO2024125939A1 (fr) | 2024-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cao et al. | Effective strip noise removal for low-textured infrared images based on 1-D guided filtering | |
US8755628B2 (en) | Image de-hazing by solving transmission value | |
US8520082B2 (en) | Image acquisition method and apparatus | |
WO2017113048A1 (fr) | Procédé et appareil de fusion d'images, et dispositif terminal | |
EP3657784B1 (fr) | Procédé d'estimation d'un défaut d'un système de capture d'images et systèmes associés | |
US8452124B2 (en) | Method and system for detecting motion blur | |
JP2022501982A (ja) | ニューラルネットワークを使用した写真の露出不足補正 | |
FR2882160A1 (fr) | Procede de capture d'images comprenant une mesure de mouvements locaux | |
EP1749278A2 (fr) | Procede de traitement de donnees d'image, par réduction de bruit d'image, et camera integrant des moyens de mise en oeuvre du procede | |
US20050030393A1 (en) | Method and device for sensor level image distortion abatement | |
Cao et al. | Spatially adaptive column fixed-pattern noise correction in infrared imaging system using 1D horizontal differential statistics | |
CN102082912A (zh) | 图像拍摄装置及图像处理方法 | |
Burge et al. | Optimal defocus estimates from individual images for autofocusing a digital camera | |
EP3200153A1 (fr) | Procédé de détection de cibles au sol et en mouvement dans un flux vidéo acquis par une caméra aéroportée | |
Bauer et al. | Automatic estimation of modulation transfer functions | |
CN116723413A (zh) | Raw域图像去噪方法及拍摄装置 | |
EP3301644B1 (fr) | Procédé de construction d'une carte de profondeur d'une scène et/ou d'une image entièrement focalisée | |
FR3143163A1 (fr) | Procede et systeme de correction de bruit fixe d’une image | |
Chittilappilly et al. | SVM based defect detection for industrial applications | |
Ratliff et al. | Scene-based correction of fixed pattern noise in hyperspectral image data using temporal reordering | |
Huang et al. | Single image dehazing via color balancing and quad-decomposition atmospheric light estimation | |
Zheng et al. | An improved adaptive preprocessing method for TDI CCD images | |
FR3095064A1 (fr) | Procédés et dispositifs de levée de doute biométrique | |
EP3963539B1 (fr) | Procede et dispositif pour retirer la remanence dans une image infrarouge d'une scene changeante | |
EP3963540B1 (fr) | Procede et dispositif pour retirer la remanence dans une image infrarouge d'une scene statique |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 2 |
|
PLSC | Publication of the preliminary search report |
Effective date: 20240614 |