FR2939938A1 - METHOD FOR ACQUIRING IMAGES USING A MATRIX DETECTOR - Google Patents

METHOD FOR ACQUIRING IMAGES USING A MATRIX DETECTOR Download PDF

Info

Publication number
FR2939938A1
FR2939938A1 FR0807074A FR0807074A FR2939938A1 FR 2939938 A1 FR2939938 A1 FR 2939938A1 FR 0807074 A FR0807074 A FR 0807074A FR 0807074 A FR0807074 A FR 0807074A FR 2939938 A1 FR2939938 A1 FR 2939938A1
Authority
FR
France
Prior art keywords
image
pixels
corrected
scene
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR0807074A
Other languages
French (fr)
Other versions
FR2939938B1 (en
Inventor
Olivier Cocle
Frederic Bellot
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Priority to FR0807074A priority Critical patent/FR2939938B1/en
Priority to PCT/EP2009/066957 priority patent/WO2010069878A1/en
Publication of FR2939938A1 publication Critical patent/FR2939938A1/en
Application granted granted Critical
Publication of FR2939938B1 publication Critical patent/FR2939938B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

L'invention concerne un procédé de correction d'images d'une scène (4), ces images comportant des pixels défectueux (101) préalablement répertoriés. Il comprend une étape d'acquisition au moyen d'un détecteur matriciel (10) d'une image de la scène, dite image à corriger (1), dont la ligne de visée est décalée d'un décalage déterminé D par rapport à la ligne de visée d'une image de référence (2') de la scène comportant des pixels valides (200), et une étape de traitement des images acquises qui comprend les sous-étapes suivantes : - recaler (B) l'image de référence (2) avec l'image à corriger (1) à partir du décalage D, - remplacer (C1, C2) les pixels défectueux (101) répertoriés de l'image à corriger (1) par les pixels valides (200) de l'image de référence (2'), représentant les mêmes informations de la scène (4), en vue d'obtenir une image corrigée (3), - si un critère de rajeunissement prédéterminé est respecté, rajeunir (D) l'image de référence (2') en remplaçant les pixels de l'image de référence par les pixels non défectueux (101) de ladite image à corriger, - réitérer les sous-étapes précédentes en acquérant (A) au moyen du détecteur matriciel (10) une nouvelle image à corriger dont la ligne de visée est décalée par rapport à l'image à corriger précédente, d'un nouveau décalage D.The invention relates to a method for correcting images of a scene (4), these images comprising defective pixels (101) previously listed. It comprises a step of acquisition by means of a matrix detector (10) of an image of the scene, called the image to be corrected (1), the line of sight of which is shifted by a determined offset D relative to the line of sight of a reference image (2 ') of the scene having valid pixels (200), and a step of processing acquired images which comprises the following substeps: - recalibrating (B) the reference image (2) with the image to be corrected (1) from the shift D, - replace (C1, C2) the defective pixels (101) listed in the image to be corrected (1) by the valid pixels (200) of the reference image (2 '), representing the same information of the scene (4), in order to obtain a corrected image (3), - if a predetermined rejuvenation criterion is respected, rejuvenate (D) the image of reference (2 ') by replacing the pixels of the reference image with the non-defective pixels (101) of said image to be corrected, - repeating the sub-states previous apes by acquiring (A) by means of the matrix detector (10) a new image to be corrected whose line of sight is shifted relative to the previous image to be corrected, of a new shift D.

Description

PROCEDE D'ACQUISITION D'IMAGES AU MOYEN D'UN DETECTEUR MATRICIEL Le domaine de l'invention est celui de l'acquisition d'images au moyen d'un détecteur matriciel, notamment un détecteur IR. The field of the invention is that of the acquisition of images by means of a matrix detector, in particular an IR detector.

Un des problèmes majeurs qui doit être résolu pour fournir une 5 image infra rouge de bonne qualité est la correction des non-uniformités des détecteurs infrarouges quelle que soit la technologie. Les capteurs refroidis basés sur des détecteurs quantiques utilisant les matériaux InSb, HgCdTe ou AsGa (technologie QWIP), les capteurs non refroidis pyro-électriques ou bolométriques (VOx ou aSi) 10 présen':ent sur une même matrice de détecteurs individuels, des réponses différer tes entre eux ; certains de ces détecteurs individuels ne sont pas utilisables en raison d'une réponse trop faible, non linéaire, trop bruitée ou saturée, etc, et génèrent dans l'image des pixels défectueux. Ils peuvent empêcher la détection d'objets d'intérêt et notamment de cibles situées dans 15 les directions correspondant à ces détecteurs. En effet, pour les systèmes de veille grand champ par exemple, utilisant des matrices de détecteurs, la cible dont l'image est plus petite que la taille d'un pixel, peut être projetée sur le même pixel pendant une longue période (vitesse tangentielle nulle, ou déplacement de faible amplitude par 20 rapport à la résolution du capteur). Dans ce cas, la détection de cette cible ne peul: avoir lieu si la cible est projetée sur un détecteur mort, ce qui diminue la performance globale du système et peut rendre celle-ci inacceptable dans le cas notamment de systèmes de veille aéroportée, navale ou terrestre. 25 Un des critères de qualité du détecteur matriciel est le taux d'opérabilité, c'est-à-dire le pourcentage de détecteurs individuels utilisables. Ce critère définit des gammes de détecteurs matriciels dont le coût de revient varie er fonction du niveau d'opérabilité voulu. Pour avoir des détecteurs faible coût, on tolère un nombre de détecteurs individuels défectueux 30 pouvant être important et parfois contigus formant ainsi des agrégats désigné: clusters en anglais. Plusieurs techniques sont utilisées actuellement pour remplacer les pixels défectueux : elles consistent à réaliser des interpolations spatiales plus ou moins complexes. Quelles que soient la subtilité et la complexité des solutions basées sur des interpolations et filtrages spatiaux, l'information qui n'a pas été acquise ne peut être reconstruite avec une garantie de réalité, en particulier dans le cas d'agrégats importants. Les solutions complexes permettent de présenter une image agréable à l'oeil mais ne régénèrent pas les informations disparues. En conséquence, il demeure à ce jour un besoin pour la correct on de pixels défectueux d'un détecteur matriciel donnant simultanément satisfaction à l'ensemble des exigences précitées, à savoir une correction par une valeur proche de celle qu'ils auraient du avoir s'ils avaient été valides. One of the major problems that must be solved to provide a good quality infrared image is the correction of the non-uniformities of infrared detectors regardless of the technology. Cooled sensors based on quantum detectors using InSb, HgCdTe or AsGa materials (QWIP technology), uncooled pyroelectric or bolometric sensors (VOx or aSi) 10 present on the same matrix of individual detectors, responses differ from each other; some of these individual detectors are not usable because of a too weak, non-linear, too noisy or saturated response, etc., and generate in the image defective pixels. They can prevent the detection of objects of interest and in particular targets located in the directions corresponding to these detectors. Indeed, for wide-field monitoring systems for example, using detector arrays, the target whose image is smaller than the size of a pixel, can be projected on the same pixel for a long time (tangential velocity zero, or displacement of small amplitude with respect to the resolution of the sensor). In this case, the detection of this target can not take place if the target is projected on a dead detector, which decreases the overall performance of the system and can make it unacceptable in the case in particular of airborne systems, naval or terrestrial. One of the quality criteria of the matrix detector is the operability rate, i.e., the percentage of individual detectors that can be used. This criterion defines ranges of matrix detectors whose cost price varies according to the desired level of operability. In order to have low cost detectors, a number of defective individual detectors 30 that can be large and sometimes contiguous are tolerated, thus forming clusters designated in English. Several techniques are currently used to replace the defective pixels: they consist of making spatial interpolations more or less complex. Whatever the subtlety and complexity of solutions based on spatial interpolation and filtering, information that has not been acquired can not be reconstructed with a guarantee of reality, especially in the case of large aggregates. Complex solutions allow to present an image pleasing to the eye but do not regenerate the missing information. Consequently, there remains to this day a need for the correct one of defective pixels of a matrix detector simultaneously giving satisfaction to all the aforementioned requirements, namely a correction by a value close to that which they should have had. they had been valid.

Selon l'invention, la correction de pixels défectueux est obtenue par extrapolation temporelle. L'invention consiste à reconstruire l'image issue d'un détecteur générant des pixels défectueux, en utilisant les pixels valides des images précédentes qui se trouvent spatialement au même endroit. Les informations issues de la scène visualisée, qui pouvaient être dissimulées derrière un agrégat de pixels défectueux sont ainsi démasquées en bougeant la ligne de visée, c'est-à-dire en modifiant la position des pixels défectueux relativement à la scène. Cette solution permet de remplacer les pixels défectueux par des pixels ayant une information originale de la scène et non pas par un pixel reconstruit à partir d'autres informations déjà présentes dans l'image au même instant. Plus précisément l'invention a pour objet un procédé de correction d'images d'une scène au moyen d'un détecteur matriciel, ces images comportant des pixels défectueux préalablement répertoriés. II comprend une étape d'acquisition d'une image de la scène, dite image à corriger, dont la ligne de visée est décalée d'un décalage déterminé D par rapport à la ligne de visée d'une image de référence de la scène comportant des pixels valides, et une étape de traitement des images acquises qui comprend les sous-étapes suivantes : - recaler l'image de référence avec cette image à corriger à partir du décalage D , - remplacer les pixels défectueux répertoriés de l'image à corriger par les pixels valides de l'image de référence, représentant les mêmes informations de la scène, en vue d'obtenir une image corrigée, - si un critère de rajeunissement prédéterminé est respecté, rajeunir l'image de référence en remplaçant les pixels de l'image de référence par les pixels non défectueux de ladite image à corriger, - réitérer les sous-étapes précédentes en acquérant une nouvelle image à corriger dont la ligne de visée est décalée par rapport à l'image à corriger précédente, d'un nouveau décalage déterminé D. Selon une caractéristique de l'invention, l'image de référence est construite initialement de la façon suivante : - tous les pixels de l'image de référence sont déclarés non valides, 15 - acquisition et mémorisation d'une image de la scène, - remplacement des pixels de l'image de référence par les pixels non défectueux de l'image de la scène. Selon une autre caractéristique de l'invention, un pixel de l'image de référence est déclaré non valide si son âge compté en nombre 20 d'absences de remplacement, est supérieur à un âge maximal. De préférence, lorsque qu'un pixel de l'image de référence est remplacé, il est déclaré valide et son âge est mis à 0 sinon pour chaque autre pixel, si son âge est inférieur à un âge maximal, son âge est incrémenté de 1, sinon le pixel est déclaré non valide. 25 Selon une variante privilégiée, lorsque les pixels défectueux de ladite image à corriger ne sont pas remplacés, ces pixels étant désignés pixels défectueux résiduels, il comprend une étape de correction des pixels défectueux résiduels de ladite image, par extrapolation spatiale avec des pixels de la même image. 30 Les pixels défectueux résiduels sont éventuellement répertoriés dans une table. L'invention a aussi pour objet un système d'imagerie équipé d'un dispositif d'acquisition d'images d'une scène qui comprend un détecteur matriciel, et une unité de traitement des images acquises, caractérisé en ce 35 que l'unité de traitement comprend des moyens de mise en oeuvre du procéd à décrit. Il comprend éventuellement un dispositif d'orientation de la ligne de visée du détecteur. Selon une caractéristique de l'invention, l'unité de traitement comprend un moyen pour déterminer le décalage D, des moyens de mémor sation du décalage D, de la table des pixels défectueux et d'une image de référence et éventuellement d'une table de pixels défectueux résiduels. According to the invention, the correction of defective pixels is obtained by time extrapolation. The invention consists in reconstructing the image from a detector generating defective pixels, by using the valid pixels of the preceding images which are spatially at the same location. The information from the visualized scene, which could be hidden behind an aggregate of defective pixels, is thus unmasked by moving the line of sight, that is to say by modifying the position of the defective pixels relative to the scene. This solution makes it possible to replace the defective pixels with pixels having original information of the scene and not with a pixel reconstructed from other information already present in the image at the same time. More specifically, the subject of the invention is a method for correcting images of a scene by means of a matrix detector, these images comprising defective pixels previously listed. It comprises a step of acquiring an image of the scene, called the image to be corrected, whose line of sight is shifted by a determined offset D with respect to the line of sight of a reference image of the scene comprising valid pixels, and a step of processing the acquired images which comprises the following substeps: - recalibrate the reference image with this image to be corrected from the shift D, - replace the defective pixels listed in the image to be corrected by the valid pixels of the reference image, representing the same information of the scene, in order to obtain a corrected image, - if a predetermined rejuvenation criterion is respected, rejuvenate the reference image by replacing the pixels of the image. reference image by the non-defective pixels of said image to be corrected, - repeating the previous substeps by acquiring a new image to be corrected, the line of sight of which is shifted relative to the previous image to be corrected, of a new determined shift D. According to one characteristic of the invention, the reference image is initially constructed in the following way: all the pixels of the reference image are declared invalid , 15 - acquisition and storage of an image of the scene, - replacement of the pixels of the reference image by the non-defective pixels of the image of the scene. According to another characteristic of the invention, a pixel of the reference image is declared invalid if its age counted in number of replacement absences is greater than a maximum age. Preferably, when a pixel of the reference image is replaced, it is declared valid and its age is set to 0 otherwise for each other pixel, if its age is less than a maximum age, its age is incremented by 1 otherwise the pixel is declared invalid. According to a preferred variant, when the defective pixels of said image to be corrected are not replaced, these pixels being designated residual defective pixels, it comprises a step of correcting the residual defective pixels of said image, by spatial extrapolation with pixels of the image. same picture. The residual defective pixels are possibly listed in a table. The invention also relates to an imaging system equipped with an image acquisition device of a scene which comprises a matrix detector, and a unit for processing acquired images, characterized in that the unit processing comprises means for implementing the described procedure. It possibly includes a device for orienting the line of sight of the detector. According to a characteristic of the invention, the processing unit comprises means for determining the offset D, means for storing the offset D, the table of defective pixels and a reference image and possibly a table. residual defective pixels.

D'autres caractéristiques et avantages de l'invention apparaîtront 1 o à la lecture de la description détaillée qui suit, faite à titre d'exemple non limitatif et en référence aux dessins annexés dans lesquels : la figure 1 représente un organigramme décrivant les principales étapes du procédé selon l'invention, les figures 2 illustrent schématiquement les différentes étapes de 15 recalage de l'image de référence avec l'image à corriger, la figure 3 représente schématiquement un système d'imagerie selon l'invention. D'une figure à l'autre, les mêmes éléments sont repérés par les mêmes références. 20 Les pixels défectueux des images proviennent de détecteurs individuels défectueux ; ces pixels défectueux sont connus et répertoriés par exemple dans une table. Un pixel est déclaré défectueux s'il est inutilisable. C'est le cas 25 lorsque par exemple sa valeur est en-dehors d'une gamme de valeurs prédéte -minée, ou éventuellement inférieure à une valeur seuil. Les pixels défectueux sont corrigés dans les images à partir d'une image ce référence. Les pixels de l'image de référence sont associés à un statut de validité qui sera défini plus loin : cette image de référence comporte 30 donc des pixels valides ou non valides. La taille de l'image de référence est au moins égale à celle des images à corriger. Elle est de préférence plus grande, typiquement 1,5 fois plus grande. L'image de référence est par exemple construite initialement de la :35 façon suivante illustrée figure 2a. Dans un premier temps, tous les pixels de l'image de référence sont déclarés non valides : on a une image de référence 2' vide. Puis une image de la scène 4 est acquise et mémorisée (elle est désignée image à corriger 1 et correspond à la scène 41) et les pixels de l'image de référence 2' sont remplacés (ou rajeunis) par les pixels valides de cette image 1 de la scène 4 : on obtient une image de référence rajeunie 2. Cela revient à appliquer le processus décrit plus loin avec D=0. On obtient ainsi une image de référence 2 initiale qui comprend des pixels non valides 201, qui correspondent aux pixels défectueux 101 répertoriés et les pixels hors taille image acquise. Other features and advantages of the invention will become apparent on reading the following detailed description, given by way of nonlimiting example and with reference to the appended drawings in which: FIG. 1 represents a flowchart describing the main steps 2 schematically illustrate the different steps of resetting the reference image with the image to be corrected, FIG. 3 schematically represents an imaging system according to the invention. From one figure to another, the same elements are identified by the same references. The defective pixels of the images come from defective individual detectors; these defective pixels are known and listed for example in a table. A pixel is declared defective if it is unusable. This is the case when, for example, its value is outside a range of values-mined, or possibly lower than a threshold value. The defective pixels are corrected in the images from an image that reference. The pixels of the reference image are associated with a validity status which will be defined later: this reference image therefore comprises valid or invalid pixels. The size of the reference image is at least equal to that of the images to be corrected. It is preferably larger, typically 1.5 times larger. The reference image is for example initially constructed as follows: FIG. 2a. Firstly, all the pixels of the reference image are declared invalid: there is a reference image 2 'empty. Then an image of the scene 4 is acquired and stored (it is designated image to be corrected 1 and corresponds to the scene 41) and the pixels of the reference image 2 'are replaced (or rejuvenated) by the valid pixels of this image 1 of scene 4: a rejuvenated reference image 2 is obtained. This amounts to applying the process described later with D = 0. An initial reference image 2 is thus obtained that includes invalid pixels 201, which correspond to the defective pixels 101 listed and the acquired image size pixels.

Cette image de référence étant obtenue, le procédé selon l'invention comprend une étape d'acquisition d'une image de la scène 4, dite image à corriger 1 dont la ligne de visée est décalée par rapport à la ligne de visée de l'image précédente (de la scène), d'un décalage déterminé D ; elle correspond à la scène 42. De cette façon, d'une image à l'autre, la position des pixels relativement à la scène est modifiée et notamment celle des pixels défectueux : les informations issues de la scène visualisée, qui sont dissimulées derrière les pixels défectueux de l'image à corriger peuvent ainsi être démasquées lorsqu'elles sont sur des pixels valides de l'image de référence. As this reference image is obtained, the method according to the invention comprises a step of acquiring an image of scene 4, called the image to be corrected 1 whose line of sight is shifted with respect to the line of sight of the previous image (of the scene), of a determined shift D; it corresponds to the scene 42. In this way, from one image to the other, the position of the pixels relative to the scene is modified and in particular that of the defective pixels: the information from the visualized scene, which is hidden behind the images. defective pixels of the image to be corrected can thus be unmasked when they are on valid pixels of the reference image.

On va décrire le processus de remplacement des pixels défectueux dans l'image à corriger en relation avec l'organigramme de la figure 1 et les figures 2b et 2c; ils sont remplacés par les pixels valides de l'image de référence. A chaque pixel de l'image de référence 2' est bien sûr associé sa valeur (son niveau de gris ou de couleur) ainsi qu'un statut de validité (étape G). Le pixel est déclaré valide si un critère de validité est rempli. Ce critère est par exemple fondé sur l'âge du pixel compté en nombre d'images sans remplacement. Un pixel de l'image de référence est déclaré valide si : - il a déjà été remplacé par un pixel d'une image acquise - et si le pixel n'est pas trop vieux c'est-à-dire si son âge n'a pas atteint un âge maximal prédéterminé. Cet âge maximal peut être paramétré en fonction de différents critères comme la vitesse de déplacement de la ligne de visée, ou la fréquence d'acquisition image. Si l'un de ces critères n'est pas satisfait, le pixel est déclaré non valide et répertorié à ce titre dans le statut associé au pixel. The process of replacing the defective pixels in the image to be corrected will be described in relation to the flowchart of FIG. 1 and FIGS. 2b and 2c; they are replaced by the valid pixels of the reference image. Each pixel of the reference image 2 'is of course associated with its value (its gray level or color level) as well as a validity status (step G). The pixel is declared valid if a validity criterion is fulfilled. This criterion is for example based on the age of the pixel counted in number of images without replacement. A pixel of the reference image is declared valid if: - it has already been replaced by a pixel of an acquired image - and if the pixel is not too old, that is to say if its age n ' has not reached a predetermined maximum age. This maximum age can be set according to different criteria such as the speed of movement of the line of sight, or the image acquisition rate. If one of these criteria is not satisfied, the pixel is declared invalid and listed as such in the status associated with the pixel.

Pour chaque pixel répertorié dans la table 31 des pixels défectueux, on regarde si le pixel correspondant spatialement dans l'image de référence est valide. Comme illustré figures 2, cette correspondance spatiale est obtenue en recalant les deux images l'une par rapport à l'autre à partir du décalage déterminé D (étape B), pour pouvoir comparer les pixels représentant les mêmes informations de la scène visualisée : on obtient une image de référence recalée 2'. Les emplacements des pixels sont généra lement repérés à partir d'un référentiel orthonormé Ox, Oy. Le recalage des images consiste alors par exemple à réaliser une translation du ~o référentiel. Si le pixel de l'image de référence 2' est valide, on l'utilise dans l'image à corriger 1 pour remplacer le pixel défectueux (étapes Cl et C2) et on incrémente son âge dans l'image de référence, sinon on ne l'utilise pas et de préférence on répertorie le pixel resté défecteux de l'image à corriger 15 dans la table des pixels défectueux résiduels 32 (étape F). Cette table peut être utilisée pour une correction complémentaire (étape E) basée sur une extrapolation spatiale des pixels défectueux résiduels avec d'autres pixels de la même image. Pour les autres pixels de l'image à corriger (qui ne sont donc pas 20 défectueux), on les copie dans l'image de référence c'est-à-dire que leur valeur est attribuée aux pixels correspondants de l'image de référence ; en outre, ses pixels copiés sont déclarés valides et leur âge est égal à 0 ce qui se traduit par le statut : V,O. L'image de référence est ainsi rajeunie (étape D) au fur et à mesure des corrections : on obtient une image de référence 25 rajeunie 2. En fait elle est en partie rajeunie puisque seulement certains pixels sont rajeunis. Ce rajeunissement peut être effectué : à chaque itération c'est-à-dire pour chaque image à corriger, ou selon une périodicité à déterminer, ou selon le décalage appliqué, 30 ou tout autre critère. Ces étapes sont réitérées en acquérant une nouvelle image à corriger, dont la ligne de visée est décalée par rapport à l'image précédente (et dorc par rapport à l'image de référence) d'un nouveau décalage D (étape A). L'image de référence rajeunie devient l'image de référence à recaler. For each pixel listed in the table 31 of the defective pixels, it is examined whether the spatially corresponding pixel in the reference image is valid. As illustrated in FIG. 2, this spatial correspondence is obtained by recalibrating the two images with respect to each other from the determined offset D (step B), in order to be able to compare the pixels representing the same information of the displayed scene: gets a dummy reference image 2 '. The locations of the pixels are generally identified from an orthonormal reference frame Ox, Oy. The registration of the images then consists, for example, of carrying out a translation of the referential ~ o. If the pixel of the reference image 2 'is valid, it is used in the image to be corrected 1 to replace the defective pixel (steps C1 and C2) and its age is incremented in the reference image, otherwise does not use it and preferably lists the defective pixel of the image to be corrected in the residual defective pixels table 32 (step F). This table can be used for a complementary correction (step E) based on a spatial extrapolation of the residual defective pixels with other pixels of the same image. For the other pixels of the image to be corrected (which are therefore not defective), they are copied into the reference image, that is to say that their value is assigned to the corresponding pixels of the reference image. ; in addition, its copied pixels are declared valid and their age is equal to 0 which results in the status: V, O. The reference image is thus rejuvenated (step D) as and when the corrections are made: a rejuvenated reference image 2 is obtained. In fact, it is partly rejuvenated since only some of the pixels are rejuvenated. This rejuvenation can be performed: at each iteration, that is to say for each image to be corrected, or according to a periodicity to be determined, or according to the offset applied, or any other criterion. These steps are repeated by acquiring a new image to correct, whose line of sight is shifted from the previous image (and dorc relative to the reference image) of a new shift D (step A). The rejuvenated reference image becomes the reference image to be readjusted.

Pour mettre en oeuvre cette invention dans un système d'imagerie tel qu'une caméra (ou jumelle), il est nécessaire pour le système d'avoir accès à la mesure du mouvement de la ligne de visée, c'est-à-dire aux décalages D afin de pouvoir recaler spatialement les images successives. Ce mécanisme peut être externe ou interne. Il peut venir d'informations du porteur du système ou du système lui-même. Les caméras portables qui disposent d'un système de stabilisation d'image possèdent obligatoirement l'information sur le mouvement de la ligne de visée. Dans d'autres cas, le décalage D de la ligne de visée est imposé ~o par le système d'imagerie. Les décalages (subis ou imposés) sont mémorisés pour être utilisés ors du recalage des images entre elles. Un exemple de système d'imagerie selon l'invention est montré figure Il comprend un dispositif d'acquisition d'images d'une scène qui 15 comprend un détecteur matriciel 10, un dispositif 20 d'orientation de la ligne de visée du détecteur, et une unité de traitement 30 des images acquises. Cette unité de traitement comprend des moyens de mise en oeuvre du procédé précédemment décrit. Elle est reliée à des moyens de mémorisation 31 de la table des pixels défectueux qui ont été préalablement répertoriés. 20 Elle coriprend des moyens pour déterminer et mémoriser 32 les décalages D, l'image de référence, et de préférence une table des pixels défectueux résiduels. Les moyens pour déterminer le décalage D peuvent être des moyens de mesure du décalage D lorsqu'il s'agit par exemple d'un décalage 25 subi ; ceci est illustré par la flèche qui va du détecteur 10 vers le dispositif 20 qui calcule ce décalage. Le décalage peut aussi être imposé ; ceci est illustré par la floche qui va du dispositif 20 vers le détecteur 10. Pour des images à corriger comportant par exemple 384 x 288 pixels, c n peut considérer une image de référence de 576 x 432 pixels, c'est- 30 à-dire 1,5 fois plus grande que l'image à corriger. Lorsque l'image de référence et l'image à corriger sont recalées entre elles, seule une partie de l'image de référence est prise en compte pendant le processus de remplacement des pixels : il s'agit bien sûr de la partie correspondant spatialement à celle de l'image à corriger. To implement this invention in an imaging system such as a camera (or binocular), it is necessary for the system to have access to the measurement of the movement of the line of sight, i.e. D offsets in order to spatially recalive the successive images. This mechanism can be external or internal. It can come from information of the system carrier or the system itself. Portable cameras that have an image stabilization system must have information on the movement of the line of sight. In other cases, the shift D of the line of sight is imposed ~ o by the imaging system. The offsets (undergoing or imposed) are stored for use in the registration of images between them. An example of an imaging system according to the invention is shown in FIG. 11 which comprises an image acquisition device of a scene which comprises a matrix detector 10, a device 20 for orienting the line of sight of the detector, and a processing unit 30 acquired images. This processing unit comprises means for implementing the previously described method. It is connected to storage means 31 of the table of defective pixels that have been previously listed. It provides means for determining and storing the offsets D, the reference image, and preferably a table of residual defective pixels. The means for determining the offset D may be means for measuring the offset D when it is for example a shift 25 undergone; this is illustrated by the arrow that goes from the detector 10 to the device 20 which calculates this offset. The shift can also be imposed; this is illustrated by the arrow that goes from the device 20 to the detector 10. For images to be corrected comprising, for example, 384 × 288 pixels, a reference image of 576 × 432 pixels can be considered, that is to say 1.5 times larger than the image to be corrected. When the reference image and the image to be corrected are recalibrated with each other, only part of the reference image is taken into account during the pixel replacement process: it is of course the part corresponding spatially to that of the image to correct.

Les décalages successifs varient typiquement de 1 à 10 pixels sans que cette valeur soit limitative (il est raisonnable de ne pas dépasser un quart de la taille de l'image). Ces décalages peuvent être identiques ou non d'une image à l'autre.5 The successive offsets typically vary from 1 to 10 pixels without this value being limiting (it is reasonable not to exceed a quarter of the size of the image). These offsets may or may not be identical from one image to another.5

Claims (11)

REVENDICATIONS1. Procédé de correction d'images d'une scène (4), ces images comportant des pixels défectueux (101) préalablement répertoriés, caractérisé en ce qu'il comprend une étape d'acquisition au moyen d'un détecteur matriciel (10) d'une image de la scène, dite image à corriger (1), dont la ligne de visée est décalée d'un décalage 1 o déterminé D par rapport à la ligne de visée d'une image de référence (2') de la scène comportant des pixels valides (200), et une étape de traitement des images acquises qui comprend les sous-étapes suivantes : - recaler (B) l'image de référence (2) avec l'image à corriger (1) à 15 partir du décalage D, - remplacer (Cl, C2) les pixels défectueux (101) répertoriés de l'image à corriger (1) par les pixels valides (200) de l'image de référence (2'), représentant les mêmes informations de la scène (4), en vue d'obtenir une image corrigée (3), 20 - si un critère de rajeunissement prédéterminé est respecté, rajeunir (D) l'image de référence (2') en remplaçant les pixels de l'image de référence par les pixels non défectueux (101) de ladite image à corriger, - réitérer les sous-étapes précédentes en acquérant (A) au moyen 25 du détecteur matriciel (10) une nouvelle image à corriger dont la ligne de visée est décalée par rapport à l'image à corriger précédente, d'un nouveau décalage D. REVENDICATIONS1. Method for correcting images of a scene (4), these images comprising defective pixels (101) previously listed, characterized in that it comprises an acquisition step by means of a matrix detector (10) of an image of the scene, called the image to be corrected (1), whose line of sight is shifted by a determined offset D relative to the line of sight of a reference image (2 ') of the scene comprising valid pixels (200), and a step of processing the acquired images which comprises the following substeps: - recalibrating (B) the reference image (2) with the image to be corrected (1) from the offset D, - replacing (C1, C2) the defective pixels (101) listed in the image to be corrected (1) by the valid pixels (200) of the reference image (2 '), representing the same information of the scene (4), in order to obtain a corrected image (3), - if a predetermined rejuvenation criterion is met, rejuvenate (D) the image referencing (2 ') by replacing the pixels of the reference image with the non-defective pixels (101) of said image to be corrected; - repeating the previous substeps by acquiring (A) by means of the matrix detector ( 10) a new image to be corrected whose line of sight is shifted relative to the previous image to be corrected, of a new shift D. 2. Procédé de correction d'images selon la revendication précédente, 30 caractérisé en ce que l'image de référence est construite initialement de la façon suivante : tous les pixels de l'image de référence sont déclarés non valides, - acquisition et mémorisation d'une image de la scène, :35 remplacement des pixels de l'image de référence par les pixels non défectueux de l'image de la scène. 2. An image correction method according to the preceding claim, characterized in that the reference image is initially constructed in the following manner: all the pixels of the reference image are declared invalid, - acquisition and storage of an image of the scene: replacing the pixels of the reference image with the non-defective pixels of the scene image. 3. Procédé de correction d'images selon l'une des revendications précédentes, caractérisé en ce que les pixels défectueux sont répertoriés dans une table (31). 3. image correction method according to one of the preceding claims, characterized in that the defective pixels are listed in a table (31). 4. Procédé de correction d'images selon l'une des revendications précédentes, caractérisé en ce qu'un pixel de l'image de référence (2) est déclaré non valide si son âge compté en nombre d'absences de remplacement, est supérieur à un âge maximal. 10 4. image correction method according to one of the preceding claims, characterized in that a pixel of the reference image (2) is declared invalid if its age counted in number of replacement absences is greater than at a maximum age. 10 5. Procédé de correction d'images selon la revendication précédente, caractérisé en ce que lorsque qu'un pixel de l'image de référence (2) est remplacé, il est déclaré valide (F) et son âge est mis à 0 sinon pour chaque autre pixel, si son âge est inférieur à un âge maximal, 15 s n âge est incrémenté de 1, sinon il est déclaré non valide. 5. An image correction method according to the preceding claim, characterized in that when a pixel of the reference image (2) is replaced, it is declared valid (F) and its age is set to 0 otherwise for every other pixel, if its age is less than a maximum age, 15 sn age is incremented by 1, otherwise it is declared invalid. 6. Procédé de correction d'images selon l'une des revendications p-écédentes, caractérisé en ce que lorsque les pixels défectueux de ladite image à corriger (1) ne sont pas remplacés, ces pixels étant 20 désignés pixels défectueux résiduels, il comprend une étape de correction (E) des pixels défectueux résiduels de ladite image, par extrapolation spatiale avec des pixels de la même image. 6. A method of image correction according to one of the claims p-ecédentes, characterized in that when the defective pixels of said image to be corrected (1) are not replaced, these pixels being designated residual defective pixels, it comprises a step of correcting (E) the residual defective pixels of said image, by spatial extrapolation with pixels of the same image. 7. Procédé de correction d'images selon la revendication précédente, 25 caractérisé en ce que les pixels défectueux résiduels sont répertoriés dans une table (32). 7. An image correction method according to the preceding claim, characterized in that the residual defective pixels are listed in a table (32). 8. Système d'imagerie équipé d'un dispositif d'acquisition d'images d'une scène (4) qui comprend un détecteur matriciel (10), et une unité de 30 traitement (30) des images acquises, caractérisé en ce que l'unité de traitement comprend des moyens de mise en oeuvre du procédé selon I'Lne des revendications précédentes.5 An imaging system equipped with a scene acquisition device (4) which comprises a matrix detector (10), and a processing unit (30) of acquired images, characterized in that the processing unit comprises means for implementing the method according to one of the preceding claims.5 9. Système d'imagerie selon la revendication précédente, caractérisé en ce qu'il comprend un dispositif (20) d'orientation de la ligne de visée du détecteur. 9. Imaging system according to the preceding claim, characterized in that it comprises a device (20) for orienting the line of sight of the detector. 10.Système d'imagerie selon l'une des revendications 8 ou 9, caractérisé en ce qu'il comprend des moyens (31) pour mémoriser la table des pixels défectueux et en ce que l'unité de traitement (30) comprend des rnoyens pour mémoriser (32) le décalage D, et l'image de référence (2). 10.Image system according to one of claims 8 or 9, characterized in that it comprises means (31) for storing the table of defective pixels and in that the processing unit (30) comprises means for storing (32) the offset D, and the reference image (2). 11. Système d'imagerie selon l'une des revendications 8 à 10, caractérisé en ce que l'unité de traitement (30) comprend des moyens de mémorisation (32) d'une table de pixel défectueux résiduels. 11. Imaging system according to one of claims 8 to 10, characterized in that the processing unit (30) comprises means (32) for storing a residual defective pixel table.
FR0807074A 2008-12-16 2008-12-16 METHOD FOR ACQUIRING IMAGES USING A MATRIX DETECTOR Expired - Fee Related FR2939938B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR0807074A FR2939938B1 (en) 2008-12-16 2008-12-16 METHOD FOR ACQUIRING IMAGES USING A MATRIX DETECTOR
PCT/EP2009/066957 WO2010069878A1 (en) 2008-12-16 2009-12-11 Method for acquiring images using a matrix detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0807074A FR2939938B1 (en) 2008-12-16 2008-12-16 METHOD FOR ACQUIRING IMAGES USING A MATRIX DETECTOR

Publications (2)

Publication Number Publication Date
FR2939938A1 true FR2939938A1 (en) 2010-06-18
FR2939938B1 FR2939938B1 (en) 2011-05-13

Family

ID=40863567

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0807074A Expired - Fee Related FR2939938B1 (en) 2008-12-16 2008-12-16 METHOD FOR ACQUIRING IMAGES USING A MATRIX DETECTOR

Country Status (2)

Country Link
FR (1) FR2939938B1 (en)
WO (1) WO2010069878A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528043A (en) * 1995-04-21 1996-06-18 Thermotrex Corporation X-ray image sensor
US20050030394A1 (en) * 2001-06-29 2005-02-10 Vanguard International Semiconductor Corporation Pixel defect correction in a CMOS active pixel image sensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528043A (en) * 1995-04-21 1996-06-18 Thermotrex Corporation X-ray image sensor
US20050030394A1 (en) * 2001-06-29 2005-02-10 Vanguard International Semiconductor Corporation Pixel defect correction in a CMOS active pixel image sensor

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DUDAS J ET AL: "A Fault-Tolerant Active Pixel Sensor for Mitigating Hot Pixel Defects", ELECTRICAL AND COMPUTER ENGINEERING, 2007. CCECE 2007. CANADIAN CONFER ENCE ON, IEEE, PI, 1 April 2007 (2007-04-01), pages 1445 - 1448, XP031176804, ISBN: 978-1-4244-1020-0 *
NIKOLAOS BELLAS ET AL: "An Image Processing Pipeline with Digital Compensation of Low Cost Optics for Mobile Telephony", MULTIMEDIA AND EXPO, 2006 IEEE INTERNATIONAL CONFERENCE ON, IEEE, PI, 1 July 2006 (2006-07-01), pages 1249 - 1252, XP031033069, ISBN: 978-1-4244-0366-0 *
SHAO-YI CHIEN ET AL: "Motion Adaptive Spatio-Temporal Gaussian Noise Reduction Filter for Double-Shot Images", MULTIMEDIA AND EXPO, 2007 IEEE INTERNATIONAL CONFERENCE ON, IEEE, PI, 1 July 2007 (2007-07-01), pages 1659 - 1662, XP031123961, ISBN: 978-1-4244-1016-3 *

Also Published As

Publication number Publication date
WO2010069878A1 (en) 2010-06-24
FR2939938B1 (en) 2011-05-13

Similar Documents

Publication Publication Date Title
EP2457379B1 (en) Method for estimating a defect in an image capture system and associated systems
FR3038431A1 (en) HIGH RESOLUTION CAMERA BLOCK FOR DRONE, WITH CORRECTION OF ONDULATING OSCILLATION TYPE INSTABILITIES
WO2018025001A1 (en) Method for producing a digital image, associated computer program product and optical system
EP2248338A1 (en) Mixed optical device for multifocal imaging and ir calibration
EP3114831A1 (en) Optimised video denoising for heterogeneous multisensor system
FR3062009A1 (en) ADAPTIVE GENERATION OF A DYNAMICALLY ENHANCED SCENE IMAGE OF A SCENE FROM A PLURALITY OF IMAGES OBTAINED BY NON-DESTRUCTIVE READING OF AN IMAGE SENSOR
FR3055727B1 (en) METHOD AND DEVICE FOR CHARACTERIZING ABERRATIONS OF AN OPTICAL SYSTEM
EP3301644B1 (en) Method for building a depth map of a scene and/or an all-in-focus image
FR2939938A1 (en) METHOD FOR ACQUIRING IMAGES USING A MATRIX DETECTOR
FR3047829A1 (en) METHOD FOR ESTIMATING THE POSITION OF THE SOLAR DISK IN A SKY IMAGE
WO2019092126A1 (en) Method for observing the surface of the earth and device for implementing same
EP3853653B1 (en) Adaptive method, system and computer program for capturing an image
FR3079651A1 (en) METHOD AND SYSTEM FOR CALIBRATING AT LEAST ONE PARAMETER OF AN IMAGE ACQUISITION DEVICE
EP3963540A1 (en) Method and device for removing remanence in an infrared image of a static scene
FR2981149A1 (en) Aircraft, has attitude measurement device including optical sensor that captures images of stars, where attitude measurement device measures attitude of aircraft at both day and night from images taken by sensor
FR3047830A1 (en) METHOD FOR DETERMINING THE DIRECTION OF MOVING OBJECTS IN A SCENE
FR3007872B1 (en) METHOD OF ESTIMATING THE TOTAL IMAGE OF A SCENE
WO2022128677A1 (en) Method for calibrating an ultra wide angle camera
FR3131163A1 (en) Observation system and associated observation method
FR2711812A1 (en) Method and system for automatic control of the diaphragm of an image-formation device
FR2962871A3 (en) Image acquisition device for e.g. camera in video-conferencing, has scenery elements seen from device, and photographic objective with optical axis made positioned with respect to device when no correction by line of sight of device is made
WO2009060147A2 (en) Method and device for forming a high-definition image
FR2942048A1 (en) Three sixty degree image capturing device for e.g. use during videoconferencing, has optical group including diverging lenses for compensating curve of field induced by convex mirror, where mirror produces reflected ray bundle
FR2964203A1 (en) Image acquiring device e.g. camera, for use in photograph field of two-dimensional effects, has target determining unit determining part of panoramic, where viewing axis of device is passed through optical center of lens and sensor
Tendero Mathematical theory of the Flutter Shutter: its paradoxes and their solution

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

PLFP Fee payment

Year of fee payment: 10

PLFP Fee payment

Year of fee payment: 11

ST Notification of lapse

Effective date: 20200914