FR2939938A1

FR2939938A1 - Procede d'acquisition d'images au moyen d'un detecteur matriciel

Info

Publication number: FR2939938A1
Application number: FR0807074A
Authority: FR
Inventors: Olivier Cocle; Frederic Bellot
Original assignee: Thales SA
Current assignee: Thales SA
Priority date: 2008-12-16
Filing date: 2008-12-16
Publication date: 2010-06-18
Anticipated expiration: 2028-12-16
Also published as: FR2939938B1; WO2010069878A1

Abstract

L'invention concerne un procédé de correction d'images d'une scène (4), ces images comportant des pixels défectueux (101) préalablement répertoriés. Il comprend une étape d'acquisition au moyen d'un détecteur matriciel (10) d'une image de la scène, dite image à corriger (1), dont la ligne de visée est décalée d'un décalage déterminé D par rapport à la ligne de visée d'une image de référence (2') de la scène comportant des pixels valides (200), et une étape de traitement des images acquises qui comprend les sous-étapes suivantes : - recaler (B) l'image de référence (2) avec l'image à corriger (1) à partir du décalage D, - remplacer (C1, C2) les pixels défectueux (101) répertoriés de l'image à corriger (1) par les pixels valides (200) de l'image de référence (2'), représentant les mêmes informations de la scène (4), en vue d'obtenir une image corrigée (3), - si un critère de rajeunissement prédéterminé est respecté, rajeunir (D) l'image de référence (2') en remplaçant les pixels de l'image de référence par les pixels non défectueux (101) de ladite image à corriger, - réitérer les sous-étapes précédentes en acquérant (A) au moyen du détecteur matriciel (10) une nouvelle image à corriger dont la ligne de visée est décalée par rapport à l'image à corriger précédente, d'un nouveau décalage D.

Description

PROCEDE D'ACQUISITION D'IMAGES AU MOYEN D'UN DETECTEUR MATRICIEL Le domaine de l'invention est celui de l'acquisition d'images au moyen d'un détecteur matriciel, notamment un détecteur IR.

Un des problèmes majeurs qui doit être résolu pour fournir une 5 image infra rouge de bonne qualité est la correction des non-uniformités des détecteurs infrarouges quelle que soit la technologie. Les capteurs refroidis basés sur des détecteurs quantiques utilisant les matériaux InSb, HgCdTe ou AsGa (technologie QWIP), les capteurs non refroidis pyro-électriques ou bolométriques (VOx ou aSi) 10 présen':ent sur une même matrice de détecteurs individuels, des réponses différer tes entre eux ; certains de ces détecteurs individuels ne sont pas utilisables en raison d'une réponse trop faible, non linéaire, trop bruitée ou saturée, etc, et génèrent dans l'image des pixels défectueux. Ils peuvent empêcher la détection d'objets d'intérêt et notamment de cibles situées dans 15 les directions correspondant à ces détecteurs. En effet, pour les systèmes de veille grand champ par exemple, utilisant des matrices de détecteurs, la cible dont l'image est plus petite que la taille d'un pixel, peut être projetée sur le même pixel pendant une longue période (vitesse tangentielle nulle, ou déplacement de faible amplitude par 20 rapport à la résolution du capteur). Dans ce cas, la détection de cette cible ne peul: avoir lieu si la cible est projetée sur un détecteur mort, ce qui diminue la performance globale du système et peut rendre celle-ci inacceptable dans le cas notamment de systèmes de veille aéroportée, navale ou terrestre. 25 Un des critères de qualité du détecteur matriciel est le taux d'opérabilité, c'est-à-dire le pourcentage de détecteurs individuels utilisables. Ce critère définit des gammes de détecteurs matriciels dont le coût de revient varie er fonction du niveau d'opérabilité voulu. Pour avoir des détecteurs faible coût, on tolère un nombre de détecteurs individuels défectueux 30 pouvant être important et parfois contigus formant ainsi des agrégats désigné: clusters en anglais. Plusieurs techniques sont utilisées actuellement pour remplacer les pixels défectueux : elles consistent à réaliser des interpolations spatiales plus ou moins complexes. Quelles que soient la subtilité et la complexité des solutions basées sur des interpolations et filtrages spatiaux, l'information qui n'a pas été acquise ne peut être reconstruite avec une garantie de réalité, en particulier dans le cas d'agrégats importants. Les solutions complexes permettent de présenter une image agréable à l'oeil mais ne régénèrent pas les informations disparues. En conséquence, il demeure à ce jour un besoin pour la correct on de pixels défectueux d'un détecteur matriciel donnant simultanément satisfaction à l'ensemble des exigences précitées, à savoir une correction par une valeur proche de celle qu'ils auraient du avoir s'ils avaient été valides.

Selon l'invention, la correction de pixels défectueux est obtenue par extrapolation temporelle. L'invention consiste à reconstruire l'image issue d'un détecteur générant des pixels défectueux, en utilisant les pixels valides des images précédentes qui se trouvent spatialement au même endroit. Les informations issues de la scène visualisée, qui pouvaient être dissimulées derrière un agrégat de pixels défectueux sont ainsi démasquées en bougeant la ligne de visée, c'est-à-dire en modifiant la position des pixels défectueux relativement à la scène. Cette solution permet de remplacer les pixels défectueux par des pixels ayant une information originale de la scène et non pas par un pixel reconstruit à partir d'autres informations déjà présentes dans l'image au même instant. Plus précisément l'invention a pour objet un procédé de correction d'images d'une scène au moyen d'un détecteur matriciel, ces images comportant des pixels défectueux préalablement répertoriés. II comprend une étape d'acquisition d'une image de la scène, dite image à corriger, dont la ligne de visée est décalée d'un décalage déterminé D par rapport à la ligne de visée d'une image de référence de la scène comportant des pixels valides, et une étape de traitement des images acquises qui comprend les sous-étapes suivantes : - recaler l'image de référence avec cette image à corriger à partir du décalage D , - remplacer les pixels défectueux répertoriés de l'image à corriger par les pixels valides de l'image de référence, représentant les mêmes informations de la scène, en vue d'obtenir une image corrigée, - si un critère de rajeunissement prédéterminé est respecté, rajeunir l'image de référence en remplaçant les pixels de l'image de référence par les pixels non défectueux de ladite image à corriger, - réitérer les sous-étapes précédentes en acquérant une nouvelle image à corriger dont la ligne de visée est décalée par rapport à l'image à corriger précédente, d'un nouveau décalage déterminé D. Selon une caractéristique de l'invention, l'image de référence est construite initialement de la façon suivante : - tous les pixels de l'image de référence sont déclarés non valides, 15 - acquisition et mémorisation d'une image de la scène, - remplacement des pixels de l'image de référence par les pixels non défectueux de l'image de la scène. Selon une autre caractéristique de l'invention, un pixel de l'image de référence est déclaré non valide si son âge compté en nombre 20 d'absences de remplacement, est supérieur à un âge maximal. De préférence, lorsque qu'un pixel de l'image de référence est remplacé, il est déclaré valide et son âge est mis à 0 sinon pour chaque autre pixel, si son âge est inférieur à un âge maximal, son âge est incrémenté de 1, sinon le pixel est déclaré non valide. 25 Selon une variante privilégiée, lorsque les pixels défectueux de ladite image à corriger ne sont pas remplacés, ces pixels étant désignés pixels défectueux résiduels, il comprend une étape de correction des pixels défectueux résiduels de ladite image, par extrapolation spatiale avec des pixels de la même image. 30 Les pixels défectueux résiduels sont éventuellement répertoriés dans une table. L'invention a aussi pour objet un système d'imagerie équipé d'un dispositif d'acquisition d'images d'une scène qui comprend un détecteur matriciel, et une unité de traitement des images acquises, caractérisé en ce 35 que l'unité de traitement comprend des moyens de mise en oeuvre du procéd à décrit. Il comprend éventuellement un dispositif d'orientation de la ligne de visée du détecteur. Selon une caractéristique de l'invention, l'unité de traitement comprend un moyen pour déterminer le décalage D, des moyens de mémor sation du décalage D, de la table des pixels défectueux et d'une image de référence et éventuellement d'une table de pixels défectueux résiduels.

D'autres caractéristiques et avantages de l'invention apparaîtront 1 o à la lecture de la description détaillée qui suit, faite à titre d'exemple non limitatif et en référence aux dessins annexés dans lesquels : la figure 1 représente un organigramme décrivant les principales étapes du procédé selon l'invention, les figures 2 illustrent schématiquement les différentes étapes de 15 recalage de l'image de référence avec l'image à corriger, la figure 3 représente schématiquement un système d'imagerie selon l'invention. D'une figure à l'autre, les mêmes éléments sont repérés par les mêmes références. 20 Les pixels défectueux des images proviennent de détecteurs individuels défectueux ; ces pixels défectueux sont connus et répertoriés par exemple dans une table. Un pixel est déclaré défectueux s'il est inutilisable. C'est le cas 25 lorsque par exemple sa valeur est en-dehors d'une gamme de valeurs prédéte -minée, ou éventuellement inférieure à une valeur seuil. Les pixels défectueux sont corrigés dans les images à partir d'une image ce référence. Les pixels de l'image de référence sont associés à un statut de validité qui sera défini plus loin : cette image de référence comporte 30 donc des pixels valides ou non valides. La taille de l'image de référence est au moins égale à celle des images à corriger. Elle est de préférence plus grande, typiquement 1,5 fois plus grande. L'image de référence est par exemple construite initialement de la :35 façon suivante illustrée figure 2a. Dans un premier temps, tous les pixels de l'image de référence sont déclarés non valides : on a une image de référence 2' vide. Puis une image de la scène 4 est acquise et mémorisée (elle est désignée image à corriger 1 et correspond à la scène 41) et les pixels de l'image de référence 2' sont remplacés (ou rajeunis) par les pixels valides de cette image 1 de la scène 4 : on obtient une image de référence rajeunie 2. Cela revient à appliquer le processus décrit plus loin avec D=0. On obtient ainsi une image de référence 2 initiale qui comprend des pixels non valides 201, qui correspondent aux pixels défectueux 101 répertoriés et les pixels hors taille image acquise.

Cette image de référence étant obtenue, le procédé selon l'invention comprend une étape d'acquisition d'une image de la scène 4, dite image à corriger 1 dont la ligne de visée est décalée par rapport à la ligne de visée de l'image précédente (de la scène), d'un décalage déterminé D ; elle correspond à la scène 42. De cette façon, d'une image à l'autre, la position des pixels relativement à la scène est modifiée et notamment celle des pixels défectueux : les informations issues de la scène visualisée, qui sont dissimulées derrière les pixels défectueux de l'image à corriger peuvent ainsi être démasquées lorsqu'elles sont sur des pixels valides de l'image de référence.

On va décrire le processus de remplacement des pixels défectueux dans l'image à corriger en relation avec l'organigramme de la figure 1 et les figures 2b et 2c; ils sont remplacés par les pixels valides de l'image de référence. A chaque pixel de l'image de référence 2' est bien sûr associé sa valeur (son niveau de gris ou de couleur) ainsi qu'un statut de validité (étape G). Le pixel est déclaré valide si un critère de validité est rempli. Ce critère est par exemple fondé sur l'âge du pixel compté en nombre d'images sans remplacement. Un pixel de l'image de référence est déclaré valide si : - il a déjà été remplacé par un pixel d'une image acquise - et si le pixel n'est pas trop vieux c'est-à-dire si son âge n'a pas atteint un âge maximal prédéterminé. Cet âge maximal peut être paramétré en fonction de différents critères comme la vitesse de déplacement de la ligne de visée, ou la fréquence d'acquisition image. Si l'un de ces critères n'est pas satisfait, le pixel est déclaré non valide et répertorié à ce titre dans le statut associé au pixel.

Pour chaque pixel répertorié dans la table 31 des pixels défectueux, on regarde si le pixel correspondant spatialement dans l'image de référence est valide. Comme illustré figures 2, cette correspondance spatiale est obtenue en recalant les deux images l'une par rapport à l'autre à partir du décalage déterminé D (étape B), pour pouvoir comparer les pixels représentant les mêmes informations de la scène visualisée : on obtient une image de référence recalée 2'. Les emplacements des pixels sont généra lement repérés à partir d'un référentiel orthonormé Ox, Oy. Le recalage des images consiste alors par exemple à réaliser une translation du ~o référentiel. Si le pixel de l'image de référence 2' est valide, on l'utilise dans l'image à corriger 1 pour remplacer le pixel défectueux (étapes Cl et C2) et on incrémente son âge dans l'image de référence, sinon on ne l'utilise pas et de préférence on répertorie le pixel resté défecteux de l'image à corriger 15 dans la table des pixels défectueux résiduels 32 (étape F). Cette table peut être utilisée pour une correction complémentaire (étape E) basée sur une extrapolation spatiale des pixels défectueux résiduels avec d'autres pixels de la même image. Pour les autres pixels de l'image à corriger (qui ne sont donc pas 20 défectueux), on les copie dans l'image de référence c'est-à-dire que leur valeur est attribuée aux pixels correspondants de l'image de référence ; en outre, ses pixels copiés sont déclarés valides et leur âge est égal à 0 ce qui se traduit par le statut : V,O. L'image de référence est ainsi rajeunie (étape D) au fur et à mesure des corrections : on obtient une image de référence 25 rajeunie 2. En fait elle est en partie rajeunie puisque seulement certains pixels sont rajeunis. Ce rajeunissement peut être effectué : à chaque itération c'est-à-dire pour chaque image à corriger, ou selon une périodicité à déterminer, ou selon le décalage appliqué, 30 ou tout autre critère. Ces étapes sont réitérées en acquérant une nouvelle image à corriger, dont la ligne de visée est décalée par rapport à l'image précédente (et dorc par rapport à l'image de référence) d'un nouveau décalage D (étape A). L'image de référence rajeunie devient l'image de référence à recaler.

Pour mettre en oeuvre cette invention dans un système d'imagerie tel qu'une caméra (ou jumelle), il est nécessaire pour le système d'avoir accès à la mesure du mouvement de la ligne de visée, c'est-à-dire aux décalages D afin de pouvoir recaler spatialement les images successives. Ce mécanisme peut être externe ou interne. Il peut venir d'informations du porteur du système ou du système lui-même. Les caméras portables qui disposent d'un système de stabilisation d'image possèdent obligatoirement l'information sur le mouvement de la ligne de visée. Dans d'autres cas, le décalage D de la ligne de visée est imposé ~o par le système d'imagerie. Les décalages (subis ou imposés) sont mémorisés pour être utilisés ors du recalage des images entre elles. Un exemple de système d'imagerie selon l'invention est montré figure Il comprend un dispositif d'acquisition d'images d'une scène qui 15 comprend un détecteur matriciel 10, un dispositif 20 d'orientation de la ligne de visée du détecteur, et une unité de traitement 30 des images acquises. Cette unité de traitement comprend des moyens de mise en oeuvre du procédé précédemment décrit. Elle est reliée à des moyens de mémorisation 31 de la table des pixels défectueux qui ont été préalablement répertoriés. 20 Elle coriprend des moyens pour déterminer et mémoriser 32 les décalages D, l'image de référence, et de préférence une table des pixels défectueux résiduels. Les moyens pour déterminer le décalage D peuvent être des moyens de mesure du décalage D lorsqu'il s'agit par exemple d'un décalage 25 subi ; ceci est illustré par la flèche qui va du détecteur 10 vers le dispositif 20 qui calcule ce décalage. Le décalage peut aussi être imposé ; ceci est illustré par la floche qui va du dispositif 20 vers le détecteur 10. Pour des images à corriger comportant par exemple 384 x 288 pixels, c n peut considérer une image de référence de 576 x 432 pixels, c'est- 30 à-dire 1,5 fois plus grande que l'image à corriger. Lorsque l'image de référence et l'image à corriger sont recalées entre elles, seule une partie de l'image de référence est prise en compte pendant le processus de remplacement des pixels : il s'agit bien sûr de la partie correspondant spatialement à celle de l'image à corriger.

Les décalages successifs varient typiquement de 1 à 10 pixels sans que cette valeur soit limitative (il est raisonnable de ne pas dépasser un quart de la taille de l'image). Ces décalages peuvent être identiques ou non d'une image à l'autre.5

Claims

REVENDICATIONS1. Procédé de correction d'images d'une scène (4), ces images comportant des pixels défectueux (101) préalablement répertoriés, caractérisé en ce qu'il comprend une étape d'acquisition au moyen d'un détecteur matriciel (10) d'une image de la scène, dite image à corriger (1), dont la ligne de visée est décalée d'un décalage 1 o déterminé D par rapport à la ligne de visée d'une image de référence (2') de la scène comportant des pixels valides (200), et une étape de traitement des images acquises qui comprend les sous-étapes suivantes : - recaler (B) l'image de référence (2) avec l'image à corriger (1) à 15 partir du décalage D, - remplacer (Cl, C2) les pixels défectueux (101) répertoriés de l'image à corriger (1) par les pixels valides (200) de l'image de référence (2'), représentant les mêmes informations de la scène (4), en vue d'obtenir une image corrigée (3), 20 - si un critère de rajeunissement prédéterminé est respecté, rajeunir (D) l'image de référence (2') en remplaçant les pixels de l'image de référence par les pixels non défectueux (101) de ladite image à corriger, - réitérer les sous-étapes précédentes en acquérant (A) au moyen 25 du détecteur matriciel (10) une nouvelle image à corriger dont la ligne de visée est décalée par rapport à l'image à corriger précédente, d'un nouveau décalage D.
2. Procédé de correction d'images selon la revendication précédente, 30 caractérisé en ce que l'image de référence est construite initialement de la façon suivante : tous les pixels de l'image de référence sont déclarés non valides, - acquisition et mémorisation d'une image de la scène, :35 remplacement des pixels de l'image de référence par les pixels non défectueux de l'image de la scène.
3. Procédé de correction d'images selon l'une des revendications précédentes, caractérisé en ce que les pixels défectueux sont répertoriés dans une table (31).
4. Procédé de correction d'images selon l'une des revendications précédentes, caractérisé en ce qu'un pixel de l'image de référence (2) est déclaré non valide si son âge compté en nombre d'absences de remplacement, est supérieur à un âge maximal. 10
5. Procédé de correction d'images selon la revendication précédente, caractérisé en ce que lorsque qu'un pixel de l'image de référence (2) est remplacé, il est déclaré valide (F) et son âge est mis à 0 sinon pour chaque autre pixel, si son âge est inférieur à un âge maximal, 15 s n âge est incrémenté de 1, sinon il est déclaré non valide.
6. Procédé de correction d'images selon l'une des revendications p-écédentes, caractérisé en ce que lorsque les pixels défectueux de ladite image à corriger (1) ne sont pas remplacés, ces pixels étant 20 désignés pixels défectueux résiduels, il comprend une étape de correction (E) des pixels défectueux résiduels de ladite image, par extrapolation spatiale avec des pixels de la même image.
7. Procédé de correction d'images selon la revendication précédente, 25 caractérisé en ce que les pixels défectueux résiduels sont répertoriés dans une table (32).
8. Système d'imagerie équipé d'un dispositif d'acquisition d'images d'une scène (4) qui comprend un détecteur matriciel (10), et une unité de 30 traitement (30) des images acquises, caractérisé en ce que l'unité de traitement comprend des moyens de mise en oeuvre du procédé selon I'Lne des revendications précédentes.5
9. Système d'imagerie selon la revendication précédente, caractérisé en ce qu'il comprend un dispositif (20) d'orientation de la ligne de visée du détecteur.
10.Système d'imagerie selon l'une des revendications 8 ou 9, caractérisé en ce qu'il comprend des moyens (31) pour mémoriser la table des pixels défectueux et en ce que l'unité de traitement (30) comprend des rnoyens pour mémoriser (32) le décalage D, et l'image de référence (2).
11. Système d'imagerie selon l'une des revendications 8 à 10, caractérisé en ce que l'unité de traitement (30) comprend des moyens de mémorisation (32) d'une table de pixel défectueux résiduels.