FR3064784A1 - Procede et dispositif d'acquisition et de restitution d'images numeriques avec une dynamique etendue - Google Patents

Procede et dispositif d'acquisition et de restitution d'images numeriques avec une dynamique etendue Download PDF

Info

Publication number
FR3064784A1
FR3064784A1 FR1752699A FR1752699A FR3064784A1 FR 3064784 A1 FR3064784 A1 FR 3064784A1 FR 1752699 A FR1752699 A FR 1752699A FR 1752699 A FR1752699 A FR 1752699A FR 3064784 A1 FR3064784 A1 FR 3064784A1
Authority
FR
France
Prior art keywords
digital image
image
final
digital
clipping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR1752699A
Other languages
English (en)
Inventor
Arthur Toulemont
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National dEtudes Spatiales CNES
Original Assignee
Centre National dEtudes Spatiales CNES
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National dEtudes Spatiales CNES filed Critical Centre National dEtudes Spatiales CNES
Priority to FR1752699A priority Critical patent/FR3064784A1/fr
Priority to PCT/EP2018/057822 priority patent/WO2018178104A1/fr
Publication of FR3064784A1 publication Critical patent/FR3064784A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

L'invention concerne un procédé d'acquisition d'images numériques avec une gamme dynamique étendue et un procédé de restitution d'images numériques associé, ainsi que des dispositifs correspondant. Le procédé d'acquisition d'images numériques comporte des étapes de : -détermination (30) d'une pluralité de temps d'intégration différents, -et pour chacun des temps d'intégration déterminés, obtention (32) d'une image numérique initiale acquise avec ledit temps d'intégration, chaque image numérique initiale ayant un niveau de signal correspondant, -pour chaque image numérique initiale, application (34) d'une fonction d'écrêtage avec un seuil d'écrêtage associé pour obtenir un niveau de signal linéaire en fonction de l'éclairement, pour obtenir une image numérique traitée, et -combinaison (36) des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d'images numériques traités, l'image finale ayant un niveau de signal linéaire par morceaux en fonction de l'éclairement.

Description

® RÉPUBLIQUE FRANÇAISE
INSTITUT NATIONAL DE LA PROPRIÉTÉ INDUSTRIELLE © N° de publication : 3 064 784 (à n’utiliser que pour les commandes de reproduction)
©) N° d’enregistrement national : 17 52699
COURBEVOIE © Int Cl8 : G 06 K 9/20 (2017.01), G 06 T 5/00
DEMANDE DE BREVET D'INVENTION A1
©) Date de dépôt : 30.03.17. (© Priorité : © Demandeur(s) : CENTRE NATIONAL D’ETUDES SPATIALES—FR.
@ Inventeur(s) : TOULEMONT ARTHUR.
©) Date de mise à la disposition du public de la demande : 05.10.18 Bulletin 18/40.
©) Liste des documents cités dans le rapport de recherche préliminaire : Se reporter à la fin du présent fascicule
(© Références à d’autres documents nationaux apparentés : ® Titulaire(s) : CENTRE NATIONAL D'ETUDES SPATIALES.
©) Demande(s) d’extension : © Mandataire(s) : CABINET GERMAIN ET MAUREAU.
RESTITUTION D'IMAGES NUMERIQUES AVEC UNE ++/ PROCEDE ET DISPOSITIF D'ACQUISITION ET DE DYNAMIQUE ETENDUE.
FR 3 064 784 - A1 (b/) L'invention concerne un procédé d'acquisition d'images numériques avec une gamme dynamique étendue et un procédé de restitution d'images numériques associé, ainsi que des dispositifs correspondant.
Le procédé d'acquisition d'images numériques comporte des étapes de: -détermination (30) d'une pluralité de temps d'intégration différents,
-et pour chacun des temps d'intégration déterminés, obtention (32) d'une image numérique initiale acquise avec ledit temps d'intégration, chaque image numérique initiale ayant un niveau de signal correspondant,
-pour chaque image numérique initiale, application (34) d'une fonction d'écrêtage avec un seuil d'écrêtage associé pour obtenir un niveau de signal linéaire en fonction de l'éclairement, pour obtenir une image numérique traitée, et
-combinaison (36) des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d'images numériques traités, l'image finale ayant un niveau de signal linéaire par morceaux en fonction de l'éclairement.
Figure FR3064784A1_D0001
Figure FR3064784A1_D0002
Procédé et dispositif d’acquisition et de restitution d’images numériques avec une dynamique étendue
La présente invention concerne un procédé d’acquisition d’images numériques avec une dynamique étendue. Elle concerne également un dispositif associé, un procédé et un dispositif de restitution d’images numériques associés.
Elle se situe dans le domaine du traitement d’images à large gamme dynamique, connu sous le nom de « High Dynamic Range >> ou HDR en anglais.
Dans certaines applications, la dynamique d’acquisition d’images numériques classiques n’est pas suffisante pour une représentation suffisamment précise des données physiques représentées.
En effet, une image numérique est obtenue classiquement par un dispositif d’acquisition d’images muni de capteurs composés de milliers de pixels, chaque pixel étant apte à transformer des photons reçus pendant un temps d’intégration en un signal électrique, ledit signal électrique étant transformé en une valeur numérique d’échantillon d’image. Les valeurs numériques dans la gamme dynamique de représentation sont représentatives donc de la quantité de lumière reçue et intégrée par les pixels. De faibles valeurs numériques correspondent à une faible quantité de photons, donc de lumière, en d’autres termes à des zones sombres, alors que des valeurs élevées correspondent à des zones claires.
En plus du signal utile de l’image, plusieurs bruits viennent « polluer >> cette image. Lorsque le signal utile est faible, le bruit devient significatif et le signal utile peut être noyé dans le bruit. Le SNR (de l’anglais : Signal to Noise Ratio) correspond au ratio du niveau de signal utile sur le niveau de bruit.
Il existe des techniques de traitement de plusieurs images numériques permettant d’obtenir une image numérique dont la dynamique est augmentée, mais de telles techniques nécessitent en général une puissance calculatoire importante.
De telles techniques de traitement d’images ne sont pas applicables dans certaines applications, par exemple dans la capture d’images embarquée sur des dispositifs mobiles autonomes ayant une puissance de calcul limitée, par exemple des drones ou des véhicules conçus pour se déplacer sur la surface d’astres, également appelés « rovers >> en anglais.
En particulier, un problème se pose dans le cas d’applications spatiales, dans le cadre de l’acquisition d’images par des robots autonomes, équipés de systèmes de communication. Dans de telles applications, la puissance calculatoire embarquée est faible, et la bande passante de communication disponible pour transmettre des données à un système récepteur situé à distance peut être faible également.
Il serait donc utile de mettre au point un procédé permettant l’acquisition d’images numériques avec une dynamique étendue, et un bon rapport signal-à-bruit dans l’étendue de la gamme de représentation et ne nécessitant que de faibles moyens calculatoires.
A cet effet, l’invention propose un procédé d’acquisition d’images numériques mis en œuvre dans un système comportant un dispositif d’acquisition d’images numériques, ledit dispositif d’acquisition d’images numériques étant muni de capteurs, chaque capteur étant apte à transformer un éclairement détecté pendant un temps d’intégration en un signal électrique, ledit signal électrique étant transformé en une valeur de radiométrie d’échantillon d’image numérique. Le procédé comporte les étapes suivantes :
-détermination d’une pluralité de temps d’intégration différents,
-et pour chacun des temps d’intégration déterminés, obtention d’une image numérique initiale acquise avec ledit temps d’intégration, chaque image numérique initiale ayant un niveau de signal correspondant,
-pour chaque image numérique initiale, application d’une fonction d’écrêtage avec un seuil d’écrêtage associé pour obtenir un niveau de signal linéaire en fonction de l’éclairement, pour obtenir une image numérique traitée, et
-combinaison des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d’images numériques traités, l’image finale ayant un niveau de signal linéaire par morceaux en fonction de l’éclairement.
Avantageusement, le procédé d’acquisition d’images numériques de l’invention est simple et nécessite peu de ressources calculatoires, et permet d’obtenir une image numérique finale de grande dynamique.
Le procédé d’acquisition d’images numériques selon l’invention peut présenter une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes les combinaisons techniquement acceptables.
L’étape d’écrêtage, consiste à comparer, pour chaque image numérique acquise, la valeur de chaque échantillon à la valeur de seuil d’écrêtage prédéterminée, et lorsque ladite valeur d’échantillon est supérieure à la valeur de seuil d’écrêtage, à remplacer ladite valeur d’échantillon par ladite valeur de seuil d’écrêtage.
Pour chacune des images acquises, une même valeur de seuil d’écrêtage est appliquée.
L’étape de détermination des temps d’intégration comporte une détermination d’un temps d’intégration minimal et/ou d’un temps d’intégration maximal, et le calcul des autres temps d’intégration en fonction du temps d’intégration maximal et d’un nombre d’images à traiter.
L’étape de détermination de temps d’intégration comporte la détermination des temps d’intégration en fonction d’un objectif de qualité de l’image numérique finale et d’un nombre d’images à traiter.
L’objectif de qualité de l’image numérique est un objectif de rapport signal à bruit minimum et la détermination des temps d’intégration met en oeuvre le rapport signal à bruit minimum, le nombre d’images traitées et un niveau de saturation d’un capteur.
Selon un autre aspect, l’invention concerne un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont mises en oeuvre par un dispositif programmable, mettent en oeuvre un procédé d’acquisition d’images numériques tel que brièvement décrit ci-dessus.
Selon un autre aspect, l’invention concerne un support d’enregistrement d’informations adapté à stocker un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont mises en oeuvre par un dispositif programmable, mettent en oeuvre un procédé d’acquisition d’images numériques tel que brièvement décrit cidessus.
Selon un autre aspect, l’invention concerne un dispositif d’acquisition d’images numériques mis en oeuvre dans un système comportant un dispositif d’acquisition d’images numériques, ledit dispositif d’acquisition d’images numériques étant muni de capteurs, chaque capteur étant apte à transformer un éclairement détecté pendant un temps d’intégration en un signal électrique, ledit signal électrique étant transformé en une valeur de radiométrie d’échantillon d’image numérique. Le dispositif d’acquisition d’images numériques comporte un dispositif programmable comportant au moins un processeur adapté à mettre en œuvre des calculs, comportant :
-un module de détermination d’une pluralité de temps d’intégration différents,
-un module de commande d’acquisition d’une image numérique initiale correspondante pour chacun des temps d’intégration déterminés, chaque image numérique initiale ayant un niveau de signal correspondant,
-pour chaque image numérique acquise, un module d’application d’une fonction d’écrêtage avec un seuil d’écrêtage associé pour obtenir un niveau de signal linéaire en fonction de l’éclairement, pour obtenir une image numérique traitée,
-un module combinaison des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d’images numériques traités, l’image finale ayant un niveau de signal linéaire par morceaux en fonction de l’éclairement.
Selon un autre aspect, l’invention concerne un procédé de restitution d’images numériques à partir d’une image numérique finale de gamme dynamique étendue obtenue par un procédé d’acquisition tel que brièvement décrit ci-dessus. Le procédé de restitution comporte des étapes de :
-obtention d’une pluralité de temps d’intégration différents et de seuils d’écrêtage utilisés pour obtenir l’image numérique finale de dynamique étendue, correspondant à un nombre N d’images numériques initiales ;
-calcul de N seuils finaux à partir des temps d’intégration et des seuils d’écrêtage ;
-obtention d’au moins une image restituée ayant un niveau de signal linéaire avec l’éclairement à partir de l’image numérique finale et des seuils finaux calculés.
Le procédé restitution d’images numériques selon l’invention peut présenter une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes les combinaisons techniquement acceptables.
L’étape d’obtention d’au moins une image restituée comporte le calcul d’une seule image ayant un niveau de signal linéaire.
L’étape d’obtention d’au moins une image restituée comporte le calcul de N images restituées correspondant aux N images numériques initiales.
Selon un autre aspect, l’invention concerne un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont mises en oeuvre par un dispositif programmable, mettent en oeuvre un procédé de restitution d’images numériques tel que brièvement décrit ci-dessus.
Selon un autre aspect, l’invention concerne un support d’enregistrement d’informations adapté à stocker un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont mises en oeuvre par un dispositif programmable, mettent en oeuvre un procédé de restitution d’images numériques tel que brièvement décrit cidessus.
Selon un autre aspect, l’invention concerne un dispositif de restitution d’images numériques à partir d’une image numérique finale de gamme dynamique étendue obtenue par dispositif d’acquisition tel que brièvement décrit ci-dessus. Le dispositif comporte un dispositif programmable comportant au moins un processeur adapté à mettre en oeuvre des modules de :
-obtention d’une pluralité de temps d’intégration différents et de seuils d’écrêtage utilisés pour obtenir l’image numérique finale de dynamique étendue, correspondant à un nombre N d’images numériques initiales ;
-calcul de N seuils finaux à partir des temps d’intégration et des seuils d’écrêtage ;
-obtention au moins une image restituée ayant un niveau de signal linéaire avec l’éclairement à partir de l’image numérique finale et des seuils finaux calculés.
D’autres caractéristiques et avantages de l’invention ressortiront de la description qui en est donnée ci-dessous, à titre indicatif et nullement limitatif, en référence aux figures annexées, parmi lesquelles :
-la figure 1 est un schéma représentant les blocs fonctionnels d’un dispositif programmable apte à mettre en œuvre l’invention ;
-la figure 2 est un synoptique des principales étapes d’un procédé d’acquisition d’images de dynamique étendue selon un mode de réalisation de l’invention ;
-la figure 3 illustre les niveaux de signal correspondant à des images acquises en fonction de la quantité de lumière intégrée par les capteurs du dispositif d’acquisition d’images, avec des temps d’intégration différents ;
-la figure 4 illustre schématiquement le niveau de signal Σ de l’image finale ;
-la figure 5 est un synoptique des principales étapes de restitution de signaux d’images acquis à partir d’une image numérique avec une dynamique étendue selon un mode de réalisation de l’invention.
La figure 1 illustre schématiquement un système 1 d’acquisition/restitution d’images numériques apte à mettre en œuvre le procédé d’acquisition d’images numériques avec une dynamique étendue selon l’invention.
Le système 1 comprend un système d’acquisition d’images 2, qui peut par exemple être embarqué à bord d’une plateforme mobile autonome, par exemple un robot.
Le système d’acquisition d’images 2 comprend un dispositif d’acquisition d’images 4, muni de capteurs, chaque capteur étant apte à transformer des photons reçus pendant un temps d’intégration en un signal électrique, ledit signal électrique étant transformé en une valeur numérique d’échantillon d’image numérique.
De préférence, des capteurs à sortie numérique de type CMOS sont utilisés.
Le dispositif d’acquisition d’images 4 est connecté à un dispositif programmable 6, apte à mettre en œuvre le procédé d’acquisition d’images selon l’invention, et notamment à commander l’acquisition d’images par le dispositif d’acquisition d’images 4.
Dans un mode de mise en œuvre, le dispositif programmable 6 est réalisé sous forme de composants logiques programmables, tel qu’un FPGA (de l’anglais FieldProgrammable Gâte Array), ou encore sous forme de circuits intégrés dédiés, de type ASIC (de l’anglais Application-Specific Integrated Circuit).
Le dispositif programmable 6 est connecté à un dispositif de stockage de type mémoire permettant de stocker des images numériques.
Le système d’acquisition d’images 2 comporte, de manière optionnelle, un module de communication 8 apte à communiquer à distance avec un système de restitution 10, comportant également un module de communication 12, selon un protocole de communication dédié. Par exemple, une communication par satellite est mise en œuvre.
Ainsi, le système d’acquisition d’images 2 est apte à transmettre des données numériques, en particulier des images numériques, au système de restitution 10.
Dans un mode de réalisation, le système de restitution 10 est un dispositif programmable apte à mettre en œuvre l’invention, est par exemple un ordinateur. II comprend une unité centrale de traitement 16, ou CPU, apte à exécuter des instructions de programme informatique lorsque le dispositif programmable est mis sous tension. Le dispositif programmable comporte également des moyens de stockage d’informations 16, par exemple des registres ou des mémoires, aptes à stocker des instructions de code exécutable permettant la mise en œuvre de programmes comportant des instructions de code aptes à mettre en œuvre le procédé selon l’invention.
En option, le dispositif programmable 10 comprend un écran 18 et un moyen 20 de saisie des commandes d’un opérateur, par exemple un clavier, optionnellement un moyen supplémentaire de pointage 22, tel une souris, permettant de sélectionner des éléments graphiques affichés sur l’écran 18.
Les divers blocs fonctionnels 12 à 22 du dispositif programmable 10 décrits cidessus sont connectés via un bus de communication 24.
La figure 2 est un synoptique des principales étapes d’un procédé d’acquisition d’images numériques avec une dynamique étendue selon un mode de réalisation de l’invention.
Lors d’une première étape 30, on détermine un nombre N d’acquisitions d’images numériques IM, à effectuer par le dispositif d’acquisition d’images 2, et un temps d’intégration T, associée à chaque acquisition d’image IM,.
Le nombre N est un nombre entier strictement supérieur à 1.
Dans un mode de réalisation, le nombre N est prédéterminé, par exemple fourni par un opérateur et mémorisé, ainsi que les temps d’intégration associés.
En variante, N est déterminé en fonction des capacités de stockage dans le système d’acquisition d’images 2.
Par exemple, N=4 acquisitions d’images effectuées avec quatre temps d’intégration Tb T2, T3 et T4. Dans un mode de réalisation, T1=1ms, T2=2ms, T3=3ms, T4=4ms.
Dans un mode de réalisation, le temps d’intégration T4, est le plus long, et les autres temps d’intégration sont fixés par une règle de calcul par rapport à T4, par
1 3 exemple : T =-xT,,T2 = -χΤ,·,Ί\ =-χΊ\.
4 2 4
Bien sûr, ce mode de réalisation est donné à titre d’exemple.
Il est possible d’appliquer d’autres règles de calcul en fonction du temps d’intégration le plus long et/ou en fonction du temps d’intégration le plus court.
Par exemple, un incrément temporel constant est appliqué au temps d’intégration le plus court.
Selon une variante, on détermine séparément chaque temps d’intégration T,.
Selon une autre variante, le nombre N et les temps d’intégration T, sont calculés en fonction de conditions environnementales de capture ou d’un objectif de qualité fixé, par exemple en termes de rapport signal à bruit minimum à obtenir.
De préférence, les temps d’intégration sont choisis de manière à ce que la quantité de mouvement dans la scène observée entre le temps d’intégration le plus court h et le temps d’intégration le plus long TN soit négligeables.
Tel est par exemple le cas si le dispositif de capture d’images est fixe et si la luminosité de la scène observée est stable pendant toute la durée des prises d’images, que les acquisitions d’images soient effectuées en série par un seul capteur ou en parallèle par plusieurs capteurs.
L’étape 30 est suivie d’une étape 32 d’acquisition de chaque image numérique IM, en réglant le temps d’intégration des capteurs du dispositif d’acquisition d’images au temps d’intégration T, préalablement déterminé.
Une image numérique est formée d’une matrice bidimensionnelle d’échantillons d’image, chaque échantillon d’image ayant une valeur numérique associée appelée signal (correspondant à la somme du signal utile et des bruits). Le signal utile correspond à une valeur de radiométrie. Dans une gamme dynamique de représentation, la valeur de radiométrie est représentative de l’éclairement, ou en d’autres termes de la quantité de lumière, reçue et intégrée par le ou les capteurs associé audit échantillon.
Les faibles valeurs de radiométrie correspondent aux zones sombres, et les fortes valeurs de radiométrie aux zones éclairées.
Par exemple, chaque valeur numérique d’échantillon d’image est représentée sur P bits, P étant par exemple compris entre 8 et 10, la gamme dynamique de représentation correspondante étant la gamme des valeurs entières entre 0 et 2P-1.
En variante, une image numérique est composée de plusieurs telles matrices bidimensionnelles d’échantillons d’images, chaque matrice correspondant à une couleur, par exemple rouge, vert, bleu.
Le temps d’intégration le plus court, Tb permet d’acquérir une image numérique ayant une bonne représentation des zones claires.
Le temps d’intégration le plus long TN permet d’acquérir une image numérique ayant une bonne représentation des zones sombres.
Pour chaque image numérique initiale IM,, l’étape 32 est suivie d’une étape 34 d’écrêtage, permettant d’utiliser le capteur correspondant dans sa zone linéaire. La zone linéaire du capteur est la zone dans laquelle le niveau de signal utile est proportionnel au nombre de photons.
L’étape 34 met en œuvre une fonction d’écrêtage appliquée à chaque image initiale IM,, et consistant à remplacer toutes les valeurs du signal de IM, supérieures ou égales à un seuil d’écrêtage SeuilJ par la valeur SeuilJ :
Si IMt(k,r)> Seuil_i, IM Jk,l) = Seuil _i (Eq 1)
Sinon, IMJk,T) = IMJJ) pour 1 < k < L,1 < l < C, L, C étant les dimensions respectives, en nombre de lignes et nombre de colonnes, de la matrice d’image IM,.
A l’issue de l’étape 34 on obtient, pour chaque indice i, une image numérique IM’,, appelée image traitée.
Dans un mode de réalisation, le seuil d’écrêtage est constant et égal à une valeur de seuil Sat prédéterminée pour toutes les images numériques acquises.
On choisira par exemple comme valeur de seuil Sat, la valeur jusqu’à laquelle le signal est linéaire en fonction de la quantité de photons reçue par le pixel.
De préférence, cette valeur Sat est proche de la saturation du capteur, de manière à utiliser quasiment la totalité de la zone linéaire du capteur.
Avantageusement, ce mode de réalisation comporte des opérations calculatoires simples, facilement réalisables par un FPGA. En pratique, seules les valeurs de IMj(k,l) supérieures au seuil d’écrêtage SeuilJ sont modifiées.
La figure 3 illustre schématiquement le niveau de signal de chaque image après l’étape d’écrêtage 34 en fonction de la quantité de lumière intégrée par le ou les capteurs du dispositif d’acquisition d’images, pour un ensemble de quatre temps d’intégration T1; T2, T3, T4 avec T1 <T2<T3<T4.
A la figure 3 on a illustré 4 graphes, chacun présentant en abscisse l’éclairement, (noté « light »), et en ordonnée le niveau de signal, qui est une valeur numérique.
Le niveau de signal Si correspond à l’image écrêtée IMj, le niveau de signal S2 correspond à l’image écrêtée IM’2 et ainsi de suite. Le temps d’intégration correspondant à chaque acquisition d’image, noté Tint, est également précisé pour chaque graphe.
Comme illustré à la figure 3, plus le temps d’intégration est long, plus la valeur d’éclairement nécessaire pour saturer le pixel est faible. Les paliers de saturation LsatJ sont inversement proportionnels aux temps d’intégration TN.i+1.
Les niveaux de signal S, sont linéaires entre 0 et Lsa,j, puis constants, grâce à la sélection des valeurs de seuil d’écrêtage SeuilJDe retour à la figure 2, suite à l’étape 34 d’écrêtage, on applique une étape 36 de sommation des images numériques écrêtées IM’,, et on obtient une image finale de gamme de représentation étendue, notée IMF :
N
IM P(k, l) = ^IMn(k,l) pour chaque (k,l), l<k<L,l<l<C (Eq 2) z'=l
Lorsque chaque image IM’, est codée sur P bits, l’image finale IMF de gamme de représentation étendue est codée sur P'= P + log2(/V) bits.
Par exemple, si N=4, les valeurs de signal de IMF sont représentées sur P+2 bits. Ainsi, on passe par exemple de valeurs représentées sur 10 bits à des valeurs représentées sur 12 bits.
L’image numérique finale ainsi obtenue IMF est ensuite mémorisée ou transmise à un dispositif de restitution lors d’une étape de stockage ou de transmission 38.
Dans un mode de réalisation, l’image numérique finale IMF est transmise par des moyens de communication sans fil, par exemple par communications radio ou par communications par satellite, à un dispositif de réception distant, qui reçoit et stocke ou traite l’image numérique finale de gamme dynamique étendue IMF.
La figure 4 illustre le niveau de signal Σ de l’image finale IMF ainsi obtenue par sommation, en fonction de la quantité de lumière intégrée.
La représentation schématique de la figure 4 comprend un graphe présentant en abscisse la quantité de lumière intégrée (notée « light »), et en ordonnée le niveau de signal, qui est une valeur numérique.
Le niveau de signal Σ correspond à la somme des niveaux de signal respectifs des images écrêtées:
N
I(%) = J>(X) (Eq 3) z'=l
Le niveau de signal Σ est linéaire par morceaux, en fonction des paliers de saturation LsatJ correspondants.
Une valeur de seuil final Σ, correspond à chaque palier de saturation LsatJ
Avantageusement, on peut calculer chaque valeur de seuil final Σ, en fonction des valeurs de seuil d’écrêtage SeuilJ de la manière suivante :
N
EN=^Seuil_p (Eq4) p=l
Et ensuite :
2V-1 γ
ΣΝ_γ = Σ Seuil _p + — x Seuil _ 1
P=l C „ r. -, F x Seuil _i + T?x Seuil _2 + ... + TN_x Seuil _r
Lr = SSeuil _p-\-(Eq 5) (Eq 6)
Les formules se simplifient dans les cas particulier où tous les seuils d’écrêtage SeuilJ sont égaux à une valeur prédéterminée Sat :
EN=NxSat (Eq 7) ( τ + +T >
Σ,.= r+ ji \xSa{ (Eq8)
V P N-r+λ. )
Les seuils finaux Σ, sont utilisés soit pour restituer chacune des N images initiales, soit pour créer une image unique de dynamique étendue.
Le rapport signal-à-bruit de l’image numérique finale IM F, noté ici SNR(IMF), peut être calculé théoriquement en fonction de l’éclairement reçu. Cela permet de déterminer des temps d’intégration T, permettant d’assurer un objectif de qualité pour l’image finale, par exemple d’assurer que le SNR(IMF) de l’image numérique finale est supérieur à un rapport signal à bruit minimum, SNRmin, pour une image numérique finale obtenue à partir de N images initiales.
Le SNR de l’image finale IM F est calculé en fonction des N images numériques traitées :
N
IMF(k,l) = XlM'jk,l) (Eq 9) z'=l
Le signal des images numériques traitées peut être exprimé en fonction de la réponse du capteur Rcapteur, de l’éclairement reçu par le pixel du capteur Z)[w] et du temps d’intégration 7j[s] :
N Γ 1 z=l (Eq 10)
En considérant que le bruit majoritaire des capteurs actuels est le bruit photonique, (le bruit photonique est égal à la racine carrée du signal en électrons), au premier ordre, on peut donc écrire le SNR comme suit :
N Γ 1
Σ Ksnr(imf ) = (Eq 11 )
On en déduit :
SNR(IMf ) = ^Rcapteur-E(k,l) (Eq 12)
Pour assurer un rapport signal à bruit SNR(IMF) minimal, selon un mode de réalisation, on fixe le temps d’intégration le plus court, noté Tv
En considérant le niveau de saturation en électrons, note Sate, et le niveau de SNR minimum souhaité, noté SNRmin, on obtient les temps d’écrêtage successifs par les équations suivantes :
SNR„ σε _ σ:/
4s, at
Figure FR3064784A1_D0003
(Eq 13)
Par exemple, Sate =10000 électrons. La valeur de SNRmin est fixée en fonction de l’application visée.
La figure 5 est un synoptique des principales étapes de restitution, dans un mode de réalisation, à partir d’une image finale de gamme dynamique étendue obtenue par le procédé décrit ci-dessus.
Le procédé de restitution comprend une première étape 40 de réception ou de lecture en mémoire de l’image numérique finale IMF.
L’étape 40 est suivie d’une étape 42 d’obtention des paramètres utilisés : le nombre N d’acquisitions, les temps d’intégration associés, les seuils d’écrêtage SeuilJ utilisés.
L’étape 42 est suivie d’une étape 44 de détermination des seuils finaux Σ, correspondant à chaque palier de saturation LsatJ du niveau de signal Σ, en utilisant les formules de calcul données par (Eq 5) à (Eq 8).
L’étape 44 est suivie d’une étape 46 d’obtention d’une image finale linéarisée.
Dans un mode de réalisation, on prend également en considération en niveaux de radiométrie d’obscurité, qui sont spécifiques aux capteurs utilisés et qui dépendent du temps d’intégration.
On note Vobsle niveau d’obscurité correspondant à l’acquisition de l’image IM, avec le temps d’intégration Ti.
Le signal IM F(k,l) des pixels de l’image finale est linéaire par morceaux avec l’éclairement, ou, en d’autres termes, le signal IMP(k,l) peut être exprimé comme fonction affine de la quantité d’éclairement. Pour rendre l’interprétation des images plus facile, il peut être intéressant de linéariser l’image finale. On note IMlF(k,l) le signal du pixel (k,l) linéarisé.
Par exemple, pour 4 temps d’intégrations Γ1<Γ2<Γ3<Γ4 avec des seuils d’écrêtage égaux à une valeur Sat, le signal linéarisé IMl7(k,l) est calculé comme suit.
Pour IMP(k,l)<Ll on applique :
IMp n(k,l) = IMp(k,l)-(Vobs_, + Vobs_2 + Vobs_3 + Vobs_3) (Eq 14)
Pour Ej <IMF(k,l)<£2
IMh; (k,l) = (l + TJr\T) (IMF (k,D- (Vobs_, + voto_2 + Vobs_3 ) - Sat) (Eq 15) Pour Σ2 < IM F{k,l) <Σ3
IMh;(k,l) = (l + (IMF(k,l) - (Vobs_, +Vobs _2 ) - 2 · Sat) (Eq 16)
Pour Σ3 < IM F {k, Z) <Σ4
IMh;(k,l) = f 1 + Γ2+^3+ΓΑ · (IM F (k,l) - Vobs_, -3 · Sat) (Eq 17) v 7 y
Dans un mode de réalisation simplifié de l’étape 46, les niveaux d’obscurité sont négligés.
Dans ce cas, les relations précédentes se simplifient :
Pour IMF(k,l)<Ll on applique :
IMF (k,l) = IM F(k,l) (Eq18)
Pour Ej <IMP(k,l)<Z2
IMl,;(k,l) =
T -lT J-T
Pour E2 <IMF(k,l)<L3 (IM F(k,l)-Sat) (Eq19)
IMl,;(k,l) = + Zk±Z± . çIMp(k,l)-2· Sat) 1\+T2 J (Eq 20)
Pour Σ3 < IMF(k,l) <Σ4
IMh;(k,l)= i + + Γ3 + Γ41 Ζ) _ 3, Sa{) (Eq21)
V )
Sur la figure 4, on a illustré en pointillés le niveau de signal Σ'1 correspondant à l’image finale de gamme dynamique étendue linéarisée.
En alternative ou en complément, l’étape 44 est suivie de l’étape 48 de restitution des N images acquises, dans leur gamme dynamique initiale, à partir du signal IM F(k,l) des pixels de l’image finale.
Dans le mode de réalisation sans prise en compte des niveaux d’obscurité, les formules suivantes sont appliquées pour déterminer la valeur de signal de chaque pixel de chacune des images finales restituées IMXP , IM2F, IM3F , ΙΜΛ Ρ :
Pour IMF(k,l)<Eï :
IMlF(k,l) =---IM F(k,l) (Tï+T2+T3+T4) (Eq 22)
IM2F(k,l) = Tl -IMP(k,l) (Tï+T2+T3+T4) (Eq 23)
IM3F(k,l) = -IMP(k,l) (Tï+T2+T3+T4) (Eq 24)
IM ,F(k,l) =---IMF(k,l) (Tï+T2+T3+T4) (Eq 25)
Pour Σ! < IMF(k,l)<E2
IM,F(k,l) = Γι -(IMF(k,l) Sat) (Tx + T2 + T3) (Eq 26)
IM2F(k,l) = Tl -(IMF(k,l) Sat) (Tx + T2 + T3 ) (Eq 27)
IM3F(k,l) = -(IMF(k,l) Sat) (Tx + T2 +T3) (Eq 28)
Pour Σ2 < IMF(k,l) <Σ3
IMlF(k,l)= Τχ -(IMF(k,l) 2· Sat) (7j + T2 ) (Eq 29)
IM2F(k,l) = -(IMF(k,l) 2-Sat) (Τγ + T2 ) (Eq 30)
Pour Σ3 < IMF(k,l) <Σ4
IM,F(k,l) = IMF(k,l)-3-Sat (Eq31)
En variante, il est bien sûr possible de tenir compte des niveaux d’obscurité, de manière analogue à ce qui a été explicité ci-dessus en référence à l’étape 46.
Bien évidemment, les formules ont été détaillées dans le mode de réalisation à 5 N=4 images acquises, mais le principe s’applique de manière analogue à un nombre N d’images acquises, avec N quelconque.
De plus, sur le même principe, il est possible de déterminer les formules à appliquer pour restituer une image finale linéarisée ou pour restituer N images finales correspondant aux images acquises lorsqu’on utilise des valeurs de seuil Seuil_i différentes.

Claims (10)

  1. REVENDICATIONS
    1. - Procédé d’acquisition d’images numériques mis en œuvre dans un système comportant un dispositif d’acquisition d’images numériques, ledit dispositif d’acquisition d’images numériques étant muni de capteurs, chaque capteur étant apte à transformer un éclairement détecté pendant un temps d’intégration en un signal électrique, ledit signal électrique étant transformé en une valeur de radiométrie d’échantillon d’image numérique, caractérisé en ce qu’il comporte les étapes suivantes :
    -détermination (30) d’une pluralité de temps d’intégration (T1; T2, T3, T4) différents,
    -et pour chacun des temps d’intégration (T1; T2, T3, T4) déterminés, obtention (32) d’une image numérique initiale acquise avec ledit temps d’intégration, chaque image numérique initiale ayant un niveau de signal correspondant,
    -pour chaque image numérique initiale, application (34) d’une fonction d’écrêtage avec un seuil d’écrêtage associé (Seuil_1, Seuil_2, Seuil_3, Seuil_4) pour obtenir un niveau de signal (S15 S2, S3, S4) linéaire en fonction de l’éclairement, pour obtenir une image numérique traitée, et
    -combinaison (36) des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d’images numériques traités, l’image finale ayant un niveau de signal (Σ) linéaire par morceaux en fonction de l’éclairement.
  2. 2, - Procédé d’acquisition d’images numériques selon la revendication 1, caractérisé en ce que l’étape d’écrêtage (34), consiste à comparer, pour chaque image numérique acquise, la valeur de chaque échantillon à la valeur de seuil d’écrêtage (Seuil_1, Seuil_2, Seuil_3, Seuil_4), et lorsque ladite valeur d’échantillon est supérieure à la valeur de seuil d’écrêtage (Seuil_1, Seuil_2, Seuil_3, Seuil_4), à remplacer ladite valeur d’échantillon par ladite valeur de seuil d’écrêtage.
  3. 3. - Procédé d’acquisition d’images numériques selon la revendication 2, caractérisé en ce que pour chacune des images acquises, une même valeur de seuil d’écrêtage est appliquée.
  4. 4, - Procédé d’acquisition d’images numériques selon l’une des revendications 1 à 3, caractérisé en ce que l’étape de détermination (30) des temps d’intégration comporte une détermination d’un temps d’intégration minimal et/ou d’un temps d’intégration maximal, et le calcul des autres temps d’intégration en fonction du temps d’intégration maximal et d’un nombre d’images à traiter.
  5. 5. - Procédé d’acquisition d’images numériques selon l’une des revendications 1 à 3, caractérisé en ce que l’étape de détermination de temps d’intégration comporte la détermination des temps d’intégration en fonction d’un objectif de qualité de l’image numérique finale et d’un nombre d’images à traiter.
  6. 6. - Dispositif d’acquisition d’images numériques mis en œuvre dans un système comportant un dispositif d’acquisition d’images numériques, ledit dispositif d’acquisition d’images numériques étant muni de capteurs, chaque capteur étant apte à transformer un éclairement détecté pendant un temps d’intégration en un signal électrique, ledit signal électrique étant transformé en une valeur de radiométrie d’échantillon d’image numérique, caractérisé en ce qu’il comporte un dispositif programmable comportant au moins un processeur adapté à mettre en œuvre des calculs, comportant :
    -un module de détermination d’une pluralité de temps d’intégration différents,
    -un module de commande d’acquisition d’une image numérique initiale correspondante pour chacun des temps d’intégration déterminés, chaque image numérique initiale ayant un niveau de signal correspondant,
    -pour chaque image numérique acquise, un module d’application d’une fonction d’écrêtage avec un seuil d’écrêtage associé pour obtenir un niveau de signal linéaire en fonction de l’éclairement, pour obtenir une image numérique traitée,
    -un module combinaison des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d’images numériques traités, l’image finale ayant un niveau de signal linéaire par morceaux en fonction de l’éclairement.
  7. 7. - Procédé de restitution d’images numériques à partir d’une image numérique finale de gamme dynamique étendue obtenue par une procédé d’acquisition conforme à l’une des revendications 1 à 5, caractérisé en ce qu’il comporte des étapes de :
    -obtention (42) d’une pluralité de temps d’intégration différents et de seuils d’écrêtage utilisés pour obtenir l’image numérique finale de dynamique étendue, correspondant à un nombre N d’images numériques initiales ;
    -calcul (44) de N seuils finaux (Συ ...,Σ4) à partir des temps d’intégration et des seuils d’écrêtage ;
    -obtention (46, 48) d’au moins une image restituée ayant un niveau de signal linéaire avec l’éclairement à partir de l’image numérique finale et des seuils finaux calculés.
    5 8.- Procédé de restitution d’images numériques selon la revendication 7, caractérisé en ce que l’étape d’obtention d’au moins une image restituée (46) comporte le calcul d’une seule image de gamme dynamique étendue ayant un niveau de signal linéaire.
  8. 10 9.- Procédé de restitution d’images numériques selon la revendication 7, caractérisé en ce que l’étape d’obtention d’au moins une image restituée (48) comporte le calcul de N images restituées correspondant aux N images numériques initiales.
    10.- Dispositif de restitution d’images numériques à partir d’une image numérique
  9. 15 finale de gamme dynamique étendue obtenue par dispositif d’acquisition conforme à la revendication 6, caractérisé en ce qu’il comporte un dispositif programmable comportant au moins un processeur adapté à mettre en oeuvre des modules de :
    -obtention d’une pluralité de temps d’intégration différents et de seuils d’écrêtage utilisés pour obtenir l’image numérique finale de dynamique étendue, correspondant à un
  10. 20 nombre N d’images numériques initiales ;
    -calcul de N seuils finaux à partir des temps d’intégration et des seuils d’écrêtage ; -obtention au moins une image restituée ayant un niveau de signal linéaire avec l’éclairement à partir de l’image numérique finale et des seuils finaux calculés.
FR1752699A 2017-03-30 2017-03-30 Procede et dispositif d'acquisition et de restitution d'images numeriques avec une dynamique etendue Withdrawn FR3064784A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1752699A FR3064784A1 (fr) 2017-03-30 2017-03-30 Procede et dispositif d'acquisition et de restitution d'images numeriques avec une dynamique etendue
PCT/EP2018/057822 WO2018178104A1 (fr) 2017-03-30 2018-03-27 Procédé et dispositif d'acquisition et de restitution d'images numériques avec une dynamique étendue

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1752699A FR3064784A1 (fr) 2017-03-30 2017-03-30 Procede et dispositif d'acquisition et de restitution d'images numeriques avec une dynamique etendue
FR1752699 2017-03-30

Publications (1)

Publication Number Publication Date
FR3064784A1 true FR3064784A1 (fr) 2018-10-05

Family

ID=59699752

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1752699A Withdrawn FR3064784A1 (fr) 2017-03-30 2017-03-30 Procede et dispositif d'acquisition et de restitution d'images numeriques avec une dynamique etendue

Country Status (2)

Country Link
FR (1) FR3064784A1 (fr)
WO (1) WO2018178104A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030072566A1 (en) * 2000-05-26 2003-04-17 Thomson-Csf Device and method for the analysis of one or more signals with wide dynamic range
US20050275747A1 (en) * 2002-03-27 2005-12-15 Nayar Shree K Imaging method and system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030072566A1 (en) * 2000-05-26 2003-04-17 Thomson-Csf Device and method for the analysis of one or more signals with wide dynamic range
US20050275747A1 (en) * 2002-03-27 2005-12-15 Nayar Shree K Imaging method and system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAYAR S K ET AL: "High Dynamic Range Imaging: Spatially Varying Pixel Exposures", PROCEEDINGS 2000 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. CVPR 2000. HILTON HEAD ISLAND, SC, JUNE 13-15, 2000; [PROCEEDINGS OF THE IEEE COMPUTER CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION], LOS ALAMITOS, CA : IEEE COMP., 13 June 2000 (2000-06-13), pages 472 - 479, XP002236923, ISBN: 978-0-7803-6527-8 *

Also Published As

Publication number Publication date
WO2018178104A1 (fr) 2018-10-04

Similar Documents

Publication Publication Date Title
BE1021668B1 (fr) Un pixel a grande plage dynamique et une methode pour le faire fonctionner
BE1022491B1 (fr) Procede pour eviter la saturation de pixel.
EP3571834B1 (fr) Génération adaptative d&#39;une image à grande gamme dynamique d&#39;une scène, à partir d&#39;une pluralité d&#39;images obtenues par lecture non destructive d&#39;un capteur d&#39;image
FR3038431A1 (fr) Bloc camera haute resolution pour drone, avec correction des instabilites de type oscillations ondulantes
EP3272119B1 (fr) Procédé et dispositif de reconstruction 3d d&#39;une scene
FR3091114A1 (fr) dispositif de capture d’images et système de surveillance d’un conducteur associé
FR3064784A1 (fr) Procede et dispositif d&#39;acquisition et de restitution d&#39;images numeriques avec une dynamique etendue
US11516385B2 (en) Dynamic quality proxy plural camera image blending
EP3979648A1 (fr) Dispositif de compensation du mouvement d&#39;un capteur événementiel et système d&#39;observation et procédé associés
WO2022023668A1 (fr) Procede et systeme pour imager une scene dans l&#39;espace
FR3055764A1 (fr) Procede de controle de la detection en temps reel d&#39;une scene par un appareil de communication sans fil, par exemple un telephone mobile cellulaire, et appareil correspondant.
FR3069087B1 (fr) Procede de traitement d&#39;une image
FR2968876A1 (fr) Systeme d&#39;acquisition d&#39;images presentant une dynamique elevee
EP4186227A1 (fr) Capteur pour mesure de distance par temps de vol avec pixel à noeuds memoires multiples
FR3059453A1 (fr) Procede et dispositif de deconvolution d&#39;images numeriques
WO2017060590A1 (fr) Procede d&#39;optimisation de decomposition d&#39;un signal asynchrone
EP1329846A1 (fr) Dispositif de detection de cible ponctuelle utilisant un traitement d&#39;images spatio-temporel
WO2019121528A1 (fr) Procede et systeme d&#39;imagerie a haut et bas niveaux de lumiere
FR3103940A1 (fr) Procédé et dispositif de traitement d’images
FR2997258A1 (fr) Systeme de detection et de mesure comprenant un senseur optique, et procedes de detection et de mesure associe
EP4203490A1 (fr) Système d observation et procédé d observation associé
FR3123734A1 (fr) Procédé de traitement de données de pixels, dispositif et programme correspondant
FR3118558A1 (fr) Procédé d’étalonnage d’une matrice de photodétecteurs, dispositif d’étalonnage et système d’imagerie associés
EP3370149A1 (fr) Procédé de contrôle de la détection en temps réel d&#39;une scène, permettant la détermination de contexte par un appareil de communication sans fil, et appareil correspondant
FR2662282A1 (fr) Dispositif de detection d&#39;objets dans une sequence d&#39;images.

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20181005

PLFP Fee payment

Year of fee payment: 3

ST Notification of lapse

Effective date: 20201110