EP4165589A1 - Method for constructing a high-resolution mixed signal or image from a plurality of low-resolution signals or a plurality of low-resolution images - Google Patents

Method for constructing a high-resolution mixed signal or image from a plurality of low-resolution signals or a plurality of low-resolution images

Info

Publication number
EP4165589A1
EP4165589A1 EP21736637.6A EP21736637A EP4165589A1 EP 4165589 A1 EP4165589 A1 EP 4165589A1 EP 21736637 A EP21736637 A EP 21736637A EP 4165589 A1 EP4165589 A1 EP 4165589A1
Authority
EP
European Patent Office
Prior art keywords
signal
resolution
acquisition
image
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21736637.6A
Other languages
German (de)
French (fr)
Inventor
Rémy ABERGEL
Andrés ALMANSA
Gwendoline Blanchet
Christophe Latry
Lionel Moisan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National dEtudes Spatiales CNES
Centre National de la Recherche Scientifique CNRS
Universite Paris Cite
Original Assignee
Centre National dEtudes Spatiales CNES
Centre National de la Recherche Scientifique CNRS
Universite Paris Cite
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National dEtudes Spatiales CNES, Centre National de la Recherche Scientifique CNRS, Universite Paris Cite filed Critical Centre National dEtudes Spatiales CNES
Publication of EP4165589A1 publication Critical patent/EP4165589A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • TITLE A method of constructing a high-resolution merged signal or image from a plurality of signals or a plurality of low-resolution images
  • the present invention relates to the field of image processing in order to merge several images into a single image of higher resolution, said method being implemented partly on a segment on board the acquisition device, and for another part on a segment less constrained in computing power.
  • the drawback of the known merging methods is that they require very significant computing power, which may not be available on the segment on board which the image acquisition means is on board, said segment possibly being a space or air segment. , or the mobile terminal of a user. It is then possible, and also known, to transmit the acquired data to a ground segment, or to a remote server, less constrained in terms of computing power.
  • the drawback of this transmission step is twofold: on the one hand, it generally requires a step of compressing / decompressing the acquired data, in order to adapt to the bandwidth of the data transmission means; the compression / decompression step then being liable to degrade the quality of the data, when the volume of data to be transmitted, and consequently the compression ratio required for their transmission, is important. The degradation of the data quality induced by the data transmission is not without impact on the final quality of the merged image. On the other hand, this transmission step induces a high cost, in terms of energy, and / or time, and / or bandwidth consumed.
  • the aim of the invention is therefore to provide a solution to all or part of these problems.
  • the present invention relates to a method for constructing a merged signal, the merged signal being called a high resolution signal, from a plurality of signals acquired by an acquisition device, each signal of the plurality of signals being called low resolution signal, each signal comprising a plurality of samples measured by an acquisition sensor of the acquisition device configured according to a set of acquisition parameters of said signal, the set of acquisition parameters of each low resolution signal comprising a sampling step along at least one dimension, the sampling step corresponding to a resolution of said low resolution signal, the resolution of the low resolution signal being less than a resolution of the high resolution signal, the acquisition device comprising:
  • the acquisition sensor configured to acquire the plurality of low resolution signals
  • a data transmission unit configured to transmit data to a remote computing unit, the method comprising the following steps:
  • the pre-fusion of the plurality of signals into a pre-merged signal by a calculation carried out by the on-board calculation unit, the pre-merged signal being a function of the plurality of signals and of all the acquisition parameters of each low-resolution signal of the plurality ;
  • the remote calculation unit determines, by the remote calculation unit, according to a variational method, of the high-resolution merged signal from the estimate of the pre-merged signal and of all the acquisition parameters of each signal of the plurality, a resolution of the A high resolution merged signal being greater than a resolution of each of the plurality of signals.
  • the step of calculating the filtered pre-fused signal can be carried out by the on-board calculation unit, endowed with limited calculation resources.
  • the volume of the data of the filtered pre-fused signal is less than the total volume of the data of the plurality of signals and of the same order as the volume of data of a reference signal which would be acquired by the acquisition device configured according to a sampling step corresponding to the resolution of the merged signal.
  • each low resolution signal of the plurality of low resolution signals is a low resolution image of a plurality of low resolution images of a scene, in which the pre-merged signal is a pre-merged image, and in in which the filtered pre-merged signal is a filtered pre-merged image, in which the high-resolution merged signal is a merged image called a high-resolution image, in which the set of acquisition parameters of each low-resolution image further comprises a plurality of offsets, each shift of the plurality of shifts being associated with a low resolution image of the plurality of images, said shift associated with said low resolution image corresponding to a displacement of the acquisition device relative to the scene between the acquisition of said low image resolution and the acquisition of a subsequent low-resolution image, and in which the at least one dimension of the sampling step of a
  • the low-resolution image corresponds to at least one direction defined in a formation plane of the low-resolution image
  • the step of calculating the filtered pre-fused image can be performed by the on-board calculation unit, endowed with limited calculation resources.
  • the volume of the data of the filtered pre-fused image is less than the total volume of the data of the plurality of images and of the same order as the volume of data of a reference image which would be acquired by the device.
  • acquisition configured according to a sampling step corresponding to the resolution of the merged image.
  • each low-resolution signal of the plurality of low-resolution signals is an interferogram of a plurality of interferograms, or respectively an interferometric cube of a plurality of interferometric cubes, in which the high-resolution merged signal is a spectrogram, or respectively a hyperspectral cube, in which the set of acquisition parameters include a plurality of path differences, each path difference of the plurality of path differences being associated with an interferogram of the plurality of interferograms, or respectively with an interferometric cube of the plurality of cubes interferometric.
  • the transmission step comprises a step of compressing, then decompressing, the transmitted prefused flitled image
  • the pre-fused filtered image received is the pre-fused image filtered, compressed and then decompressed.
  • a component of the displacement corresponding to each shift of the plurality of shifts is measured with a precision lower than the sampling interval along the axis of the low-resolution image with which said shift is associated, in particular with a precision of the order of a tenth, or a hundredth of the sampling step.
  • the plurality of signals is modeled by the application of a linear operator to a reference signal acquired by the acquisition sensor of the acquisition device configured according to a sampling step corresponding to the resolving the high resolution merged signal, and wherein the step of pre-merging comprises applying the assistant operator of said linear operator to the plurality of signals.
  • the pre-merging step does not introduce any loss of useful information in the sense that certain merging algorithms, in particular variational methods with an attachment to quadratic data, do not require knowledge of the plurality of signals but only knowledge of the pre-fused signal.
  • the pre-fusion step limits the information losses linked to the compression / decompression steps that can be implemented during the transmission step, compared to the information losses that would be associated with the compression steps. / decompression if the plurality of signals were transmitted with the same volume of compressed data.
  • the filtering step does not modify the pre-fused signal.
  • the filtering step comprises applying, to the pre-merged signal, the pseudo-inverse of the product of the assistant operator and of the linear operator.
  • the filtered pre-merged image obtained with the pseudo-inverse operator is smoother than the pre-merged image, so that it will be compressed more efficiently.
  • the conditioning of the product of the assistant operator and of the linear operator depends on the uniformity of the distribution of the plurality of offsets modulo the sampling step of the signals.
  • the packaging of the product of the assistant operator and of the linear operator is a function of the number of images of the plurality of images acquired, in particular as a function of the ratio between the number of images of the plurality of images, and the product of the downsampling factors according to all the sampled dimensions.
  • the sub-sampling factors correspond for each dimension sampled to the ratio between the value of the sampling interval according to this dimension for the low-resolution signals and the value of the sampling interval according to the same dimension for the reference signal.
  • the filtering step comprises applying the pseudo-inverse of a linear combination of the identity operator and the product of the assistant operator and the linear operator.
  • the linear combination makes it possible to improve the conditioning of the filtering of the pre-fused image by replacing said poorly conditioned product by said better conditioned linear combination .
  • the invention also relates to a device for acquiring a signal for constructing a merged signal, the merged signal being called a high-resolution signal, from a plurality of signals acquired by an acquisition sensor of the acquisition device, each signal of the plurality of signals, being called a low resolution signal, and comprising a plurality of samples measured by the acquisition sensor configured according to a set of acquisition parameters of said signal, the set of acquisition parameters of each low resolution signal comprising a sampling step along at least one dimension, the sampling step corresponding to a resolution of said low resolution signal, the resolution of the low resolution signal being less than a resolution of the high resolution signal, the device comprising:
  • the acquisition sensor configured to acquire the plurality of low resolution signals
  • -measurement equipment configured to measure and / or estimate the acquisition parameters
  • a module for processing the plurality of signals configured to pre-merge the plurality of signals by calculating a pre-fused signal, a function of the plurality of signals and of all of the acquisition parameters of each signal of the plurality;
  • the device further comprising a data transmission unit configured to transmit the pre-fused filtered signal and all of the acquisition parameters to a remote computing unit, without transmitting the plurality of signals.
  • the remote computing unit can calculate an estimate of the pre-fused signal by inverse filtering of the pre-fused filtered signal, then determine, according to a known variational method, the high-resolution signal from the estimate of the pre-fused signal and from the set of acquisition parameters for each signal of the plurality.
  • the invention further comprises one or more of the following characteristics, alone or in a technically acceptable combination.
  • the signal is an image of a scene
  • the set of acquisition parameters of each low-resolution image further comprises a plurality of offsets, each offset of the plurality of offsets being associated with a low resolution image of the plurality of images, said shift associated with said low resolution image corresponding to a displacement of the acquisition sensor relative to the scene between the acquisition of said low resolution image and the acquisition of a low image next resolution, and in which at least one dimension of the pitch sampling of a low resolution image corresponds to at least one direction defined in a formation plane of the low resolution image on the acquisition device, in which the processing module is configured to calculate a pre-fused image; and wherein the filter module is configured to filter the pre-merged image; the device further comprising a data transmission unit configured to transmit the pre-fused filtered image and all of the acquisition parameters to a remote computing unit, without transmitting the plurality of images.
  • the remote computing unit can calculate an estimate of the pre-fused image by inverse filtering of the pre-fused filtered image, then determine, according to a known variational method, the high-resolution image from the estimate. of the pre-fused image and of all the acquisition parameters of each image of the plurality.
  • the acquisition sensor is modeled by a linear operator, and in which the pre-merging comprises applying the assistant operator of the linear operator to the plurality of images.
  • the filtering step includes applying to the pre-merged pseudo-inverse image of a linear combination of the identity operator and the product of the assistant operator and the linear operator.
  • the invention also relates to a computer program comprising instructions executable on an on-board computer and instructions executable on a remote computer, the executable instructions being configured to implement the method according to one of the implementation modes. work described above when said instructions are executed respectively on the on-board computer and on the remote computer.
  • the invention also relates to a use of the method according to one of the embodiments described above, to merge the images acquired by an acquisition device according to one of the embodiments described above, operably coupled. to a portable computer so that the portable computer includes the on-board computing unit of the device and the transmission unit to a remote computing unit, the portable computer being in particular a tablet or a smart phone.
  • the invention also relates to a use of the method according to one of the embodiments described above, for merging the images acquired by an acquisition device according to one of the embodiments described above, the device acquisition being on board an aircraft, in particular a drone.
  • the invention also relates to a use of the method according to one of the embodiments described above, for merging the images acquired by an acquisition device according to one of the embodiments described above, the device acquisition system being a medical imaging system.
  • the invention also relates to a use of the method according to one of the embodiments described above, for merging the images acquired by an acquisition device according to one of the embodiments described above, the device acquisition being a space imagery system carried by a satellite.
  • the invention also relates to a use of the method according to one of the embodiments described above, for merging into a spectrogram the interferograms of a plurality of interferograms acquired by a Michelson interferometer, or by an interferometer at static Fourier transform, the interferometer being for example of the SIFTI type, or to merge into a hyperspectral cube the interferometric cubes of a plurality of interferometric cubes acquired by a spectro-imager, the spectro-imager being for example of the SIELETERS type for example.
  • FIG. 1 is a presentation of a flowchart of an embodiment of the method according to the invention.
  • the invention will be described in the context of spatial imagery, but this is only one, non-limiting example of possible applications of the invention. Those skilled in the art will understand that the invention can just as easily be applied to the reconstruction of a high resolution signal, on remote and powerful calculation means, by the application of a conventional variational method, to a plurality of low-resolution signals acquired by means of an acquisition device having limited calculation means on board.
  • the acquisition device can be for example a smartphone equipped with a camera and motion sensors configured to acquire and preprocess on board a burst of images, called low resolution images, before transmitting the preprocessed images to a calculation means. remote to reconstruct higher resolution images, called high resolution images.
  • the acquisition device can also be on board an airplane, with or without a pilot, the device comprising a camera and a movement estimation system for example.
  • the device can also be a medical imaging system, configured to acquire, register, preprocess medical images before transmitting said preprocessed images with the appropriate registration information to a remote computing means.
  • the method according to the invention can be applied to monochromatic or multispectral images, for example images acquired on 3 or 4 spectral channels, the method being applied separately on each channel.
  • the method according to the invention applies to a stack of low-resolution signals resulting, for example, from the indirect measurement of a hyperspectral cube, such as signals which are obtained in a hyperspectral acquisition system by interferometry.
  • low resolution signal the signal (s) acquired by the device for acquiring the signal (s) before the signal (s) are processed by the calculation means on board the acquisition device, then transmitted to a remote computing means.
  • the low resolution signal qualification does not prejudge the resolution of the signal in absolute terms, but only indicates that said low resolution signal is of a lower resolution than the resolution of the signal which will be reconstructed by the remote computing means.
  • high resolution signal the signal, with a resolution greater than the resolution of the previously defined low resolution signals, which is reconstructed by the remote computing means, from the data transmitted by the acquisition device, ie from preprocessed low-resolution signals and a set of parameters for acquiring low-resolution signals.
  • the method according to the invention potentially applies to a great diversity of signals, in particular to images.
  • an image is a two-dimensional signal.
  • the method according to the invention is particularly advantageous when the possibility of constructing a high-resolution image and of denoising a plurality of signals, in particular images, of good quality is limited by two constraints:
  • a storage and computing power constraint on board that is to say on the platform on which the signal acquisition device is installed, said platform possibly being for example a computer, a tablet, a smart phone, or a drone, a satellite, or a medical imaging system;
  • a data transmission constraint to the remote means i.e. on the ground when the device is on board an air or space means.
  • a remote digital processing makes it possible to circumvent the constraints of on-board processing and to use better super-resolution algorithms, ie configured to build a high-resolution signal from a plurality of low-resolution signals, but it requires transmission to the remote means the plurality of low-resolution and noisy images, therefore weakly compressible, which reduces the acquisition capacity;
  • On-board digital processing on the acquisition device allows less data to be transmitted, but is limited by on-board storage and computing resources.
  • the present invention makes it possible to overcome these two constraints by distributing the processing between: - A rapid step of pre-merging the data on the platform or the acquisition device;
  • the method according to the invention is implemented by and on an acquisition device 10 comprising:
  • an acquisition sensor 11 configured to acquire a plurality of low resolution signals BR
  • a data transmission unit 14 configured to transmit data to a remote computing unit 20.
  • the acquisition sensor can be for example an optical observation instrument on board a satellite or an aircraft configured to acquire a series of low resolution images of a scene, for example a portion of the earth's surface, at successive instants, and while the satellite or aircraft is scrolling above the ground.
  • Each signal, or image, low resolution BR comprises a plurality of samples measured by the sensor of the acquisition device, the sensor being configured to acquire the signal according to a set of PA acquisition parameters, the set of parameters of acquisition PA of each low resolution signal comprising in particular a sampling step along at least one dimension, the sampling step corresponding to a resolution of said low resolution signal BR.
  • at least one dimension of the sampling step of a low resolution image corresponds to at least one direction defined in an image formation plane. low resolution on the acquisition device.
  • the at least one dimension comprises the two sampling directions of each low resolution image, said low resolution image forming a matrix of samples, ie of pixels, of dimension equal to the number of samples in one direction, multiplied by the number of samples in the other direction.
  • the set of acquisition parameters can also include, in the case of a space image sensor carried by a traveling satellite, a plurality of offsets, each offset of the plurality of offsets being associated with a low resolution image of the satellite. plurality of images acquired by the sensor, said shift associated with said low resolution image corresponding to a displacement of the acquisition device relative to the scene between the acquisition of said low resolution image and the acquisition of a subsequent low resolution image .
  • the measuring equipment 12 configured to measure and / or estimate the PA acquisition parameters can, for example, be a platform motion detector which carries the acquisition sensor 11.
  • the on-board calculation unit 13 is configured to receive the plurality of signals, or images, low resolution, and the set of acquisition parameters PA corresponding to said plurality of signals, or images;
  • the on-board computing unit 13 can be an on-board computer on the platform which carries the acquisition sensor, conventionally comprising one or more processors and associated memory.
  • the transmission unit 14 is configured to receive the data processed by the on-board computing unit 13 with all the acquisition parameters PA, and to transmit them to the remote computing unit 20, after they have been obtained. been optionally compressed 102a by a compression module which can be found in the on-board computing unit, or in the transmission unit 14.
  • the remote computing unit 20 is configured to receive the transmitted data and to process them with the aim of constructing a high-resolution HR signal or image from the data pre-processed by the on-board computing unit 13, after having optionally decompressed them. 102ter.
  • a reference signal or an image, is defined, said reference signal being that which would be picked up by the acquisition sensor 11 configured with a sampling step corresponding to the sampling step, called reference sampling step, desired for the high resolution image.
  • Either HR is the signal, or the high-resolution reference image thus defined.
  • the acquisition sensor 11, configured to acquire each signal, or image, low resolution, is modeled by a linear operator which makes it possible to pass from the signal or the image, of high resolution reference HR to the signal, or to the image, low resolution depending on the PA acquisition parameters.
  • each displacement of the acquisition sensor 11 relative to the scene between the acquisition of a low resolution image and the acquisition of a next low resolution image corresponds to an offset associated with said low resolution image of the plurality of images acquired by the sensor.
  • each low resolution image BR ' is of size mxn
  • the desired high resolution HR image is of size MxN
  • a * d .BR is of size MxN and can in general be calculated on board. It is then possible to transmit to the ground the pre-fused image A * d .BR, however this image turns out to be in general too irregular to be effectively compressed.
  • the pre-fused filtered image F d (A * d .BR) is effectively compressible, in the sense that the errors of the 102bis compression / 102ter decompression process are limited, therefore fairly regular and with a good signal-to-noise ratio;
  • the filtering function F d is invertible so that the pre-fused image A * d .BR can be reconstructed on the ground from the pre-fused filtered image F d (A * d .BR), in order to then apply one of the variational methods for the reconstruction of the desired high resolution HR image.
  • the method 100 comprises the following steps:
  • the pre-merged signal being a function of the plurality of signals and of all of the parameters of acquiring PA of each low resolution signal of the plurality;
  • the remote calculation unit 20 determines a variational method, of the high resolution signal FIR from the estimation of the pre-fused signal A * d .BR and of all the acquisition parameters of each signal of the plurality, the resolution of the merged signal being greater than a resolution of each signal of the plurality.
  • the filtering function F d can in particular be defined as the pseudo-inverse of a linear combination of the identity operator Id and the operator equal to A * d A d , i.e.:
  • the pre-fused filtered image Fd (A * d.BR) corresponds to the unique minimizer of the regularized least squares energy, also called Tikhonov energy; this choice constitutes a compromise between the two preceding situations, and makes it possible to alleviate the possible bad conditioning of the operator A * d Ad which could make inoperative the calculation of the estimator of the least squares according to the preceding option.
  • the method according to the invention also applies, for example, to signals obtained by interferometric spectrography; in this case :
  • the high resolution signal is an S (sigma) spectrogram (or a hyperspectral cube S (x, y, sigma) where sigma represents a wavelength, and S (sigma) represents the light energy measured at this length of
  • the instrument is configured to obtain the values of the signal S (sigma) for M sigma values sampled regularly between sigma_min and sigma_max.
  • the instrument making it possible to measure the low resolution signal can be for example a Michelson interferometer, a static Fourier transform interferometer like SIFTI (for an interferogram) or a spectro-imager like SIELETERS (for the interferometric cube)
  • the set of acquisition parameters for each low-resolution signal is the set of delta path difference values that may vary from one acquisition to another
  • A_delta is not invertible and it is necessary to have recourse to a plurality of low resolution signals in order to be able to use them to reconstruct the spectrogram S (high resolution signal).
  • the plurality of low-resolution signals is a set of interferograms 11, ..., IK (or interferometric cubes) corresponding each time to different values of delta. 1.
  • this delta value can be varied by moving the distances between the prisms.
  • the variation in delta is obtained by an offset of the (airborne) instrument with respect to the scene between two shots.
  • a precise estimate of this shift and a registration of the images obtained is necessary in order to obtain the exact values of delta (x, y) for each image registered.
  • an accurate attitude estimation system of the instrument can be used for this purpose.
  • the invention also relates to a device 10 for acquiring a signal for constructing a merged HR signal, the merged signal being called a high resolution HR signal, from a plurality of BR signals acquired by the device.
  • a device 10 for acquiring a signal for constructing a merged HR signal the merged signal being called a high resolution HR signal, from a plurality of BR signals acquired by the device.
  • each signal of the plurality of signals BR being called a low resolution signal BR and comprising a plurality of samples measured by the acquisition device 10 configured according to a set of parameters of acquisition PA of said signal, the set acquisition parameters PA of each low-resolution signal BR comprising a sampling step along at least one dimension, the sampling step corresponding to a resolution of said low-resolution signal BR, the resolution of the low-resolution signal BR being less than one resolution of the high resolution HR signal
  • the device 10 comprising:
  • an acquisition sensor 11 configured to acquire the plurality of low resolution signals BR
  • an on-board computing unit 13 comprising:
  • a module for processing the plurality of signals BR configured to pre-merge 101a the plurality of signals by calculating a pre-fused signal, a function of the plurality of signals BR and of all of the acquisition parameters PA of each signal of the plurality of signals.
  • a filtering module configured to filter 101b the pre-fused signal; the device further comprising a data transmission unit configured to transmit the pre-fused filtered signal to a remote computing unit 20.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

Method (100) for constructing a high-resolution (HR) mixed signal from low-resolution (BR) signals acquired by an acquisition device (10), comprising the following steps: acquiring (101) low-resolution signals (BR); measuring and/or estimating (101') acquisition parameters (PA); pre-mixing (101a) the signals according to the low-resolution signals and the parameters (PA); filtering (101b) the pre-mixed signal; transmitting (102) the filtered pre-mixed signal and the parameters (PA); calculating (103) an estimate of the pre-mixed signal by inversely filtering the pre-mixed filtered signal; determining (104), according to a variational method, the high resolution mixed signal from the estimate of the pre-mixed signal and the parameters, a resolution of the mixed signal being greater than a resolution of each signal.

Description

DESCRIPTION DESCRIPTION
TITRE : Procédé de construction d’un signal ou d’une image fusionné(e) haute résolution à partir d’une pluralité de signaux ou d’une pluralité d’images basse résolution TITLE: A method of constructing a high-resolution merged signal or image from a plurality of signals or a plurality of low-resolution images
La présente invention concerne le domaine du traitement des images pour fusionner plusieurs images en une seule image de résolution supérieure, ledit procédé étant mis en œuvre pour une partie sur un segment embarqué à bord du dispositif d’acquisition, et pour une autre partie sur un segment moins contraint en puissance de calcul. The present invention relates to the field of image processing in order to merge several images into a single image of higher resolution, said method being implemented partly on a segment on board the acquisition device, and for another part on a segment less constrained in computing power.
Il est connu d’utiliser un moyen d’acquisition d’images pour acquérir une succession d’images d’une scène fixe, le moyen d’acquisition étant muni d’un dispositif pour estimer précisément les mouvements du moyen d’acquisition entre chaque prise de vue. Il est alors possible, selon des procédés connus de l’homme du métier, de fusionner les images successives acquises pour obtenir une image de résolution supérieure aux images acquises. It is known to use an image acquisition means to acquire a succession of images of a fixed scene, the acquisition means being provided with a device for accurately estimating the movements of the acquisition means between each. shooting. It is then possible, according to methods known to those skilled in the art, to merge the successive images acquired to obtain an image of higher resolution than the images acquired.
L’inconvénient des méthodes de fusionnement connues est de nécessiter une puissance de calcul très importante, qui peut ne pas être disponible sur le segment à bord duquel le moyen d’acquisition des images est embarqué, ledit segment pouvant être un segment spatial, ou aérien, ou encore le terminal mobile d’un utilisateur. Il est alors possible, et connu également, de transmettre les données acquises à un segment au sol, ou à un serveur distant, moins contraint en terme de puissance de calcul. L’inconvénient de cette étape de transmission est double : d’une part, elle nécessite en général une étape de compression/décompression des données acquises, pour s’adapter à la bande passante du moyen de transmission de données ; l’étape de compression/décompression étant alors susceptible de dégrader la qualité des données, lorsque le volume des données à transmettre, et par conséquent le taux de compression requis pour leur transmission, est important. La dégradation de la qualité des données induite par la transmission des données n’est pas sans impact sur la qualité finale de l’image fusionnée. D’autre part cette étape de transmission induit un coût élevé, en terme d’énergie, et/ou de temps, et/ou de bande passante consommée. The drawback of the known merging methods is that they require very significant computing power, which may not be available on the segment on board which the image acquisition means is on board, said segment possibly being a space or air segment. , or the mobile terminal of a user. It is then possible, and also known, to transmit the acquired data to a ground segment, or to a remote server, less constrained in terms of computing power. The drawback of this transmission step is twofold: on the one hand, it generally requires a step of compressing / decompressing the acquired data, in order to adapt to the bandwidth of the data transmission means; the compression / decompression step then being liable to degrade the quality of the data, when the volume of data to be transmitted, and consequently the compression ratio required for their transmission, is important. The degradation of the data quality induced by the data transmission is not without impact on the final quality of the merged image. On the other hand, this transmission step induces a high cost, in terms of energy, and / or time, and / or bandwidth consumed.
L’invention a donc pour but de proposer une solution à tout ou partie de ces problèmes. The aim of the invention is therefore to provide a solution to all or part of these problems.
A cet effet, la présente invention concerne un procédé pour construire un signal fusionné, le signal fusionné étant appelé signal haute résolution, à partir d’une pluralité de signaux acquis par un dispositif d’acquisition, chaque signal de la pluralité de signaux, étant appelé signal basse résolution, chaque signal comprenant une pluralité d’échantillons mesurés par un capteur d’acquisition du dispositif d’acquisition configuré selon un ensemble de paramètres d’acquisitions dudit signal, l’ensemble des paramètres d’acquisition de chaque signal basse résolution comprenant un pas d’échantillonnage selon au moins une dimension, le pas d’échantillonnage correspondant à une résolution dudit signal basse résolution, la résolution du signal basse résolution étant inférieure à une résolution du signal haute résolution, le dispositif d’acquisition comprenant : To this end, the present invention relates to a method for constructing a merged signal, the merged signal being called a high resolution signal, from a plurality of signals acquired by an acquisition device, each signal of the plurality of signals being called low resolution signal, each signal comprising a plurality of samples measured by an acquisition sensor of the acquisition device configured according to a set of acquisition parameters of said signal, the set of acquisition parameters of each low resolution signal comprising a sampling step along at least one dimension, the sampling step corresponding to a resolution of said low resolution signal, the resolution of the low resolution signal being less than a resolution of the high resolution signal, the acquisition device comprising:
- le capteur d’acquisition configuré pour acquérir la pluralité de signaux basse résolution, - the acquisition sensor configured to acquire the plurality of low resolution signals,
-un équipement de mesure configuré pour mesurer et/ou estimer les paramètres d’acquisition, -measurement equipment configured to measure and / or estimate the acquisition parameters,
-une unité de calcul embarquée, -an on-board computing unit,
-une unité de transmission de données, configurée pour transmettre des données à une unité de calcul déportée, le procédé comprenant les étapes suivantes : a data transmission unit, configured to transmit data to a remote computing unit, the method comprising the following steps:
- acquisition de la pluralité de signaux basse résolution; - acquisition of the plurality of low resolution signals;
- mesure et/ou estimation de l’ensemble des paramètres d’acquisition; - préfusionnement de la pluralité des signaux en un signal préfusionné, par un calcul réalisé par l’unité de calcul embarquée, le signal préfusionné étant fonction de la pluralité des signaux et de l’ensemble des paramètres d’acquisition de chaque signal basse résolution de la pluralité ; - measurement and / or estimation of all the acquisition parameters; - pre-fusion of the plurality of signals into a pre-merged signal, by a calculation carried out by the on-board calculation unit, the pre-merged signal being a function of the plurality of signals and of all the acquisition parameters of each low-resolution signal of the plurality ;
- filtrage du signal préfusionné, réalisé par l’unité de calcul embarquée; - filtering of the pre-fused signal, carried out by the on-board computing unit;
- transmission, par l’unité de transmission à l’unité de calcul déportée, du signal préfusionné filtré et de l’ensemble des paramètres d’acquisition de chaque signal de la pluralité, sans transmission de la pluralité des signaux ; - transmission, by the transmission unit to the remote computing unit, of the pre-fused filtered signal and all of the acquisition parameters for each signal of the plurality, without transmission of the plurality of signals;
- calcul, par l’unité de calcul déportée, d’une estimation du signal préfusionné par un filtrage inverse du signal préfusionné filtré; - calculation, by the remote calculation unit, of an estimate of the pre-fused signal by inverse filtering of the pre-fused filtered signal;
- détermination, par l’unité de calcul déportée, selon une méthode variationnelle, du signal fusionné haute résolution à partir de l’estimation du signal préfusionné et de l’ensemble des paramètres d’acquisition de chaque signal de la pluralité, une résolution du signal fusionné haute résolution étant supérieure à une résolution de chaque signal de la pluralité. - determination, by the remote calculation unit, according to a variational method, of the high-resolution merged signal from the estimate of the pre-merged signal and of all the acquisition parameters of each signal of the plurality, a resolution of the A high resolution merged signal being greater than a resolution of each of the plurality of signals.
Selon ces dispositions, l’étape de calcul du signal préfusionné filtré peut être réalisée par l’unité de calcul embarquée, dotée de ressources calculatoires limitées. According to these arrangements, the step of calculating the filtered pre-fused signal can be carried out by the on-board calculation unit, endowed with limited calculation resources.
Selon ces dispositions, le volume des données du signal préfusionné filtrée est inférieur au volume total des données de la pluralité de signaux et du même ordre que le volume de données d’un signal de référence qui serait acquis par le dispositif d’acquisition configuré selon un pas d’échantillonnage correspondant à la résolution du signal fusionné. According to these arrangements, the volume of the data of the filtered pre-fused signal is less than the total volume of the data of the plurality of signals and of the same order as the volume of data of a reference signal which would be acquired by the acquisition device configured according to a sampling step corresponding to the resolution of the merged signal.
Selon un mode de mise en œuvre, l’invention comprend une ou plusieurs des caractéristiques suivantes, seules ou en combinaison techniquement acceptable. Selon un mode de mise en œuvre, chaque signal basse résolution de la pluralité de signaux basse résolution est une image basse résolution d’une pluralité d’images basse résolution d’une scène, dans lequel le signal préfusionné est une image préfusionnée, et dans lequel le signal préfusionné filtré est une image préfusionnée filtrée, dans lequel le signal fusionné haute résolution est une image fusionnée dite image haute résolution, dans lequel l’ensemble des paramètres d’acquisition de chaque image basse résolution comprennent en outre une pluralité de décalages, chaque décalage de la pluralité de décalages étant associé à une image basse résolution de la pluralité d’images, ledit décalage associé à ladite image basse résolution correspondant à un déplacement du dispositif d’acquisition relativement à la scène entre l’acquisition de ladite image basse résolution et l’acquisition d’une image basse résolution suivante, et dans lequel l’au moins une dimension du pas d’échantillonnage d’une image basse résolution correspond à au moins une direction définie dans un plan de formation de l’image basse résolution sur le capteur d’acquisition. According to one embodiment, the invention comprises one or more of the following characteristics, alone or in a technically acceptable combination. According to one embodiment, each low resolution signal of the plurality of low resolution signals is a low resolution image of a plurality of low resolution images of a scene, in which the pre-merged signal is a pre-merged image, and in in which the filtered pre-merged signal is a filtered pre-merged image, in which the high-resolution merged signal is a merged image called a high-resolution image, in which the set of acquisition parameters of each low-resolution image further comprises a plurality of offsets, each shift of the plurality of shifts being associated with a low resolution image of the plurality of images, said shift associated with said low resolution image corresponding to a displacement of the acquisition device relative to the scene between the acquisition of said low image resolution and the acquisition of a subsequent low-resolution image, and in which the at least one dimension of the sampling step of a The low-resolution image corresponds to at least one direction defined in a formation plane of the low-resolution image on the acquisition sensor.
Selon ces dispositions, l’étape de calcul de l’image préfusionnée filtrée peut être réalisée par l’unité de calcul embarquée, dotée de ressources calculatoires limitées. According to these arrangements, the step of calculating the filtered pre-fused image can be performed by the on-board calculation unit, endowed with limited calculation resources.
Selon ces dispositions, le volume des données de l’image préfusionnée filtrée est inférieur au volume total des données de la pluralité d’images et du même ordre que le volume de données d’une image de référence qui serait acquise par le dispositif d’acquisition configuré selon un pas d’échantillonnage correspondant à la résolution de l’image fusionnée. According to these arrangements, the volume of the data of the filtered pre-fused image is less than the total volume of the data of the plurality of images and of the same order as the volume of data of a reference image which would be acquired by the device. acquisition configured according to a sampling step corresponding to the resolution of the merged image.
Selon un mode de mise en œuvre, chaque signal basse résolution de la pluralité de signaux basse résolution est un interférogramme d’une pluralité d’interférogrammes, ou respectivement un cube interférométrique d’une pluralité de cubes interférométriques, dans lequel le signal fusionné haute résolution est un spectrogramme, ou respectivement un cube hyperspectral, dans lequel l’ensemble des paramètres d’acquisition comprennent une pluralité de différences de marche, chaque différence de marche de la pluralité de différences de marche étant associée à un interférogramme de la pluralité d’interférogrammes, ou respectivement à un cube interférométrique de la pluralité de cubes interférométriques. According to one embodiment, each low-resolution signal of the plurality of low-resolution signals is an interferogram of a plurality of interferograms, or respectively an interferometric cube of a plurality of interferometric cubes, in which the high-resolution merged signal is a spectrogram, or respectively a hyperspectral cube, in which the set of acquisition parameters include a plurality of path differences, each path difference of the plurality of path differences being associated with an interferogram of the plurality of interferograms, or respectively with an interferometric cube of the plurality of cubes interferometric.
Selon un mode de mise en oeuvre, l’étape de transmission comprend une étape de compression, puis de décompression, de l’image préfusionnée flitrée transmise ; According to one embodiment, the transmission step comprises a step of compressing, then decompressing, the transmitted prefused flitled image;
Selon ces dispositions, l’image préfusionnée filtrée reçue est l’image préfusionnée filtrée, comprimée puis décomprimée. According to these provisions, the pre-fused filtered image received is the pre-fused image filtered, compressed and then decompressed.
Selon ces dispositions, avec des ressources calculatoires embarquées limitées, il est possible de minimiser encore plus la quantité de données à transmettre et/ou de minimiser la perte d’information liée à l’étape de compression puis de décompression pour un même volume de données transmises. According to these arrangements, with limited on-board computing resources, it is possible to further minimize the quantity of data to be transmitted and / or to minimize the loss of information linked to the step of compression then decompression for the same volume of data. transmitted.
Selon un mode de mise en oeuvre, une composante du déplacement correspondant à chaque décalage de la pluralité de décalages est mesurée avec une précision inférieure au pas d’échantillonnage selon l’axe de l’image basse résolution à laquelle ledit décalage est associé, en particulier avec une précision de l’ordre d’un dixième, ou d’un centième du pas d’échantillonnage. According to one embodiment, a component of the displacement corresponding to each shift of the plurality of shifts is measured with a precision lower than the sampling interval along the axis of the low-resolution image with which said shift is associated, in particular with a precision of the order of a tenth, or a hundredth of the sampling step.
Selon un mode de mise en oeuvre, la pluralité de signaux est modélisée par l’application d’un opérateur linéaire à un signal de référence acquis par le capteur d’acquisition du dispositif d’acquisition configuré selon un pas d’échantillonnage correspondant à la résolution du signal fusionné haute résolution, et dans lequel l’étape de préfusionnement comprend l’application de l’opérateur adjoint dudit opérateur linéaire à la pluralité de signaux. Selon ces dispositions, l’étape de préfusionnement n’introduit aucune perte d’information utile au sens où certains algorithmes de fusionnement, en particulier les méthodes variationnelles avec une attache aux données quadratiques, ne nécessitent pas la connaissance de la pluralité de signaux mais seulement la connaissance du signal préfusionné. According to one embodiment, the plurality of signals is modeled by the application of a linear operator to a reference signal acquired by the acquisition sensor of the acquisition device configured according to a sampling step corresponding to the resolving the high resolution merged signal, and wherein the step of pre-merging comprises applying the assistant operator of said linear operator to the plurality of signals. According to these arrangements, the pre-merging step does not introduce any loss of useful information in the sense that certain merging algorithms, in particular variational methods with an attachment to quadratic data, do not require knowledge of the plurality of signals but only knowledge of the pre-fused signal.
Selon ces dispositions, l’étape de préfusionnement limite les pertes d’information liées aux étapes de compression/décompression pouvant être mises en œuvre au cours de l’étape de transmission, par rapport aux pertes d’information qui seraient associées aux étapes de compression/décompression si l’on transmettait la pluralité de signaux avec un même volume de données compressées. According to these arrangements, the pre-fusion step limits the information losses linked to the compression / decompression steps that can be implemented during the transmission step, compared to the information losses that would be associated with the compression steps. / decompression if the plurality of signals were transmitted with the same volume of compressed data.
Selon un mode de mise en œuvre, l’étape de filtrage ne modifie pas le signal préfusionné. According to one embodiment, the filtering step does not modify the pre-fused signal.
Selon un mode de mise en œuvre, l’étape de filtrage comprend l’application, au signal préfusionné, du pseudo-inverse du produit de l’opérateur adjoint et de l’opérateur linéaire. According to one embodiment, the filtering step comprises applying, to the pre-merged signal, the pseudo-inverse of the product of the assistant operator and of the linear operator.
Selon ces dispositions, si le produit de l’opérateur adjoint et de l’opérateur linéaire est bien conditionné, l’image préfusionnée filtrée obtenue avec l’opérateur pseudo-inverse est plus régulière que l’image préfusionnée, de sorte qu’elle sera comprimée plus efficacement. According to these arrangements, if the product of the assistant operator and of the linear operator is well conditioned, the filtered pre-merged image obtained with the pseudo-inverse operator is smoother than the pre-merged image, so that it will be compressed more efficiently.
Selon ces dispositions, le conditionnement du produit de l’opérateur adjoint et de l’opérateur linéaire dépend de l’uniformité de la distribution de la pluralité des décalages modulo le pas d’échantillonnage des signaux. According to these arrangements, the conditioning of the product of the assistant operator and of the linear operator depends on the uniformity of the distribution of the plurality of offsets modulo the sampling step of the signals.
Selon ces dispositions, le conditionnement du produit de l’opérateur adjoint et de l’opérateur linéaire est fonction du nombre d’images de la pluralité d’images acquises, en particulier en fonction du rapport entre le nombre d’images de la pluralité d’images, et le produit des facteurs de sous-échantillonnage selon toutes les dimensions échantillonnées. Les facteurs de sous-échantillonnage correspondent pour chaque dimension échantillonnée au rapport entre la valeur du pas d’échantillonnage selon cette dimension pour les signaux basse résolution et la valeur du pas d’échantillonnage selon la même dimension pour le signal de référence. According to these arrangements, the packaging of the product of the assistant operator and of the linear operator is a function of the number of images of the plurality of images acquired, in particular as a function of the ratio between the number of images of the plurality of images, and the product of the downsampling factors according to all the sampled dimensions. The sub-sampling factors correspond for each dimension sampled to the ratio between the value of the sampling interval according to this dimension for the low-resolution signals and the value of the sampling interval according to the same dimension for the reference signal.
Selon un mode de mise en oeuvre, l’étape de filtrage comprend l’application du pseudo-inverse d’une combinaison linéaire de l’opérateur identité et du produit de l’opérateur adjoint et de l’opérateur linéaire. According to one embodiment, the filtering step comprises applying the pseudo-inverse of a linear combination of the identity operator and the product of the assistant operator and the linear operator.
Selon ces dispositions, si le produit de l’opérateur adjoint et de l’opérateur linéaire est mal conditionné, la combinaison linéaire permet d’améliorer le conditionnement du filtrage de l’image préfusionnée en remplaçant ledit produit mal conditionné par ladite combinaison linéaire mieux conditionnée. According to these arrangements, if the product of the assistant operator and of the linear operator is poorly conditioned, the linear combination makes it possible to improve the conditioning of the filtering of the pre-fused image by replacing said poorly conditioned product by said better conditioned linear combination .
L’invention concerne également un dispositif d’acquisition d’un signal pour construire un signal fusionné, le signal fusionné étant appelé signal haute résolution, à partir d’une pluralité de signaux acquis par un capteur d’acquisition du dispositif d’acquisition, chaque signal de la pluralité de signaux, étant appelé signal basse résolution, et comprenant une pluralité d’échantillons mesurés par le capteur d’acquisition configuré selon un ensemble de paramètres d’acquisition dudit signal, l’ensemble des paramètres d’acquisition de chaque signal basse résolution comprenant un pas d’échantillonnage selon au moins une dimension, le pas d’échantillonnage correspondant à une résolution dudit signal basse résolution, la résolution du signal basse résolution étant inférieure à une résolution du signal haute résolution, le dispositif comprenant : The invention also relates to a device for acquiring a signal for constructing a merged signal, the merged signal being called a high-resolution signal, from a plurality of signals acquired by an acquisition sensor of the acquisition device, each signal of the plurality of signals, being called a low resolution signal, and comprising a plurality of samples measured by the acquisition sensor configured according to a set of acquisition parameters of said signal, the set of acquisition parameters of each low resolution signal comprising a sampling step along at least one dimension, the sampling step corresponding to a resolution of said low resolution signal, the resolution of the low resolution signal being less than a resolution of the high resolution signal, the device comprising:
- le capteur d’acquisition configuré pour acquérir la pluralité de signaux basse résolution, -un équipement de mesure configuré pour mesurer et/ou estimer les paramètres d’acquisition, - the acquisition sensor configured to acquire the plurality of low resolution signals, -measurement equipment configured to measure and / or estimate the acquisition parameters,
- une unité de calcul embarquée comprenant , - an on-board computing unit comprising,
- un module de traitement de la pluralité des signaux configuré pour préfusionner la pluralité des signaux en calculant un signal préfusionné, fonction de la pluralité des signaux et de l’ensemble des paramètres d’acquisition de chaque signal de la pluralité; - a module for processing the plurality of signals configured to pre-merge the plurality of signals by calculating a pre-fused signal, a function of the plurality of signals and of all of the acquisition parameters of each signal of the plurality;
- un module de filtrage configuré pour filtrer le signal préfusionné; le dispositif comprenant en outre une unité de transmission de données configurée pour transmettre le signal préfusionné filtré et l’ensemble des paramètres d’acquisition à une unité de calcul déportée, sans transmission de la pluralité des signaux. - a filtering module configured to filter the pre-fused signal; the device further comprising a data transmission unit configured to transmit the pre-fused filtered signal and all of the acquisition parameters to a remote computing unit, without transmitting the plurality of signals.
Selon ces dispositions, l’unité de calcul déportée peut calculer une estimation du signal préfusionné par un filtrage inverse du signal préfusionné filtré, puis déterminer, selon une méthode variationnelle connue, le signal haute résolution à partir de l’estimation du signal préfusionné et de l’ensemble des paramètres d’acquisition de chaque signal de la pluralité. According to these arrangements, the remote computing unit can calculate an estimate of the pre-fused signal by inverse filtering of the pre-fused filtered signal, then determine, according to a known variational method, the high-resolution signal from the estimate of the pre-fused signal and from the set of acquisition parameters for each signal of the plurality.
Selon un mode de réalisation, l’invention comprend en outre une ou plusieurs des caractéristiques suivantes, seules ou en combinaison techniquement acceptable. According to one embodiment, the invention further comprises one or more of the following characteristics, alone or in a technically acceptable combination.
Selon un mode de réalisation, le signal est une image d’une scène, et dans lequel l’ensemble de paramètres d’acquisition de chaque image basse résolution comprend en outre une pluralité de décalages, chaque décalage de la pluralité de décalages étant associé à une image basse résolution de la pluralité d’images, ledit décalage associé à ladite image basse résolution correspondant à un déplacement du capteur d’acquisition relativement à la scène entre l’acquisition de ladite image basse résolution et l’acquisition d’une image basse résolution suivante, et dans lequel l’au moins une dimension du pas d’échantillonnage d’une image basse résolution correspond à au moins une direction définie dans un plan de formation de l’image basse résolution sur le dispositif d’acquisition, dans lequel le module de traitement est configuré pour calculer une image préfusionnée; et dans lequel le module de filtrage est configuré pour filtrer l’image préfusionnée; le dispositif comprenant en outre une unité de transmission de données configurée pour transmettre l’image préfusionnée filtrée et l’ensemble des paramètres d’acquisition à une unité de calcul déportée, sans transmission de la pluralité des images. According to one embodiment, the signal is an image of a scene, and in which the set of acquisition parameters of each low-resolution image further comprises a plurality of offsets, each offset of the plurality of offsets being associated with a low resolution image of the plurality of images, said shift associated with said low resolution image corresponding to a displacement of the acquisition sensor relative to the scene between the acquisition of said low resolution image and the acquisition of a low image next resolution, and in which at least one dimension of the pitch sampling of a low resolution image corresponds to at least one direction defined in a formation plane of the low resolution image on the acquisition device, in which the processing module is configured to calculate a pre-fused image; and wherein the filter module is configured to filter the pre-merged image; the device further comprising a data transmission unit configured to transmit the pre-fused filtered image and all of the acquisition parameters to a remote computing unit, without transmitting the plurality of images.
Selon ces dispositions, l’unité de calcul déportée peut calculer une estimation de l’image préfusionnée par un filtrage inverse de l’image préfusionnée filtrée, puis déterminer, selon une méthode variationnelle connue, l’image haute résolution à partir de l’estimation de l’image préfusionnée et de l’ensemble des paramètres d’acquisition de chaque image de la pluralité. According to these arrangements, the remote computing unit can calculate an estimate of the pre-fused image by inverse filtering of the pre-fused filtered image, then determine, according to a known variational method, the high-resolution image from the estimate. of the pre-fused image and of all the acquisition parameters of each image of the plurality.
Selon un mode de réalisation, le capteur d’acquisition est modélisé par un opérateur linéaire, et dans lequel le préfusionnement comprend l’application de l’opérateur adjoint de l’opérateur linéaire à la pluralité d’images. According to one embodiment, the acquisition sensor is modeled by a linear operator, and in which the pre-merging comprises applying the assistant operator of the linear operator to the plurality of images.
Selon un mode de réalisation, l’étape de filtrage comprend l’application à l’image préfusionnée du pseudo-inverse d’une combinaison linéaire de l’opérateur identité et du produit de l’opérateur adjoint et de l’opérateur linéaire. In one embodiment, the filtering step includes applying to the pre-merged pseudo-inverse image of a linear combination of the identity operator and the product of the assistant operator and the linear operator.
L’invention concerne également un programme d’ordinateur comprenant des instructions exécutables sur un ordinateur embarqué et des instructions exécutables sur un ordinateur déporté, les instructions exécutables étant configurées pour mettre en oeuvre le procédé selon l’un des modes de mise en œuvre décrit ci-avant lorsque lesdites instructions sont exécutées respectivement sur l’ordinateur embarqué et sur l’ordinateur déporté. The invention also relates to a computer program comprising instructions executable on an on-board computer and instructions executable on a remote computer, the executable instructions being configured to implement the method according to one of the implementation modes. work described above when said instructions are executed respectively on the on-board computer and on the remote computer.
L’invention concerne également une utilisation du procédé selon l’un des modes de mise en œuvre décrit ci-avant, pour fusionner les images acquises par un dispositif d’acquisition selon l’une des modes de réalisation décrit ci-avant, couplé fonctionnellement à ordinateur portable de sorte que l’ordinateur portable comprend l’unité de calcul embarquée du dispositif et l’unité de transmission vers une unité de calcul déportée, l’ordinateur portable étant en particulier une tablette ou un téléphone intelligent. The invention also relates to a use of the method according to one of the embodiments described above, to merge the images acquired by an acquisition device according to one of the embodiments described above, operably coupled. to a portable computer so that the portable computer includes the on-board computing unit of the device and the transmission unit to a remote computing unit, the portable computer being in particular a tablet or a smart phone.
L’invention concerne également une utilisation du procédé selon l’un des modes de mise en œuvre décrit ci-avant, pour fusionner les images acquises par un dispositif d’acquisition selon l’une des modes de réalisation décrit ci-avant, le dispositif d’acquisition étant embarqué sur un aéronef, en particulier un drone. The invention also relates to a use of the method according to one of the embodiments described above, for merging the images acquired by an acquisition device according to one of the embodiments described above, the device acquisition being on board an aircraft, in particular a drone.
L’invention concerne également une utilisation du procédé selon l’un des modes de mise en œuvre décrit ci-avant, pour fusionner les images acquises par un dispositif d’acquisition selon l’une des modes de réalisation décrit ci-avant, le dispositif d’acquisition étant un système d’imagerie médicale. The invention also relates to a use of the method according to one of the embodiments described above, for merging the images acquired by an acquisition device according to one of the embodiments described above, the device acquisition system being a medical imaging system.
L’invention concerne également une utilisation du procédé selon l’un des modes de mise en œuvre décrit ci-avant, pour fusionner les images acquises par un dispositif d’acquisition selon l’une des modes de réalisation décrit ci-avant, le dispositif d’acquisition étant un système d’imagerie spatiale porté par un satellite. The invention also relates to a use of the method according to one of the embodiments described above, for merging the images acquired by an acquisition device according to one of the embodiments described above, the device acquisition being a space imagery system carried by a satellite.
L’invention concerne également une utilisation du procédé selon l’un des modes de mise en œuvre décrit ci-avant, pour fusionner en un spectrogramme les interférogrammes d’une pluralité d’interférogrammes acquis par un interféromètre de Michelson, ou par un interféromètre à transformée de Fourier statique, l’interféromètre étant par exemple du type SIFTI, ou pour fusionner en un cube hyperspectral les cubes interférométriques d’une pluralité de cubes interférométriques acquis par un spectro-imageur, le spectro-imageur étant par exemple par exemple du type SIELETERS. The invention also relates to a use of the method according to one of the embodiments described above, for merging into a spectrogram the interferograms of a plurality of interferograms acquired by a Michelson interferometer, or by an interferometer at static Fourier transform, the interferometer being for example of the SIFTI type, or to merge into a hyperspectral cube the interferometric cubes of a plurality of interferometric cubes acquired by a spectro-imager, the spectro-imager being for example of the SIELETERS type for example.
Pour sa bonne compréhension, un mode de réalisation et/ou de mise en oeuvre de l’invention est décrit en référence aux dessins ci-annexés représentant, à titre d’exemple non limitatif, une forme de réalisation ou de mise en oeuvre respectivement d’un dispositif et/ou d’un procédé selon l’invention. Les mêmes références sur les dessins désignent des éléments similaires ou des éléments dont les fonctions sont similaires. For its proper understanding, an embodiment and / or implementation of the invention is described with reference to the accompanying drawings showing, by way of non-limiting example, an embodiment or implementation respectively of a device and / or a method according to the invention. Like references in the drawings denote similar elements or elements having similar functions.
[Fig. 1] est une présentation d’un logigramme d’un mode de mise en oeuvre du procédé selon l’invention. [Fig. 1] is a presentation of a flowchart of an embodiment of the method according to the invention.
L’invention va être décrite dans le contexte de l’imagerie spatiale, mais ce n’est qu’un exemple, non limitatif, parmi les applications possibles de l’invention. L’homme du métier comprendra que l’invention peut tout aussi bien être appliquée à la reconstruction d’un signal haute résolution, sur des moyens de calculs déportés et puissants, par l’application d’une méthode variationnelle classique, à une pluralité de signaux basse résolution acquis au moyen d’un dispositif d’acquisition disposant à bord de moyens de calculs limités. The invention will be described in the context of spatial imagery, but this is only one, non-limiting example of possible applications of the invention. Those skilled in the art will understand that the invention can just as easily be applied to the reconstruction of a high resolution signal, on remote and powerful calculation means, by the application of a conventional variational method, to a plurality of low-resolution signals acquired by means of an acquisition device having limited calculation means on board.
Le dispositif d’acquisition peut être par exemple un smartphone équipé d’une caméra et de capteurs de mouvement configuré pour acquérir et prétraiter à bord une rafale d’images, dites images basse résolution, avant de transmettre les images prétraitées à un moyen de calcul déporté pour reconstruire des images de plus haute résolution, dites images haute résolution. The acquisition device can be for example a smartphone equipped with a camera and motion sensors configured to acquire and preprocess on board a burst of images, called low resolution images, before transmitting the preprocessed images to a calculation means. remote to reconstruct higher resolution images, called high resolution images.
Le dispositif d’acquisition peut également être embarqué sur un avion, avec ou sans pilote, le dispositif comprenant une caméra et un système d’estimation du mouvement par exemple. Le dispositif peut également être un système d’imagerie médicale, configuré pour acquérir, recaler, prétraiter les images médicales avant de transmettre à un moyen de calcul déporté lesdites images prétraitées avec les informations de recalages appropriées. The acquisition device can also be on board an airplane, with or without a pilot, the device comprising a camera and a movement estimation system for example. The device can also be a medical imaging system, configured to acquire, register, preprocess medical images before transmitting said preprocessed images with the appropriate registration information to a remote computing means.
Le procédé selon l’invention peut s’appliquer à des images monochromatiques ou multispectrales, par exemple des images acquises sur 3 ou 4 canaux spectraux, la méthode étant appliquée séparément sur chaque canal. The method according to the invention can be applied to monochromatic or multispectral images, for example images acquired on 3 or 4 spectral channels, the method being applied separately on each channel.
Plus généralement, le procédé selon l’invention s’applique à une piles de signaux basse résolution résultant par exemple de la mesure indirecte d’un cube hyperspectral, comme les signaux qui sont obtenus dans un système d’acquisition hyperspectral par interférométrie. More generally, the method according to the invention applies to a stack of low-resolution signals resulting, for example, from the indirect measurement of a hyperspectral cube, such as signals which are obtained in a hyperspectral acquisition system by interferometry.
Par convention, nous appellerons signal basse résolution le ou les signaux acquis par le dispositif d’acquisition du ou des signaux avant que le ou les signaux, ne soient traités par les moyens de calculs embarqués sur le dispositif d’acquisition, puis transmis à un moyen de calcul déporté. La qualification de signal basse résolution ne préjuge pas de la résolution du signal dans l’absolu, mais indique seulement que ledit signal basse résolution est d’une résolution inférieure à la résolution du signal qui sera reconstruit par le moyen de calcul déporté. By convention, we will call low resolution signal the signal (s) acquired by the device for acquiring the signal (s) before the signal (s) are processed by the calculation means on board the acquisition device, then transmitted to a remote computing means. The low resolution signal qualification does not prejudge the resolution of the signal in absolute terms, but only indicates that said low resolution signal is of a lower resolution than the resolution of the signal which will be reconstructed by the remote computing means.
Par convention également, nous appellerons signal haute résolution le signal, de résolution supérieure à la résolution des signaux basse résolution précédemment définis, qui est reconstruit par le moyen de calcul déporté, à partir des données transmises par le dispositif d’acquisition, i.e. à partir des signaux basse résolution prétraités et un ensemble de paramètres d’acquisition des signaux basse résolution. Comme cela a été indiqué précédemment, le procédé selon l’invention s’applique potentiellement à une grande diversité de signaux, notamment à des images. Par convention, nous considérerons ici qu’une image est un signal à deux dimensions. By convention also, we will call high resolution signal the signal, with a resolution greater than the resolution of the previously defined low resolution signals, which is reconstructed by the remote computing means, from the data transmitted by the acquisition device, ie from preprocessed low-resolution signals and a set of parameters for acquiring low-resolution signals. As indicated above, the method according to the invention potentially applies to a great diversity of signals, in particular to images. By convention, we will consider here that an image is a two-dimensional signal.
Le procédé selon l’invention est particulièrement avantageux lorsque la possibilité de construire une image haute résolution et de débruiter une pluralité de signaux, notamment d’images, de bonne qualité est limitée par deux contraintes : The method according to the invention is particularly advantageous when the possibility of constructing a high-resolution image and of denoising a plurality of signals, in particular images, of good quality is limited by two constraints:
- Une contrainte de stockage et puissance de calcul à bord, c’est-à-dire sur la plateforme sur laquelle le dispositif d’acquisition des signaux est embarquée, ladite plateforme pouvant être par exemple un ordinateur, une tablette, un téléphone intelligent, ou encore un drone, un satellite, ou un système d’imagerie médicale ; - A storage and computing power constraint on board, that is to say on the platform on which the signal acquisition device is installed, said platform possibly being for example a computer, a tablet, a smart phone, or a drone, a satellite, or a medical imaging system;
- Une contrainte de transmission des données vers le moyen déporté, i.e. au sol lorsque le dispositif est embarqué sur un moyen aérien ou spatial. - A data transmission constraint to the remote means, i.e. on the ground when the device is on board an air or space means.
Ces deux contraintes sont en quelque sorte en compétition car : These two constraints are in a way in competition because:
- Un traitement numérique déporté permet de contourner les contraintes de traitements à bord et d’utiliser de meilleurs algorithmes de super résolution, i.e. configuré pour construire un signal haute résolution à partir d’une pluralité de signaux basse résolution, mais il impose de transmettre au moyen déporté la pluralité d’images basse résolution et bruitées, donc faiblement compressibles, ce qui diminue la capacité d’acquisition ; - A remote digital processing makes it possible to circumvent the constraints of on-board processing and to use better super-resolution algorithms, ie configured to build a high-resolution signal from a plurality of low-resolution signals, but it requires transmission to the remote means the plurality of low-resolution and noisy images, therefore weakly compressible, which reduces the acquisition capacity;
- Un traitement numérique embarqué sur le dispositif d’acquisition, permet de transmettre moins de données, mais est limité par les ressources de stockage et de calcul embarquées. - On-board digital processing on the acquisition device allows less data to be transmitted, but is limited by on-board storage and computing resources.
La présente invention permet de dépasser ces deux contraintes en répartissant le traitement entre : - Une étape rapide de préfusionnement des données sur la plateforme ou le dispositif d’acquisition ; The present invention makes it possible to overcome these two constraints by distributing the processing between: - A rapid step of pre-merging the data on the platform or the acquisition device;
- Une étape de reconstruction, déportée, nécessitant des moyens de calculs et de stockage plus importants. - A reconstruction stage, deported, requiring greater calculation and storage resources.
Une description détaillée d’un exemple de mise en œuvre du procédé selon l’invention est présentée ci-dessous en référence à la figure 1. A detailed description of an exemplary implementation of the method according to the invention is presented below with reference to Figure 1.
Le procédé selon l’invention est mis en œuvre par et sur un dispositif d’acquisition 10 comprenant : The method according to the invention is implemented by and on an acquisition device 10 comprising:
- un capteur d’acquisition 11 configuré pour acquérir une pluralité de signaux basse résolution BR, - an acquisition sensor 11 configured to acquire a plurality of low resolution signals BR,
-un équipement de mesure 12 configuré pour mesurer et/ou estimer les paramètres d’acquisition PA, -measurement equipment 12 configured to measure and / or estimate the PA acquisition parameters,
-une unité de calcul embarquée 13, an on-board computing unit 13,
-une unité de transmission 14 de données, configurée pour transmettre des données à une unité de calcul déportée 20. a data transmission unit 14, configured to transmit data to a remote computing unit 20.
Le capteur d’acquisition peut être par exemple un instrument optique d’observation embarqué sur un satellite ou un aéronef configuré pour acquérir une suite d’images basse résolution d’une scène, par exemple une portion du sol terrestre, à des instants successifs, et pendant que le satellite ou l’aéronef défile au-dessus du sol. The acquisition sensor can be for example an optical observation instrument on board a satellite or an aircraft configured to acquire a series of low resolution images of a scene, for example a portion of the earth's surface, at successive instants, and while the satellite or aircraft is scrolling above the ground.
Chaque signal, ou image, basse résolution BR comprend une pluralité d’échantillons mesurés par le capteur du dispositif d’acquisition, le capteur étant configuré pour acquérir le signal selon un ensemble de paramètres d’acquisitions PA, l’ensemble des paramètres d’acquisition PA de chaque signal basse résolution comprenant notamment un pas d’échantillonnage selon au moins une dimension, le pas d’échantillonnage correspondant à une résolution dudit signal basse résolution BR. Dans le cas d’un capteur d’images spatiales porté par un satellite défilant, l’au moins une dimension du pas d’échantillonnage d’une image basse résolution correspond à au moins une direction définie dans un plan de formation de l’image basse résolution sur le dispositif d’acquisition. De manière habituelle, l’au moins une dimension comprend les deux directions d’échantillonnage de chaque image basse résolution, ladite image basse résolution formant une matrice d’échantillons, i.e. de pixels, de dimension égale au nombre d’échantillons selon une direction, multiplié par le nombre d’échantillons selon l’autre direction. Each signal, or image, low resolution BR comprises a plurality of samples measured by the sensor of the acquisition device, the sensor being configured to acquire the signal according to a set of PA acquisition parameters, the set of parameters of acquisition PA of each low resolution signal comprising in particular a sampling step along at least one dimension, the sampling step corresponding to a resolution of said low resolution signal BR. In the case of a space image sensor carried by a traveling satellite, at least one dimension of the sampling step of a low resolution image corresponds to at least one direction defined in an image formation plane. low resolution on the acquisition device. Usually, the at least one dimension comprises the two sampling directions of each low resolution image, said low resolution image forming a matrix of samples, ie of pixels, of dimension equal to the number of samples in one direction, multiplied by the number of samples in the other direction.
L’ensemble des paramètres d’acquisition peut également comprendre, dans le cas d’un capteur d’images spatiales porté par un satellite défilant, une pluralité de décalages, chaque décalage de la pluralité de décalages étant associé à une image basse résolution de la pluralité d’images acquises par le capteur, ledit décalage associé à ladite image basse résolution correspondant à un déplacement du dispositif d’acquisition relativement à la scène entre l’acquisition de ladite image basse résolution et l’acquisition d’une image basse résolution suivante. L’équipement de mesure 12 configuré pour mesurer et/ou estimer les paramètres d’acquisition PA peut être par exemple un détecteur de mouvement de la plateforme qui porte le capteur d’acquisition 11. The set of acquisition parameters can also include, in the case of a space image sensor carried by a traveling satellite, a plurality of offsets, each offset of the plurality of offsets being associated with a low resolution image of the satellite. plurality of images acquired by the sensor, said shift associated with said low resolution image corresponding to a displacement of the acquisition device relative to the scene between the acquisition of said low resolution image and the acquisition of a subsequent low resolution image . The measuring equipment 12 configured to measure and / or estimate the PA acquisition parameters can, for example, be a platform motion detector which carries the acquisition sensor 11.
L’unité de calcul embarquée 13 est configurée pour recevoir la pluralité de signaux, ou d’images, basse résolution, et l’ensemble des paramètre d’acquisition PA correspondant à ladite pluralité de signaux, ou d’images; L’unité de calcul embarquée 13 peut être un calculateur embarqué sur la plateforme qui porte le capteur d’acquisition, comprenant de manière classique un ou plusieurs processeurs et de la mémoire associée. L’unité de transmission 14 est configurée pour recevoir les données traitées par l’unité de calcul embarquée 13 avec l’ensemble des paramètres d’acquisition PA, et pour les transmettre à l’unité de calcul déportée 20, après qu’elles aient été éventuellement comprimées 102bis par un module de compression qui peut se trouver dans l’unité de calcul embarquée, ou dans l’unité de transmission 14. The on-board calculation unit 13 is configured to receive the plurality of signals, or images, low resolution, and the set of acquisition parameters PA corresponding to said plurality of signals, or images; The on-board computing unit 13 can be an on-board computer on the platform which carries the acquisition sensor, conventionally comprising one or more processors and associated memory. The transmission unit 14 is configured to receive the data processed by the on-board computing unit 13 with all the acquisition parameters PA, and to transmit them to the remote computing unit 20, after they have been obtained. been optionally compressed 102a by a compression module which can be found in the on-board computing unit, or in the transmission unit 14.
L’unité de calcul déportée 20 est configurée pour recevoir les données transmises et pour les traiter dans le but de construire un signal ou une image haute résolution HR à partir des données prétraitées par l’unité de calcul embarquée 13, après les avoir éventuellement décomprimées 102ter. The remote computing unit 20 is configured to receive the transmitted data and to process them with the aim of constructing a high-resolution HR signal or image from the data pre-processed by the on-board computing unit 13, after having optionally decompressed them. 102ter.
Afin de présenter plus en détail un exemple de mise en œuvre du procédé 100, un signal, ou une image, de référence est défini(e), ledit signal de référence étant celui qui serait capté par le capteur d’acquisition 11 configuré avec un pas d’échantillonnage correspondant au pas d’échantillonnage, appelé pas d’échantillonnage de référence, souhaité pour l’image haute résolution. In order to present in more detail an example of implementation of the method 100, a reference signal, or an image, is defined, said reference signal being that which would be picked up by the acquisition sensor 11 configured with a sampling step corresponding to the sampling step, called reference sampling step, desired for the high resolution image.
Soit HR le signal, ou l’image haute résolution de référence ainsi définie. Either HR is the signal, or the high-resolution reference image thus defined.
Le capteur d’acquisition 11 , configuré pour acquérir chaque signal, ou image, basse résolution, est modélisé par un opérateur linéaire qui permet de passer du signal ou de l’image, de haute résolution de référence HR au signal, ou à l’image, basse résolution en fonction des paramètres d’acquisition PA. The acquisition sensor 11, configured to acquire each signal, or image, low resolution, is modeled by a linear operator which makes it possible to pass from the signal or the image, of high resolution reference HR to the signal, or to the image, low resolution depending on the PA acquisition parameters.
Par exemple, dans le cas particulier d’une pluralité d’images basse résolution acquises successivement par un capteur d’acquisition 11 porté par un porteur en mouvement, chaque déplacement du capteur d’acquisition 11 relativement à la scène entre l’acquisition d’une image basse résolution et l’acquisition d’une image basse résolution suivante correspond à un décalage associé à ladite image basse résolution de la pluralité d’images acquises par le capteur. Il est alors possible de définir l’opérateur linéaire Ad en fonction de chaque décalage de pluralité de décalages d=(d1, ...,d',....,dk) associé à chaque image basse résolution de la pluralité d’images basse résolution BR=(BR'), i=1 à K, de sorte que : For example, in the particular case of a plurality of low-resolution images successively acquired by an acquisition sensor 11 carried by a moving wearer, each displacement of the acquisition sensor 11 relative to the scene between the acquisition of a low resolution image and the acquisition of a next low resolution image corresponds to an offset associated with said low resolution image of the plurality of images acquired by the sensor. It is then possible to define the linear operator A d according to each shift of plurality of offsets d = (d 1 , ..., d ', ...., d k ) associated with each low resolution image of the plurality of low resolution images BR = (BR') , i = 1 to K, so that:
[Math 1] [Math 1]
Ad HR + £=BR=(BR1,...., BR,...., BRk) A d HR + £ = BR = (BR 1 , ...., BR, ...., BR k )
Où chaque image basse résolution BR' est de taille mxn, et l’image haute résolution HR recherchée est de taille MxN, et où Ad est l’opérateur linéaire de l’ensemble RMN vers l’ensemble Rkmn qui modélise le processus de génération de la pluralité d'images basse résolution BR=(BR1,...., BR',...., BRk) à partir de l’image haute résolution HR de référence, e étant un bruit de mesure appartenant à Rkmn. Where each low resolution image BR 'is of size mxn, and the desired high resolution HR image is of size MxN, and where A d is the linear operator from the set R MN to the set R kmn which models the process generating the plurality of low-resolution images BR = (BR 1 , ...., BR ', ...., BR k ) from the high-resolution reference HR image, e being a measurement noise belonging to R kmn .
Les méthodes variationnelles qui permettent de manière connue d’inverser l’équation ci-dessus pour retrouver HR à partir de BR prennent la forme d’un problème d’optimisation qui est résolu par des algorithmes itératifs dont la mise en oeuvre est en général trop coûteuse en puissance de calcul pour être effectuée sur l’unité de calcul embarquée 13. Une manière de contourner cette difficulté technique consiste à transmettre la pluralité d'images basse résolution BR=(BR1,...., BR',...., BRk) à l’unité de calcul déportée 20 qui dispose des moyens de calculs nécessaire. Cependant, lors de cette opération de transmission, la pile est compressée et un compromis doit être trouvé entre qualité de transmission et quantité de données à transmettre. Il s’avère que les erreurs liées à l’opération de transmission de la pluralité d'images basse résolution BR=(BR1,...., BR',...., BRk) peuvent nuire à la qualité de l’image haute résolution HR reconstruite par l’unité de calcul déportée 20. The variational methods which make it possible in a known manner to invert the above equation to find HR from BR take the form of an optimization problem which is solved by iterative algorithms whose implementation is generally too costly in computing power to be performed on the on-board computing unit 13. One way of getting around this technical difficulty consists in transmitting the plurality of low-resolution images BR = (BR 1 , ...., BR ', .. .., BR k ) to the remote computing unit 20 which has the necessary computing means. However, during this transmission operation, the stack is compressed and a compromise must be found between transmission quality and quantity of data to be transmitted. It turns out that the errors linked to the operation of transmitting the plurality of low-resolution images BR = (BR 1 , ...., BR ', ...., BR k ) can adversely affect the quality of the high resolution HR image reconstructed by the remote computing unit 20.
La présente invention propose une alternative à la transmission de la pluralité d'images basse résolution BR=(BR1,...., BR',...., BRk) permettant à la fois de diminuer la quantité de données à transmettre tout en améliorant la qualité de l’image reconstruite par l’unité de calcul déportée 20. L’invention repose sur le fait que le calcul de la solution au problème d’inversion précité ne nécessite que la connaissance d’une image préfusionnée égale à A* d.BR, et non la connaissance de la pluralité d'images basse résolution BR=(BR1,...., BR',...., BRk), où A* d est l’opérateur adjoint de l’opérateur Ad. Il est à noter que A* d.BR est de taille MxN et peut en général être calculée à bord. Il est alors possible de transmettre au sol l’image préfusionnée A* d.BR, cependant cette image s’avère être en générale trop irrégulière pour être efficacement compressée. The present invention proposes an alternative to the transmission of the plurality of low resolution images BR = (BR 1 , ...., BR ', ...., BR k ) making it possible both to reduce the quantity of data to transmit while improving the quality of the image reconstructed by the remote computing unit 20. The invention is based on the fact that the calculation of the solution to the aforementioned inversion problem requires only the knowledge of a pre-fused image equal to A * d .BR, and not the knowledge of the plurality of low-resolution images BR = (BR 1,. ..., BR ', ...., BR k ), where A * d is the assistant operator of the operator A d . It should be noted that A * d .BR is of size MxN and can in general be calculated on board. It is then possible to transmit to the ground the pre-fused image A * d .BR, however this image turns out to be in general too irregular to be effectively compressed.
C’est pourquoi l’image transmise au sol est une image préfusionnée filtrée Fd(A* d.BR) qui satisfait les contraintes suivantes : This is why the image transmitted to the ground is a pre-fused filtered image F d (A * d .BR) which satisfies the following constraints:
1. Le calcul de l’image préfusionnée filtrée Fd(A* d.BR) est possible à faible coût, donc possible sur l’unité de calcul embarquée 13 ; 1. The calculation of the pre-fused filtered image F d (A * d .BR) is possible at low cost, therefore possible on the on-board calculation unit 13;
2. L’image préfusionnée filtrée Fd(A* d.BR) est efficacement compressible, au sens où on limite les erreurs du processus de compression 102bis/décompression 102ter, donc assez régulière et avec un bon rapport signal à bruit ; 2. The pre-fused filtered image F d (A * d .BR) is effectively compressible, in the sense that the errors of the 102bis compression / 102ter decompression process are limited, therefore fairly regular and with a good signal-to-noise ratio;
3. La fonction de filtrage Fd est inversible de sorte que l’on peut reconstruire au sol l’image préfusionnée A* d.BR à partir de l’image préfusionnée filtrée Fd(A* d.BR), pour ensuite appliquer l’une des méthodes variationnelles pour la reconstruction de l’image haute résolution HR recherchée. 3. The filtering function F d is invertible so that the pre-fused image A * d .BR can be reconstructed on the ground from the pre-fused filtered image F d (A * d .BR), in order to then apply one of the variational methods for the reconstruction of the desired high resolution HR image.
Ainsi, comme cela est illustré sur la figure 1 , le procédé 100 comprend les étapes suivantes : Thus, as illustrated in FIG. 1, the method 100 comprises the following steps:
- acquisition 101 de la pluralité de signaux basse résolution BR ; - acquisition 101 of the plurality of low resolution signals BR;
- mesure et/ou estimation 101’ de l’ensemble des paramètres d’acquisition PA;- measurement and / or estimation 101 ’of all the PA acquisition parameters;
- préfusionnement 101a de la pluralité des signaux en le signal préfusionné A* d.BR, par un calcul réalisé par l’unité de calcul embarquée 13, le signal préfusionné étant fonction de la pluralité des signaux et de l’ensemble des paramètres d’acquisition PA de chaque signal basse résolution de la pluralité ; - pre-merging 101a of the plurality of signals into the pre-merged signal A * d .BR, by a calculation carried out by the on-board calculation unit 13, the pre-merged signal being a function of the plurality of signals and of all of the parameters of acquiring PA of each low resolution signal of the plurality;
- filtrage 101b) du signal préfusionné A* d.BR, réalisé par l’unité de calcul embarquée 13; - filtering 101b) of the pre-fused signal A * d .BR, carried out by the calculation unit on-board 13;
- transmission 102, par l’unité de transmission 14, du signal préfusionné filtré Fd(A* d.BR) et de l’ensemble des paramètres d’acquisition PA de chaque signal de la pluralité, sans transmission de la pluralité des signaux ; - transmission 102, by the transmission unit 14, of the filtered pre-fused signal F d (A * d .BR) and of all the acquisition parameters PA of each signal of the plurality, without transmission of the plurality of signals ;
- calcul 103, par l’unité de calcul déportée 20, d’une estimation du signal préfusionné par un filtrage inverse du signal préfusionné filtré Fd(A* d.BR); - Calculation 103, by the remote calculation unit 20, of an estimate of the pre-fused signal by inverse filtering of the pre-fused filtered signal F d (A * d .BR);
- détermination 104, par l’unité de calcul déportée 20, selon une méthode variationnelle, du signal haute résolution FIR à partir de l’estimation du signal préfusionné A* d.BR et de l’ensemble des paramètres d’acquisition de chaque signal de la pluralité, la résolution du signal fusionné étant supérieure à une résolution de chaque signal de la pluralité. - determination 104, by the remote calculation unit 20, according to a variational method, of the high resolution signal FIR from the estimation of the pre-fused signal A * d .BR and of all the acquisition parameters of each signal of the plurality, the resolution of the merged signal being greater than a resolution of each signal of the plurality.
Selon un mode de mise en œuvre, la fonction de filtrage Fd peut en particulier se définir comme le pseudo-inverse d’une combinaison linéaire de l’opérateur identité Id et de l’opérateur égal à A* d Ad, soit : According to one embodiment, the filtering function F d can in particular be defined as the pseudo-inverse of a linear combination of the identity operator Id and the operator equal to A * d A d , i.e.:
[Math 2] [Math 2]
(a*ld + b*( A* d Ad))-1 (a * ld + b * (A * d A d )) - 1
Suivant les valeurs choisies pour les paramètres a et b de la combinaison linéaire, différents cas de figures sont à distinguer : According to the values chosen for the parameters a and b of the linear combination, different cases are to be distinguished:
1. a=1, b=0 : alors l’image préfusionnée filtrée Fd(A* d.BR)= A* d.BR ; ce choix n’est pas optimal car, même si l’image préfusionnée A* d.BR suffit, avec l’ensemble des paramètres d’acquisition PA, notamment les décalages, pour résoudre les problèmes variationnels précités, l’image préfusionnée s’avère en général être très irrégulière et donc difficile à transmettre au sol de manière efficace à l’aide de compresseurs usuels, par exemple basés sur des décompositions en bases d’ondelettes. 1. a = 1, b = 0: then the filtered pre-merged image F d (A * d .BR) = A * d .BR; this choice is not optimal because, even if the pre-fused image A * d .BR is sufficient, with all the acquisition parameters PA, in particular the shifts, to solve the aforementioned variational problems, the pre-fused image s' In general, it turns out to be very irregular and therefore difficult to transmit to the ground in an efficient manner using conventional compressors, for example based on decompositions into wavelet bases.
2. a=0, b=1 : alors l’image préfusionnée filtrée Fd(A* d.BR)= ( A* d Ad)-1 A* d.BR qui correspond à l’estimateur des moindres carrées qui constitue une bonne approximation de l’image haute résolution recherchée FIR dès lors que l’opérateur A*d Ad est bien conditionné. Le conditionnement est directement lié à la configuration des décalages d=(d1, ...,d',....,dk) associé à chaque image basse résolution de la pluralité d’images basse résolution et des déplacements du dispositif d’acquisition 10 associés à ces décalages. Typiquement, plus les déplacements (modulo le pas d’échantillonnage basse résolution) sont uniformément répartis, plus l’opérateur est bien conditionné. Le conditionnement est également lié au nombre k d’images basse résolution dans la pluralité d'images basse résolution BR=(BR1,...., BR',...., BRk). 2.a = 0, b = 1: then the filtered pre-merged image F d (A * d .BR) = (A * d A d ) -1 A * d .BR which corresponds to the least squares estimator which constitutes a good approximation of the desired high resolution FIR image therefore that the operator A * d Ad is well conditioned. The conditioning is directly linked to the configuration of the offsets d = (d 1 , ..., d ', ...., d k ) associated with each low resolution image of the plurality of low resolution images and the displacements of the device acquisition 10 associated with these offsets. Typically, the more the displacements (modulo the low resolution sampling step) are uniformly distributed, the more the operator is well conditioned. The conditioning is also linked to the number k of low resolution images in the plurality of low resolution images BR = (BR 1 , ...., BR ', ...., BR k ).
3. a>0, b>0 : alors l’image préfusionnée filtrée Fd(A*d.BR) correspond à l’unique minimiseur de l’énergie des moindres carrés régularisée, aussi appelée énergie de Tikhonov ; ce choix constitue un compromis entre les deux situations précédentes, et permet de pallier l’éventuel mauvais conditionnement de l’opérateur A*d Ad qui pourrait rendre inopérant le calcul de l’estimateur des moindres carrées selon l’option précédente. 3. a> 0, b> 0: then the pre-fused filtered image Fd (A * d.BR) corresponds to the unique minimizer of the regularized least squares energy, also called Tikhonov energy; this choice constitutes a compromise between the two preceding situations, and makes it possible to alleviate the possible bad conditioning of the operator A * d Ad which could make inoperative the calculation of the estimator of the least squares according to the preceding option.
Comme cela a été indiqué précédemment, le procédé selon l’invention s’applique également par exemple aux signaux obtenus par spectrographie interférométrique ; dans ce cas : As indicated above, the method according to the invention also applies, for example, to signals obtained by interferometric spectrography; in this case :
• le signal haute résolution est un spectrogramme S(sigma) (ou un cube hyperspectral S(x,y,sigma) où sigma représente une longueur d’onde, et S(sigma) représente l’énergie lumineuse mesurée à cette longueur d’onde. L’instrument est configuré pour obtenir les valeurs du signal S(sigma) pour M valeurs de sigma échantillonnés régulièrement entre sigma_min et sigma_max. • the high resolution signal is an S (sigma) spectrogram (or a hyperspectral cube S (x, y, sigma) where sigma represents a wavelength, and S (sigma) represents the light energy measured at this length of The instrument is configured to obtain the values of the signal S (sigma) for M sigma values sampled regularly between sigma_min and sigma_max.
• le signal basse résolution est un interférogramme l(delta) (ou un cube interferométrique l(x,y,delta(x,y))), où la différence de marche delta prends m valeurs échantillonnés régulièrement entre 0 et delta_max (dans le cas du cube interférométrique, m=1 et delta(x,y) prends une valeur pre-calibrée connue sur chaque pixel (x,y)). • L’instrument permettant de mesurer le signal basse résolution peut être par exemple un interféromètre de Michelson, un interféromètre à transformée de Fourier statique comme SIFTI (pour un interférogramme) ou un spectro-imageur comme SIELETERS (pour le cube interférométrique) • the low resolution signal is an interferogram l (delta) (or an interferometric cube l (x, y, delta (x, y))), where the delta operating difference takes m values sampled regularly between 0 and delta_max (in the case of the interferometric cube, m = 1 and delta (x, y) take a pre-calibrated value known on each pixel (x, y)). • The instrument making it possible to measure the low resolution signal can be for example a Michelson interferometer, a static Fourier transform interferometer like SIFTI (for an interferogram) or a spectro-imager like SIELETERS (for the interferometric cube)
• Un signal basse résolution est lié au signal haute résolution par un opérateur linéaire A_delta tel que I = A_delta * S, soit • A low resolution signal is linked to the high resolution signal by a linear operator A_delta such that I = A_delta * S, that is to say
Pour un interférogramme : For an interferogram:
Ou pour un cube interférométrique où · L’ensemble de paramètres d’acquisition de chaque signal basse résolution (équivalent du décalage en super-résolution multi-images) est l’ensemble de valeurs de différences de marche delta pouvant varier d’une acquisition à une autre Or for an interferometric cube or The set of acquisition parameters for each low-resolution signal (equivalent to the offset in multi-image super-resolution) is the set of delta path difference values that may vary from one acquisition to another
• Pour que l’opérateur A_delta soit inversible et bien conditionné le nombre m doit respecter certaines conditions données par le théorème de• For the operator A_delta to be invertible and well conditioned, the number m must respect certain conditions given by the theorem of
Shannon ou Shannon généralisé selon le cas. En particulier si m<M alors A_delta n’est pas inversible et il est nécessaire d’avoir recours à une pluralité de signaux basse résolution afin de pouvoir s’en servir pour reconstruire le spectrogramme S (signal haute résolution). · La pluralité de signaux basse résolution est un ensemble d’interférogrammes 11, ..., IK (ou cubes interférométriques) correspondant à chaque fois à des valeurs différentes de delta. 1. Dans le cas d’un interféromètre de Michelson ou à transformée de Fourier Statique comme SIFTI on peut faire varier cette valeur de delta en faisant bouger les distances entre les prismesShannon or Shannon generalized as appropriate. In particular if m <M then A_delta is not invertible and it is necessary to have recourse to a plurality of low resolution signals in order to be able to use them to reconstruct the spectrogram S (high resolution signal). · The plurality of low-resolution signals is a set of interferograms 11, ..., IK (or interferometric cubes) corresponding each time to different values of delta. 1. In the case of a Michelson or Static Fourier transform interferometer such as SIFTI, this delta value can be varied by moving the distances between the prisms.
2. Dans le cas de l’instrument SIELETERS, la variation de delta est obtenue par un décalage de l’instrument (aéroporté) par rapport à la scène entre deux prises de vue. Dans ce cas une estimation précise de ce décalage et un recalage des images obtenues est nécessaire afin d’obtenir les valeurs exactes de delta(x,y) pour chaque image recalée. Dans le cas où cet instrument serait porté par un satellite un système d’estimation précise de l’attitude de l’instrument peut être utilisé à cette fin. 2. In the case of the SIELETERS instrument, the variation in delta is obtained by an offset of the (airborne) instrument with respect to the scene between two shots. In this case, a precise estimate of this shift and a registration of the images obtained is necessary in order to obtain the exact values of delta (x, y) for each image registered. In the event that this instrument is carried by a satellite, an accurate attitude estimation system of the instrument can be used for this purpose.
• En prenant un nombre K suffisant de signaux basse résolution on peut obtenir un nombre de mesures interférométriques K*m>M suffisamment grand pour pouvoir inverser l’opérateur linéaire A_delta et obtenir une bonne estimation du spectrogramme S. Cette inversion étant (dans le cas général d’un échantillonnage irrégulier) mal conditionnée il est souvent nécessaire pour y parvenir d’utiliser des méthodes variationnelles ayant un coût computationnel trop grand pour être exécuté à bord. • By taking a sufficient number K of low resolution signals one can obtain a number of interferometric measurements K * m> M sufficiently large to be able to invert the linear operator A_delta and obtain a good estimate of the spectrogram S. This inversion being (in the case general (irregular sampling) poorly conditioned it is often necessary to achieve this to use variational methods having a computational cost too great to be performed on board.
• Notre procédé appliqué à ce cas consiste à : • Our process applied to this case consists of:
1. Calculer à bord l’adjoint de l’opérateur A_delta appliqué à la pluralité de signaux afin d’obtenir un signal prefusionné de taille M (au lieu de K*m). 1. Calculate on board the assistant of the operator A_delta applied to the plurality of signals in order to obtain a prefused signal of size M (instead of K * m).
Lorsque l’échantillonnage de delta est irrégulier on pourra se servir de l’algorithme NFFT pour que cette opération soit numériquement efficace When the delta sampling is irregular we can use the NFFT algorithm for this operation to be numerically efficient
2. Filtrer le signal prefusionné afin d’obtenir un signal plus compressible 2. Filter the pre-fused signal in order to obtain a more compressible signal
3. Compresser le signal prefusionné filtré et le transmettre au sol. Transmettre aussi les valeurs de delta (paramètres d’acquisition). 4. Décompresser au sol le signal prefusionné filtré, et appliquer le filtrage inverse pour obtenir le signal prefusionné (A* d * I)j 3. Compress the pre-fused filtered signal and transmit it to the ground. Also transmit the delta values (acquisition parameters). 4. Decompress the pre-fused filtered signal on the ground, and apply the inverse filtering to obtain the pre-fused signal (A * d * I) j
5. Utiliser le signal prefusionné filtré dans le cadre d’une méthode variationnelle pour obtenir le spectrogramme (signal haute résolution) S. 5. Use the pre-fused filtered signal as part of a variational method to obtain the spectrogram (high resolution signal) S.
Selon un aspect, l’invention concerne également un dispositif d’acquisition 10 d’un signal pour construire un signal fusionné HR, le signal fusionné étant appelé signal haute résolution HR, à partir d’une pluralité de signaux BR acquis par le dispositif d’acquisition 10, chaque signal de la pluralité de signaux BR, étant appelé signal basse résolution BR et comprenant une pluralité d’échantillons mesurés par le dispositif d’acquisition 10 configuré selon un ensemble de paramètres d’acquisition PA dudit signal, l’ensemble des paramètres d’acquisition PA de chaque signal basse résolution BR comprenant un pas d’échantillonnage selon au moins une dimension, le pas d’échantillonnage correspondant à une résolution dudit signal basse résolution BR, la résolution du signal basse résolution BR étant inférieure à une résolution du signal haute résolution HR, le dispositif 10 comprenant : According to one aspect, the invention also relates to a device 10 for acquiring a signal for constructing a merged HR signal, the merged signal being called a high resolution HR signal, from a plurality of BR signals acquired by the device. 'acquisition 10, each signal of the plurality of signals BR, being called a low resolution signal BR and comprising a plurality of samples measured by the acquisition device 10 configured according to a set of parameters of acquisition PA of said signal, the set acquisition parameters PA of each low-resolution signal BR comprising a sampling step along at least one dimension, the sampling step corresponding to a resolution of said low-resolution signal BR, the resolution of the low-resolution signal BR being less than one resolution of the high resolution HR signal, the device 10 comprising:
- un capteur d’acquisition 11 configuré pour acquérir la pluralité de signaux basse résolution BR, - an acquisition sensor 11 configured to acquire the plurality of low resolution signals BR,
-un équipement de mesure 12 configuré pour mesurer et/ou estimer les paramètres d’acquisition PA, -measurement equipment 12 configured to measure and / or estimate the PA acquisition parameters,
-une unité de calcul embarquée 13 comprenant : an on-board computing unit 13 comprising:
- un module de traitement de la pluralité des signaux BR configuré pour préfusionner 101a la pluralité des signaux en calculant un signal préfusionné, fonction de la pluralité des signaux BR et de l’ensemble des paramètres d’acquisition PA de chaque signal de la pluralité de signaux BR ; a module for processing the plurality of signals BR configured to pre-merge 101a the plurality of signals by calculating a pre-fused signal, a function of the plurality of signals BR and of all of the acquisition parameters PA of each signal of the plurality of signals. BR signals;
- un module de filtrage configuré pour filtrer 101b le signal préfusionné; le dispositif comprenant en outre une unité de transmission de données configurée pour transmettre le signal préfusionné filtré à une unité de calcul déportée 20. a filtering module configured to filter 101b the pre-fused signal; the device further comprising a data transmission unit configured to transmit the pre-fused filtered signal to a remote computing unit 20.

Claims

REVENDICATIONS
1. Procédé (100) pour construire un signal fusionné, le signal fusionné étant appelé signal haute résolution (HR), à partir d’une pluralité de signaux (BR) acquis par un dispositif d’acquisition (10), chaque signal de la pluralité de signaux (BR), étant appelé signal basse résolution, chaque signal (BR) comprenant une pluralité d’échantillons mesurés par un capteur d’acquisition (11) du dispositif d’acquisition (10) configuré selon un ensemble de paramètres d’acquisitions (PA) dudit signal (BR), l’ensemble des paramètres d’acquisition (PA) de chaque signal basse résolution comprenant un pas d’échantillonnage selon au moins une dimension, le pas d’échantillonnage correspondant à une résolution dudit signal basse résolution (BR), la résolution du signal basse résolution (BR) étant inférieure à une résolution du signal haute résolution, le dispositif d’acquisition comprenant : Method (100) for constructing a merged signal, the merged signal being called a high resolution signal (HR), from a plurality of signals (BR) acquired by an acquisition device (10), each signal of the plurality of signals (BR), being called a low resolution signal, each signal (BR) comprising a plurality of samples measured by an acquisition sensor (11) of the acquisition device (10) configured according to a set of parameters of acquisitions (PA) of said signal (BR), the set of acquisition parameters (PA) of each low resolution signal comprising a sampling step along at least one dimension, the sampling step corresponding to a resolution of said low signal resolution (BR), the resolution of the low resolution signal (BR) being less than a resolution of the high resolution signal, the acquisition device comprising:
- le capteur d’acquisition (11) configuré pour acquérir la pluralité de signaux basse résolution (BR), - the acquisition sensor (11) configured to acquire the plurality of low resolution signals (BR),
-un équipement de mesure (12) configuré pour mesurer et/ou estimer les paramètres d’acquisition (PA), - measuring equipment (12) configured to measure and / or estimate the acquisition parameters (PA),
-une unité de calcul embarquée (13), - an on-board computing unit (13),
-une unité de transmission (14) de données, configurée pour transmettre des données à une unité de calcul déportée (20), le procédé (100) comprenant les étapes suivantes : a data transmission unit (14), configured to transmit data to a remote computing unit (20), the method (100) comprising the following steps:
- acquisition (101) de la pluralité de signaux basse résolution (BR) ; - acquisition (101) of the plurality of low resolution signals (BR);
- mesure et/ou estimation (10T) de l’ensemble des paramètres d’acquisition (PA); - measurement and / or estimation (10T) of all the acquisition parameters (PA);
- préfusionnement (101a) de la pluralité des signaux en un signal préfusionné, par un calcul réalisé par l’unité de calcul embarquée (13), le signal préfusionné étant fonction de la pluralité des signaux et de l’ensemble des paramètres d’acquisition (PA) de chaque signal basse résolution de la pluralité ; -filtrage (101b) du signal préfusionné, réalisé par l’unité de calcul embarquée- pre-merging (101a) of the plurality of signals into a pre-merged signal, by a calculation carried out by the on-board calculation unit (13), the pre-merged signal being a function of the plurality of signals and of all the acquisition parameters (PA) of each of the plurality of low resolution signals; -filtering (101b) of the pre-fused signal, carried out by the on-board computing unit
(13); (13);
- transmission (102), par l’unité de transmission (14) à l’unité de calcul déportée (20), du signal préfusionné filtré et de l’ensemble des paramètres d’acquisition (PA) de chaque signal de la pluralité, sans transmission de la pluralité des signaux ; - transmission (102), by the transmission unit (14) to the remote computing unit (20), of the pre-fused filtered signal and of all the acquisition parameters (PA) of each signal of the plurality, without transmitting the plurality of signals;
- calcul (103), par l’unité de calcul déportée (20), d’une estimation du signal préfusionné par un filtrage inverse du signal préfusionné filtré; - calculation (103), by the remote calculation unit (20), of an estimate of the pre-fused signal by inverse filtering of the pre-fused filtered signal;
- détermination (104), par l’unité de calcul déportée (20), selon une méthode variationnelle, du signal fusionné haute résolution à partir de l’estimation du signal préfusionné et de l’ensemble des paramètres d’acquisition de chaque signal de la pluralité, une résolution du signal fusionné haute résolution étant supérieure à une résolution de chaque signal de la pluralité. - determination (104), by the remote computing unit (20), according to a variational method, of the high resolution merged signal from the estimate of the pre-merged signal and of all the acquisition parameters of each signal from the plurality, a resolution of the high resolution merged signal being greater than a resolution of each signal of the plurality.
2. Procédé (100) selon la revendication 1, dans lequel chaque signal basse résolution de la pluralité de signaux basse résolution (BR) est une image basse résolution d’une pluralité d’images basse résolution (BR) d’une scène, dans lequel le signal préfusionné est une image préfusionnée, et dans lequel le signal préfusionné filtré est une image préfusionnée filtrée, dans lequel le signal fusionné haute résolution est une image fusionnée dite image haute résolution, dans lequel l’ensemble des paramètres d’acquisition (PA) de chaque image basse résolution (BR) comprennent en outre une pluralité de décalages, chaque décalage de la pluralité de décalages étant associé à une image basse résolution de la pluralité d’images (BR), ledit décalage associé à ladite image basse résolution correspondant à un déplacement du dispositif d’acquisition relativement à la scène entre l’acquisition de ladite image basse résolution et l’acquisition d’une image basse résolution suivante, et dans lequel l’au moins une dimension du pas d’échantillonnage d’une image basse résolution (BR) correspond à au moins une direction définie dans un plan de formation de l’image basse résolution (BR) sur le capteur d’acquisition 11. 2. The method (100) of claim 1, wherein each low resolution signal of the plurality of low resolution signals (BR) is a low resolution image of a plurality of low resolution images (BR) of a scene, in in which the pre-merged signal is a pre-merged image, and in which the filtered pre-merged signal is a filtered pre-merged image, in which the high-resolution merged signal is a merged image called a high-resolution image, in which the set of acquisition parameters (PA ) of each low resolution image (BR) further comprises a plurality of offsets, each offset of the plurality of offsets being associated with a low resolution image of the plurality of images (BR), said offset associated with said corresponding low resolution image to a displacement of the acquisition device relative to the scene between the acquisition of said low-resolution image and the acquisition of a next low-resolution image, and in which the au m In addition, one dimension of the sampling step of a low resolution image (BR) corresponds to at least one direction defined in a formation plane of the low resolution image (BR) on the acquisition sensor 11.
3. Procédé selon l’une quelconque des revendications 1 ou 2, dans lequel la pluralité de signaux est modélisée par l'application d’un opérateur linéaire à un signal de référence acquis par le capteur d’acquisition (11) du dispositif d’acquisition (10) configuré selon un pas d’échantillonnage correspondant à la résolution du signal fusionné haute résolution (HR), et dans lequel l’étape de préfusionnement (101a) comprend l’application de l’opérateur adjoint dudit opérateur linéaire à la pluralité de signaux. 3. Method according to any one of claims 1 or 2, wherein the plurality of signals is modeled by the application of a linear operator to a reference signal acquired by the acquisition sensor (11) of the device. acquisition (10) configured in a sampling step corresponding to the resolution of the merged high resolution (HR) signal, and in which the step of pre-merging (101a) comprises applying the assistant operator of said linear operator to the plurality signals.
4. Procédé selon la revendication 3, dans lequel l’étape de filtrage (101b) ne modifie pas le signal préfusionné. The method of claim 3, wherein the filtering step (101b) does not modify the pre-fused signal.
5. Procédé selon la revendication 3, dans lequel l’étape de filtrage (101b) comprend l’application, au signal préfusionné, du pseudo-inverse du produit de l’opérateur adjoint et de l’opérateur linéaire. The method of claim 3, wherein the filtering step (101b) comprises applying, to the pre-fused signal, the pseudo-inverse of the product of the assistant operator and the linear operator.
6. Procédé selon la revendication 3, dans lequel l’étape de filtrage (101b) comprend l’application du pseudo-inverse d’une combinaison linéaire de l’opérateur identité et du produit de l’opérateur adjoint et de l’opérateur linéaire. The method of claim 3, wherein the filtering step (101b) comprises applying the pseudo-inverse of a linear combination of the identity operator and the product of the adjunct operator and the linear operator. .
7. Dispositif d’acquisition (10) d’un signal pour construire un signal fusionné (HR), le signal fusionné étant appelé signal haute résolution (HR), à partir d’une pluralité de signaux (BR) acquis par un capteur d’acquisition (11) du dispositif d’acquisition (10), chaque signal de la pluralité de signaux (BR), étant appelé signal basse résolution (BR), et comprenant une pluralité d’échantillons mesurés par le capteur d’acquisition (11) configuré selon un ensemble de paramètres d’acquisition (PA) dudit signal, l’ensemble des paramètres d’acquisition (PA) de chaque signal basse résolution (BR) comprenant un pas d’échantillonnage selon au moins une dimension, le pas d’échantillonnage correspondant à une résolution dudit signal basse résolution (BR), la résolution du signal basse résolution (BR) étant inférieure à une résolution du signal haute résolution (HR), le dispositif comprenant : 7. Device for acquiring (10) a signal for constructing a merged signal (HR), the merged signal being called a high resolution signal (HR), from a plurality of signals (BR) acquired by a d sensor. acquisition (11) from the acquisition device (10), each signal of the plurality of signals (BR), being called a low resolution signal (BR), and comprising a plurality of samples measured by the acquisition sensor (11 ) configured according to a set of acquisition parameters (PA) of said signal, the set of acquisition parameters (PA) of each low resolution signal (BR) comprising a sampling step along at least one dimension, the step d 'sampling corresponding to a resolution of said low resolution signal (BR), the resolution of the low resolution signal (BR) being lower at high resolution (HR) signal resolution, the device comprising:
- le capteur d’acquisition (11) configuré pour acquérir la pluralité de signaux basse résolution (BR), - the acquisition sensor (11) configured to acquire the plurality of low resolution signals (BR),
-un équipement de mesure (12) configuré pour mesurer et/ou estimer les paramètres d’acquisition (PA), - measuring equipment (12) configured to measure and / or estimate the acquisition parameters (PA),
- une unité de calcul embarquée (13) comprenant , - an on-board computing unit (13) comprising,
- un module de traitement de la pluralité des signaux configuré pour préfusionner (101a) la pluralité des signaux en calculant un signal préfusionné, fonction de la pluralité des signaux et de l’ensemble des paramètres d’acquisition (PA) de chaque signal de la pluralité ; a module for processing the plurality of signals configured to pre-merge (101a) the plurality of signals by calculating a pre-merged signal, a function of the plurality of signals and of all the acquisition parameters (PA) of each signal of the plurality;
- un module de filtrage configuré pour filtrer (101b) le signal préfusionné; le dispositif comprenant en outre une unité de transmission de données (14) configurée pour transmettre le signal préfusionné filtré et l’ensemble des paramètres d’acquisition (PA) à une unité de calcul déportée (20), sans transmission de la pluralité des signaux. - a filter module configured to filter (101b) the pre-fused signal; the device further comprising a data transmission unit (14) configured to transmit the pre-fused filtered signal and all of the acquisition parameters (PA) to a remote computing unit (20), without transmitting the plurality of signals .
8. Dispositif d’acquisition selon la revendication 7, dans lequel le signal est une image d’une scène, et dans lequel l’ensemble de paramètres d’acquisition (PA) de chaque image basse résolution (BR) comprend en outre une pluralité de décalages, chaque décalage de la pluralité de décalages étant associé à une image basse résolution (BR) de la pluralité d’images (BR), ledit décalage associé à ladite image basse résolution correspondant à un déplacement du capteur d’acquisition (11) relativement à la scène entre l’acquisition de ladite image basse résolution et l’acquisition d’une image basse résolution suivante, et dans lequel l’au moins une dimension du pas d’échantillonnage d’une image basse résolution correspond à au moins une direction définie dans un plan de formation de l’image basse résolution sur le dispositif d’acquisition, dans lequel le module de traitement est configuré pour calculer (101a) une image préfusionnée; et dans lequel le module de filtrage est configuré pour filtrer (101b) l’image préfusionnée; le dispositif comprenant en outre une unité de transmission de données (14) configurée pour transmettre l’image préfusionnée filtrée et l’ensemble des paramètres d’acquisition (PA) à une unité de calcul déportée (20), sans transmission de la pluralité des images (BR) . 8. Acquisition device according to claim 7, wherein the signal is an image of a scene, and wherein the set of acquisition parameters (PA) of each low resolution image (BR) further comprises a plurality. of offsets, each offset of the plurality of offsets being associated with a low resolution image (BR) of the plurality of images (BR), said offset associated with said low resolution image corresponding to a displacement of the acquisition sensor (11) relative to the scene between the acquisition of said low-resolution image and the acquisition of a subsequent low-resolution image, and in which the at least one dimension of the sampling step of a low-resolution image corresponds to at least one direction defined in a plane for forming the low resolution image on the acquisition device, in which the processing module is configured to calculate (101a) a pre-fused image; and wherein the filter module is configured to filter (101b) the pre-merged image; the device further comprising a data transmission unit (14) configured to transmit the pre-fused filtered image and all of the acquisition parameters (PA) to a remote computing unit (20), without transmission of the plurality of images (BR).
9. Dispositif selon la revendication 8 dans lequel le capteur d’acquisition (11) est modélisé par un opérateur linéaire, et dans lequel le préfusionnement (101a) comprend l’application de l’opérateur adjoint de l’opérateur linéaire à la pluralité d’images. 9. Device according to claim 8 in which the acquisition sensor (11) is modeled by a linear operator, and in which the pre-fusion (101a) comprises the application of the assistant operator of the linear operator to the plurality of d. 'images.
10. Dispositif selon la revendication 9 dans lequel l’étape de filtrage (101b) comprend l’application à l’image préfusionnée du pseudo-inverse d’une combinaison linéaire de l’opérateur identité et du produit de l’opérateur adjoint et de l’opérateur linéaire. 10. Device according to claim 9 wherein the filtering step (101b) comprises applying to the pre-fused image of the pseudo-inverse of a linear combination of the identity operator and the product of the assistant operator and of. the linear operator.
11. Programme d’ordinateur comprenant des instructions exécutables sur un ordinateur embarqué et des instructions exécutables sur un ordinateur déporté, les instructions exécutables étant configurées pour mettre en œuvre le procédé selon l’une des revendications 1 à 6 lorsque lesdites instructions sont exécutées respectivement sur l’ordinateur embarqué et sur l’ordinateur déporté. 11. Computer program comprising instructions executable on an on-board computer and instructions executable on a remote computer, the executable instructions being configured to implement the method according to one of claims 1 to 6 when said instructions are executed respectively on the on-board computer and on the remote computer.
12. Utilisation du procédé selon l’une des revendications 1 à 6 pour fusionner les images acquises par un dispositif d’acquisition selon l’une des revendications 8 ou 9, couplé fonctionnellement à ordinateur portable de sorte que l’ordinateur portable comprend l’unité de calcul embarquée du dispositif et l’unité de transmission vers une unité de calcul déportée, l’ordinateur portable étant en particulier une tablette ou un téléphone intelligent. 12. Use of the method according to one of claims 1 to 6 for merging the images acquired by an acquisition device according to one of claims 8 or 9, operatively coupled to a portable computer so that the portable computer comprises the. on-board computing unit of the device and the transmission unit to a remote computing unit, the laptop being in particular a tablet or a smart phone.
13. Utilisation du procédé selon l’une des revendications 1 à 6 pour fusionner les images acquises par un dispositif d’acquisition selon l’une des revendications 8 ou 9, le dispositif d’acquisition étant embarqué sur un aéronef, en particulier un drone. 13. Use of the method according to one of claims 1 to 6 for merging the images acquired by an acquisition device according to one of claims 8 or 9, the acquisition device being on board an aircraft, in particular a drone. .
14. Utilisation du procédé selon l’une des revendications 1 à 6 pour fusionner les images acquises par un dispositif d’acquisition selon l’une des revendications 8 ou 9, le dispositif d’acquisition étant un système d’imagerie médicale. 14. Use of the method according to one of claims 1 to 6 to merge the images acquired by an acquisition device according to one of claims 8 or 9, the acquisition device being a medical imaging system.
15. Utilisation du procédé selon l’une des revendications 1 à 6 pour fusionner les images acquises par un dispositif d’acquisition selon l’une des revendications 8 ou 9, le dispositif d’acquisition étant un système d’imagerie spatiale porté par un satellite. 15. Use of the method according to one of claims 1 to 6 for merging the images acquired by an acquisition device according to one of claims 8 or 9, the acquisition device being a spatial imaging system carried by a satellite.
EP21736637.6A 2020-06-12 2021-06-10 Method for constructing a high-resolution mixed signal or image from a plurality of low-resolution signals or a plurality of low-resolution images Pending EP4165589A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2006182A FR3111462B1 (en) 2020-06-12 2020-06-12 A method of constructing a high resolution merged signal or image from a plurality of low resolution signals or images.
PCT/FR2021/051041 WO2021250356A1 (en) 2020-06-12 2021-06-10 Method for constructing a high-resolution mixed signal or image from a plurality of low-resolution signals or a plurality of low-resolution images

Publications (1)

Publication Number Publication Date
EP4165589A1 true EP4165589A1 (en) 2023-04-19

Family

ID=73013531

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21736637.6A Pending EP4165589A1 (en) 2020-06-12 2021-06-10 Method for constructing a high-resolution mixed signal or image from a plurality of low-resolution signals or a plurality of low-resolution images

Country Status (4)

Country Link
US (1) US20230105475A1 (en)
EP (1) EP4165589A1 (en)
FR (1) FR3111462B1 (en)
WO (1) WO2021250356A1 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes

Also Published As

Publication number Publication date
WO2021250356A1 (en) 2021-12-16
US20230105475A1 (en) 2023-04-06
FR3111462B1 (en) 2022-08-05
FR3111462A1 (en) 2021-12-17

Similar Documents

Publication Publication Date Title
EP1828992B1 (en) Method for processing images using automatic georeferencing of images derived from a pair of images captured in the same focal plane
Shen et al. Super-resolution reconstruction algorithm to MODIS remote sensing images
EP1843295B1 (en) Method of recreating the movements of the line of sight of an optical instrument
EP3113103A1 (en) High-resolution camera unit for drone, with correction of wobble distortion
FR3055421A1 (en) MULTIVIZED COHERENT DETECTION OF CHANGES
EP2567537A1 (en) Polychromatic imaging method
WO2009043923A1 (en) Method for synchronising video streams
EP2502202B1 (en) Method for estimating the movement of a travelling observation instrument flying over a celestial body
EP2947433A1 (en) System and method for acquiring hyperspectral images
EP2500701B1 (en) Metrology system and method applied to an interferometer for remote analysis of a gaseous compound
CA2290673C (en) Improvement to image acquisition by push-broom scanning
WO2021250356A1 (en) Method for constructing a high-resolution mixed signal or image from a plurality of low-resolution signals or a plurality of low-resolution images
EP3301644B1 (en) Method for building a depth map of a scene and/or an all-in-focus image
EP2747421B1 (en) Method and device for correcting a spatial response for Fourier-transform spectrometers
EP3948337B1 (en) Method and device for calculating visibility functions for a synthetic aperture interferometric radiometer
WO2018083266A1 (en) Method and device for digital image restoration
EP4004597B1 (en) Coherent lidar imaging method and associated lidar
EP2772735B1 (en) Device and method for dynamically adapting spatial resolution for imaging Fourier transform spectrometers
EP4139707A1 (en) Method for georeferencing of a digital elevation model
EP3165875B1 (en) Method for acquiring images by a spaceborne or airborne optical instrument with extended field of view
WO2009010593A2 (en) Method of estimating at least one deformation of the wave front of an optical system or of an object observed by the optical system and associated device
CA3037110A1 (en) Method and device for analysing an electromagnetic wave in high definition
FR3059453A1 (en) METHOD AND DEVICE FOR DECONVOLUTION OF DIGITAL IMAGES
EP1544667B1 (en) Frequential completion of images acquired with a thinned synthetic aperture optical device by combination of images being complementary in the frequency domain
EP4217727A1 (en) Calibration method for guided elastic wave tomography adapted to cylinder-type structures

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221205

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)