FR2920629A1 - Image capturing device e.g. video camera, has displacement unit with deflector to displace lens such that sensor provides signals representing offset images, and combining unit combining images from sensor to form image with high definition - Google Patents
Image capturing device e.g. video camera, has displacement unit with deflector to displace lens such that sensor provides signals representing offset images, and combining unit combining images from sensor to form image with high definition Download PDFInfo
- Publication number
- FR2920629A1 FR2920629A1 FR0706145A FR0706145A FR2920629A1 FR 2920629 A1 FR2920629 A1 FR 2920629A1 FR 0706145 A FR0706145 A FR 0706145A FR 0706145 A FR0706145 A FR 0706145A FR 2920629 A1 FR2920629 A1 FR 2920629A1
- Authority
- FR
- France
- Prior art keywords
- image
- sensor
- images
- lens
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 60
- 230000003287 optical effect Effects 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 description 8
- 239000007787 solid Substances 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 230000000135 prohibitive effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000021615 conjugation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 230000005520 electrodynamics Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000005338 frosted glass Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
PROCEDE ET DISPOSITIF DE CAPTURE D'IMAGE 5 10 La présente invention concerne un procédé et un dispositif de capture d'image. Elle s'applique, en particulier, à la prise de vues de haute définition avec un capteur d'image électronique, par exemple d'une caméra vidéo, d'un camescope ou d'un appareil photo numérique. Lorsque la réponse impulsionnelle d'un appareil de prise de vue numérique (c'est-à- 15 dire le détail le plus fin que son objectif peut produire sur le capteur) est plus petite que la taille d'un point photosensible (connu sous le nom de pixel ) du capteur d'image solide constituant ledit appareil de prise de vue numérique, l'information présente sur l'image est sous-échantillonnée par les pixels dudit capteur solide et les détails les plus fins ne sont pas correctement reproduits. Il est alors intéressant d'essayer d'obtenir une définition d'image, et 20 donc une résolution d'image, augmentée par rapport à la définition du capteur d'image pour reproduire des détails perdus par la simple utilisation du capteur d'image. Dans les cas d'utilisation où le réglage du système optique de capture (par exemple sa focale et son diaphragme) conduit à un point image (tâche de diffraction) de taille plus petite que celle du pixel, on est en présence d'un sous-échantillonnage de l'information. 25 Afin d'échantillonner le signal jusqu'à la fréquence de Nyquist (de l'optique), fréquence liée aux détails les plus fins à reproduire, il faudrait fabriquer des capteurs d'image solides comportant un nombre de pixels plus élevé et de plus petite taille. Cependant, l'accroissement du nombre de pixels dans les capteurs d'image solides actuels à transfert de charge (connus sous le nom de CCD , acronyme de charge 30 coupled device pour dispositif à transfert de charges) ou à semi-conducteur à oxyde métallique complémentaire (connus sous le nom de CMOS , acronyme de complementary metal oxyde semiconductor pour semiconducteur à oxyde métallique complémentaire) présente plusieurs limitations (comme rappelé dans la revue Electronique n°137, pp.102-114, juin 2003) : 35 - l'augmentation de la surface du capteur à taille de pixel constante entraîne un coût de matière première élevé, un surcoût et un surpoids de l'optique à lui associer ; - la diminution cle la taille individuelle des pixels à surface de capteur constante entraîne une baisse de la sensibilité à la lumière desdits pixels. Le coût du capteur d'images devient alors prohibitif pour des applications qui nécessitent une haute définition. IMAGE CAPTURE METHOD AND DEVICE The present invention relates to a method and an image capture device. It applies, in particular, to high-definition shooting with an electronic image sensor, for example a video camera, a camcorder or a digital camera. When the impulse response of a digital camera (i.e. the finest detail that its lens can produce on the sensor) is smaller than the size of a photosensitive dot (known as the pixel name) of the solid image sensor constituting said digital camera, the information present on the image is downsampled by the pixels of said solid sensor and the finer details are not correctly reproduced. It is therefore interesting to try to obtain an image definition, and therefore an image resolution, increased with respect to the definition of the image sensor to reproduce details lost by the simple use of the image sensor. . In cases of use where the adjustment of the optical capture system (for example its focal length and its diaphragm) leads to an image point (diffraction task) of size smaller than that of the pixel, it is in the presence of a sub -sampling of information. In order to sample the signal up to the Nyquist frequency (of the optics), frequency related to the finer details to be reproduced, solid image sensors having a larger number of pixels and more small size. However, the increase in the number of pixels in the current solid charge transfer image sensors (known as CCD, charge coupled device charge coupled) or metal oxide semiconductor complementary (known under the name of CMOS, acronym for complementary metal oxide semiconductor for semiconductor complementary metal oxide) has several limitations (as recalled in the journal Electronique No. 137, pp.102-114, June 2003): 35 - the Increasing the surface area of the constant pixel size sensor results in a high raw material cost, overhead and overweight of the optics to be associated with it; the reduction of the individual size of the pixels with constant sensor surface causes a decrease in the sensitivity to light of said pixels. The cost of the image sensor becomes prohibitive for applications that require high definition.
De plus, les techniques actuelles de fabrication des capteurs d'image solides impliquent l'existence d'espaces non photosensibles entre les pixels. Lesdits espaces entraînent la perte de l'information qui est présente dans les zones d'image qui s'y forment. L'ajout de microlentilles permet de récupérer une partie de cette information mais le positionnement desdites microlentilles lors de la fabrication est délicat et, de plus, ces micro- lentilles collectent la lurnière environnant le pixel globalement, réalisant ainsi la moyenne entre plusieurs informations différentes. Les informations concernant les plus petits détails sont, là encore, perdues. On connaît aussi des systèmes de prise d'image qui possèdent une optique fixe et un capteur mobile, par exemple monté sur des cristaux piézo-électriques excités par un signal périodique de période multiple de la période de prises de vues. Ces systèmes effectuent la combinaison des images fournies successivement par le capteur d'image ; dans ce cas, la définition de l'image résultant de la combinaison peut être égale, dans chaque dimension du capteur, au double ou au triple de la définition du capteur. Cependant, ces systèmes s'avèrent fragiles, du fait des vibrations subies par le capteur d'image et par les connecteurs électriques entre le capteur d'image et les circuits électroniques de traitement. De plus, puisque des micro-mouvements doivent être générés, par exemple des mouvements d'amplitude inférieure à dix microns, les tolérances de fabrication sont très contraignantes. En particulier, ces cristaux requièrent une alimentation électrique de type scientifique à très faible dérive et à haute tension, donc onéreuses et incompatibles avec des produits de grande diffusion. La complexité de fabrication et le coût de ces systèmes peuvent être prohibitifs. De plus, des problèmes de dérive en température peuvent apparaître et détériorer la qualité des images produites. On connaît, enfin, des systèmes de prise d'image qui possèdent, entre un objectif fixe et le capteur d'image, un lame de déflexion optique, par exemple une lame transparente d'indice optique supérieur à celui de l'air. Puisque des micro-mouvements doivent être générés, par exemple des mouvements d'amplitude inférieure à dix microns, les tolérances de fabrication sont très contraignantes et le prix de ces systèmes peut être prohibitif. La présente invention ou certaines de ses caractéristiques particulières visent à remédier à tout ou partie de ces inconvénients. In addition, the current techniques of manufacturing solid image sensors imply the existence of non-photosensitive spaces between the pixels. Said spaces cause the loss of information that is present in the image areas that form there. The addition of microlenses makes it possible to recover some of this information, but the positioning of said microlenses during manufacture is delicate and, moreover, these microlenses collect the light around the pixel globally, thus averaging between several different information items. Information about the smallest details is, again, lost. Imaging systems are also known which have a fixed optics and a movable sensor, for example mounted on piezoelectric crystals excited by a periodic signal with a period that is a multiple of the shooting period. These systems perform the combination of images provided successively by the image sensor; in this case, the definition of the image resulting from the combination may be equal, in each dimension of the sensor, to twice or triple the definition of the sensor. However, these systems are fragile because of the vibrations experienced by the image sensor and the electrical connectors between the image sensor and the electronic processing circuits. In addition, since micro-movements must be generated, for example movements of amplitude less than ten microns, the manufacturing tolerances are very restrictive. In particular, these crystals require a scientific power supply with very low drift and high voltage, so expensive and incompatible with popular products. The complexity of manufacturing and the cost of these systems can be prohibitive. In addition, problems of temperature drift can appear and deteriorate the quality of the images produced. Finally, imaging systems are known which have, between a fixed lens and the image sensor, an optical deflection plate, for example a transparent plate of optical index greater than that of the air. Since micro-movements must be generated, for example movements of amplitude less than ten microns, manufacturing tolerances are very restrictive and the price of these systems can be prohibitive. The present invention or some of its particular features are intended to remedy all or part of these disadvantages.
A cet effet, la présente invention vise, selon un premier aspect, un dispositif de capture d'image, qui comporte : - un objectif adapté à former une image d'une scène, - un capteur d'image matriciel placé en aval dudit objectif et adapté à fournir un signal représentatif de l'image de la scène formée, à sa surface, par ledit objectif, un moyen de mise en mouvement de l'image formée par ledit objectif sur ledit capteur, placé en amont dudit objectif ou mettant en mouvement ledit objectif pour que le capteur d'image fournisse, successivement, des signaux représentatifs d'images de ladite scène décalées, entre elles, sur le capteur d'image, et un moyen de combinaison d'images fournies successivement par ledit capteur, pour former une image d'une définition supérieure à celle du capteur d'image matriciel. Grâce à ces dispositions, la présente invention peut être mise en oeuvre avec un dispositif de capture d'image pré-existant, par exemple un appareil photo ou une caméra vidéo. Selon des caractéristiques particulières, le moyen de mise en mouvement comporte : -au moins un déflecteur mobile positionné devant ledit objectif et possédant des moyens de déplacement et - un moyen de comrnande des moyens de déplacement de chaque déflecteur, adapté à commander la position du déflecteur pour déplacer l'image de la scène sur le capteur d'image matriciel. Grâce à ces dispositions, et notamment parce que le déflecteur optique est en amont de l'objectif et non en aval, comme dans l'art antérieur, le déflecteur mobile peut effectuer des déplacements de plus grande amplitude que les déflecteurs utilisés dans l'art antérieur, ce qui augmente les tolérances mécaniques et permet de réduire la complexité du dispositif ainsi que son coût. On observe que la présente invention peut être mise en oeuvre avec un dispositif de capture d'image pré-existant, par exemple un appareil photo ou une caméra vidéo pour au moins les raisons suivantes : le déflecteur optique est placé devant l'objectif, donc à l'extérieur de ce dispositif pré-existant, et la combinaison d'image peut être réalisée par des moyens logiciels téléchargeables ou, à posteriori, avec des images fournies à l'extérieur par le dispositif pré-existant. For this purpose, the present invention aims, according to a first aspect, an image capture device, which comprises: an objective adapted to form an image of a scene, a matrix image sensor placed downstream of said objective and adapted to provide a signal representative of the image of the scene formed, on its surface, by said lens, means for moving the image formed by said lens on said sensor, placed upstream of said lens or setting motion said objective for the image sensor to provide, successively, signals representative of images of said scene shifted, with respect to each other, on the image sensor, and image combining means provided successively by said sensor, for to form an image of a definition higher than that of the matrix image sensor. Thanks to these arrangements, the present invention can be implemented with a pre-existing image capture device, for example a camera or a video camera. According to particular features, the means for setting in motion comprises: at least one movable deflector positioned in front of said objective and having displacement means and means for controlling the displacement means of each deflector, adapted to control the position of the deflector to move the scene image to the raster image sensor. Thanks to these arrangements, and in particular because the optical deflector is upstream of the objective and not downstream, as in the prior art, the movable deflector can make displacements of greater amplitude than the deflectors used in the art prior, which increases the mechanical tolerances and reduces the complexity of the device and its cost. It is observed that the present invention can be implemented with a pre-existing image capture device, for example a camera or a video camera for at least the following reasons: the optical deflector is placed in front of the lens, so outside this pre-existing device, and the image combination can be performed by downloadable software means or, a posteriori, with images provided externally by the pre-existing device.
Selon des caractéristiques particulières, le moyen de mise en mouvement comporte un déflecteur optique unique adapté à provoquer un déplacement oblique de l'image formée sur le capteur entre deux instants de prise de vues, par rapport aux lignes et aux colonnes de points photosensibles du capteur d'image. Grâce à ces dispositions, un seul déplacement du déflecteur optique permet, à la fois, d'augmenter la définition verticale et la définition horizontale de l'image obtenue après combinaison des images fournies par le capteur d'image. De plus, la complexité du dispositif est réduite, ainsi que son encombrement, par rapport au cas où deux déplacements selon deux axes non colinéaires sont prévus. Selon des caractéristiques particulières, le déplacement oblique est parallèle à un axe passant par les points photosensibles du capteurs d'image décalés, entre eux, d'une ligne et d'une colonne. Selon des caractéristiques particulières, les moyens de déplacement de chaque déflecteur optique comportent un actionneur magnétique dont une partie, au moins, est mécaniquement liée à une partie mobile du déflecteur optique. Selon des caractéristiques particulières, les moyens de déplacement de chaque déflecteur optique comportent un électro-aimant fixe et un aimant permanent mécaniquement lié à une partie mobile du déflecteur optique. Grâce à ces dispositions, la dimension des moyens de déplacement est réduite ainsi que le délai de réaction du déflecteur optique. Selon des caractéristiques particulières, le moyen de mise en mouvement comporte un convoyeur. Selon des caractéristiques particulières, le moyen de mise en mouvement comporte un moyen de déplacement linéaire du capteur d'image et de l'objectif, solidairement fixés entre eux. Selon des caractéristiques particulières, le moyen de mise en mouvement comporte un moyen de déplacement linéaire de l'objectif. Selon des caractéristiques particulières, le dispositif tel que succinctement exposé ci-dessus comporte un rnoyen d'autocalibrage adapté à commander des déplacements identiques de l'image formée par ledit objectif sur ledit capteur, avec une scène connue immobile, à calculer les déplacements relatifs entre les images successives et à mémoriser ces déplacements dans une mémoire du dispositif. Selon des caractéristiques particulières, le dispositif tel que succinctement exposé ci-dessus comporte un moyen de recalage des images acquises avec ledit capteur, en fonction des données de calibrage mémorisées. Selon des caractéristiques particulières, le dispositif tel que succinctement exposé ci- dessus comporte un moyen de détermination de durée de prise de vues et d'un nombre d'images à combiner pour former ladite image d'une définition supérieure à celle du capteur d'image matriciel. Selon des caractéristiques particulières, le dispositif tel que succinctement exposé ci-dessus comporte un moyen d'asservissement optique en boucle fermée de la position de l'image sur ledit capteur. According to particular features, the moving means comprises a single optical deflector adapted to cause an oblique displacement of the image formed on the sensor between two instants of shooting, with respect to the lines and columns of photosensitive points of the sensor. image. Thanks to these provisions, a single displacement of the optical deflector makes it possible, at the same time, to increase the vertical definition and the horizontal definition of the image obtained after combining the images provided by the image sensor. In addition, the complexity of the device is reduced, as well as its size, compared to the case where two displacements along two non-collinear axes are provided. According to particular features, the oblique displacement is parallel to an axis passing through the photosensitive points of the image sensors offset between them by a line and a column. According to particular features, the displacement means of each optical deflector comprise a magnetic actuator at least a part of which is mechanically connected to a movable part of the optical deflector. According to particular features, the displacement means of each optical deflector comprise a fixed electromagnet and a permanent magnet mechanically connected to a moving part of the optical deflector. Thanks to these arrangements, the size of the displacement means is reduced as well as the reaction time of the optical deflector. According to particular features, the moving means comprises a conveyor. According to particular features, the moving means comprises a linear displacement means of the image sensor and the lens, integrally fixed to each other. According to particular features, the moving means comprises a means for linear displacement of the lens. According to particular features, the device as briefly described above comprises an autotuning means adapted to control identical displacements of the image formed by said objective on said sensor, with a still known scene, to calculate the relative displacements between the successive images and to memorize these displacements in a memory of the device. According to particular features, the device as briefly described above comprises means for resetting images acquired with said sensor, according to the stored calibration data. According to particular features, the device as briefly described above comprises means for determining the shooting time and a number of images to be combined to form said image with a definition greater than that of the image sensor. matrix image. According to particular features, the device as briefly described above comprises an optical servocontrol means in closed loop of the position of the image on said sensor.
Selon des caractéristiques particulières, le dispositif tel que succinctement exposé ci-dessus comporte un moyen de détermination de déplacement de l'image sur ledit capteur, chaque décalage entre cieux images étant calculé par une méthode de phase. Selon un deuxième aspect, la présente invention vise un procédé de capture d'image, caractérisé en ce qu'il comporte : une étape de mise en mouvement de l'image d'une scène formée par un objectif sur un capteur d'image matriciel placé en aval de l'objectif, par un moyen de mise en mouvement placé en amont dudit objectif ou mettant en mouvement ledit objectif pour que le capteur d'image fournisse, successivement, des signaux représentatifs d'images de ladite scène décalées, entre elles, sur le capteur d'image, et une étape de combinaison d'images fournies successivement par ledit capteur, pour former une image d'une définition supérieure à celle du capteur d'image matriciel. Selon des caractéristiques particulières, l'étape de déplacement comporte une étape de déplacement d'au moins un déflecteur optique, au cours de laquelle, on déplace l'image formée sur le capteur optique, d'une partie de pas du capteur optique, dans au moins une des dimensions du capteur optique. Selon des caractéristiques particulières, au cours de l'étape de déplacement, on déplace un déflecteur optique unique de manière à provoquer un déplacement oblique de l'image formée sur le capteur entre deux étapes de capture d'image, par rapport aux lignes et aux colonnes de points photosensibles du capteur d'image. Selon des caractéristiques particulières, au cours de l'étape de déplacement, le déplacement oblique est parallèle à un axe passant par les points photosensibles du capteurs d'image décalés, entre eux, d'une ligne et d'une colonne. Selon des caractéristiques particulières, au cours de l'étape de déplacement, on met en oeuvre des moyens de déplacement de chaque déflecteur optique qui comportent un actionneur magnétique dont une partie, au moins, est mécaniquement liée à une partie mobile du déflecteur optique. Selon des caractéristiques particulières, l'étape de mise en mouvement comporte une étape de mise en mouvement d'un convoyeur. According to particular features, the device as briefly described above comprises means for determining the displacement of the image on said sensor, each offset between the two images being calculated by a phase method. According to a second aspect, the present invention relates to an image capture method, characterized in that it comprises: a step of moving the image of a scene formed by an objective on a matrix image sensor placed downstream of the lens, by a moving means placed upstream of said lens or by moving said lens so that the image sensor successively supplies signals representing images of said scene shifted, between them , on the image sensor, and an image combining step provided successively by said sensor, to form an image of a definition greater than that of the matrix image sensor. According to particular features, the displacement step comprises a step of moving at least one optical deflector, during which the image formed on the optical sensor is displaced by a portion of the optical sensor pitch in at least one of the dimensions of the optical sensor. According to particular features, during the moving step, a single optical deflector is displaced so as to cause an oblique displacement of the image formed on the sensor between two image-capturing steps, with respect to the lines and the images. photosensitive dot columns of the image sensor. According to particular characteristics, during the displacement step, the oblique displacement is parallel to an axis passing through the photosensitive points of the image sensors offset, from each other, by a line and a column. According to particular characteristics, during the displacement step, means of displacement of each optical deflector are implemented which comprise a magnetic actuator of which at least a part is mechanically connected to a moving part of the optical deflector. According to particular features, the step of setting in motion comprises a step of moving a conveyor.
Selon des caractéristiques particulières, l'étape de mise en mouvement comporte une étape de déplacement linéaire du capteur d'image et de l'objectif, solidairement fixés entre eux. Selon des caractéristiques particulières, l'étape de mise en mouvement comporte une étape de déplacement linéaire de l'objectif. According to particular characteristics, the step of setting in motion comprises a step of linear displacement of the image sensor and the objective, integrally fixed between them. According to particular characteristics, the step of setting in motion comprises a step of linear displacement of the objective.
Selon des caractéristiques particulières, le procédé tel que succinctement exposé ci-dessus comporte une étape d'autocalibrage au cours de laquelle on commande des déplacements identiques de l'image formée par ledit objectif sur ledit capteur, avec une scène connue immobile, on calcule les déplacements relatifs entre les images successives et on mémorise ces déplacements dans une mémoire du dispositif. Selon des caractéristiques particulières, le procédé tel que succinctement exposé ci-dessus comporte une étape de recalage des images acquises avec ledit capteur, en fonction des données de calibrage mémorisées. Selon des caractéristiques particulières, le procédé tel que succinctement exposé ci-dessus comporte une étape de détermination de durée de prise de vues et d'un nombre d'images à combiner pour former ladite image d'une définition supérieure à celle du capteur d'image matriciel. According to particular features, the method as briefly described above includes an autocalibration step during which identical displacements of the image formed by said objective on said sensor, with a known motionless scene, are calculated. relative displacements between the successive images and these displacements are stored in a memory of the device. According to particular features, the method as briefly described above includes a step of resetting the images acquired with said sensor, according to the stored calibration data. According to particular features, the method as briefly described above comprises a step of determining the shooting time and a number of images to be combined to form said image with a definition greater than that of the image sensor. matrix image.
Selon des caractéristiques particulières, le procédé tel que succinctement exposé ci-dessus comporte une étape d'asservissement optique en boucle fermée de la position de l'image sur ledit capteur. Selon des caractéristiques particulières, le procédé tel que succinctement exposé ci- dessus comporte une étape de détermination de déplacement de l'image sur ledit capteur, chaque décalage entre deux images étant calculé par une méthode de phase. Les avantages, buts et caractéristiques particulières de ce procédé étant similaires à ceux du dispositif tel que succinctement exposé ci-dessus, ils ne sont pas rappelés ici. D'autres avantages, buts et caractéristiques particulières de la présente invention ressortiront de la description qui va suivre, faite, dans un but explicatif et nullement limitatif, en regard des dessins annexés dans lesquels : - la figure 1 représente, schématiquement, un premier mode de réalisation particulier du dispositif objet de la présente invention, - la figure 2 représente, sous forme d'un logigramme, des étapes mises en oeuvre dans un premier mode de réalisation du procédé objet de la présente invention, la figure 3 représente des zones photosensibles d'un capteur d'image et un décalage d'image réalisé par un déflecteur optique du premier mode de réalisation du dispositif objet de la présente invention, tel qu'illustré en figure 1, - la figure 4 représente, schématiquement, un deuxième mode de réalisation particulier du dispositif objet de la présente invention, la figure 5 représente, schématiquement, un troisième mode de réalisation particulier du dispositif objet de la présente invention et la figure 6 représente, schématiquement, un quatrième mode de réalisation particulier du dispositif objet de la présente invention. D'une manière générale, la présente invention concerne un dispositif d'imagerie qui comporte un appareil de prise de vue numérique à capteur d'image solide et permet d'échantillonner plus finement le signal optique, ou image, reçu par le capteur d'image en utilisant le décalage, entre deux périodes de capture d'images, de l'image formée sur ce capteur par le biais d'un (premier mode de réalisation, figure 1) ou deux déflecteur(s) optique(s), d'un mouvement de la scène par exemple sous l'effet d'un convoyeur ou d'un mouvement de caméra, par exemple par suite d'un tremblement de son support. Dans le cas de l'utilisation d'au moins un déflecteur optique, chaque déflecteur optique est, préférentiellement, sensiblement fixe pendant une période de capture d'image et mis en déplacement entre deux périodes de capture d'images. Puis, les différentes images captées sont combinées pour former une image de plus haute définition que celle de chacune des images captées et que celle du capteur d'image. La présente invention permet ainsi d'accéder à des détails plus petits que ceux visibles à l'aide du seul capteur d'image, lorsqu'il n'y a pas de déflecteur optique. Le dispositif objet de la présente invention permet ainsi un échantillonnage plus fin que celui que permet le seul capteur, grâce au mouvement de l'image de la scène sur le capteur d'image, par exemple sous l'effet de chaque déflecteur optique réalisant un balayage de l'image formée sur ledit capteur. Préférentiellement, le mouvement s'opère de manière à ce que le balayage de l'image dans le plan du capteur solide se fasse selon des incréments de distance inférieurs à la taille d'un pixel le long de la direction de balayage. Lors du balayage, plusieurs images sont mises successivement en mémoire du dispositif, chacune des images correspondant à l'image issue dudit capteur pour une position donnée de chaque déflecteur optique. La série, ou séquence, d'images obtenue au cours d'un balayage subit une combinaison, ou recomposition, pour fournir une image finale présentant des détails visibles plus petits que ceux qui seraient visibles avec le capteur sans mouvement du déflecteur optique. L'image finale permet : d'avoir accès aux informations habituellement perdues entre les pixels dudit capteur ; - d'échantillonner l'image en différentes positions successives de manière à récupérer l'information des réponses impulsionnelles en dissociant les réponses qui s'additionnent normalement sur un même pixel du fait de la taille trop élevée du pixel ou de la présence d'une microientille au-dessus du pixel. Du fait de l'utilisation du dispositif objet de la présente invention, et, en particulier, du balayage, un capteur d'image solide de faible surface, comportant des pixels de taille relativement élevée (entre 5 et 10 pm) et en nombre restreint, peut être utilisé pour produire des images de haute définition en lieu et place d'un capteur fabriqué spécifiquement dans ce but, ce qui permet : une économie de matière première ; une bonne sensibilité à la lumière ; un rendement du transfert des charges élevé, dans le cas de l'utilisation d'une technologie CCD. According to particular features, the method as briefly described above comprises a step of closed-loop optical servocontrol of the position of the image on said sensor. According to particular features, the method as briefly described above comprises a step of determining the displacement of the image on said sensor, each offset between two images being calculated by a phase method. Since the advantages, aims and particular characteristics of this process are similar to those of the device as briefly described above, they are not recalled here. Other advantages, aims and particular features of the present invention will emerge from the description which follows, made for an explanatory and non-limiting purpose, with reference to the appended drawings, in which: FIG. 1 represents, schematically, a first embodiment Particular embodiment of the device according to the present invention, - Figure 2 shows, in the form of a logic diagram, the steps implemented in a first embodiment of the method of the present invention, Figure 3 represents photosensitive areas. of an image sensor and an image shift made by an optical deflector of the first embodiment of the device object of the present invention, as illustrated in FIG. 1, FIG. 4 schematically represents a second embodiment In particular embodiment of the device which is the subject of the present invention, FIG. 5 schematically represents a third particular embodiment. 1 of the device object of the present invention and Figure 6 schematically shows a fourth particular embodiment of the device object of the present invention. In general, the present invention relates to an imaging device which comprises a solid image sensor digital recording apparatus and makes it possible to sample more finely the optical signal, or image, received by the image sensor. image by using the shift, between two image capture periods, of the image formed on this sensor by means of a (first embodiment, FIG. 1) or two optical deflector (s), a movement of the scene for example under the effect of a conveyor or a camera movement, for example as a result of a tremor of its support. In the case of the use of at least one optical deflector, each optical deflector is preferably substantially fixed during an image capture period and moved between two image capture periods. Then, the different captured images are combined to form an image of higher definition than that of each of the captured images and that of the image sensor. The present invention thus allows access to details smaller than those visible with the aid of the single image sensor, when there is no optical deflector. The device that is the subject of the present invention thus allows a finer sampling than that allowed by the single sensor, by virtue of the movement of the image of the scene on the image sensor, for example under the effect of each optical deflector producing a sensor. scanning the image formed on said sensor. Preferentially, the movement is effected so that the scanning of the image in the plane of the solid sensor is done in increments of distance less than the size of a pixel along the scanning direction. During the scanning, several images are put successively in memory of the device, each of the images corresponding to the image issuing from said sensor for a given position of each optical deflector. The series, or sequence, of images obtained during a scan undergoes a combination, or recomposition, to provide a final image with visible details smaller than those that would be visible with the sensor without movement of the optical deflector. The final image allows: to have access to information usually lost between the pixels of said sensor; to sample the image in different successive positions so as to recover the information of the impulse responses by dissociating the responses which normally add up on the same pixel because of the too large size of the pixel or the presence of a microphone above the pixel. Due to the use of the device which is the subject of the present invention, and in particular of scanning, a solid image sensor of small surface area, comprising pixels of relatively large size (between 5 and 10 μm) and in a limited number , can be used to produce high definition images in place of a sensor manufactured specifically for this purpose, which allows: a saving of raw material; good sensitivity to light; high load transfer efficiency, in the case of using a CCD technology.
Dans des modes de réalisation, tels que celui décrit en figure 1, le dispositif est réalisé par ajout, à un dispositif de prise de vues électronique classique, de chaque déflecteur optique, en amont de l'objectif de la caméra, c'est-à-dire entre la scène et l'objectif, et des moyens de combinaison d'image qui travaillent sur les signaux issus du capteur d'image sont prévus en aval du capteur d'image de ce dispositif de prise de vues classique. Dans des modes de réalisation, tels que celui illustré en figure 1, une caméra 100, comportant un objectif 105 et un capteur d'image 130, est associée à un déflecteur optique unique comportant une lame à faces parallèles 115 mise en mouvement autour d'un axe de rotation 120 parallèle au plan du capteur d'image 130 et oblique par rapport aux lignes et aux colonnes du capteur d'image 130, par action d'un élément moteur 125 dont une partie, 126, est fixe et une partie, 127, est mécaniquement liée à la lame à faces parallèles 115. La lame à faces parallèles 115 possède un indice de réfraction supérieur à celui de l'air, préférentiellement constant dans la bande spectrale de sensibilité du capteur d'image 130. Préférentiellement, la lame à faces parallèles 115 possède, sur chacune de ces faces, un traitement anti-reflet pour éviter que des double-réflexions ne perturbe l'image captée et pour éviter une diminution de sensibilité due à des réflexions sur ces faces. Comme illustré en figure 3, les décalages d'image 300 successifs provoqués par le déflecteur optique entre deux périodes de capture d'image sont préférentiellement parallèles aux axes 305 passants par les centres des zones photosensibles, ou pixels, 310, placés en diagonale du capteur d'image 130. Dans des modes de réalisation particuliers, le décalage d'image représente un cinquième de la distance entre deux centres de zones photosensibles, de telle manière que la lumière qui parvenait à un pixel, au cours d'une première prise de vue se répartissent, d'une part, sur la zone insensible entre les pixels, et, d'autre part, sur un à quatre pixels adjacents du capteur d'images 130. L'élément moteur 125 entraîne la lame 115 en rotation autour de son axe de rotation 120, pour l'arrêter sur les trois positions intermédiaires entre les deux positions extrêmes que la lame 115 peut prendre et sur ces positions extrêmes. In embodiments, such as that described in FIG. 1, the device is made by adding, to a conventional electronic imaging device, each optical deflector, upstream of the camera lens, that is, that is, between the scene and the objective, and image combining means working on the signals from the image sensor are provided downstream of the image sensor of this conventional image pickup device. In embodiments, such as that illustrated in FIG. 1, a camera 100, comprising a lens 105 and an image sensor 130, is associated with a single optical deflector having a parallel-sided blade 115 set in motion around the lens. an axis of rotation 120 parallel to the plane of the image sensor 130 and oblique with respect to the lines and columns of the image sensor 130, by action of a motor element 125 of which a part, 126, is fixed and a part, 127, is mechanically linked to the parallel-sided blade 115. The parallel-sided blade 115 has a refractive index greater than that of the air, preferably constant in the spectral band of sensitivity of the image sensor 130. Preferably, the The parallel-sided blade 115 has, on each of these faces, an antireflection treatment to prevent double reflections from disturbing the captured image and to avoid a decrease in sensitivity due to reflections on the surface. faces. As illustrated in FIG. 3, the successive image shifts 300 caused by the optical deflector between two image capture periods are preferably parallel to the axes 305 passing through the centers of the photosensitive zones, or pixels 310, placed diagonally on the sensor In particular embodiments, the image offset represents one fifth of the distance between two centers of photosensitive areas, so that the light that reaches a pixel, during a first capture of view are distributed, on the one hand, on the insensitive area between the pixels, and, on the other hand, on one to four adjacent pixels of the image sensor 130. The driving element 125 drives the blade 115 in rotation around its axis of rotation 120, to stop it at the three intermediate positions between the two extreme positions that the blade 115 can take and in these extreme positions.
L'élément moteur 125 est, en figure 1, constitué d'un moteur électrodynamique, en particulier dans le cas où la vitesse de fonctionnement souhaitée est rapide, par exemple dans les cas où les objets à visualiser sont en mouvement. L'élément moteur comporte, comme partie fixe, un électro-aimant constitué d'une simple bobine montée sur un support fixe rigide et, comme partie mobile, un aimant permanent, ou une bobine secondaire alimentée en courant continu, solidaire de la lame à faces parallèles 115. En variante, l'élément moteur 125 est constitué d'un moteur pas-à-pas ou continu asservi pour un fonctionnement plus lent, lorsque les objets à visualiser sont immobiles. The driving element 125 is, in FIG. 1, constituted by an electrodynamic motor, in particular in the case where the desired operating speed is fast, for example in the cases where the objects to be visualized are moving. The motor element comprises, as a fixed part, an electromagnet consisting of a single coil mounted on a rigid fixed support and, as a moving part, a permanent magnet, or a secondary coil supplied with direct current, integral with the blade. Parallel faces 115. In a variant, the motor element 125 consists of a stepper motor or a continuous servo motor for slower operation, when the objects to be viewed are stationary.
Le dispositif comporte une mémoire vive 135, dans laquelle sont conservées les images successives destinées à la détermination de l'image haute définition, et un moyen de combinaison 140 qui, à partir des images correspondant aux différentes positions du ou des déflecteurs optiques, réalise une image de haute définition, par exemple une image d'une définition double, dans chaque dimension du capteur de la définition du capteur, c'est-à-dire comportant quatre fois plus de points que le nombre de pixels du capteur d'image, comme exposé ci-après. On note ici que, pour cinq positions différentes du ou des déflecteurs optiques, on multiplie par cinq le nombre de pixels horizontaux et verticaux, c'est-à-dire par 25 le nombre de pixels total. The device comprises a random access memory 135, in which are kept the successive images intended for the determination of the high definition image, and a means of combination 140 which, from the images corresponding to the different positions of the optical deflector (s), realize a a high definition image, for example an image of a double definition, in each sensor dimension of the sensor definition, that is to say having four times more points than the number of pixels of the image sensor, as explained below. It will be noted here that, for five different positions of the optical deflector (s), the number of horizontal and vertical pixels is multiplied by five, that is to say by the total number of pixels.
Préférentiellement, la mémoire 135 et le moyen de combinaison 140 sont intégrés sur une carte électronique embarquée dans la caméra 100. Préférentiellement, les différentes positions de la lame à face parallèle 115 sont prises de manière cyclique de telle manière qu'un nombre prédéterminé d'images qui viennent d'être mises en mémoire corresponde à une et une seule image dans chacune des positions possibles de la lame 115. Par exemple, s'il y a cinq positions de la lame, comme illustré en figure 3 et que ces positions sont référencées A , B , C , D et E , le cycle de positions de la lame est défini par les positions successives A , B , C , D , E , A , B , C ... En variante, pour limiter les accélérations qui peuvent être nuisibles à la stabilité du dispositif et/ou à la durée de vie du dispositif, on peut inverser, à chaque extrémité du mouvement, l'ordre de passage dans les positions successives (le cycle de positions de la lame est défini par les positions successives A , B , C , D , E , D , C , B , A , B , C ...), une seule image prise dans chaque position étant traitée à chaque instant. Grâce à cette caractéristique, le traitement des images permet, pour chaque nouvelle image de basse résolution (c'est-à-dire celle du capteur) de déterminer une image de haute résolution sur la base des dernières images mises en mémoire qui correspondent aux différentes positions du déflecteur. Dans des modes de réalisation, tels que celui illustré en figure 1, le dispositif objet de la présente invention comporte également un moyen de contrôle 150 de la position de la lame à faces parallèles 115, mettant en oeuvre un asservissement en boucle fermée. Cette caractéristique est particulièrement avantageuse dans les cas où l'élément moteur 125 comporte un moteur électrodynamique ou un moteur continu. Dans le mode de réalisation illustré en figure 1, le moyen de contrôle 150 comporte une diode électroluminescente 155, un diffuseur 160, un diffuseur 165, un premier groupe de lentilles optiques 170 éclairant un bord de la lame à face parallèle opposé à l'axe de rotation 120, un deuxième groupe de lentilles optiques 175, une photodiode 180 et un microcontrôleur 185. On observe que les diffuseurs ont pour rôle d'homogénéiser la lumière et peuvent être remplacés par des composants optiques connus sous le nom de glass rod ou tout autre moyen réalisant cette fonction (verre dépoli, papier calque, feuille de matière plastique translucide ou composants optiques diffractifs, par exemple). La diode électroluminescente 155 émet de la lumière dans le domaine de transparence des autres composants optiques du moyen de contrôle 150. Preferably, the memory 135 and the combining means 140 are integrated on an on-board electronic card in the camera 100. Preferably, the different positions of the parallel-faced blade 115 are cyclically taken in such a way that a predetermined number of images that have just been stored corresponds to one and only one image in each of the possible positions of the blade 115. For example, if there are five positions of the blade, as illustrated in FIG. 3 and these positions are referenced A, B, C, D and E, the cycle of positions of the blade is defined by the successive positions A, B, C, D, E, A, B, C ... Alternatively, to limit accelerations that can be detrimental to the stability of the device and / or the life of the device, it is possible to reverse, at each end of the movement, the order of passage in the successive positions (the cycle of sitions of the blade is defined by the successive positions A, B, C, D, E, D, C, B, A, B, C ...), a single image taken in each position being processed at every moment. With this feature, the image processing allows, for each new low resolution image (i.e. that of the sensor) to determine a high resolution image based on the last stored images that correspond to the different images. deflector positions. In embodiments, such as that illustrated in FIG. 1, the device that is the subject of the present invention also comprises a control means 150 for the position of the parallel-sided blade 115, implementing a closed-loop servocontrol. This feature is particularly advantageous in cases where the motor element 125 comprises an electrodynamic motor or a continuous motor. In the embodiment illustrated in FIG. 1, the control means 150 comprises a light-emitting diode 155, a diffuser 160, a diffuser 165, a first group of optical lenses 170 illuminating an edge of the face-parallel blade opposite the axis. 120, a second group of optical lenses 175, a photodiode 180 and a microcontroller 185. It is observed that the diffusers have the role of homogenizing the light and can be replaced by optical components known as the glass rod or any other means performing this function (frosted glass, tracing paper, translucent plastic sheet or diffractive optical components, for example). The light-emitting diode 155 emits light in the range of transparency of the other optical components of the control means 150.
Le premier groupe de lentilles optiques 170 et le deuxième groupe de lentilles optiques 175 effectuent la conjugaison optique de la diode électroluminescente 155 et de la photodiode 180. La photodiode 180 est photosensible dans le domaine d'émission de la diode électroluminescente 155. Le microcontrôleur est relié, en entrée, à la photodiode 180, par l'intermédiaire d'un convertisseur analogique-numérique interne et, en sortie, à l'électro- aimant 126, par l'intermédiaire d'un convertisseur numérique-analogique interne. Le bord de la lame 115 qui traverse le flux lumineux de la diode électroluminescente 155 est opaque. Aussi, la tension mesurée par le microcontrôleur 185 en sortie de la photodiode 180 est fonction de la position de la lame 115. La consigne enregistrée dans le microcontrôleur 185 compare la tension lue en sortie de la photodiode 180, à celle enregistrée en mémoire pour la position voulue. Si la tension mesurée est plus faible que celle qui est requise pour une position voulue, le microcontrôleur 185 envoie une tension plus élevée à l'électroaimant 126, et inversement dans le cas contraire. Dans des variantes préférentielles, deux électro-aimants sont placés en vis-à-vis, de part et d'autre de l'aimant permanent traversant la lame 115. Pour limiter les frottements, l'axe de la lame mobile peut finir par des pointes ou billes en contact avec un bâti. La lame mobile est ainsi très libre de mouvement. Comme illustré en figure 2, le procédé de capture d'image objet de la présente invention comporte, dans des modes de réalisation particuliers, d'une part, des étapes de recalage pour déterminer le déplacement relatif de l'image formée par l'objectif 105 sur le capteur d'image 130, entre deux images successives et, d'autre part, des étapes de combinaison d'images pour constituer une image de haute résolution ou haute définition. Concernant les premières, relatives au recalage, deux exemples de méthodes sont exposés ci-dessous : - lorsque les décalages sont réguliers (équidistants), on détermine le nombre N d'images nécessaires pour avoir un déplacement d'un pixel entier. Le décalage individuel sous-pixélique correspond alors au pas entre deux pixels situés en diagonale dans la direction du déplacement, divisé par N ; - lorsque les décalages entre deux images successives sont irréguliers (non équidistants), chaque décalage individuel est calculé par une méthode de phase (calcul du spectre de puissance croisé des deux images, mettant en oeuvre des transformées de Fourier des deux images : TF(11).TF*(12)/mod(TF(11).TF*(12)), formule dans laquelle mod signifie le module complexe et * désigne l'opération de conjugaison complexe. Dans des modes de réalisation, on prévoit une procédure initiale de calibrage 210 qui consiste à commander des déplacements identiques et, à partir d'une scène connue immobile, à calculer les déplacements relatifs entre les images successives. Ces déplacements sont mémorisés dans une mémoire du dispositif. Dans le cas où la scène et les objets qu'elle contient sont immobiles, on utilise ensuite ces données pour recaler correctement les images acquises à la suite de ce calibrage et effectuer une superposition correcte des images lors du traitement de reconstruction, en mettant en oeuvre un vecteur de déplacement pour chaque image captée. Dans le cas où des objets présents dans la scène sont en mouvement, les décalages des objets en mouvement à travers les différentes images d'une séquence sont irréguliers si la lame n'est pas mise en action. Dans ce cas, on utilise algorithme de calcul de recalage avant la reconstruction en haute résolution. Si la lame est mise en action à une vitesse plus grande que la vitesse caractéristique du mouvement de l'objet, de manière à ce que l'objet reste dans le champ de prise de vue pendant toute la durée de la séquence qui va servir à la reconstruction HR, on effectue le recalage par asservissement, par le moyen de contrôle 150, après chaque prise de vue et avant d'appliquer l'algorithme de reconstruction haute résolution. The first group of optical lenses 170 and the second group of optical lenses 175 effect the optical conjugation of the light-emitting diode 155 and the photodiode 180. The photodiode 180 is photosensitive in the emission domain of the light-emitting diode 155. The microcontroller is connected, at the input, to the photodiode 180, via an internal analog-to-digital converter and, at the output, to the electromagnet 126, via an internal digital-analog converter. The edge of the blade 115 which passes through the light flux of the light-emitting diode 155 is opaque. Also, the voltage measured by the microcontroller 185 at the output of the photodiode 180 is a function of the position of the blade 115. The setpoint recorded in the microcontroller 185 compares the voltage read at the output of the photodiode 180 to that recorded in memory for the desired position. If the measured voltage is lower than that required for a desired position, the microcontroller 185 sends a higher voltage to the electromagnet 126, and vice versa otherwise. In preferred embodiments, two electromagnets are placed facing each other, on either side of the permanent magnet passing through the blade 115. In order to limit friction, the axis of the movable blade may end with spikes or balls in contact with a frame. The movable blade is thus very free of movement. As illustrated in FIG. 2, the image capture method that is the subject of the present invention comprises, in particular embodiments, on the one hand, resetting steps for determining the relative displacement of the image formed by the objective 105 on the image sensor 130, between two successive images and, on the other hand, image combining steps to constitute a high resolution or high definition image. Concerning the first, relating to the registration, two examples of methods are exposed below: when the offsets are regular (equidistant), one determines the number N of images necessary to have a displacement of a whole pixel. The subpixelic individual offset then corresponds to the pitch between two pixels located diagonally in the direction of displacement, divided by N; when the offsets between two successive images are irregular (non-equidistant), each individual offset is calculated by a phase method (calculation of the cross-power spectrum of the two images, using Fourier transforms of the two images: TF (11 ## EQU1 ## in which mod is the complex modulus and * is the complex conjugation operation. initial calibration of 210 which consists in controlling identical displacements and, from a stationary known scene, calculating the relative displacements between the successive images, these displacements being stored in a memory of the device. objects contained therein are immobile, these data are then used to properly re-align the images acquired as a result of this calibration and to correctly superimpose the images during the treatment. nt of reconstruction, by implementing a displacement vector for each captured image. In the case where objects present in the scene are moving, the offsets of the moving objects through the different images of a sequence are irregular if the blade is not activated. In this case, one uses the calculation algorithm of registration before the reconstruction in high resolution. If the blade is actuated at a speed greater than the characteristic speed of the movement of the object, so that the object remains in the field of view for the duration of the sequence that will be used to the HR reconstruction, the registration is performed by servocontrol, by the control means 150, after each shot and before applying the high resolution reconstruction algorithm.
Pour effectuer le recalage, on fait effectuer une translation des images selon une translation inverse à celle du déplacement. On observe que, dans de nombreuses applications, il n'y a qu'un seul objet rigide dans l'image et il effectue un mouvement de translation globale d'axe parallèle à l'axe optique. On peut donc limiter la mesure du recalage à effectuer sur seulement les zones de l'image les plus éloignées de son centre. To carry out the registration, the images are translated in a translation that is the opposite of the displacement. It is observed that, in many applications, there is only one rigid object in the image and it performs an overall translational movement axis parallel to the optical axis. We can therefore limit the measurement of the registration to be performed on only the areas of the image farthest from its center.
On observe que si la vitesse de l'objet est supérieure à celle correspondant au mouvement de la lame, on effectue d'abord un recalage grossier (correspondant à plusieurs pixels) puis un recalage sub-pixelique, c'est-à-dire correspondant à moins d'un pixel. Sauf dans les modes de réalisation particuliers sans déflecteur optique, avant une première utilisation du dispositif objet de la présente invention ou après avoir modifié la caméra (par exemple par changement d'objectif), on soumet ce dispositif à une procédure de calibrage 210. Le dispositif utilise alors une procédure d'autocalibrage pour s'adapter automatiquement à une optique, un capteur et une résolution donnés, en déterminant les positions d'arrêt successives que doit prendre la lame à faces parallèles au cours d'une prise de vue et le nombre des positions intermédiaires, en fonction de l'optique et du capteur et de la résolution finale souhaitée. A cet effet, au cours d'une étape 211, on effectue une acquisition d'une séquence d'images avec des positions successives prédéterminées de la lame. It is observed that if the speed of the object is greater than that corresponding to the movement of the blade, a coarse registration (corresponding to several pixels) is first performed and then a sub-pixel registration, that is to say corresponding within a pixel. Except in particular embodiments without optical deflector, before a first use of the device object of the present invention or after modifying the camera (for example by changing lens), this device is subjected to a calibration procedure 210. device then uses an autotune procedure to automatically adapt to a given optics, a sensor and a resolution, by determining the successive stopping positions that the parallel-sided blade must take during a shooting and the number of intermediate positions, depending on the optics and the sensor and the desired final resolution. For this purpose, during a step 211, an acquisition of a sequence of images is performed with predetermined successive positions of the blade.
Puis, au cours d'une étape 212, on effectue une détection de contours souspixéliques, par rehaussement des contours puis binarisation en implémentant un algorithme de type Cany ou Deriche). Au cours d'une étape 213, on effectue une mesure des déplacements successifs de 5 l'image de chaque objet dans le champ optique de la caméra par rapport à la matrice de pixels du capteur d'image. Ces mesures sont les distances parcourues par les contours entre les images successives. On détermine si les déplacements mesurés correspondent aux déplacements souhaités. Si oui, on passe à une étape 214. 10 Sinon, au cours de l'étape 213, on calcule alors de nouvelles positions à utiliser pour compenser les erreurs constatées et on retourne à l'étape 211. Au cours d'une étape 214, on met en mémoire les coordonnées des positions à utiliser, par exemple, la courbe de courant à appliquer au moteur 125. Lors d'une prise de vue en haute résolution, l'utilisateur peut régler, au cours d'une 15 étape 215, la valeur des paramètres suivants : - la taille de l'image haute résolution voulue ; -la qualité haute résolution voulue ; la zone de l'image standard (image basse résolution ayant la résolution du capteur) que l'on désire transformer en image haute résolution (fonction zoom) et/ou 20 la redondance anti-bruit. La valeur de ces paramètres ayant été choisie par l'utilisateur, le dispositif détermine et affiche à l'utilisateur la durée prévisionnelle de la séquence de prises de vues et des calculs de combinaison d'images. L'impact du réglage de ces paramètres sur le fonctionnement interne de l'algorithme 25 est le suivant : - la taille de l'image haute résolution correspond, par une table de correspondance, au nombre N d'images basse résolution à capturer ou à prendre en compte sur un PC pour effectuer le calcul de l'image de haute résolution (par exemple la table de correspondance indique que cinq images sont nécessaires pour multiplier par cinq la 30 définition dans chaque direction du capteur) ; -la qualité haute résolution voulue correspond au nombre n d'itérations réalisées par l'algorithme la zone cle l'image basse résolution à transformer en haute résolution correspond à la définition d'une ROI (acronyme de region of interest pour région 35 d'intérêt) sur le capteur d'image ; - la redondance anti-bruit correspond au nombre d'images fixes à superposer pour moyenner le bruit. Then, during a step 212, detection of subpixel edges is carried out, by contour enhancement and binarization by implementing a Cany or Deriche type algorithm). During a step 213, a measurement is made of the successive displacements of the image of each object in the optical field of the camera with respect to the pixel array of the image sensor. These measures are the distances traveled by the contours between the successive images. It is determined whether the measured displacements correspond to the desired displacements. If yes, proceed to a step 214. If not, during step 213, new positions to be used to compensate for the errors found are then calculated and step 211 is returned. During a step 214 the coordinates of the positions to be used are stored, for example, the current curve to be applied to the motor 125. When shooting in high resolution, the user can adjust, during a step 215 , the value of the following parameters: - the size of the desired high resolution image; the desired high resolution quality; the area of the standard image (low resolution image having the resolution of the sensor) that it is desired to transform into a high resolution image (zoom function) and / or the noise redundancy. Since the value of these parameters has been chosen by the user, the device determines and displays to the user the predicted duration of the sequence of shots and calculations of combination of images. The impact of the adjustment of these parameters on the internal operation of the algorithm 25 is as follows: the size of the high resolution image corresponds, by a correspondence table, to the number N of low resolution images to be captured or take into account on a PC to perform the calculation of the high resolution image (for example the look-up table indicates that five images are needed to multiply by five the definition in each direction of the sensor); the desired high-resolution quality corresponds to the number n of iterations carried out by the algorithm the zone of the low-resolution image to be transformed into high resolution corresponds to the definition of an ROI (region of interest acronym for region 35 of interest) on the image sensor; - noise redundancy is the number of still images to be superimposed to average the noise.
Puis, au cours d'une étape 220, on effectue une prise d'une image, avec le capteur d'image, la mise en mémoire de l'image captée, un déplacement d'au moins un déflecteur optique pour déplacer l'image d'un N-ième du pas de capteur dans la direction de déplacement, et on réitère la prise d'une image, la mise en mémoire de l'image et le déplacement du déflecteur jusqu'à ce que N images aient été mémorisées. On effectue, ensuite, une étape de combinaison ou reconstruction 225 d'image haute résolution, à partir de chaque image conservée en mémoire, selon un algorithme de combinaison usuel dans le domaine de l'imagerie médicale, appelé rétroprojection itérative , associé ou non à un algorithme usuel de régularisation, tels que celui de Wiener, en mettant éventuellement en oeuvre des données de déplacement conservées en mémoire, pour le cas où les déplacements de l'image formée sur le capteur entre les instants de capture d'images sont irréguliers. On observe que la combinaison effectuée au cours de l'étape 225 comporte, pour chaque image mémorisée (appelée image basse résolution ), la construction d'une image de haute résolution (résolution égale à celle de l'image finalement fournie par le dispositif), par interpolation bilinéaire, par exemple. Les différentes images haute résolution décalées entre elles sont alors transformées en images de basse résolution décalées simulées qui sont soustraites aux images de basse résolution réelles provenant des différentes prises de vues, pour obtenir des images de différence. Then, during a step 220, an image is taken, with the image sensor, the storage of the captured image, a displacement of at least one optical deflector to move the image one-nth of the sensor pitch in the direction of movement, and the taking of an image, the storing of the image and the movement of the baffle until N images have been stored. A high resolution image combining or reconstruction step 225 is then carried out, from each image stored in memory, according to a usual combination algorithm in the field of medical imaging, called iterative retroprojection, associated or not with a usual regularization algorithm, such as that of Wiener, possibly implementing displacement data stored in memory, in the case where the displacements of the image formed on the sensor between the instants of image capture are irregular. It is observed that the combination performed during step 225 includes, for each stored image (called low resolution image), the construction of a high resolution image (resolution equal to that of the image finally provided by the device) by bilinear interpolation, for example. The different high resolution images that are shifted between them are then transformed into simulated shifted low resolution images that are subtracted from the actual low resolution images from different shots to obtain difference images.
Puis on mesure, par exemple par mesure quadratique moyenne, l'amplitude des images de différence. Si cette amplitude moyenne est inférieure à une valeur seuil, l'image de haute résolution fournie est correcte et est donc fournie à l'utilisateur. Sinon, on met en oeuvre cette image obtenue par soustraction afin de calculer une correction à additionner à l'image de haute résolution, pour donner une nouvelle image haute résolution de départ sur laquelle on effectue une itération supplémentaire, et ainsi de suite. Par exemple, l'algorithme implémenté met en oeuvre les grandeurs suivantes : Ir : les images réelles, sortant de la caméra et - Is : les images simulées et IHR : les images de haute résolution. Then the amplitude of the difference images is measured, for example by mean square measure. If this average amplitude is less than a threshold value, the provided high resolution image is correct and is therefore provided to the user. Otherwise, this image obtained by subtraction is used to calculate a correction to be added to the high resolution image, to give a new high resolution image of departure on which it carries out an additional iteration, and so on. For example, the implemented algorithm implements the following quantities: Ir: the real images, coming out of the camera and - Is: the simulated images and IHR: the high resolution images.
La succession d'étapes effectuée comporte : une étape de choix de la résolution par l'utilisateur permettant de donner une valeur à la variable N correspondant au nombre total d'images de basse résolution acquises par l'intermédiaire du capteur d'image et au nombre d'itérations pour la boucle des étapes de construction d'images simulées et d'une image haute résolution exposées plus loin. The succession of steps carried out comprises: a step of choosing the resolution by the user making it possible to give a value to the variable N corresponding to the total number of low resolution images acquired via the image sensor and to the number of iterations for the loop of simulated image construction steps and a high resolution image discussed below.
Puis, on effectue une acquisition d'image et une mise en mémoire des N images Ir et on effectue un calcul des recalages à effectuer. Puis, on calcule la moyenne des images Ir, pixels par pixel. Then, an image acquisition and a storage of the N images Ir are performed and a calculation of the readjustments to be performed is carried out. Then, the average of the images Ir, pixels per pixel, is calculated.
Puis, on effectue une interpolation (en anglais Upsampling ) d'un facteur N de cette valeur moyenne de la première image Ir, Ir(moy) pour obtenir une image lo. Pour chaque image de basse résolution acquise, on effectue une construction de l'image de basse résolution simulées Is à partir de lo ou IHR par : une translation de 10 ou IHR en fonction du recalage, - une convolution par opérateur de flou pour appliquer à l'image basse résolution un filtre de flou et - une étape de décimation (en anglais downsampling ) de l'image ainsi obtenue pour fournir une image simulée Is. Then, an interpolation (in English Upsampling) of a factor N of this average value of the first image Ir, Ir (avg) is carried out to obtain an image lo. For each low-resolution image acquired, the simulated low-resolution image Is is constructed from lo or IHR by: a translation of 10 or IHR as a function of the registration, - a convolution by a fuzzy operator to apply to the low resolution image a blur filter and - a decimation step (in English downsampling) of the image thus obtained to provide a simulated image Is.
Puis, on effectue une étape de construction d'une nouvelle image de haute résolution, par le biais : d'une étape de calcul de différence entre chaque image simulée Is et l'image réelle Ir correspondante, interpolation des différences pour obtenir une différence de haute résolution, - une convolution par un opérateur passe haut, ce qui revient à l'application d'un filtre à chaque différence en haute résolution, ou l'application à chaque différence en haute résolution d'un filtre de régularisation de type Wiener ou autre, une translation inverse de chaque différence en haute résolution, une addition de toutes les différences en haute résolution, une division de cette somme par N, - une addition du résultat obtenu avec la dernière image de haute résolution, obtenue au cours de la précédente itération, pour fournir une image de haute résolution IHR. Et on réitère l'étape de construction d'une image de basse résolution. Un exemple d'interpolation très simple est la moyenne entre deux pixels. Elle peut être fait classiquement par interpolation bilinéaire, bicubique ou tout autre méthode usuelle. Pour ce qui concerne la décimation, on tronque l'image en ne conservant qu'un pixel tous les N pixels. Alternativement, on peut réaliser la décimation en appliquant un filtre moyenneur qui calcule la moyenne des intensités des plus proches voisins d'un pixel. La convolution revient en l'application sur une image I d'un filtre par multiplication de cette image par une matrice carrée n x n qui parcourt successivement toutes les positions possibles de I. En variante, illustrée à gauche de la figure 2, pour obtenir un flux continu d'images haute résolution, après la mise en mémoire de chaque image basse résolution, étape 211, on effectue les étapes 212, 213 et 225 décrites ci-dessus pour les N dernières images mémorisées et on fournit une image haute résolution. Then, a step of constructing a new high-resolution image is carried out, by means of: a step of calculating the difference between each simulated image Is and the corresponding real image Ir, interpolation of the differences to obtain a difference of high resolution, - a convolution by an operator passes high, which amounts to the application of a filter to each difference in high resolution, or the application to each difference in high resolution of a regularization filter of Wiener type or another, an inverse translation of each difference in high resolution, an addition of all the differences in high resolution, a division of this sum by N, - an addition of the result obtained with the last image of high resolution, obtained during the previous iteration, to provide a high resolution IHR image. And we repeat the step of building a low resolution image. An example of a very simple interpolation is the average between two pixels. It can be done conventionally by bilinear interpolation, bicubic or any other usual method. As far as decimation is concerned, the image is truncated by keeping only one pixel every N pixels. Alternatively, the decimation can be carried out by applying an averaging filter which calculates the average of the intensities of the nearest neighbors of a pixel. The convolution returns in the application on an image I of a filter by multiplication of this image by a square matrix nxn which successively traverses all the possible positions of I. As a variant, illustrated on the left of Figure 2, to obtain a flow Continuous high resolution images, after storing each low resolution image, step 211, the steps 212, 213 and 225 described above are performed for the N last stored images and provides a high resolution image.
Du point de vue utilisateur, les opérations successives pour un pilotage de la caméra et du dispositif de décalage par une carte électronique embarquée comportent : 1. L'utilisateur effectue ses réglages sur un ordinateur relié au dispositif pour fournir le nombre N d'images à combiner, le nombre n d'itérations, la zone image pour laquelle il souhaite une haute résolution, par les coordonnées de ses coins extrêmes (x,, y,) et (x2, y2)) et ces réglages sont mémorisés sur la carte électronique embarquée ; en variante, l'utilisateur effectue les réglages directement sur la caméra, moyennant une interface adaptée, par exemple mettant en oeuvre un viseur de caméra ; 2. Un indicateur montre à l'utilisateur la rapidité de prise de vue à laquelle il aura accès. 3. L'utilisateur appuie sur le bouton de déclenchement de la prise de vue. 4. La carte électronique embarquée envoie un ordre de déclenchement de capture à la caméra et une suite d'ordres de positionnements opto-mécaniques de la lame 115. 5. Les images sont capturées successivement pour chacune des N positions de la lame 115 ; 6. Ces images sont stockées successivement en mémoire 135 sur la carte électronique embarquée. Lorsque les N images capturées sont stockées, la capture s'arrête. 7. Optionnellement, si les pas de décalage de l'image ne sont pas réguliers, le calcul du recalage est lancé sur la carte électronique embarquée : les vecteurs déplacement correspondants aux différentes images sont mis en mémoire. 8. Le calcul de reconstruction haute résolution est lancé sur la carte électronique embarquée, utilisant les vecteurs déplacement précédents, les N images stockées en mémoire et accomplissant n itérations. 9. L'image haute résolution ainsi reconstruite est stockée en mémoire. 10. L'image haute résolution est visualisée par l'utilisateur sur l'écran de l'ordinateur ou de la caméra ou sur tout écran prévu à cet effet. On observe, pour le deuxième mode de réalisation particulier du dispositif objet de la présente invention illustré en figure 4, une caméra 400 à capteur électronique 430, munie d'un objectif 405, un convoyeur 450, la mémoire vive 135 et le moyen de combinaison 140 et un objet 460, dont on veut obtenir une image en haute définition. From the user's point of view, the successive operations for controlling the camera and the offset device by an on-board electronic card comprise: 1. The user makes his adjustments on a computer connected to the device to supply the number N of images to to combine, the number n of iterations, the image zone for which it wishes a high resolution, by the coordinates of its extreme corners (x, y,) and (x2, y2)) and these settings are stored on the electronic card embedded; alternatively, the user makes the adjustments directly on the camera, with a suitable interface, for example using a camera viewfinder; 2. An indicator shows the user the speed of shooting to which he will have access. 3. The user presses the shutter release button. 4. The on-board electronic card sends a capture trigger command to the camera and a sequence of opto-mechanical positioning orders of the blade 115. The images are captured successively for each of the N positions of the blade 115; 6. These images are stored successively in memory 135 on the on-board electronic card. When the N captured images are stored, the capture stops. 7. Optionally, if the image shift steps are not regular, the calculation of the registration is launched on the on-board electronic card: the displacement vectors corresponding to the different images are stored in memory. 8. The high-resolution reconstruction calculation is started on the on-board electronic board, using the preceding displacement vectors, the N images stored in memory and performing n iterations. 9. The high resolution image thus reconstructed is stored in memory. 10. The high resolution image is viewed by the user on the computer or camera screen or on any screen provided for this purpose. For the second particular embodiment of the device according to the present invention illustrated in FIG. 4, a camera 400 with an electronic sensor 430, equipped with an objective 405, a conveyor 450, the random access memory 135 and the means of combination are observed 140 and an object 460, which we want to obtain an image in high definition.
Dans ce deuxième mode de réalisation, le moyen de mise en mouvement de l'image formée par l'objectif 405 sur le capteur 430 placé en amont de l'objectif 405 est constitué du convoyeur 450, mettant l'objet 460 en déplacement rectiligne uniforme ou en déplacement pas à pas, selon des techniques connues de l'homme du métier. Le capteur d'image 430 fournit ainsi, successivement, des signaux représentatifs d'images de ladite scène décalées, entre elles, de moins d'un élément d'image, ou pixel, ou d'un nombre fractionnaire de pixels, la fraction ne devant pas être redondante avec une autre fraction (c'est-à-dire correspondant à deux nombres séparés par un nombre entier) de la même séquences d'images. On observe, pour le troisième mode de réalisation particulier du dispositif objet de la présente invention illustré en figure 5, une caméra 500 à capteur électronique 530, munie d'un objectif 505, la mémoire vive 135 et le moyen de combinaison 140 et un objet 560, dont on veut obtenir une image en haute définition. Dans ce troisième mode de réalisation, le moyen de mise en mouvement de l'image formée par l'objectif 505 sur le capteur 530 placé en amont de l'objectif 505 est constitué de la main de l'utilisateur ou d'un support de la caméra 400, qui tremble, ou vibre et met l'image de l'objet 560 en déplacement sur le capteur d'image 530. On observe, pour le quatrième mode de réalisation particulier du dispositif objet de la présente invention illustré en figure 6, une caméra 600 à capteur électronique 630, munie d'un objectif 605 et d'un moyen 620 de déplacement linéaire de l'objectif 605, la mémoire vive 135 et le moyen de combinaison 140 et un objet 660, dont on veut obtenir une image en haute définition. Dans ce troisième mode de réalisation, le moyen de mise en mouvement de l'image formée par l'objectif 605 sur le capteur 630 placé en amont de l'objectif 605 est constitué du moyen 620 de déplacement linéaire de l'objectif 605 qui met cet objectif en mouvement afin que son axe oscille autour de l'axe perpendiculaire au capteur d'image 630. Le mouvement de l'objectif, très atténué suivant les lois de l'optique, décale, en effet, l'image formée par l'objectif sur le capteur d'image. Par exemple le moyen 620 de déplacement de l'objectif 605 comporte au moins une pièce en métal à mémoire de forme parcourue par un courant variable et associé à un ressort de rappel.25 In this second embodiment, the means for moving the image formed by the objective 405 on the sensor 430 placed upstream of the objective 405 consists of the conveyor 450, putting the object 460 in uniform rectilinear motion. or moving step by step, according to techniques known to those skilled in the art. The image sensor 430 thus provides, successively, signals representative of images of said scene shifted between them by less than one pixel, or pixel, or a fractional number of pixels. not to be redundant with another fraction (i.e., corresponding to two numbers separated by an integer) of the same sequence of images. For the third particular embodiment of the device according to the present invention illustrated in FIG. 5, a camera 500 with an electronic sensor 530, provided with an objective 505, the random access memory 135 and the combination means 140 and an object 560, which we want to get an image in high definition. In this third embodiment, the means for moving the image formed by the objective 505 on the sensor 530 placed upstream of the objective 505 consists of the hand of the user or a support of the camera 400, which shakes or vibrates and puts the image of the object 560 in displacement on the image sensor 530. It is observed, for the fourth particular embodiment of the device object of the present invention illustrated in FIG. a camera 600 with an electronic sensor 630, provided with a lens 605 and with a means 620 for linear displacement of the lens 605, the random-access memory 135 and the combining means 140 and an object 660, which is to be obtained picture in high definition. In this third embodiment, the means for moving the image formed by the objective 605 on the sensor 630 placed upstream of the objective 605 is constituted by the means 620 for linear displacement of the objective 605 which sets this objective in motion so that its axis oscillates around the axis perpendicular to the image sensor 630. The movement of the lens, very attenuated according to the laws of optics, shifts, indeed, the image formed by the lens on the image sensor. For example, the means 620 for moving the objective 605 comprises at least one piece of shape-memory metal traversed by a variable current and associated with a return spring.
Claims (6)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0706145A FR2920629A1 (en) | 2007-08-31 | 2007-08-31 | Image capturing device e.g. video camera, has displacement unit with deflector to displace lens such that sensor provides signals representing offset images, and combining unit combining images from sensor to form image with high definition |
| PCT/FR2008/001219 WO2009060147A2 (en) | 2007-08-31 | 2008-09-01 | Method and device for forming a high-definition image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0706145A FR2920629A1 (en) | 2007-08-31 | 2007-08-31 | Image capturing device e.g. video camera, has displacement unit with deflector to displace lens such that sensor provides signals representing offset images, and combining unit combining images from sensor to form image with high definition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2920629A1 true FR2920629A1 (en) | 2009-03-06 |
Family
ID=39284086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0706145A Withdrawn FR2920629A1 (en) | 2007-08-31 | 2007-08-31 | Image capturing device e.g. video camera, has displacement unit with deflector to displace lens such that sensor provides signals representing offset images, and combining unit combining images from sensor to form image with high definition |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR2920629A1 (en) |
| WO (1) | WO2009060147A2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3136067A1 (en) * | 2022-05-30 | 2023-12-01 | Nsoft Ingenierie | High Resolution Image Synthesis Sensor device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0871327A1 (en) * | 1997-04-07 | 1998-10-14 | Canon Denshi Kabushiki Kaisha | Image pickup apparatus having image shifting plate |
| US5889553A (en) * | 1993-11-17 | 1999-03-30 | Canon Kabushiki Kaisha | Image pickup apparatus capable of high resolution imaging |
| US6219092B1 (en) * | 1997-07-09 | 2001-04-17 | Sony Corporation | Image pickup apparatus for image film |
| US6266086B1 (en) * | 1996-08-07 | 2001-07-24 | Sharp Kabushiki Kaisha | Imaging apparatus |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004026782A1 (en) * | 2004-06-02 | 2005-12-29 | Infineon Technologies Ag | Method and apparatus for computer-aided motion estimation in at least two temporally successive digital images, computer-readable storage medium and computer program element |
-
2007
- 2007-08-31 FR FR0706145A patent/FR2920629A1/en not_active Withdrawn
-
2008
- 2008-09-01 WO PCT/FR2008/001219 patent/WO2009060147A2/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5889553A (en) * | 1993-11-17 | 1999-03-30 | Canon Kabushiki Kaisha | Image pickup apparatus capable of high resolution imaging |
| US6266086B1 (en) * | 1996-08-07 | 2001-07-24 | Sharp Kabushiki Kaisha | Imaging apparatus |
| EP0871327A1 (en) * | 1997-04-07 | 1998-10-14 | Canon Denshi Kabushiki Kaisha | Image pickup apparatus having image shifting plate |
| US6219092B1 (en) * | 1997-07-09 | 2001-04-17 | Sony Corporation | Image pickup apparatus for image film |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3136067A1 (en) * | 2022-05-30 | 2023-12-01 | Nsoft Ingenierie | High Resolution Image Synthesis Sensor device |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2009060147A2 (en) | 2009-05-14 |
| WO2009060147A3 (en) | 2010-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sitzmann et al. | End-to-end optimization of optics and image processing for achromatic extended depth of field and super-resolution imaging | |
| Tseng et al. | Differentiable compound optics and processing pipeline optimization for end-to-end camera design | |
| Kuthirummal et al. | Flexible depth of field photography | |
| EP2780763B1 (en) | Method and system for capturing image sequences with compensation for variations in magnification | |
| WO2017202065A1 (en) | Photographic device and image capture method utilizing same | |
| US20100097491A1 (en) | Compound camera sensor and related method of processing digital images | |
| FR2882160A1 (en) | Video image capturing method for e.g. portable telephone, involves measuring local movements on edges of images and estimating parameters of global movement model in utilizing result of measurement of local movements | |
| WO2011018575A1 (en) | Image-capture system and method with two operating modes | |
| JP5677366B2 (en) | Imaging device | |
| KR20140064701A (en) | Optical lens module assembly with auto focus and 3d imaging function | |
| JP5249271B2 (en) | Imaging apparatus, image processing apparatus, and image processing program | |
| EP2374270A1 (en) | System for capturing images and related use for improving the quality of the images acquired | |
| EP2797310A1 (en) | Method, lens assembly, camera, system and use for reducing stray light | |
| US20210065390A1 (en) | Camera module and method for extracting depth information by same | |
| Rego et al. | Deep camera obscura: an image restoration pipeline for pinhole photography | |
| FR2914476A1 (en) | FILM IMAGE PROCESSING SYSTEM AND FILM IMAGE PROCESSING METHOD | |
| FR3057095B1 (en) | METHOD FOR CONSTRUCTING A DEPTH MAP OF A SCENE AND / OR A COMPLETELY FOCUSED IMAGE | |
| FR2920629A1 (en) | Image capturing device e.g. video camera, has displacement unit with deflector to displace lens such that sensor provides signals representing offset images, and combining unit combining images from sensor to form image with high definition | |
| Olivas et al. | Platform motion blur image restoration system | |
| Oberdörster et al. | Digital focusing and refocusing with thin multi-aperture cameras | |
| JP2017208642A (en) | Imaging device using compression sensing, imaging method, and imaging program | |
| Lam | Computational photography: Advances and challenges | |
| FR2675330A1 (en) | A METHOD AND A SYSTEM FOR AUTOMATICALLY FOCUSING A CAMERA USING TCD. | |
| CN114208145A (en) | Image pickup apparatus and method | |
| Mahalanobis et al. | High-resolution imaging using a translating coded aperture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ST | Notification of lapse |
Effective date: 20150430 |