WO2021024452A1 - 撮像装置および方法 - Google Patents
撮像装置および方法 Download PDFInfo
- Publication number
- WO2021024452A1 WO2021024452A1 PCT/JP2019/031352 JP2019031352W WO2021024452A1 WO 2021024452 A1 WO2021024452 A1 WO 2021024452A1 JP 2019031352 W JP2019031352 W JP 2019031352W WO 2021024452 A1 WO2021024452 A1 WO 2021024452A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- sensor
- image sensor
- pattern
- imaging device
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims description 76
- 238000009826 distribution Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 108
- 238000011161 development Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000003287 optical effect Effects 0.000 description 22
- 230000008859 change Effects 0.000 description 20
- 239000000758 substrate Substances 0.000 description 20
- 230000000052 comparative effect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000000737 periodic effect Effects 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 238000002834 transmittance Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 229910052782 aluminium Inorganic materials 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 150000004770 chalcogenides Chemical class 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/18—Diffraction gratings
- G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/18—Diffraction gratings
- G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
- G02B5/188—Plurality of such optical elements formed in or on a supporting substrate
- G02B5/1885—Arranged as a periodic array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Definitions
- the present invention relates to a technique of an imaging device.
- Patent Document 1 states, "By facilitating the detection of the incident angle of light rays passing through a lattice substrate, an imaging device capable of enhancing the functionality of the imaging device is obtained.
- a plurality of imaging devices arranged in an array on the imaging surface.
- An image sensor that converts an optical image captured in a pixel into an image signal and outputs it, a modulator provided on a light receiving surface of the image sensor to modulate the light intensity, and an image signal output from the image sensor.
- a first grid composed of a plurality of concentric circles includes an image storage unit that temporarily stores the image storage unit and a signal processing unit that performs image processing of an image signal output from the image storage unit. Having a pattern, the signal processing unit generates a moire fringe image by modulating an image signal output from the image storage unit with a virtual second lattice pattern composed of a plurality of concentric circles.
- This can be solved by an image pickup apparatus characterized in that the size of concentric circles of the second grid pattern is changed according to the focus position. "(Summary).
- a lensless image pickup device including a lensless camera that does not use a lens has been proposed as an image pickup device including a camera, and is expected as an image pickup device that can realize small size and low cost. Further, network connection of an imaging device has become indispensable for expanding the applicable range of an imaging device such as image analysis.
- Patent Document 1 does not describe the characteristics of a suitable image sensor when taking an image with a lensless image pickup apparatus.
- An object of the present invention is to provide a technique such as characteristics, a structure, and a processing method of an image sensor suitable for imaging with respect to the technique of a lensless image pickup device.
- a typical embodiment of the present invention has the following configuration.
- the imaging device of one embodiment includes a modulator that modulates the intensity of incident light based on a photographing pattern, an image sensor that converts the modulated light into an electric signal, and generates a sensor image.
- a microlens array including a plurality of microlenses arranged for a plurality of pixels of the image sensor, and a center position of a light receiving portion in each pixel of the plurality of pixels in the plane of the image sensor.
- the microlens array has a characteristic of distribution regarding the amount of deviation of the position of the plurality of microlenses relative to the center position of each microlens, and the characteristic is a difference value of the amount of deviation between the adjacent pixels. However, it is a characteristic having at least one or more points that change from positive to negative or negative to positive.
- FIG. 1 The figure which shows the structural example of the image pickup apparatus of Embodiment 1 of this invention.
- FIG. An explanatory diagram regarding light incident on a pattern substrate according to the first embodiment.
- FIG. 5 is a diagram showing a configuration example of a combination of a plurality of patterns having different initial phases in the first embodiment.
- FIG. 5 is a diagram showing a configuration example of a space-divided shooting pattern in the first embodiment.
- FIG. 5 is a flow chart of a fringe scan calculation process according to the first embodiment.
- FIG. FIG. 5 is a diagram showing that a shooting pattern is projected in the case of an infinite distance object in the first embodiment.
- FIG. 5 is a diagram showing that the photographing pattern is enlarged in the case of a finite distance object in the first embodiment.
- FIG. 5 is a comparative example relating to the first embodiment, showing a configuration example of arrangement of pixels and microlenses in an image sensor. An explanatory diagram showing light incidents on one pixel in a comparative example according to the first embodiment.
- FIG. FIG. 5 is a comparative example relating to the first embodiment, showing a configuration example of arrangement of pixels and microlenses in an image sensor.
- FIG. FIG. 5 is a diagram showing a configuration example of a change in relative positional deviation between a pixel and a microlens in the image sensor plane according to the first embodiment.
- FIG. 5 is a diagram showing an example of a processing division method regarding a relative positional deviation between a pixel and a microlens in the second embodiment.
- the imaging apparatus and imaging method according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 33 and the like.
- the imaging method of the first embodiment is a method having steps performed by the imaging apparatus of the first embodiment.
- the image pickup device of the first embodiment is an image pickup device that implements the image pickup method of the first embodiment.
- FIG. 1 shows a configuration example of the image pickup apparatus of the first embodiment.
- the image pickup apparatus 1 of FIG. 1 is a lensless camera that acquires an image of an object in the outside world without using a lens to form an image.
- the image pickup apparatus 1 includes an image pickup section 102, a fringe scan processing section 106, an image processing section 107, and a controller 108.
- the image pickup unit 102 includes an image sensor 103, a microlens array 140, and a modulator 110.
- the modulator 110 has a pattern substrate 104 and a pattern 105 for photographing.
- the image sensor 103 is a device that converts light into an electric signal to generate a sensor image.
- the modulator 110 is a portion in which the pattern substrate 104 and the photographing pattern 105 are combined, and is a device that modulates the intensity of light incident on and detected by the image sensor 103 based on the photographing pattern 105.
- FIG. 2 shows an exploded view of the components in the configuration example of the imaging unit 102.
- the x-axis direction, y-axis direction, and z-axis direction are used as explanatory directions.
- the x-axis direction and the y-axis direction are two orthogonal directions constituting the main surface of the image sensor 103 or the like, and the z-axis direction corresponds to the optical axis, the thickness, etc., which are perpendicular to the main surface. It is a direction, which is a vertical direction in the figure.
- a plurality of pixels 30 are arranged as an array on the light receiving surface (upper surface in the drawing) of the image sensor 103.
- a microlens array 140 which will be described later, is arranged above the light receiving surface of the image sensor 103.
- the pattern substrate 104 is arranged on the upper side of the light receiving surface of the image sensor 103 via the microlens array 140.
- the pattern substrate 104 is fixed in close contact with, for example, the microlens array 140, but is not limited to this, and may be arranged at intervals.
- the pattern substrate 104 has a pattern 105 for photographing formed on the upper surface of the drawing.
- the pattern substrate 104 is made of a material that is transparent to visible light, such as glass or plastic.
- the photographing pattern 105 may be formed by depositing a metal such as aluminum or chromium by using, for example, a sputtering method used in a semiconductor process.
- the photographing pattern 105 is shaded for transmittance modulation, for example, by a pattern in which aluminum is vapor-deposited and a pattern in which aluminum is not deposited.
- the method and means for forming the pattern 105 for photographing are not limited to this, and any means that can realize transmittance modulation, such as a method for adding shading by printing with an inkjet printer or the like, may be used.
- the pattern substrate 104 uses a material having transparency with respect to the wavelength to be photographed, and the photographing pattern 105 is transparent and blocked.
- a possible material may be used.
- the pattern substrate 104 uses a material having transparency to far infrared rays such as germanium, silicon, and chalcogenide, and the photographing pattern 105 is converted to far infrared rays.
- a material capable of permeation and blocking may be used.
- the present invention is not limited to this, and other methods such as using a display element may be used.
- FIG. 3 shows the configuration of the imaging unit 102 in another method as a modified example.
- the photographing pattern 105 is formed in a thin film, and the photographing pattern 105 is held by the support member 301 with respect to the image sensor 103 and the like.
- the shooting angle of view can be changed depending on the thickness of the pattern substrate 104. Therefore, for example, if the pattern substrate 104 has the configuration shown in FIG. 3 and has a function of changing the length of the support member 301 in the illustrated z-axis direction, the function of changing the angle of view at the time of shooting is available. realizable.
- pixels 30 which are light receiving elements are regularly arranged, for example, in a grid pattern.
- the image sensor 103 converts an optical image received by the pixel 30 into an image signal which is an electric signal.
- the image signal output from the image sensor 103 is image-processed by the image processing unit 107 via the fringe scan processing unit 106, and is output via the controller 108.
- the light intensity of the light transmitted through the photographing pattern 105 is modulated by the photographing pattern 105 when photographing.
- the modulated light transmitted through the modulator 110 is transmitted through the microlens array 140 and received by the image sensor 103.
- the image signal output from the image sensor 103 is noise-canceled by the fringe scan processing unit 106.
- the signal after noise cancellation is image-processed by the image processing unit 107 to restore the image.
- the image data after image processing is output to the controller 108.
- the controller 108 converts the data format so as to be compatible with an interface such as USB and outputs the data.
- An image signal, image data, or the like may be stored in the memory in the image pickup apparatus 1.
- the photographing pattern 105 is a concentric pattern in which the pitch becomes finer in inverse proportion to the radius from the center.
- the photographing pattern 105 is defined by the following equation 1 using the radius r and the coefficient ⁇ from the reference coordinates which are the centers of the concentric circles. It is assumed that the photographing pattern 105 is transmittance-modulated in proportion to I (r) of the formula 1.
- FIG. 4 shows an example of the Gabor zone plate of the formula 1 as a configuration example of the photographing pattern 105.
- This Gabor zone plate is a transmittance modulation pattern with multiple shades.
- FIG. 5 shows an example of a Fresnel zone plate in which Equation 1 is binarized with a threshold value 1 as another configuration example of the photographing pattern 105.
- This Fresnel zone plate is a transmittance modulation pattern having binary shades.
- the white part is associated with transparent and the black part is associated with non-transparent.
- the developing pattern existing corresponding to the photographing pattern 105 also has a pattern.
- the x-axis direction of FIG. 2 will be mainly described by a mathematical formula, but similarly, by considering the y-axis direction, it can be developed in two dimensions.
- Equation 2 indicates the initial phase of the transmittance distribution in Equation 1.
- FIG. 7 shows an example of the projected image 701 of the photographing pattern 105.
- FIG. 8 shows the development pattern 801.
- the developing pattern 801 of FIG. 8 is an example corresponding to the photographing pattern 105 of FIG.
- the image processing unit 107 performs development processing using such a development pattern 801.
- the image processing unit 107 calculates a cross-correlation function between the projected image 701 of the photographing pattern 105 of FIG. 7 and the developing pattern 801 of FIG. As a result, a bright spot 902 with a shift amount k as shown in FIG. 9 is obtained.
- FIG. 9 shows a configuration example of the developed image 901 by the correlation development method.
- the developing pattern 801 of FIG. 8 a Gabor zone plate or a Fresnel zone plate is used as in the photographing pattern 105. Therefore, the development pattern 801 can be expressed by the following equation 3 using the initial phase ⁇ .
- Equation 1 Since the developing pattern 801 is used in image processing, it is not necessary to offset it by 1 as in Equation 1, and there is no problem even if it has a negative value.
- Equation 4 and 5 The Fourier transforms of Equations 1 and 3 are as shown in Equations 4 and 5, respectively.
- Equation 6 Equation 6
- Equation 6 The term e- iku represented by the exponential function of Equation 6 is the signal component.
- e- iku is Fourier transformed, it is transformed as shown in the following equation 7, and a bright spot can be obtained at the position of the shift amount k on the original x-axis.
- This bright spot indicates a luminous flux at infinity, which corresponds to an image taken by the imaging device 1 in FIG.
- the autocorrelation function of the pattern may be realized by a pattern not limited to the Fresnel zone plate or the Gabor zone plate, for example, a random pattern.
- the image processing unit 107 multiplies the projected image 701 of the photographing pattern 105 of FIG. 7 with the developing pattern 801 of FIG. 8 to form the moire fringes 1000 as shown in FIG. Generate. Then, the image processing unit 107 obtains bright spots 1102 and 1103 having a shift amount of k ⁇ / ⁇ in the developed image 1101 of FIG. 11 by Fourier transforming the moire fringes 1000.
- the bright spot 1102 is a bright spot of ⁇ k ⁇ / ⁇
- the bright spot 1103 is a bright spot of + k ⁇ / ⁇ .
- the third term of the expansion formula of the formula 8 is a signal component. It can be seen that this signal component forms a fringe pattern such as the moire fringe 1000 in FIG. 10 over the entire region where the two patterns overlap.
- this signal component forms a fringe pattern such as the moire fringe 1000 in FIG. 10 over the entire region where the two patterns overlap.
- straight fringe patterns are formed at equal intervals (interval 1001) in the direction of deviation of the two patterns (x-axis direction) and in the direction orthogonal to the direction (y-axis direction). There is.
- the fringes generated at a relatively low spatial frequency by superimposing such fringes are called moire fringes.
- moire fringes are generated by superimposing the photographing pattern 501 and the developing pattern 801.
- the two-dimensional Fourier transform of the third term of the equation 8 is as shown in the following equation 9.
- F represents the Fourier transform operation
- u represents the frequency coordinates in the x-axis direction
- ⁇ with parentheses is the delta function.
- the moire fringes obtained by shifting the pattern may have a single frequency, and may be realized by a pattern not limited to the Fresnel zone plate or the Gabor zone plate, for example, an elliptical pattern. Good.
- the fringe scan processing unit 106 of the image pickup apparatus 1 performs noise cancellation based on the fringe scan.
- the fringe scan it is necessary to use a plurality of patterns having different initial phases ⁇ as the photographing pattern 105.
- FIG. 12 shows a configuration example of a combination of a plurality of patterns having different initial phases ⁇ as the photographing pattern 105 in the fringe scan.
- the fringe scan processing unit 106 calculates the sensor image captured using these four phases according to the following equation 10. Then, a complex number sensor image (may be described as a complex sensor image) is obtained.
- the complex number development pattern 801 can be expressed by the following equation 11. Since the development pattern 801 is used in the fringe scan process by the fringe scan process unit 106, there is no problem even if it is a complex number.
- Equation 12 exp (2i ⁇ kx) represented by the exponential function of Equation 12 is the signal component. From this signal component, it can be seen that noise is canceled without generating an unnecessary term as in Equation 8.
- Equation 15 The term exp (-iku) represented by the exponential function of Equation 15 is the signal component. From this signal component, it can be seen that noise is canceled without generating an unnecessary term as in Equation 8.
- the initial phase ⁇ may be set so as to equally divide the angle between 0 and 2 ⁇ , and is not limited to the above four phases. ..
- the methods for realizing shooting with the above multiple patterns can be roughly divided into a method of switching patterns by time division and a method of switching patterns by spatial division. Either a method of switching patterns by time division or a method of switching patterns by spatial division may be applied, or both methods may be implemented and the selected method may be used.
- a display element such as a liquid crystal display element capable of electrically switching and displaying a plurality of initial phases in FIG. It may be used as the photographing pattern 105 of.
- the fringe scan processing unit 106 of FIG. 1 controls the switching timing of the liquid crystal display element, which is the pattern 105 for photographing, and the shutter timing of the image sensor 103 in synchronization with each other.
- the image pickup apparatus 1 executes the fringe scan calculation in the fringe scan processing unit 106 after acquiring the corresponding four images from the image sensor 103.
- the imaging pattern 105 has a plurality of initial phases in the spatial division.
- Pattern 1300 is used.
- the photographing pattern 1300 of FIG. 13 has the above-mentioned four-phase pattern in the regions 1301 to 1304 in which the entire rectangular region is divided into four by aligning the x-axis direction and the y-axis direction.
- the image pickup apparatus 1 After acquiring one image from the image sensor 103, the image pickup apparatus 1 divides the image into four images corresponding to the respective initial phase patterns in the fringe scan processing unit 106, and executes the fringe scan calculation. To do.
- FIG. 14 is a flow chart showing an outline of processing including a fringe scan operation of the fringe scan processing unit 106.
- FIG. 14 has steps S1 to S7, which will be described below in the order of steps.
- step S1 the fringe scan processing unit 106 acquires a sensor image based on a plurality of patterns output from the image sensor 103.
- the fringe scan processing unit 106 divides the sensor image when the spatial division fringe scan is used, and does not perform the division in step S1 when the time division fringe scan is used.
- step S2 the fringe scan processing unit 106 initializes the complex sensor image for output.
- step S3 the fringe scan processing unit 106 acquires a sensor image of the first initial phase ⁇ in the loop, and in step S4, exp (i ⁇ ), which is an exponential function corresponding to the initial phase ⁇ , is added to the sensor image. ) Is multiplied, and in step S5, the multiplication result is added to the complex sensor image for output.
- step S7 the fringe scan processing unit 106 outputs the processed complex sensor image.
- the main processing in the fringe scan processing unit 106 described above corresponds to the above-mentioned equation 10.
- FIG. 15 is a flow chart showing an outline of processing when the correlation development method is used in the image processing unit 107.
- FIG. 15 has steps S21-S26.
- step S21 the image processing unit 107 acquires a complex sensor image output from the fringe scan processing unit 106, and executes a two-dimensional fast Fourier transform (FFT) operation on the complex sensor image.
- FFT fast Fourier transform
- step S22 the image processing unit 107 generates a developing pattern 801 to be used for the developing process.
- the image processing unit 107 may refer to the development pattern 801 which is set and stored in the memory or the like in advance. Then, the image processing unit 107 multiplies the complex sensor image after the two-dimensional FFT calculation by the development pattern 801. In step S24, the image processing unit 107 performs an inverse two-dimensional FFT calculation on the image after the multiplication.
- step S24 the image processing unit 107 performs real number processing on the complex number of the calculation result.
- the realization process is a process of making an absolute value or a process of extracting a real part.
- the process of making it an absolute value can be represented by
- ⁇ (A 2 + B 2 ).
- the image processing unit 107 develops the image to be photographed into a real number.
- the image processing unit 107 performs contrast enhancement processing on the obtained image in step S15, and color balance adjustment and the like in step S26.
- the image processing unit 107 outputs the data of the processing results as a captured image. This completes the image processing of the image processing unit 107, and a photographed image that can be visually recognized by the user can be obtained.
- FIG. 16 shows an outline of processing when the moire development method is used.
- FIG. 16 has steps S31-S36.
- step S31 the image processing unit 107 acquires the complex sensor image output from the fringe scan processing unit 106, generates a development pattern 801 to be used for the development process, and multiplies the complex sensor image.
- step S32 the image processing unit 107 obtains a frequency spectrum from the multiplied image by a two-dimensional FFT calculation, and in step S33, cuts out data in a necessary frequency domain from the frequency spectrum.
- steps S34 to 36 are the same as the processes of steps S24 to S26 of FIG.
- the image pickup device 1 is not limited to a camera that captures an image by visible light, but is a device that captures an image in a frequency band such as infrared rays based on the same principle, and a distance image (three-dimensional depth) with a subject. It is also possible to use a device (sometimes called a distance image sensor or the like) for capturing an image (an image having distance information in a direction).
- FIG. 17 shows the state of projection of the photographing pattern 105 on the image sensor 103 when the subject described above is far away (in other words, in the case of an infinity object).
- the spherical wave from the point 1701 constituting the distant object becomes a plane wave while propagating a sufficiently long distance, and irradiates the photographing pattern 105.
- the projected image 1702 due to the irradiation is projected onto the image sensor 103, the projected image has substantially the same shape as the photographing pattern 105.
- it is possible to obtain a single bright spot by performing a developing process on the projected image 1702 using the above-mentioned developing pattern.
- FIG. 18 is an explanatory diagram showing that when the object to be imaged is at a finite distance, the projection of the photographing pattern 105 on the image sensor 103 is magnified more than that of the photographing pattern 105.
- a spherical wave from the point 1801 constituting the object irradiates the photographing pattern 105, and the projected image 1802 due to the irradiation is projected on the image sensor 103.
- the projected image is magnified almost uniformly.
- the magnification ⁇ at this time can be calculated by the following equation 16 using the distance f from the photographing pattern 105 to the point 1801 in the z-axis direction.
- the development process is performed by using the development pattern designed for parallel light as it is, a single bright spot cannot be obtained. Therefore, when the development pattern 801 is enlarged in accordance with the projected image of the photographing pattern 105 which is uniformly enlarged as shown in FIG. 18, a single bright spot is again formed on the enlarged projected image 1802. Obtainable. For this purpose, correction is possible by setting the coefficient ⁇ of the developing pattern 801 to ⁇ / ⁇ 2 . As a result, the image pickup apparatus 1 can selectively reproduce the light from the point 1801 at a distance not necessarily infinity. As a result, the image pickup apparatus 1 can focus on an arbitrary position and perform shooting.
- FIG. 19 shows the cross-sectional structure of the image sensor 103a (103) in the central pixel 1901 and the edge pixel 1902 in the x-axis direction in the comparative example according to the first embodiment.
- an image sensor configured by using an image sensor such as a general CMOS or CCD is considered.
- the pixel 30 in the image sensor 103a cannot receive light on the entire surface, but can receive light only in a part of the light receiving unit 1903.
- the width 1912 of the light receiving unit 1903 is smaller than the width 1911 of the pixel 30.
- a microlens 1904 is arranged as a microlens array in front of the light receiving unit 1903 in the z-axis direction in order to improve the light utilization efficiency.
- the incident light 1905 indicated by the alternate long and short dash line is condensed by the microlens 1904 like the light 1906 indicated by the dotted line, and is efficiently taken into the light receiving unit 1903.
- Each microlens 1904 is a lens having a curved surface convex on the incident side.
- FIG. 20 shows a state of light incident with respect to one pixel 30 of FIG. Since the light receiving portion 1903 of the image sensor 103a of FIG. 19 is smaller than the pixel 30 in this way, as shown in the light ray 2001 of FIG. 20, only in the angle range in which the light is focused in the range of the light receiving portion 1903. , Shooting is possible. Light from angles outside this angle range will rapidly lose sensitivity.
- FIG. 21 shows an example of the angle dependence of the sensitivity
- FIG. 22 shows an example of actual measurement.
- Such sensitivity is called the chief ray angle (CRA) characteristic.
- the horizontal axis is the angle ⁇ and the vertical axis is the sensitivity.
- Sensitivity corresponds to the amount of received light and the light intensity.
- the horizontal axis is the incident angle corresponding to the angle ⁇
- the vertical axis is the normalized light intensity.
- FIG. 23 shows a configuration example of an image-side telecentric optical system in a general camera as a comparative example.
- the lenses 2301, 302 are arranged at positions in front of the image sensor 103a (upper side in the drawing) in the z-axis direction.
- the lens 2302 is a field lens, which is a lens that changes the traveling direction of light around the image.
- the light rays 2303 that are obliquely incident on the optical axis in the z-axis direction are converted into light rays in the z-axis direction, that is, parallel light by the lenses 2301, 302.
- FIG. 24 shows a configuration example of a non-telecentric optical system in another general camera as a comparative example.
- the lens 2401 is arranged at a position in front of the image sensor 103a in the z-axis direction.
- the light ray 2403 that is obliquely incident on the optical axis in the z-axis direction at an angle ⁇ 1 is received by the light receiving portion as an oblique light ray even after passing through the lens 2401.
- FIG. 24 shows a configuration example of a non-telecentric optical system in another general camera as a comparative example.
- the lens 2401 is arranged at a position in front of the image sensor 103a in the z-axis direction.
- the light ray 2403 that is obliquely incident on the optical axis in the z-axis direction at an angle ⁇ 1 is received by the light receiving portion as an oblique light ray even after passing through the lens 2401.
- the pixel characteristics of a plurality of pixels in the plane of the image sensor 103a differ depending on the incident angle of the light beam. Since the pixels at the edges are obliquely incident, the amount of light is reduced and the pixel value becomes dark.
- FIG. 25 is a comparative example of the first embodiment, and shows a configuration example of the arrangement of the pixels 30 and the microlens 1904 in the image sensor 103b (103).
- the configuration of FIG. 25 is a configuration in which the optical axis of the microlens 1904 of the image sensor 103 and the optical axis of the light receiving unit 1903 are intentionally shifted so as to be different from each other.
- the light beam is corrected by the relative positional relationship with the microlens 1904 so as to match the pixel 1902 at the end.
- the relationship between the microlens 1904 and the light receiving unit 1903 is different between the pixel 1901 at the center and the pixel 1902 at the end of the image sensor 103 in the x-axis direction.
- the image sensor 103b has a configuration in which the relative positions of the microlens 1904 and the light receiving unit 1903 change in a plane including the x-axis direction and the y-axis direction, and the amount of deviation of the relative positions is monotonically increased or decreased. Is.
- the optical axis of the microlens 1904 and the optical axis of the light receiving portion 1903 coincide with each other.
- the pixel 1902 at the end has a deviation distance of 2502 between the optical axis of the microlens 1904 and the optical axis of the light receiving unit 1903.
- the pixels at the opposite end also have a deviation distance in the opposite direction.
- the image sensor 103b is an imaging system in which the attenuation of peripheral illumination of the image is small.
- a camera having a configuration as shown in FIG. 25 has already been realized at low cost.
- FIG. 26 shows an example of a sensor image 2601 having shading when the image sensor 103b is used. When such shading occurs, low-frequency noise appears strongly in the process of the subsequent development process, so that the developed image is deteriorated.
- the light receiving unit 1903 and the microlens 1904 are not configured as shown in FIG. 25 but as shown in FIG. 19 as shown in the image sensor 103a.
- a configuration having a uniform relationship with is desirable.
- the CRA characteristic due to the pixel structure becomes an issue, and the field of view (corresponding angle of view range) of the camera becomes narrow.
- FIG. 27A shows a top view of one pixel 30 and the microlens 1904 of FIG. 20.
- FIG. 27B shows a case where there is a relative positional deviation between the microlens 1904 and the light receiving unit 1903.
- the relative position shift is shown as a shift ( ⁇ ) 2701 using a vector.
- FIG. 28 shows the relationship between the position of the pixel 30 in the x-axis direction and the deviation ⁇ x in the configuration of the image sensor 103b of FIG. 25 described above.
- FIG. 28A shows the characteristics of the distribution of the deviation ⁇ x
- FIG. 28B shows a graph obtained by differentiating the characteristics of (A).
- the center is shown at position L1
- the right end corresponding to the positive direction is shown at position L2
- the left end corresponding to the negative direction is shown at position L3. ..
- the pitch of the microlens 1904 and the pitch of the pixels 30 are substantially the same, and the relative pitch is such that the difference is one pixel or less from the center to the end of the image sensor 103b. It is realized by shifting, in other words, changing.
- FIG. 29 shows the pitch p1 between the pixels 30 and the light receiving unit 1903, the pitch p2 between the microlenses 1904, the relative position shift 2502, and the like for the purpose of explaining the configuration of the image sensor 103b.
- FIG. 29 is an example of pixel 1902 at the left end of FIG. 25. Pitch p1 and pitch p2 are almost the same.
- the relative position deviation 2502 is shown with reference to the center position of the microlens 1904 with respect to the center position of the pixel 30 and the positive direction in the x-axis direction (direction from left to right in the figure).
- the pitch p21 is the pitch p21
- the pitch p2 between the microlenses 1904 in the pixel 1902 at the left end is the pitch p22.
- the pitch p2 between the microlenses 1904 is shifted so as to decrease from the pitch p21 to the pitch p22 from the central portion to the end portion.
- the configuration is such that the change in the relative position deviation between the pixel 30 and the microlens 1904 is a difference of one pixel or less.
- FIG. 30 shows a configuration example of the image sensor 103c (103) in the image pickup apparatus 1 of the first embodiment.
- FIG. 30 shows an enlarged configuration example of the pixel 30 and the microlens 140 at the position L1 at the center of the image sensor 103 in the plane.
- the pitch p2 between the microlenses 140 is larger than the pitch p1 between the pixels 30 (p1 ⁇ p2).
- the central pixel 30 is designated as pixel PX1, and the pixels 30 on both sides thereof are represented by pixels PX2 and PX3.
- the individual microlenses 140 corresponding to them are shown by microlenses ML1, ML2, and ML3.
- the deviation ⁇ x of the relative position with respect to the microlens ML1 is 0.
- the deviation ⁇ x (3001) of the relative position with respect to the microlens ML2 is a value larger than 0 in the positive direction.
- the deviation ⁇ x (3002) of the relative position with respect to the microlens ML3 is a value larger than 0 in the negative direction. This relative misalignment changes so as to increase from the center to the outer edge in the plane.
- the pitch p2 of the microlens 140 and the pitch p1 of the pixel 30 are significantly different, in other words, when the difference (p2-p1) between the pitch p2 and the pitch p1 is made larger than a certain level, it is in-plane.
- the relative positional deviation ( ⁇ x, ⁇ y) changes sharply.
- the relative positional deviation between the adjacent pixels 30 may change from positive to negative or from negative to positive when the difference exceeds the difference of one pixel. The larger the difference (p2-p1), the greater the number of such locations.
- the relative positional deviation in the plane of the image sensor 103 is changed to have various values.
- the effect of improving the camera characteristics can be obtained as described later.
- the image sensor 103 in the first embodiment may be configured to randomly shift and change the relative positions of the pixel 30 and the microlens 140 in the plane as shown in FIG. 31.
- the schematic graph of FIG. 31A shows the characteristics of the distribution of the relative displacement amount of the image sensor 103 in the first embodiment.
- the horizontal axis of the graph indicates, for example, the pixel 30 at each position in the x-axis direction, and the vertical axis indicates the deviation ⁇ x of the relative position between the center position of the pixel 30 and the center position of the microlens 140.
- the deviation ⁇ x takes a random value within the range from ⁇ x1 to + ⁇ x1.
- FIG. 31B is a schematic graph obtained by differentiating the characteristics of FIG.
- the difference value of the relative misalignment amount also has a random distribution.
- the difference value which is the change in the amount of deviation between adjacent pixels, has a place where it changes from positive to negative and a place where it changes from negative to positive.
- Such a random characteristic can be realized, for example, by making at least one of the pitch p1 of the pixel 30 and the pitch p2 of the microlens 140 random according to the position in the plane.
- the configuration shown in FIGS. 30 and 31 includes various relative positional deviations in the plane of the image sensor 103, that is, a configuration including pixels 30 corresponding to light receiving light rays at various incident angles. ..
- the CRA characteristics as shown in FIG. 32 can be realized.
- FIG. 32 shows an example of the CRA characteristics of the entire image sensor 103 in the first embodiment.
- the CRA characteristic 3200 of FIG. 32 includes a CRA characteristic 3201 having a peak in a light ray incident on a light beam perpendicular to the image sensor 103 (z-axis direction), a CRA characteristic 3202, 3203 having a peak in a light ray incident obliquely, and the like. It is a combination of various characteristics.
- the entire image sensor 103 has a configuration that is sensitive to a wide angle of incidence, such as the CRA characteristic 3200.
- the lensless image pickup apparatus including the lensless optical system as in the first embodiment, the information of the incident light from a certain point is the entire plurality of pixels 30 of the image sensor 103 (corresponding sensor image). It is dispersed in. Therefore, even if there is a defect in the sensor image, the information (corresponding image) can be restored by processing. Based on the properties of such a lensless image pickup apparatus and the configuration of random relative positional deviation, the image pickup apparatus 1 of the first embodiment can be developed while suppressing deterioration of image quality.
- the relative position between the light receiving unit 1903 and the microlens 140 may change, for example, randomly. Therefore, the same effect can be obtained not only by the configuration shown in FIG. 31 but also by the configuration example shown in FIG. 33.
- the configuration of FIG. 33 is a configuration in which an optical element that randomly scatters light, such as a scatterer 3301, is inserted as a modification of the first embodiment.
- the scatterer 3301 is arranged on the incident side with respect to the microlens 140 in the z-axis direction.
- the distribution of the relative positional deviation between the pixel 30 and the microlens 140 in the image sensor 103 is not provided.
- the scatterer 3301 may be provided.
- the relative positions of the light receiving unit 1903 and the microlens 140 change, for example, randomly in the plane of the image sensor 103, in other words, various types.
- the configuration has a distribution of relative misalignment. This makes it possible to provide the characteristics, structure, processing method, etc. of the image sensor 103 suitable for imaging, and realize a lensless imaging device with a wide shooting angle of view, no noise due to shading, high image quality, and improved camera characteristics. it can.
- the existing inexpensive image sensor can be used as the image sensor 103, so that the manufacturing cost can be suppressed.
- the relative positions of the light receiving unit 1903 and the microlens 140 in the image sensor 103 are arranged so as to change, for example, randomly. Due to this configuration, defects in the sensor image may occur randomly when the image is taken from a certain angle, and the random defects may affect the image quality of the developed image. Therefore, in the second embodiment, a configuration devised in consideration of the possibility, a processing method, and the like will be described.
- the image pickup device 1 of the second embodiment is also configured to change the relative positional deviation between the light receiving portion and the microlens in the plane of the image sensor 103, thereby improving the CRA characteristics in the entire lensless optical system.
- the second embodiment does not have a random arrangement as in the first embodiment, but has a characteristic of arrangement and distribution of a known relative misalignment amount such as a periodic arrangement.
- the sensor image captured by the image sensor 103 is decomposed and processed for each angle corresponding to the incident angle of the light beam.
- FIG. 34 shows a configuration example of the periodic arrangement of the relative positional deviation of the image sensor 103 in the image pickup apparatus 1 of the second embodiment.
- FIG. 34A shows the characteristics of the distribution of the relative displacement amount of the image sensor 103 in the second embodiment, and is the characteristic of the periodic distribution as shown in the figure.
- the horizontal axis of (A) shows, for example, the pixels 30 at each position in the x-axis direction, and the vertical axis shows the deviation ⁇ x of the relative positions between the light receiving portion 1903 and the microlens 140.
- the deviation ⁇ x changes periodically in the range from ⁇ x1 to + ⁇ x1 according to the pixel position in the x-axis direction.
- the deviation ⁇ x is ⁇ x1
- the deviation ⁇ x is + ⁇ x1.
- the deviation ⁇ x increases linearly from ⁇ x1 to + ⁇ x1.
- the deviation ⁇ x increases linearly as in the range 3401.
- FIG. 34 (B) is a graph obtained by differentiating the characteristics of (A), and is a graph in which the difference value between the adjacent pixels 30 is taken as the amount of change in the relative displacement amount.
- the difference value of the relative misalignment amount has a positive constant value portion and a plurality of portions that greatly change from positive to negative or negative to positive.
- the characteristics of FIG. 31 of the first embodiment and the characteristics of FIG. 34 of the second embodiment are different from the characteristics of monotonous increase or monotonous decrease as shown in FIG. 28 of the comparative example, and the difference value of the relative misalignment amount is positive. It has a part that changes from negative or negative to positive.
- the image pickup apparatus 1 has known characteristics as shown in FIG. 34, and is used for processing of the image processing unit 107 and the like.
- FIG. 35 shows an example of a sensor image 3500 with shading taken by the image sensor 103.
- the sensor image 3500 (corresponding image sensor 103) has a plurality of regions 3501 in the x-axis-y-axis plane.
- One region 3501 is a region corresponding to one cycle of change in relative positional deviation (a portion such as a range 3401 in FIG. 34), and the region for this one cycle is defined as one unit. Then, the relative position deviation ⁇ x in this unit is as shown in FIG.
- FIG. 36 shows an example of a processing division method regarding a relative positional deviation in the unit.
- the horizontal axis is the position of the pixel 30 in one unit in the x-axis direction
- the vertical axis is the relative position deviation ⁇ x.
- the center of one unit is indicated by M1
- the right end is indicated by M2
- the left end is indicated by M3.
- the image pickup apparatus 1 of the second embodiment has a plurality of units in the entire region of the sensor image (corresponding image sensor 103), such as a plurality of ranges, for example, ranges A1 to A5, at intervals of a certain relative displacement amount of 3601. Divide into.
- the deviation amount is divided into five ranges (A1 to A5) within the range from the minimum value ( ⁇ x1) to the maximum value (+ ⁇ x1).
- the interval 3601 and the number of divisions are set values and can be changed.
- the relative positional deviation ⁇ y in the y-axis direction of the unit is also divided into a plurality of ranges, for example, ranges B1 to B5 at intervals of 3602.
- the image processing unit 107 divides the sensor image in this way.
- FIG. 37 (A) shows a configuration example of division within one unit.
- the intersection of each range in the x-axis direction and each range in the y-axis direction constitutes a region smaller than the unit.
- region 3701 is a region of A1-B1
- region 3702 is a region of A5-B5.
- the image processing unit 107 generates, as a divided sensor image, an image classified and collected for each region of the same type in the plurality of units of the sensor image 3500 of FIG. 35.
- 5 ⁇ 5 25 divisions from a divided sensor image (referred to as G11) in which only the area 3701 of A1-B1 is collected to a divided sensor image (referred to as G55) in which only the area 702 of A5-B5 is collected.
- G11 a divided sensor image
- G55 a divided sensor image
- the image processing unit 107 executes the development processing shown in FIGS. 15 and 16 described above by using the corresponding development pattern for each of the divided sensor images in the plurality of divided sensor images generated. Then, the image processing unit 107 synthesizes the development processing results for each of the divided sensor images into one image.
- processing division method processing can be performed for each division sensor image without the above-mentioned pixel loss. Therefore, image processing can be performed without increasing noise, information can be restored in the combined image, and image quality deterioration can be suppressed.
- FIG. 38 (B) shows an example of dividing and processing only in the x-axis direction
- FIG. 38 (C) shows an example of dividing and processing only in the y-axis direction. In this way, it is possible to perform an optimum design according to the characteristics of the image sensor, such as processing by changing the direction.
- FIG. 38 (A) shows.
- PSF Point Spread Function
- the relative positional deviation in the image sensor 103 is randomly arranged as in the first embodiment, but the random arrangement is a known design. That is, it is known what kind of relative positional deviation the image pickup apparatus 1 has for each pixel 30. Then, in the modified example, as shown in FIG. 39, a range due to division is assigned to each unit according to the relative displacement amount.
- FIG. 39 shows a processing division method regarding relative positional deviation in the modified example. For example, with respect to the deviation ⁇ x of the relative position in the x-axis direction, ranges A1 to A5 are assigned according to the magnitude of the deviation amount. Similar to the second embodiment, the image processing unit 107 generates a divided sensor image according to the range, and processes each divided sensor image.
- FIG. 38 (B) shows an example of a PSF related to a developed image obtained as a result of image processing according to a modified example. According to the configuration of the modified example, it can be seen that the peak (A) in FIG. 38 due to the periodicity, for example, the peak 3801 is suppressed as the peak 3802 in FIG. 38 (B).
- the relative positional deviation is periodically changed in the plane of the image sensor 103, and the sensor image is correspondingly divided into a plurality of regions for processing. ..
- the characteristic of the periodic distribution of the relative positional deviation in the image sensor 103 described above is not limited to the above example, and may be defined by another periodic function such as a sine function.
- the present invention has been specifically described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the gist.
- the present invention can also be configured by adding, deleting, replacing, merging, etc. the elements to all the components of the embodiment.
- the present invention can also be configured in combination with one embodiment and another.
- the components in the present invention may be configured by hardware such as an integrated circuit or FPGA, or may be configured by software program processing or the like. You may.
- a processor using a CPU, ROM, RAM, or the like realizes a function by executing processing according to the program while using memory or the like.
- the program and related data and information may be stored in a storage device or recording medium such as an HDD, DVD, SSD, SD card, or may be stored on an external communication network.
- FIG. 40 shows a configuration example of the cross-correlation calculation in the above-mentioned correlation development method as a supplement to each embodiment.
- the image processing unit 107 performs FFT 402 on the sensor image 401 input from the image sensor 103 via the fringe scan processing unit 106, and obtains the post-FFT image 403.
- the image processing unit 107 performs FFT 412 on the pre-generated development pattern 411 (for example, the above-mentioned development pattern 801) to obtain the post-FFT development pattern 413.
- the image processing unit 107 obtains the post-folding image 405 by performing the FFT post-development pattern 413 on the post-FFT image 403 by the convolution calculation 404.
- the image processing unit 107 obtains a restored image 407 by performing a reverse FFT406 on the image 405 after folding.
- the image processing unit 107 may execute processing such as FFT in real time for each imaging, but it generates data that has been processed such as FFT in advance (for example, FFT post-development pattern 413) and stores it in the memory.
- the data may be read out and the above calculation may be performed at the time of imaging. This makes it possible to increase the speed.
- Imaging device 30 ... Pixels, 102 ... Imaging unit, 103 ... Image sensor, 104 ... Pattern substrate, 105 ... Shooting pattern, 106 ... Fringe scan processing unit, 107 ... Image processing unit, 108 ... Controller, 1903 ... Light receiving Part, 140 ... Micro lens.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
レンズレス撮像装置に関して、撮像に適した画像センサの特性や構造等を提供する。撮像装置は、撮影用パターンに基づいて光の強度を変調する変調器と、変調後の光に基づいてセンサ画像を生成する画像センサと、画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、を備える。撮像装置は、画像センサの面内において、複数の画素の各画素の受光部の中心位置と、複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有する。この特性は、隣接する各画素間でのずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも1つ以上持つ特性である。
Description
本発明は、撮像装置の技術に関する。
撮像装置に関する先行技術例として、国際公開第2017/149687号(特許文献1)がある。特許文献1には、「格子基板を透過する光線の入射角度の検出を容易化することにより、撮像装置の高機能化が可能な撮像装置を得る。撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、光の強度を変調する変調器と、前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、を具備し、前記変調器は、複数の同心円から構成される第1の格子パターンを有し、前記信号処理部は、前記画像記憶部から出力される画像信号を、複数の同心円から構成される仮想的な第2の格子パターンで変調することでモアレ縞画像を生成し、フォーカス位置に応じて前記第2の格子パターンの同心円の大きさを変更することを特徴とする撮像装置で解決できる。」(要約)と記載されている。
先行技術例のように、カメラを含む撮像装置として、レンズを使用しないレンズレスカメラを含むレンズレス撮像装置が提案されており、小型・低コストを実現できる撮像装置として期待されている。また、撮像装置のネットワーク接続は、画像解析等の撮像装置の適用範囲拡大に必須となってきている。
しかしながら、先行技術例のレンズレス撮像装置は、撮像に適した画像センサの特性に関して検討の余地がある。特許文献1では、レンズレス撮像装置で撮像する際の好適な画像センサの特性については述べられていない。
本発明の目的は、レンズレス撮像装置の技術に関して、撮像に適した画像センサの特性や構造および処理方法等の技術を提供することである。
本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の撮像装置は、撮影用パターンに基づいて、入射される光の強度を変調する変調器と、前記変調後の光を電気信号に変換し、センサ画像を生成する画像センサと、前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、を備え、前記画像センサの面内において、前記複数の画素の各画素における受光部の中心位置と、前記マイクロレンズアレイの前記複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有し、前記特性は、隣接する前記各画素間での前記ずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも1つ以上持つ特性である。
本発明のうち代表的な実施の形態によれば、レンズレス撮像装置に関して、撮像に適した画像センサの特性や構造および処理方法等を提供できる。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、全図面において同一部には原則として同一符号を付し、繰り返しの説明は省略する。以下、必要に応じて、複数のセクションや実施の形態に分けて説明する。それらは互いに変形例、詳細、補足説明等の関係を持つ。また、以下、構成要素の数、量、範囲、寸法、形状、位置関係等に言及する場合、特定の数等には限定されない。構成要素の形状等は、近似または類似の形状等を含む。
(実施の形態1)
図1~図33等を用いて、本発明の実施の形態1の撮像装置および撮像方法について説明する。実施の形態1の撮像方法は、実施の形態1の撮像装置で実行されるステップを有する方法である。実施の形態1の撮像装置は、実施の形態1の撮像方法を実装した撮像装置である。
図1~図33等を用いて、本発明の実施の形態1の撮像装置および撮像方法について説明する。実施の形態1の撮像方法は、実施の形態1の撮像装置で実行されるステップを有する方法である。実施の形態1の撮像装置は、実施の形態1の撮像方法を実装した撮像装置である。
<無限遠物体の撮像原理>
以下では、主に無限遠物体の撮像原理等について説明する。
以下では、主に無限遠物体の撮像原理等について説明する。
[撮像装置]
図1は、実施の形態1の撮像装置の構成例を示す。図1の撮像装置1は、結像させるレンズを用いることなく、外界の物体の画像を取得するレンズレスカメラである。撮像装置1は、撮像部102、フリンジスキャン処理部106、画像処理部107、およびコントローラ108を有する。撮像部102は、画像センサ103、マイクロレンズアレイ140、および変調器110を有する。変調器110は、パターン基板104および撮影用パターン105を有する。画像センサ103は、光を電気信号に変換し、センサ画像を生成するデバイスである。変調器110は、パターン基板104と撮影用パターン105とを合わせた部分であり、撮影用パターン105に基づいて、画像センサ103に入射され検出される光の強度を変調するデバイスである。
図1は、実施の形態1の撮像装置の構成例を示す。図1の撮像装置1は、結像させるレンズを用いることなく、外界の物体の画像を取得するレンズレスカメラである。撮像装置1は、撮像部102、フリンジスキャン処理部106、画像処理部107、およびコントローラ108を有する。撮像部102は、画像センサ103、マイクロレンズアレイ140、および変調器110を有する。変調器110は、パターン基板104および撮影用パターン105を有する。画像センサ103は、光を電気信号に変換し、センサ画像を生成するデバイスである。変調器110は、パターン基板104と撮影用パターン105とを合わせた部分であり、撮影用パターン105に基づいて、画像センサ103に入射され検出される光の強度を変調するデバイスである。
図2は、撮像部102の構成例における構成要素の分解図を示す。なお、説明上の方向として、x軸方向,y軸方向,z軸方向を用いる。x軸方向およびy軸方向は、画像センサ103等の主面を構成する直交する2つの方向であり、z軸方向は、その主面に対して垂直な、光軸や厚さ等に対応する方向であり、図示での上下方向である。画像センサ103の受光面(図示の上側の面)には、複数の画素30がアレイとして配列されている。画像センサ103の受光面の上側には、後述のマイクロレンズアレイ140が配置されている。画像センサ103の受光面の上側には、マイクロレンズアレイ140を介して、パターン基板104が配置されている。パターン基板104は、例えばマイクロレンズアレイ140に密着して固定されるが、それに限らず、間隔を置いて配置されてもよい。
パターン基板104は、図示の上側の面に、撮影用パターン105が形成されている。パターン基板104は、例えばガラスやプラスティック等の可視光に対して透明な材料から構成される。撮影用パターン105は、例えば半導体プロセスに用いられるスパッタリング法等を用いてアルミニウムやクロム等の金属を蒸着することによって形成されてもよい。撮影用パターン105は、例えばアルミニウムが蒸着されたパターンと蒸着されていないパターンとによって、透過率変調のための濃淡がつけられる。なお、撮影用パターン105の形成の方式や手段は、これに限定されず、例えばインクジェットプリンタによる印刷等によって濃淡をつける方式等、透過率変調を実現できる手段であればよい。また、ここでは、可視光を例に説明するが、これに限らず、パターン基板104は、撮影対象となる波長に対して透過性を持つ材料を用い、撮影用パターン105は、透過および遮断が可能な材料を用いればよい。例えば、遠赤外線の撮影を行う撮像装置1とする場合、パターン基板104は、例えばゲルマニウム、シリコン、カルコゲナイド等の遠赤外線に対して透過性を持つ材料を用い、撮影用パターン105は、遠赤外線に対して透過および遮断が可能な材料を用いればよい。なお、ここでは、撮影用パターン105をパターン基板104に形成する方式の場合を述べたが、これに限らず、表示素子を用いる等、他の方式としてもよい。
図3は、変形例として、他の方式における撮像部102の構成を示す。図3の撮像部102は、撮影用パターン105が薄膜に形成されており、この撮影用パターン105が、支持部材301によって、画像センサ103等に対し保持される構成である。
なお、図1および図2の方式の撮像装置1では、撮影画角は、パターン基板104の厚さによって変更可能である。よって、例えばパターン基板104が、図3の構成を有し、支持部材301の図示のz軸方向での長さを変更可能な機能を有する構成とすれば、撮影時に画角を変更できる機能が実現できる。
図2で、画像センサ103の図示の上側の表面には、受光素子である画素30が、例えば格子状に規則的に配置されている。この画像センサ103は、画素30が受光した光画像を、電気信号である画像信号に変換する。画像センサ103から出力された画像信号は、図1のように、フリンジスキャン処理部106を経由して、画像処理部107によって画像処理され、コントローラ108を経由して出力される。
上記撮像装置1の構成において、撮影する場合に、撮影用パターン105を透過する光は、撮影用パターン105によって光強度が変調される。変調器110を透過した変調後の光は、マイクロレンズアレイ140を透過して画像センサ103にて受光される。画像センサ103から出力された画像信号は、フリンジスキャン処理部106によってノイズキャンセルされる。ノイズキャンセル後の信号は、画像処理部107によって画像処理されて像が復元される。画像処理後の画像データは、コントローラ108に対して出力される。コントローラ108は、画像処理部107の出力の画像データを、ホストコンピュータや外部記録媒体等に出力する場合には、USB等のインターフェイスに適合するようにデータ形式を変換して出力する。なお、撮像装置1内のメモリに画像信号や画像データ等を記憶してもよい。
[撮影原理]
続いて、撮像装置1における撮影原理について説明する。まず、撮影用パターン105は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンである。撮影用パターン105は、同心円の中心である基準座標からの半径r、係数βを用いて、下記の式1で定義する。撮影用パターン105は、式1のI(r)に比例して透過率変調されているものとする。
続いて、撮像装置1における撮影原理について説明する。まず、撮影用パターン105は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンである。撮影用パターン105は、同心円の中心である基準座標からの半径r、係数βを用いて、下記の式1で定義する。撮影用パターン105は、式1のI(r)に比例して透過率変調されているものとする。
このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図4は、撮影用パターン105の構成例として、式1のガボールゾーンプレートの例を示す。このガボールゾーンプレートは、多値の濃淡を持つ透過率変調パターンである。図5は、撮影用パターン105の他の構成例として、式1を閾値1で2値化した、フレネルゾーンプレートの例を示す。このフレネルゾーンプレートは、2値の濃淡を持つ透過率変調パターンである。白部分は透過、黒部分は非透過に対応付けられる。撮影用パターン105に対応して存在する現像用パターンも、同様に模様を持つ。なお、以降では簡単化のために、主に図2のx軸方向についてのみ数式で説明するが、同様にy軸方向について考慮することで、2次元に展開して考えることができる。
図6は、パターン基板104に関する説明図である。図6を用いて、斜め入射平行光によるパターン基板104の表面の撮影用パターン105から画像センサ103への射影像が面内ずれを生じることについて説明する。図6のように、撮影用パターン105が形成された厚さdを持つパターン基板104に、x軸方向に角度θ0で平行光が入射したとする。パターン基板104中の屈折角をθとして、幾何光学的には、パターン基板104の表面の撮影用パターン105の模様の透過率が乗じられた光が、図示のk=d・tanθの量に対応する分だけ屈折して、画像センサ103に入射する。このとき、下記の式2のような強度分布を持つ投影像が、画像センサ103上で検出される。なお、式2のΦは、式1の透過率分布の初期位相を示す。
図7は、この撮影用パターン105の投影像701の例を示す。この投影像701は、式2のように、kシフト(=シフト量kでのシフト)して投影される。この投影像701が、撮像部102の出力となる。
図8は、現像用パターン801を示す。図8の現像用パターン801は、図5の撮影用パターン105に対応した例である。画像処理部107は、このような現像用パターン801を用いて現像処理を行う。
[現像処理(1)]
次に、画像処理部107における処理に関して、相関現像方式とモアレ現像方式による現像処理について説明する。相関現像方式による現像処理と、モアレ現像方式による現像処理とは、いずれを用いてもよい。また、両方の方式を実装し、必要に応じて方式を切り替えて使用できる形態としてもよい。
次に、画像処理部107における処理に関して、相関現像方式とモアレ現像方式による現像処理について説明する。相関現像方式による現像処理と、モアレ現像方式による現像処理とは、いずれを用いてもよい。また、両方の方式を実装し、必要に応じて方式を切り替えて使用できる形態としてもよい。
相関現像方式では、画像処理部107は、図7の撮影用パターン105の投影像701と図8の現像用パターン801との相互相関関数を演算する。これにより、図9のようなシフト量kの輝点902が得られる。図9は、相関現像方式による現像画像901の構成例を示す。
なお、一般的に相互相関演算を2次元畳込演算で行う場合には演算量が大きくなることから、フーリエ変換を用いて演算を行う例について、数式を用いて原理を説明する。まず、図8の現像用パターン801は、撮影用パターン105と同様に、ガボールゾーンプレートやフレネルゾーンプレートを用いる。そのため、現像用パターン801は、初期位相Φを用いて、下記の式3で表せる。
現像用パターン801は、画像処理内で使用されるため、式1のように、1でオフセットさせる必要は無く、負の値を有していても問題無い。式1および式3のフーリエ変換は、それぞれ、下記の式4および式5のようになる。
ここで、Fはフーリエ変換の演算を表し、uはx軸方向の周波数座標を表し、括弧を伴うδはデルタ関数である。これらの式で重要なことは、フーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、撮像装置1は、上記式に基づいて、フーリエ変換後の現像用パターンを直接的に生成し保存しておいて利用してもよい。これにより、演算量を低減可能である。次に、式4および式5を乗算すると、下記の式6となる。
この輝点が無限遠の光束を示しており、図1の撮像装置1による撮影像に相当する。なお、相関現像方式では、パターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。
[現像処理(2)]
次に、モアレ現像方式の場合、画像処理部107は、図7の撮影用パターン105の投影像701と図8の現像用パターン801とを乗算することにより、図10のようなモアレ縞1000を生成する。そして、画像処理部107は、このモアレ縞1000をフーリエ変換することにより、図11の現像画像1101におけるシフト量kβ/πの輝点1102,1103を得る。輝点1102は-kβ/πの輝点、輝点1103は+kβ/πの輝点である。このモアレ縞を数式で示すと、下記の式8となる。
次に、モアレ現像方式の場合、画像処理部107は、図7の撮影用パターン105の投影像701と図8の現像用パターン801とを乗算することにより、図10のようなモアレ縞1000を生成する。そして、画像処理部107は、このモアレ縞1000をフーリエ変換することにより、図11の現像画像1101におけるシフト量kβ/πの輝点1102,1103を得る。輝点1102は-kβ/πの輝点、輝点1103は+kβ/πの輝点である。このモアレ縞を数式で示すと、下記の式8となる。
式8の展開式の第3項が信号成分である。この信号成分が、図10のモアレ縞1000のような縞模様を、2つのパターンが重なり合った領域一面に作ることがわかる。図10のモアレ縞1000では、2つのパターンのずれの方向(x軸方向)に等間隔(間隔1001)で、その方向に対し直交する方向(y軸方向)にまっすぐな縞模様が作られている。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞は、モアレ縞と呼ばれる。実施の形態1の例では、撮影用パターン501と現像用パターン801との重ね合わせによってモアレ縞が生じる。式8の第3項の2次元フーリエ変換は、下記の式9のようになる。
ここで、Fはフーリエ変換の演算を表し、uはx軸方向の周波数座標を表し、括弧を伴うδはデルタ関数である。この結果から、モアレ縞の空間周波数スペクトルにおいて、空間周波数のピークが、u=±kβ/πの位置に生じることがわかる。このピークに対応する輝点が、無限遠の光束を示しており、図1の撮像装置1による撮影像に相当する。
なお、モアレ現像方式では、パターンのシフトによって得られるモアレ縞が単一の周波数を有するものであればよく、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えば楕円状のパターンで実現してもよい。
<ノイズキャンセル>
以下、フリンジスキャンに基づいたノイズキャンセル等について説明する。
以下、フリンジスキャンに基づいたノイズキャンセル等について説明する。
[フリンジスキャン処理]
上記式6から式7への変換、および式8から式9への変換において、信号成分に着目して説明したが、実際には信号成分以外の項が現像を阻害する。そこで、撮像装置1のフリンジスキャン処理部106は、フリンジスキャンに基づいたノイズキャンセルを行う。フリンジスキャンのためには、撮影用パターン105として、初期位相Φの異なる複数のパターンを使用する必要がある。
上記式6から式7への変換、および式8から式9への変換において、信号成分に着目して説明したが、実際には信号成分以外の項が現像を阻害する。そこで、撮像装置1のフリンジスキャン処理部106は、フリンジスキャンに基づいたノイズキャンセルを行う。フリンジスキャンのためには、撮影用パターン105として、初期位相Φの異なる複数のパターンを使用する必要がある。
図12は、フリンジスキャンにおける撮影用パターン105として、初期位相Φの異なる複数のパターンの組合せの構成例を示す。図12の(a)~(d)は、Φ=0,π/2,π,3π/2となる4位相のパターン1201~1204を示す。ここでは、フリンジスキャン処理部106は、それらの4位相を用いて撮影したセンサ画像を、以下の式10に従って演算する。すると、複素数のセンサ画像(複素センサ画像と記載する場合がある)が得られる。
モアレ現像方式の場合、式10と式11を乗算すると、下記の式12となる。式12の指数関数で表された項exp(2iβkx)が信号成分である。この信号成分から、式8のような不要な項が発生せず、ノイズキャンセルされていることがわかる。
次に、式13および14を乗算すると、下記の式15となる。式15の指数関数で表された項exp(-iku)が信号成分である。この信号成分から、式8のような不要な項が発生せず、ノイズキャンセルされていることがわかる。
なお、以上の例では、4位相の複数のパターンを使用して説明したが、初期位相Φは、0~2πの間の角度を等分するように設定すればよく、上記4位相に限定されない。
以上の複数のパターンによる撮影を実現するための方式としては、大別すると、時分割でパターンを切り替える方式と、空間分割でパターンを切り替える方式とが挙げられる。時分割でパターンを切り替える方式と、空間分割でパターンを切り替える方式とのいずれを適用してもよいし、両方の方式を実装して選択した方式を使用できる形態としてもよい。
上記時分割でパターンを切り替える方式に対応した時分割フリンジスキャンを実現するには、例えば、図12の複数の初期位相を電気的に切り替えて表示可能な液晶表示素子等の表示素子を、図1の撮影用パターン105として使用すればよい。例えば、図1のフリンジスキャン処理部106は、この撮影用パターン105である液晶表示素子の切り替えタイミングと、画像センサ103のシャッタタイミングとを同期して制御する。これにより、撮像装置1は、画像センサ103から対応する4枚の画像を取得した後に、フリンジスキャン処理部106においてフリンジスキャン演算を実行する。
これに対し、上記空間分割でパターンを切り替える方式に対応した空間分割フリンジスキャンを実現するには、例えば、図13に示すように、撮影用パターン105として、空間分割で複数の初期位相を有する撮影用パターン1300を使用する。図13の撮影用パターン1300は、矩形領域全体をx軸方向およびy軸方向を合わせて4分割した領域1301~1304において、上記4位相のパターンを有する。
撮像装置1は、画像センサ103から1枚の画像を取得した後、その画像を、フリンジスキャン処理部106において、それぞれの初期位相のパターンに対応して4枚に分割し、フリンジスキャン演算を実行する。
[フリンジスキャン演算]
続いて、フリンジスキャン処理部106でのフリンジスキャン演算について説明する。図14は、フリンジスキャン処理部106のフリンジスキャン演算を含む処理概略を示すフロー図である。図14は、ステップS1~S7を有し、以下、ステップの順に説明する。まず、ステップS1で、フリンジスキャン処理部106は、画像センサ103から出力される複数のパターンによるセンサ画像を取得する。この際、フリンジスキャン処理部106は、空間分割フリンジスキャンを使用する場合には、そのセンサ画像を分割し、時分割フリンジスキャンを使用する場合には、このステップS1の分割を行わない。
続いて、フリンジスキャン処理部106でのフリンジスキャン演算について説明する。図14は、フリンジスキャン処理部106のフリンジスキャン演算を含む処理概略を示すフロー図である。図14は、ステップS1~S7を有し、以下、ステップの順に説明する。まず、ステップS1で、フリンジスキャン処理部106は、画像センサ103から出力される複数のパターンによるセンサ画像を取得する。この際、フリンジスキャン処理部106は、空間分割フリンジスキャンを使用する場合には、そのセンサ画像を分割し、時分割フリンジスキャンを使用する場合には、このステップS1の分割を行わない。
次に、ステップS2で、フリンジスキャン処理部106は、出力用の複素センサ画像を初期化する。ステップS3で、フリンジスキャン処理部106は、ループにおける1つ目の初期位相Φのセンサ画像を取得し、ステップS4で、そのセンサ画像に、その初期位相Φに応じた指数関数であるexp(iΦ)を乗算し、ステップS5で、乗算結果を出力用の複素センサ画像に加算する。
フリンジスキャン処理部106は、ステップS6で、使用する全初期位相Φについて処理を終了したかを確認し、ステップS3からステップS5までの処理を、使用する初期位相Φの数だけ同様に繰り返す。例えば、図12や図13の4位相を用いたフリンジスキャンでは、初期位相Φ=0,π/2,π,3π/2に対応して4回の処理が繰り返される。
最後に、ステップS7で、フリンジスキャン処理部106は、処理後の複素センサ画像を出力する。以上のフリンジスキャン処理部106での主な処理は、前述の式10に相当する。
[画像処理]
次に、画像処理部107での画像処理について説明する。図15は、画像処理部107において相関現像方式を使用した場合の処理概略を示すフロー図である。図15はステップS21~S26を有する。まず、ステップS21で、画像処理部107は、フリンジスキャン処理部106から出力される複素センサ画像を取得し、その複素センサ画像に2次元高速フーリエ変換(FFT:Fast Fourier Transform)演算を実行する。
次に、画像処理部107での画像処理について説明する。図15は、画像処理部107において相関現像方式を使用した場合の処理概略を示すフロー図である。図15はステップS21~S26を有する。まず、ステップS21で、画像処理部107は、フリンジスキャン処理部106から出力される複素センサ画像を取得し、その複素センサ画像に2次元高速フーリエ変換(FFT:Fast Fourier Transform)演算を実行する。
次に、ステップS22で、画像処理部107は、現像処理に使用する現像用パターン801を生成する。あるいは、画像処理部107は、予めメモリ等に設定および記憶されている現像用パターン801を参照してもよい。そして、画像処理部107は、2次元FFT演算後の複素センサ画像にその現像用パターン801を乗算する。ステップS24で、画像処理部107は、その乗算後の画像に、逆2次元FFT演算を行う。
この演算結果は複素数となる。そのため、ステップS24で、画像処理部107は、その演算結果の複素数に対し、実数化処理を行う。実数化処理は、絶対値化する処理、または、実部を取り出す処理である。複素数をC=A+Biで表すと、絶対値化する処理は、|A+Bi|=√(A2+B2)で表せる。実部を取り出す処理は、Re[A+Bi]=Aで表せる。これにより、画像処理部107は、撮影対象の像を実数化して現像する。
その後、画像処理部107は、得られた画像に対し、ステップS15でコントラスト強調処理を行い、ステップS26でカラーバランス調整等を行う。画像処理部107は、それらの処理結果のデータを撮影画像として出力する。以上で画像処理部107の画像処理が終了となり、ユーザが視認できる撮影画像が得られる。
上記に対し、図16は、モアレ現像方式を使用した場合の処理概略を示す。図16は、ステップS31~S36を有する。まず、ステップS31で、画像処理部107は、フリンジスキャン処理部106から出力される複素センサ画像を取得し、現像処理に使用する現像用パターン801を生成し、その複素センサ画像に乗算する。ステップS32で、画像処理部107は、その乗算後の画像に対し、2次元FFT演算により周波数スペクトルを求め、ステップS33で、この周波数スペクトルのうち必要な周波数領域のデータを切り出す。以降のステップS34~36の処理は、図15のステップS24~S26の処理と同様である。
なお、撮像装置1は、可視光による画像を撮像するカメラに限らず、同様の原理に基づいて、赤外線等の周波数帯域を対象として撮像する装置や、被写体との距離画像(3次元での奥行き方向の距離情報を持つ画像)を撮像する装置(距離画像センサ等と呼ばれる場合がある)とすることも可能である。
<有限距離物体の撮影原理>
以下では、主に有限距離物体の撮像原理等について説明する。
以下では、主に有限距離物体の撮像原理等について説明する。
[無限遠物体の撮像と有限距離物体の撮像]
次に、図17には、これまで述べた被写体が遠い場合(言い換えると無限遠物体の場合)における撮影用パターン105の画像センサ103への射影の様子を示す。遠方の物体を構成する点1701からの球面波は、十分に長い距離を伝搬する間に平面波となり、撮影用パターン105を照射する。その照射による投影像1702が画像センサ103に投影される場合、投影像は、撮影用パターン105とほぼ同じ形状を持つ。結果、投影像1702に対して、前述の現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。
次に、図17には、これまで述べた被写体が遠い場合(言い換えると無限遠物体の場合)における撮影用パターン105の画像センサ103への射影の様子を示す。遠方の物体を構成する点1701からの球面波は、十分に長い距離を伝搬する間に平面波となり、撮影用パターン105を照射する。その照射による投影像1702が画像センサ103に投影される場合、投影像は、撮影用パターン105とほぼ同じ形状を持つ。結果、投影像1702に対して、前述の現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。
一方、被写体が近い場合に対応する有限距離物体に対する撮像について説明する。図18は、撮像する物体が有限距離にある場合に、撮影用パターン105の画像センサ103への射影が、撮影用パターン105よりも拡大されることを示す説明図である。物体を構成する点1801からの球面波が撮影用パターン105を照射し、その照射による投影像1802が画像センサ103に投影される。この場合、投影像は、ほぼ一様に拡大される。なお、この際の拡大率αは、z軸方向における撮影用パターン105から点1801までの距離fを用いて、下記の式16のように算出できる。
そのため、平行光に対して設計された現像用パターンをそのまま使用して現像処理を行うのでは、単一の輝点を得ることができない。そこで、図18のように一様に拡大される撮影用パターン105の投影像に合わせて現像用パターン801を拡大させる場合、拡大された投影像1802に対して、再び、単一の輝点を得ることができる。このためには、現像用パターン801の係数βをβ/α2とすることで、補正が可能である。これにより、撮像装置1は、必ずしも無限遠でない距離の点1801からの光を選択的に再生することができる。これによって、撮像装置1は、任意の位置に焦点を合わせて撮影を行うことができる。
<画像センサ構成>
次に、図19等を用いて、画像センサ103の構成について説明する。
次に、図19等を用いて、画像センサ103の構成について説明する。
[画像センサ(1)]
図19は、実施の形態1に関する比較例における、画像センサ103a(103)のx軸方向における中央部の画素1901や端部の画素1902における断面構造を示す。ここでは、一般的なCMOSやCCD等の撮像素子を用いて構成される画像センサを考える。この画像センサ103aにおける画素30は、配線やマスクの構造に基づいて、全面で光を受光できる訳ではなく、一部である受光部1903でのみ光を受光できる。受光部1903の幅1912は、画素30の幅1911よりも小さい。
図19は、実施の形態1に関する比較例における、画像センサ103a(103)のx軸方向における中央部の画素1901や端部の画素1902における断面構造を示す。ここでは、一般的なCMOSやCCD等の撮像素子を用いて構成される画像センサを考える。この画像センサ103aにおける画素30は、配線やマスクの構造に基づいて、全面で光を受光できる訳ではなく、一部である受光部1903でのみ光を受光できる。受光部1903の幅1912は、画素30の幅1911よりも小さい。
そのため、一般的な画像センサは、この画像センサ103aのように、光利用効率向上のために、z軸方向で受光部1903の前にマイクロレンズ1904がマイクロレンズアレイとして配置されている。これにより、一点鎖線で示す入射光1905が、マイクロレンズ1904によって、点線で示す光1906のように集光されて、受光部1903に効率的に取り込まれる。個々のマイクロレンズ1904は、入射側に凸の曲面を持つレンズである。
図20は、図19の1個の画素30に関する光入射の様子を示す。図19の画像センサ103aは、このように受光部1903が画素30よりも小さいことから、図20の光線2001に示すように、受光部1903の範囲に光が集光されている角度範囲でのみ、撮影が可能である。この角度範囲以外の角度からの光は、急速に感度が低下することになる。
図21には、上記感度の角度依存性の例を示し、図22には、実測した例を示す。このような感度は、主光線角度(Chief Ray Angle:CRA)特性と呼ばれる。図21のグラフで横軸は上記角度θ、縦軸は感度である。感度は受光光量、光強度と対応している。図22で横軸は角度θに対応する入射角、縦軸は規格化光強度である。画像センサの構造が問題とならない場合には、一般的に、CRA特性は、cosθの4乗で低下するとされる。しかし、このような画像センサの構造が阻害要因となる場合、図22のように、cosθの4乗よりも急速に光量が低下することになる。
よって、比較例として、レンズレスではない一般的なカメラでは、図23に示すように、像側テレセントリックとなる系を用いている。これにより、常に画像センサに対して垂直に光線が入射するようにし、画像センサ(対応する画素)への斜入射を避けている。図23は、比較例として一般的なカメラにおける像側テレセントリック光学系の構成例を示す。図23では、z軸方向で、画像センサ103aに対して前(図示の上側)の位置に、レンズ2301,2302が配置されている。レンズ2302は、フィールドレンズであり、像の周辺の光の進行方向を変えるレンズである。z軸方向の光軸に対し斜めに入射する光線2303は、レンズ2301,2302によってz軸方向の光線、すなわち平行光に変換されている。
しかし、近年のスマートフォン等の機器に見られる小型化・高密度化が進展した結果、図24のように、非テレセントリック光学系が使用されることも多くなっている。図24は、比較例として他の一般的なカメラにおける非テレセントリック光学系の構成例を示す。図24では、z軸方向で、画像センサ103aに対して前の位置に、レンズ2401が配置されている。z軸方向の光軸に対し斜めに角度θ1で入射する光線2403は、レンズ2401経由後も斜めの光線として、受光部に受光する。図24のように、レンズが有るカメラの場合、画像センサ103aの面内の複数の画素において、光線の入射角度に応じて画素特性が異なる。端にある画素では、斜入射となるので、光量が少なくなり、暗い画素値となる。
現在のカメラは、このような非テレセントリック光学系の特性に適合させるように、図25に示すような構成が主流となっている。図25は、実施の形態1に関する比較例で、画像センサ103b(103)における画素30とマイクロレンズ1904の配置の構成例を示す。図25の構成は、画像センサ103のマイクロレンズ1904の光軸と受光部1903の光軸とをあえて異ならせるようにシフトさせた構成である。画像センサ103の面内の各画素30の光量を同じにしたい場合、この構成では、端にある画素1902に合わるようにして、マイクロレンズ1904との相対位置関係によって、光線を補正する。この構成では、x軸方向で画像センサ103の中央部の画素1901と端部の画素1902とでは、マイクロレンズ1904と受光部1903との関係が異なっている。この画像センサ103bは、x軸方向およびy軸方向を含む面内において、マイクロレンズ1904と受光部1903との相対位置が変化する構成であり、相対位置のずれ量を単調に増加または減少する構成である。中央部の画素1901では、マイクロレンズ1904の光軸と受光部1903の光軸とが一致している。端部の画素1902では、マイクロレンズ1904の光軸と受光部1903の光軸との間にずれの距離2502を持つ。図示しないが反対側の端部の画素についても同様に、反対方向でのずれの距離を持つ。これにより、この画像センサ103bは、画像の周辺光量減衰が小さい撮像系となっている。図25のような構成を持つカメラは、既に安価に実現されている。
しかし、レンズレス光学系では、図24のようなレンズが無く、図17に示すように、点1701からの光は、パターン基板104からの出射位置ではほぼ平行光である投影像1702となり、一様に画像センサ103を照射することになる。画像センサ103の面内の各画素に対し、基本的には光線が垂直に入射し、各画素の光量がほぼ同じとなる。この場合、図25のようなタイプの画像センサ103bを適用すると、撮像した画像信号に対応するセンサ画像では、図26に示すように、シェーディングが強く発現する。言い換えると、センサ画像内の周辺部分が暗くなってしまう。図26は、画像センサ103bを用いた場合におけるシェーディングを持つセンサ画像2601の例を示す。このようなシェーディングが発生すると、後段の現像処理の過程で、低周波のノイズが強く現れるため、現像した画像が劣化する。
よって、レンズレス光学系では、画像の劣化を避けるためには、図25のような画像センサ103bの構成ではなく、図19のようなタイプの画像センサ103aのように受光部1903とマイクロレンズ1904との関係が一様である構成が望ましい。しかし、その構成を適用した場合、図21および図22のように、画素構造に起因するCRA特性が課題となり、カメラの視野(対応する画角範囲)が狭くなってしまう。
[画像センサ(2)]
そこで、実施の形態1の撮像装置1において、上記シェーディングおよびCRA特性の課題を改善する方式について説明する。実施の形態1は、画像劣化抑制と広い画角範囲との両立を目指す。図27の(A)は、図20の1個の画素30およびマイクロレンズ1904に関する上面図を示す。図27の(A)の場合、マイクロレンズ1904と受光部1903との相対位置のずれが無い。一方、図27の(B)は、マイクロレンズ1904と受光部1903との相対位置のずれが有る場合を示す。相対位置のずれを、ベクトルを用いて、ずれ(Δ)2701として示す。図27の(B)のように、相対位置のずれ2701が生じている場合、x軸方向のずれΔxとy軸方向のずれΔyとに分離して考える。
そこで、実施の形態1の撮像装置1において、上記シェーディングおよびCRA特性の課題を改善する方式について説明する。実施の形態1は、画像劣化抑制と広い画角範囲との両立を目指す。図27の(A)は、図20の1個の画素30およびマイクロレンズ1904に関する上面図を示す。図27の(A)の場合、マイクロレンズ1904と受光部1903との相対位置のずれが無い。一方、図27の(B)は、マイクロレンズ1904と受光部1903との相対位置のずれが有る場合を示す。相対位置のずれを、ベクトルを用いて、ずれ(Δ)2701として示す。図27の(B)のように、相対位置のずれ2701が生じている場合、x軸方向のずれΔxとy軸方向のずれΔyとに分離して考える。
ここで、図28は、前述の図25の画像センサ103bの構成における、x軸方向での画素30の位置とずれΔxとの関係を示す。図28の(A)は、ずれΔxの分布の特性を示し、(B)は、(A)の特性を微分したグラフを示す。図28の(A)では、x軸方向での各位置の画素30に関して、中央を位置L1、正方向に対応する右側の端を位置L2、負方向に対応する左側の端を位置L3で示す。このように、画像センサ103bの中央の位置L1ではずれΔxが無く、すなわち0であり、右側の端の位置L2では正方向にずれΔx(+Δx1)を持ち、左側の端の位置L3では負方向にずれΔx(-Δx1)を持つ。(A)では、相対位置ずれの変化が単調増加の特性である。(B)では、ずれΔxの変化量である隣接画素間での差分値は一定値である。なお、(A)ではずれΔxが直線で変化する構成であるが、これに限らず、二次関数等の曲線で変化する構成もある。
この画像センサ103bの構成は、マイクロレンズ1904のピッチと、画素30のピッチとがほぼ同じで、画像センサ103bの中央部から端部までにかけて1画素分以下の差となるように相対的にピッチをシフトすること、言い換えると変化させることによって実現されている。
図29は、上記画像センサ103bの構成に関する説明のために、画素30間および受光部1903間のピッチp1、マイクロレンズ1904間のピッチp2、相対位置のずれ2502等を示す。図29は図25の左側の端部の画素1902での例である。ピッチp1とピッチp2はほぼ同じである。相対位置のずれ2502については、画素30の中心位置に対するマイクロレンズ1904の中心位置、ならびにx軸方向の正方向(図示の左から右への方向)を基準として示している。例えば、図25の中央部の画素1901におけるマイクロレンズ1904間のピッチp2をピッチp21とし、左側の端部の画素1902におけるマイクロレンズ1904間のピッチp2をピッチp22とする。上記構成は、例えば、p21>p22とし、マイクロレンズ1904間のピッチp2を、中央部から端部までにかけてピッチp21からピッチp22へと減少するようにシフトする構成である。かつ、その構成は、画素30とマイクロレンズ1904との相対位置のずれの変化が、1画素分以下の差となるようにされる。
これに対し、図30は、実施の形態1の撮像装置1における画像センサ103c(103)の構成例を示す。図30は、画像センサ103の面内の中央部の位置L1での画素30およびマイクロレンズ140の構成例を拡大で示す。この構成では、画素30間のピッチp1に対し、マイクロレンズ140間のピッチp2が大きい(p1<p2)。中央の画素30を画素PX1とし、それに対する両隣りの画素30を画素PX2,PX3で示す。それらに対応する個々のマイクロレンズ140をマイクロレンズML1,ML2,ML3で示す。中央の画素PX1では、マイクロレンズML1との相対位置のずれΔxは0である。右隣りの画素PX2では、マイクロレンズML2との相対位置のずれΔx(3001)は正方向で0より大きい値である。左隣りの画素PX3では、マイクロレンズML3との相対位置のずれΔx(3002)は負方向で0より大きい値である。この相対位置ずれは、面内で中央から外側の端に向かうにつれて大きくなるように変化する。
図30のように、マイクロレンズ140のピッチp2と画素30のピッチp1とを大きく異ならせる場合、言い換えるとピッチp2とピッチp1との差(p2-p1)をある程度以上に大きくする場合、面内で相対位置ずれ(Δx,Δy)が急峻に変化することになる。差(p2-p1)の設計に応じて、隣接画素30間では、相対位置ずれが、1画素分の差を越えることで、正から負または負から正へ変化する箇所も生じる。差(p2-p1)が大きいほど、そのような箇所の数は多くなる。このように、実施の形態1では、例えばピッチp1とピッチp2とを大きく異ならせることで、画像センサ103の面内で相対位置ずれを変化させて様々な値を持たせる。これにより、後述するようにカメラ特性の改善の効果が得られる。
また、実施の形態1における画像センサ103としては、極端に言えば、図31のように、画素30とマイクロレンズ140との相対位置を面内でランダムにシフト、変化させる構成としてもよい。図31の(A)の模式的なグラフは、実施の形態1での画像センサ103の相対位置ずれ量の分布の特性を示す。グラフの横軸が例えばx軸方向での各位置の画素30、縦軸が画素30の中心位置とマイクロレンズ140の中心位置との相対位置のずれΔxを示す。(A)では、ずれΔxは、-Δx1から+Δx1までの範囲内でランダムな値をとっている。図31の(B)は、(A)の特性を微分した模式的なグラフであり、相対位置ずれ量の変化量として隣接画素間での差分値をとったグラフである。(B)のように、実施の形態1では、相対位置ずれ量の差分値についてもランダムな分布となる。この特性では、隣接画素間でのずれ量の変化である差分値が、正から負へ変化する箇所や、負から正へ変化する箇所を持つ。このようなランダムの特性は、例えば面内の位置に応じて画素30のピッチp1およびマイクロレンズ140のピッチp2の少なくとも一方をランダムにする構成等で実現できる。
図30や図31のような構成は、画像センサ103の面内で様々な相対位置ずれを含んでいる構成であり、すなわち様々な入射角の光線の受光に対応する画素30を含む構成である。図30や図31のような構成によって、図32に示すようなCRA特性を実現できる。図32は、実施の形態1で、画像センサ103の全体でのCRA特性の例を示す。図32のCRA特性3200は、画像センサ103に垂直となる方向(z軸方向)から入射する光線にピークを有するCRA特性3201や、斜入射する光線にピークを有するCRA特性3202,3203等の、様々な特性が複合した特性となっている。画像センサ103の全体では、CRA特性3200のように、広い入射角に対して感度を有する構成となる。
ただし、例えば画像センサ103に垂直となる方向から入射する光線に対しては、感度を有する画素もあれば、感度が無いまたは低い画素もあり、センサ画像としては歯抜けた画像となってしまう。これは、通常のカメラのように画像センサに結像する系の場合では、画素の欠損となるため問題である。一方、実施の形態1のように、レンズレス光学系を含むレンズレス撮像装置の場合では、ある点からの入射光の情報が、画像センサ103(対応するセンサ画像)の複数の画素30の全体に分散している。そのため、たとえセンサ画像内に欠損があったとしても、処理によって情報(対応する像)を復元することができる。このようなレンズレス撮像装置の性質、およびランダムな相対位置ずれの構成に基づいて、実施の形態1の撮像装置1は、画質劣化を抑制しながら現像が可能である。
また、上記のような効果を実現するには、受光部1903とマイクロレンズ140との相対位置が例えばランダムに変化すればよい。このため、図31のような構成に限らず、図33のような構成例によっても、同様の効果が得られる。図33の構成は、実施の形態1の変形例として、散乱体3301のような、光をランダムに散乱させる光学素子を挿入する構成である。図33の構成では、z軸方向でマイクロレンズ140に対する入射側に、散乱体3301が配置されている。図33の構成では、画像センサ103における画素30とマイクロレンズ140との相対位置ずれの分布を設けていない。他の構成としては、画像センサ103における相対位置ずれの分布を持つ構成に加えて散乱体3301を設ける構成としてもよい。
以上のように、実施の形態1の撮像装置1および撮像方法によれば、画像センサ103の面内において受光部1903とマイクロレンズ140との相対位置が例えばランダムに変化する構成、言い換えると様々な相対位置ずれの分布を持つ構成とする。これにより、撮像に適した画像センサ103の特性や構造および処理方法等を提供でき、撮影画角が広く、かつシェーディングによるノイズが無く、高画質な、カメラ特性を向上したレンズレス撮像装置を実現できる。さらに、実施の形態1の構成によれば、画像センサ103として、既存の安価な画像センサを流用できるため、製造コストの抑制も可能である。
(実施の形態2)
図34以降を用いて、実施の形態2の撮像装置および撮像方法について説明する。以下では、実施の形態2における実施の形態1とは異なる構成部分について説明する。
図34以降を用いて、実施の形態2の撮像装置および撮像方法について説明する。以下では、実施の形態2における実施の形態1とは異なる構成部分について説明する。
[センサ画像の欠損について]
実施の形態1の撮像装置1の構成では、画像センサ103における受光部1903とマイクロレンズ140との相対位置が例えばランダムに変化するように配置した。この構成のために、ある角度から撮影した場合にセンサ画像の欠損がランダムに発生し、ランダムな欠損が現像画像の画質に影響を及ぼす可能性がある。そこで、実施の形態2では、その可能性も考慮して工夫した構成、ならびに処理方法等について説明する。
実施の形態1の撮像装置1の構成では、画像センサ103における受光部1903とマイクロレンズ140との相対位置が例えばランダムに変化するように配置した。この構成のために、ある角度から撮影した場合にセンサ画像の欠損がランダムに発生し、ランダムな欠損が現像画像の画質に影響を及ぼす可能性がある。そこで、実施の形態2では、その可能性も考慮して工夫した構成、ならびに処理方法等について説明する。
実施の形態2の撮像装置1でも、画像センサ103の面内における受光部とマイクロレンズとの相対位置ずれを変化させる構成とすることで、レンズレス光学系全体でのCRA特性を改善させる。ただし、実施の形態2は、実施の形態1のようにランダムの配置とするのではなく、周期的な配置等、既知の相対位置ずれ量の配置、分布の特性とする。これにより、実施の形態2では、画像センサ103で撮像したセンサ画像を、光線の入射角に対応する角度毎に分解して処理を行う。
[画像センサ]
図34は、実施の形態2の撮像装置1における、画像センサ103の相対位置ずれの周期的な配置の構成例を示す。図34の(A)は、実施の形態2での画像センサ103の相対位置ずれ量の分布の特性を示し、図示のように周期的な分布の特性である。(A)の横軸が例えばx軸方向の各位置の画素30を示し、縦軸が受光部1903とマイクロレンズ140との相対位置のずれΔxを示す。ずれΔxは、-Δx1から+Δx1までの範囲内で、x軸方向の画素位置に応じて周期的に変化している。例えば、中央の位置L1では、ずれΔxが-Δx1であり、その位置L1から右側に所定の画素距離を置いた位置3402では、ずれΔxが+Δx1である。位置L1から位置3402までの範囲3401では、ずれΔxが-Δx1から+Δx1まで直線で増加している。また、位置3402から同じ画素距離を置いた右側の範囲3403では、範囲3401と同様にずれΔxが直線で増加している。図34の(B)は、(A)の特性を微分したグラフであり、相対位置ずれ量の変化量として隣接画素30間での差分値をとったグラフである。(B)のように、実施の形態2では、相対位置ずれ量の差分値について、正の一定値の部分と、正から負または負から正へと大きく変化する複数の箇所とを持つ。実施の形態1の図31の特性や、実施の形態2の図34の特性は、比較例の図28のような単調増加または単調減少の特性とは異なり、相対位置ずれ量の差分値が正から負または負から正へと変化する箇所を持つ。撮像装置1は、図34のような特性を既知であり、画像処理部107の処理等に利用する。
図34は、実施の形態2の撮像装置1における、画像センサ103の相対位置ずれの周期的な配置の構成例を示す。図34の(A)は、実施の形態2での画像センサ103の相対位置ずれ量の分布の特性を示し、図示のように周期的な分布の特性である。(A)の横軸が例えばx軸方向の各位置の画素30を示し、縦軸が受光部1903とマイクロレンズ140との相対位置のずれΔxを示す。ずれΔxは、-Δx1から+Δx1までの範囲内で、x軸方向の画素位置に応じて周期的に変化している。例えば、中央の位置L1では、ずれΔxが-Δx1であり、その位置L1から右側に所定の画素距離を置いた位置3402では、ずれΔxが+Δx1である。位置L1から位置3402までの範囲3401では、ずれΔxが-Δx1から+Δx1まで直線で増加している。また、位置3402から同じ画素距離を置いた右側の範囲3403では、範囲3401と同様にずれΔxが直線で増加している。図34の(B)は、(A)の特性を微分したグラフであり、相対位置ずれ量の変化量として隣接画素30間での差分値をとったグラフである。(B)のように、実施の形態2では、相対位置ずれ量の差分値について、正の一定値の部分と、正から負または負から正へと大きく変化する複数の箇所とを持つ。実施の形態1の図31の特性や、実施の形態2の図34の特性は、比較例の図28のような単調増加または単調減少の特性とは異なり、相対位置ずれ量の差分値が正から負または負から正へと変化する箇所を持つ。撮像装置1は、図34のような特性を既知であり、画像処理部107の処理等に利用する。
このように画素30とマイクロレンズ1904との相対位置が周期的に変化する配置を持つ画像センサ103では、画像センサ103に垂直となる方向(z軸方向)から入射する光線に対しては、図35のような画像が得られる。図35は、画像センサ103で撮像した、シェーディングを持つセンサ画像3500の例を示す。センサ画像3500(対応する画像センサ103)は、x軸-y軸の面において、複数の領域3501を有する。1つの領域3501は、相対位置ずれの変化の1周期(図34では範囲3401等の部分)に対応する領域であり、この1周期分の領域を1つのユニットと定義する。すると、このユニットにおける相対位置のずれΔxは、図36のようになる。
[処理分割方法(1)]
図36は、ユニットにおける相対位置ずれに関する処理分割方法の例を示す。図36の(A)のグラフは、横軸がx軸方向での1個のユニットにおける画素30の位置、縦軸は相対位置のずれΔxである。1個のユニットにおける中央をM1、右側の端をM2、左側の端をM3で示す。実施の形態2の撮像装置1は、センサ画像(対応する画像センサ103)の全領域の複数のユニットについて、ある相対位置ずれ量の間隔3601毎に、複数の範囲、例えば範囲A1~A5のように分割する。本例では、ずれ量の最小値(-Δx1)から最大値(+Δx1)までの範囲内で、5つの範囲(A1~A5)に分割している。この分割数を多くするほど、画像品質が改善することになる。間隔3601および分割数は設定値であり、変更可能である。同様に、図36の(B)のように、ユニットにおけるy軸方向の相対位置ずれΔyに対しても、間隔3602毎に、複数の範囲、例えば範囲B1~B5のように分割する。画像処理部107は、センサ画像について、このような分割を行う。
図36は、ユニットにおける相対位置ずれに関する処理分割方法の例を示す。図36の(A)のグラフは、横軸がx軸方向での1個のユニットにおける画素30の位置、縦軸は相対位置のずれΔxである。1個のユニットにおける中央をM1、右側の端をM2、左側の端をM3で示す。実施の形態2の撮像装置1は、センサ画像(対応する画像センサ103)の全領域の複数のユニットについて、ある相対位置ずれ量の間隔3601毎に、複数の範囲、例えば範囲A1~A5のように分割する。本例では、ずれ量の最小値(-Δx1)から最大値(+Δx1)までの範囲内で、5つの範囲(A1~A5)に分割している。この分割数を多くするほど、画像品質が改善することになる。間隔3601および分割数は設定値であり、変更可能である。同様に、図36の(B)のように、ユニットにおけるy軸方向の相対位置ずれΔyに対しても、間隔3602毎に、複数の範囲、例えば範囲B1~B5のように分割する。画像処理部107は、センサ画像について、このような分割を行う。
図36の分割について、領域3501のような1個のユニット(例えばあるユニットU1)においてマッピングすると、図37のようになる。図37の(A)は、1個のユニット内での分割の構成例を示す。x軸方向の各範囲とy軸方向の各範囲との交差によって、ユニットよりも小さい領域が構成されている。例えば、領域3701はA1-B1の領域であり、領域3702はA5-B5の領域である。画像処理部107は、図35のセンサ画像3500の複数のユニットにおいて、同じ種類の領域毎に分類して集めた画像を、分割センサ画像として生成する。例えば、A1-B1の領域3701のみを集めた分割センサ画像(G11とする)から、A5-B5の領域702のみを集めた分割センサ画像(G55とする)まで、5×5=25通りの分割センサ画像が生成される。
画像処理部107は、それらの生成した複数の分割センサ画像における分割センサ画像毎に、対応する現像用パターンを用いて、前述の図15や図16に示した現像処理を実行する。そして、画像処理部107は、それらの分割センサ画像毎の現像処理結果を、1つの画像に合成する。このような処理分割方法によって、分割センサ画像毎では前述の画素欠損が無い状態で処理を行うことができる。そのため、ノイズを増加させることなく画像処理が可能であり、合成後の画像において情報を復元できるとともに、画質劣化を抑制できる。
なお、本例ではユニット毎に5×5の領域に分割して処理する方法を示したが、これに限らず可能である。図38の(B)は、x軸方向でのみ分割して処理する例を示し、図38の(C)は、y軸方向でのみ分割して処理する例を示す。このように、方向を変えて処理する等、画像センサの特性に応じて最適な設計が可能である。
また、上記では、図34のように周期的な相対位置のずれΔxを持つ構成例を説明したが、このような周期的な設計とする場合、設計パラメータ次第では、図38の(A)のように、現像画像のPSF(Point Spread Function:点像分布関数)において複数のピークを持ってしまい、現像画像にゴーストが現れる可能性がある。図38の(A)は、現像画像のPSFの例を示す。例えば、最大のピーク3800は、元の点を表すが、ピーク3801はゴーストとなる。
[処理分割方法(2)]
そこで、実施の形態2の変形例として、以下の構成としてもよい。変形例では、実施の形態1と同様に画像センサ103における相対位置ずれをランダムな配置にするものの、そのランダムな配置を既知の設計とする。すなわち、撮像装置1は、画素30毎にどのような相対位置ずれを持つかが既知である。そして、変形例では、図39のように、ユニット毎に、相対位置ずれ量に応じて、分割による範囲を割り当てる。図39は、変形例での相対位置ずれに関する処理分割方法を示す。例えば、x軸方向での相対位置のずれΔxに関して、ずれ量の大きさに応じた範囲A1~A5が割り当てられる。画像処理部107は、実施の形態2と同様に、範囲に応じた分割センサ画像を生成し、分割センサ画像毎に処理を行う。
そこで、実施の形態2の変形例として、以下の構成としてもよい。変形例では、実施の形態1と同様に画像センサ103における相対位置ずれをランダムな配置にするものの、そのランダムな配置を既知の設計とする。すなわち、撮像装置1は、画素30毎にどのような相対位置ずれを持つかが既知である。そして、変形例では、図39のように、ユニット毎に、相対位置ずれ量に応じて、分割による範囲を割り当てる。図39は、変形例での相対位置ずれに関する処理分割方法を示す。例えば、x軸方向での相対位置のずれΔxに関して、ずれ量の大きさに応じた範囲A1~A5が割り当てられる。画像処理部107は、実施の形態2と同様に、範囲に応じた分割センサ画像を生成し、分割センサ画像毎に処理を行う。
図38の(B)は、変形例による画像処理の結果得られた現像画像に関するPSFの例を示す。変形例の構成によれば、周期性による図38の(A)のピーク、例えばピーク3801が、図38の(B)のピーク3802のように抑圧されることが分かる。
以上のように、実施の形態2によれば、画像センサ103の面内において相対位置ずれが周期的に変化する構成とし、対応してセンサ画像を複数の領域に分割して処理する構成とする。これにより、撮影画角が広く、かつシェーディングによるノイズが無く、高画質なレンズレス撮像装置を実現できる。なお、前述の画像センサ103における相対位置ずれの周期的な分布の特性は、前述の例に限らず、他の周期的な関数、例えばサイン関数等で定義されてもよい。
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。本発明は、実施の形態の全構成要素に対し、要素を追加、削除、置換、併合等した構成も可能である。本発明は、ある実施例と他の実施例との組合せの構成も可能である。本発明における構成要素(例えば図1のコントローラ108、画像処理部107、フリンジスキャン処理部106等)は、集積回路やFPGA等のハードウェアで構成されてもよいし、ソフトウェアプログラム処理等で構成されてもよい。プログラム処理を行う形態とする場合、例えばCPU、ROM、RAM等を用いたプロセッサが、メモリ等を用いながら、プログラムに従った処理を実行することにより、機能を実現する。また、プログラムや関連するデータや情報は、HDD、DVD、SSD、SDカード等の記憶装置または記録媒体に記憶されてもよいし、外部の通信網上に記憶されてもよい。
[相互相関演算]
図40は、各実施の形態の補足として、前述の相関現像方式での相互相関演算の構成例を示す。画像処理部107は、画像センサ103からフリンジスキャン処理部106を介して入力されるセンサ画像401に、FFT402を行い、FFT後画像403を得る。一方、画像処理部107は、予め生成した現像用パターン411(例えば前述の現像用パターン801)に、FFT412を行い、FFT後現像用パターン413を得る。画像処理部107は、FFT後画像403に、FFT後現像用パターン413を畳込演算404することで、畳込後画像405を得る。画像処理部107は、畳込後画像405に逆FFT406を行うことで、復元画像407を得る。なお、画像処理部107は、撮像毎にFFT等の処理をリアルタイムで実行してもよいが、予めFFT等の処理済みのデータ(例えばFFT後現像用パターン413)を生成してメモリに保存しておき、撮像の際にそのデータを読み出して上記演算を行うようにしてもよい。これにより高速化が可能である。
図40は、各実施の形態の補足として、前述の相関現像方式での相互相関演算の構成例を示す。画像処理部107は、画像センサ103からフリンジスキャン処理部106を介して入力されるセンサ画像401に、FFT402を行い、FFT後画像403を得る。一方、画像処理部107は、予め生成した現像用パターン411(例えば前述の現像用パターン801)に、FFT412を行い、FFT後現像用パターン413を得る。画像処理部107は、FFT後画像403に、FFT後現像用パターン413を畳込演算404することで、畳込後画像405を得る。画像処理部107は、畳込後画像405に逆FFT406を行うことで、復元画像407を得る。なお、画像処理部107は、撮像毎にFFT等の処理をリアルタイムで実行してもよいが、予めFFT等の処理済みのデータ(例えばFFT後現像用パターン413)を生成してメモリに保存しておき、撮像の際にそのデータを読み出して上記演算を行うようにしてもよい。これにより高速化が可能である。
1…撮像装置、30…画素、102…撮像部、103…画像センサ、104…パターン基板、105…撮影用パターン、106…フリンジスキャン処理部、107…画像処理部、108…コントローラ、1903…受光部、140…マイクロレンズ。
Claims (12)
- 撮影用パターンに基づいて、入射される光の強度を変調する変調器と、
前記変調後の光を電気信号に変換し、センサ画像を生成する画像センサと、
前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、
を備え、
前記画像センサの面内において、前記複数の画素の各画素の受光部の中心位置と、前記マイクロレンズアレイの前記複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有し、
前記特性は、隣接する前記各画素間での前記ずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも1つ以上持つ特性である、
撮像装置。 - 請求項1記載の撮像装置において、
前記特性は、前記面内の位置に応じて前記ずれ量がランダムである特性である、
撮像装置。 - 請求項1記載の撮像装置において、
前記特性は、前記面内の位置に応じて前記ずれ量が周期的に変化する特性である、
撮像装置。 - 請求項1記載の撮像装置において、
前記センサ画像に対する現像用パターンの演算に基づいて像を復元する画像処理部を備える、
撮像装置。 - 請求項1記載の撮像装置において、
前記画像センサおよび前記変調器を制御し、前記センサ画像からノイズをキャンセルするフリンジスキャン処理部を備える、
撮像装置。 - 請求項4記載の撮像装置において、
前記画像処理部は、前記ずれ量の範囲全体を複数の範囲に分割し、前記センサ画像の画素値を、前記複数の範囲に応じて分類し、分類した画素値の画像毎に、対応する現像用パターンとの演算に基づいて現像処理を行い、現像処理後の複数の像を1つの像に合成する、
撮像装置。 - 請求項1記載の撮像装置において、
前記画像センサは、前記面内における前記複数の画素のピッチよりも、前記複数のマイクロレンズのピッチの方が大きい、
撮像装置。 - 撮影用パターンに基づいて、入射される光の強度を変調する変調器と、
前記変調後の光を電気信号に変換し、センサ画像を生成する画像センサと、
前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、
前記マイクロレンズアレイの入射側に配置されている、前記変調後の光を散乱させる散乱体と、
を備える、撮像装置。 - 撮像装置における撮像方法であって、
前記撮像装置は、
撮影用パターンに基づいて、入射される光の強度を変調する変調器と、
前記変調後の光を電気信号に変換し、センサ画像を生成する画像センサと、
前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、
を備え、
前記画像センサの面内において、前記複数の画素の各画素の受光部の中心位置と、前記マイクロレンズアレイの前記複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有し、
前記特性は、隣接する前記各画素間での前記ずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも1つ以上持つ特性であり、
前記撮像方法は、
前記変調器によって前記光の強度を変調するステップと、
前記変調器および前記マイクロレンズアレイを経由した前記変調後の光に基づいて前記画像センサによって前記センサ画像を生成するステップと、
を有する、撮像方法。 - 請求項9記載の撮像方法において、
前記センサ画像に対する現像用パターンの演算に基づいて像を復元するステップを有する、
撮像方法。 - 請求項1記載の撮像装置において、
前記画像センサおよび前記変調器を制御し、前記センサ画像からノイズをキャンセルするステップを有する、
撮像方法。 - 請求項10記載の撮像方法において、
前記像を復元するステップは、前記ずれ量の範囲全体を複数の範囲に分割し、前記センサ画像の画素値を、前記複数の範囲に応じて分類し、分類した画素値の画像毎に、対応する現像用パターンとの演算に基づいて現像処理を行い、現像処理後の複数の像を1つの像に合成するステップを含む、
撮像方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021538646A JP7183429B2 (ja) | 2019-08-08 | 2019-08-08 | 撮像装置および方法 |
US17/632,828 US11856281B2 (en) | 2019-08-08 | 2019-08-08 | Imaging device and method |
PCT/JP2019/031352 WO2021024452A1 (ja) | 2019-08-08 | 2019-08-08 | 撮像装置および方法 |
CN201980099128.9A CN114208145A (zh) | 2019-08-08 | 2019-08-08 | 摄像装置和方法 |
JP2022186275A JP2023016864A (ja) | 2019-08-08 | 2022-11-22 | 撮像装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/031352 WO2021024452A1 (ja) | 2019-08-08 | 2019-08-08 | 撮像装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021024452A1 true WO2021024452A1 (ja) | 2021-02-11 |
Family
ID=74502876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/031352 WO2021024452A1 (ja) | 2019-08-08 | 2019-08-08 | 撮像装置および方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11856281B2 (ja) |
JP (2) | JP7183429B2 (ja) |
CN (1) | CN114208145A (ja) |
WO (1) | WO2021024452A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117769841A (zh) * | 2022-07-21 | 2024-03-26 | 北京小米移动软件有限公司 | 拍摄装置以及控制方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018221019A1 (ja) * | 2017-06-01 | 2018-12-06 | 富士フイルム株式会社 | 画像処理装置、撮像システム、画像処理方法、及び記録媒体 |
WO2018221025A1 (ja) * | 2017-06-01 | 2018-12-06 | 富士フイルム株式会社 | 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006004802B4 (de) * | 2006-01-23 | 2008-09-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems |
JP6571266B2 (ja) | 2016-03-02 | 2019-09-04 | 株式会社日立製作所 | 撮像装置 |
-
2019
- 2019-08-08 WO PCT/JP2019/031352 patent/WO2021024452A1/ja active Application Filing
- 2019-08-08 CN CN201980099128.9A patent/CN114208145A/zh active Pending
- 2019-08-08 US US17/632,828 patent/US11856281B2/en active Active
- 2019-08-08 JP JP2021538646A patent/JP7183429B2/ja active Active
-
2022
- 2022-11-22 JP JP2022186275A patent/JP2023016864A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018221019A1 (ja) * | 2017-06-01 | 2018-12-06 | 富士フイルム株式会社 | 画像処理装置、撮像システム、画像処理方法、及び記録媒体 |
WO2018221025A1 (ja) * | 2017-06-01 | 2018-12-06 | 富士フイルム株式会社 | 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
CN114208145A (zh) | 2022-03-18 |
US20220272239A1 (en) | 2022-08-25 |
JPWO2021024452A1 (ja) | 2021-02-11 |
US11856281B2 (en) | 2023-12-26 |
JP2023016864A (ja) | 2023-02-02 |
JP7183429B2 (ja) | 2022-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6491332B2 (ja) | 撮像装置 | |
JP6820908B2 (ja) | 撮像装置 | |
TWI658432B (zh) | Camera | |
JP6688716B2 (ja) | 撮像装置および撮像方法 | |
WO2018055831A1 (ja) | 撮像装置 | |
CN110324513B (zh) | 摄像装置,摄像模块和摄像方法 | |
JP2023016864A (ja) | 撮像装置および方法 | |
JP6646619B2 (ja) | 撮像装置 | |
JP6920974B2 (ja) | 距離計測装置および距離計測方法 | |
JP7097787B2 (ja) | 撮像装置および撮像方法 | |
JP6864604B2 (ja) | 撮像装置 | |
JP6807281B2 (ja) | 撮像装置、撮像システム、及び撮像方法 | |
JP6947891B2 (ja) | 携帯情報端末 | |
JP6770164B2 (ja) | 撮像装置 | |
JP2019149674A (ja) | 撮像装置、撮像方法、および画像処理装置 | |
JP6636663B2 (ja) | 撮像装置及び画像生成方法 | |
JP7389195B2 (ja) | 画像生成方法 | |
JP7159118B2 (ja) | 撮像装置 | |
JP6814762B2 (ja) | 撮像装置 | |
JP2022180800A (ja) | 撮像装置 | |
JP2021064000A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19940283 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021538646 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19940283 Country of ref document: EP Kind code of ref document: A1 |