WO2018110120A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2018110120A1 WO2018110120A1 PCT/JP2017/038941 JP2017038941W WO2018110120A1 WO 2018110120 A1 WO2018110120 A1 WO 2018110120A1 JP 2017038941 W JP2017038941 W JP 2017038941W WO 2018110120 A1 WO2018110120 A1 WO 2018110120A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- lattice pattern
- pattern
- compound eye
- light
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 76
- 150000001875 compounds Chemical class 0.000 claims abstract description 68
- 238000001228 spectrum Methods 0.000 claims description 27
- 230000000007 visual effect Effects 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000011982 device technology Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 32
- 230000009467 reduction Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 239000000758 substrate Substances 0.000 description 17
- 239000011295 pitch Substances 0.000 description 16
- 238000002834 transmittance Methods 0.000 description 13
- 210000003462 vein Anatomy 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000010287 polarization Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 229910052751 metal Inorganic materials 0.000 description 7
- 239000002184 metal Substances 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 150000004770 chalcogenides Chemical class 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000009941 weaving Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4272—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having plural diffractive elements positioned sequentially along the optical path
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/18—Diffraction gratings
- G02B5/1842—Gratings for image generation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14623—Optical shielding
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
- H01L27/14685—Process for coatings or optical elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/04—Reversed telephoto objectives
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Definitions
- the present invention relates to an imaging apparatus.
- the present invention claims the priority of Japanese Patent Application No. 2016-240818 filed on December 13, 2016, and for the designated countries where weaving by reference of documents is permitted, the contents described in the application are as follows: Is incorporated into this application by reference.
- Patent Document 1 JP 2011-203792 A (Patent Document 1).
- Patent Document 1 JP 2011-203792 A (Patent Document 1).
- Patent Document 2 JP 2011-203792 A
- this publication there is a description of an imaging device that achieves a reduction in size and thickness by using a microlens array.
- the aperture of the aperture array is provided near the focal point of the light from the subject of the front microlens array, and the rear stage
- the imaging method is limited in that it requires a distance to collect light on the image sensor by using a lens and requires a space for arranging two lens arrays.
- An object of the present invention is to provide a technique related to a thin imaging device that reduces the amount of calculation by easy signal processing and expands the field of view in short-distance imaging.
- an imaging apparatus includes a modulator that has a first compound eye lattice pattern and modulates light intensity by transmitting the first compound eye lattice pattern; An image sensor that converts the light transmitted through the modulator into image data and outputs the image data; and an image processing unit that performs image processing to restore an image using the image data output from the image sensor.
- One compound eye lattice pattern includes a plurality of basic patterns, and each of the basic patterns is concentric.
- the constituent elements are not necessarily indispensable unless otherwise specified and apparently essential in principle. Needless to say.
- an imaging method has been proposed that achieves a reduction in thickness and cost by obtaining an object image without using a lens.
- an imaging method for obtaining an image of an object by pasting a special grid pattern in front of the image sensor and solving the inverse problem for developing the image from the projected pattern received by the image sensor There is.
- calculation when solving the inverse problem by signal processing becomes complicated, and the processing load is high, so that the hardware requirement specification of the information equipment becomes high.
- the present invention is aimed at enabling a reduction in thickness while keeping the processing load low.
- FIG. 1 is a diagram showing a configuration of an image pickup apparatus 101 according to the first embodiment of the present invention.
- the imaging device 101 acquires an image of an object in the outside world without using a lens that forms an image, and includes a modulator 102, an image sensor 103, and an image processing unit 106 as shown in FIG. Yes.
- the imaging device 101 is connected to an image display unit 107 having a display device or the like that displays an image, and display information on the image display unit 107 is controlled by the image processing unit 106.
- FIG. 2 shows an example of the modulator 102.
- the modulator 102 is fixed in close contact with the light receiving surface of the image sensor 103, and has a configuration in which a first grating pattern 104 and a second grating pattern 105 are formed on a grating substrate 102a.
- the lattice substrate 102a is made of a transparent material such as glass or plastic.
- the image sensor 103 side of the lattice substrate 102a is referred to as a back surface, and the opposite surface, that is, the imaging target side is referred to as a front surface.
- the lattice patterns 104 and 105 are concentric lattice patterns whose intervals, that is, the pitches of the lattice patterns are reduced in inverse proportion to the radius from the center toward the outside.
- the lattice patterns 104 and 105 are formed by evaporating a metal such as aluminum or chromium by a sputtering method used in a semiconductor process, for example. The shading is given by a pattern in which the metal is deposited and a pattern in which the metal is not deposited. Note that the formation of the lattice patterns 104 and 105 is not limited to this, and the lattice patterns 104 and 105 may be formed with light and shade by, for example, printing by an inkjet printer or the like.
- the lattice substrate 102a is a material to be imaged such as a material transparent to far-infrared such as germanium, silicon, chalcogenide, and the like.
- a material that is transparent with respect to the wavelength to be used, and a material that blocks the metal such as metal may be used for the lattice patterns 104 and 105.
- the method of forming the grating patterns 104 and 105 on the grating substrate 102a has been described. However, as shown in FIG. This can also be realized by a configuration held by 102b.
- the intensity of the light transmitted through the lattice patterns 104 and 105 is modulated by the lattice pattern, and the transmitted light is received by the image sensor 103.
- the image sensor 103 includes, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
- pixels 103a as light receiving elements are regularly arranged in a grid pattern.
- the image sensor 103 converts the optical image received by the pixel 103a into an image signal that is an electrical signal.
- the image signal output from the image sensor 103 is subjected to image processing by the image processing unit 106, which is an image processing unit, and output to the image display unit 107 and the like.
- FIG. 4 is an explanatory diagram showing an example of photographing by the imaging device 101 of FIG. FIG. 4 shows an example in which a subject 401 is photographed by the imaging device 101 and displayed on the image display unit 107.
- the surface of the modulator 102 specifically, the surface of the lattice substrate 102a on which the first lattice pattern 104 is formed faces the subject 401.
- Shooting is performed.
- FIG. 5 is a flowchart illustrating an outline of image processing by the image processing unit 106 included in the imaging apparatus 101 of FIG.
- the frequency spectrum of the moire fringe image output from the image sensor 103 is developed by a two-dimensional Fourier transform operation such as Fast Fourier Transform (FFT) for each color RGB (Red Green Blue) component. (501). Subsequently, after extracting necessary frequency domain data from the frequency spectrum obtained by the processing in step 501 (502), the intensity of the frequency spectrum is calculated (503) to obtain an image. Then, noise removal processing is performed on the obtained image (504), followed by contrast enhancement processing (505). Thereafter, the color balance of the image is adjusted (506) and output as a captured image. Thus, the image processing by the image processing unit 106 is completed.
- FFT Fast Fourier Transform
- the concentric lattice patterns 104 and 105 whose pitch is inversely proportional to the radius from the center are defined as follows. A case where a spherical wave close to a plane wave and a plane wave used as reference light are caused to interfere with each other in a laser interferometer or the like.
- the radius from the reference coordinate that is the center of the concentric circle is r
- the phase of the spherical wave is ⁇ (r)
- this is used using a coefficient ⁇ that determines the magnitude of the wavefront bend, ⁇ Formula 1> ... Formula 1 It can be expressed.
- the fourth term of the unfolding formula creates a straight strip with equal intervals in the direction of displacement of the two gratings over the entire region.
- a fringe generated at a relatively low spatial frequency by overlapping the fringes is called a moire fringe.
- Such straight equidistant fringes cause sharp peaks in the spatial frequency distribution obtained by two-dimensional Fourier transform of the detected image.
- the value of ⁇ that is, the incident angle ⁇ of the light beam can be obtained from the frequency value. It is clear that the moire fringes obtained at such uniform intervals on the entire surface are generated at the same pitch regardless of the direction of displacement, due to the symmetry of the concentric lattice arrangement.
- Such fringes can be obtained because the lattice pattern is formed by Fresnel zone plates or Gabor zone plates, but any type of moire fringes that are uniformly spaced on the entire surface can be obtained.
- a pattern may be used.
- the component having a sharp peak from Equation 5 is expressed as ⁇ Equation 6>.
- ... Formula 6 And the Fourier spectrum is ⁇ Formula 7> ... Formula 7 become that way.
- F represents a Fourier transform operation
- u and v are spatial frequency coordinates in the x and y directions
- FIG. 7 from left to right, there are shown a layout diagram of light beams and a modulator 102, moire fringes, and a schematic diagram of a spatial frequency spectrum.
- FIG. 7A shows normal incidence
- FIG. 7B shows a case where a light beam is incident from the left side at an angle ⁇
- FIG. 7C shows a case where a light beam is incident from the right side at an angle ⁇ . .
- the first grating pattern 104 formed on the front surface side of the modulator 102 and the second grating pattern 105 formed on the back surface side are aligned.
- FIG. 7A since the shadows of the first lattice pattern 104 and the second lattice pattern 105 coincide with each other, moire fringes do not occur.
- the same moiré occurs because the shift between the first lattice pattern 104 and the second lattice pattern 105 is the same, and the peak positions of the spatial frequency spectrum also coincide with each other. From the frequency spectrum, it becomes impossible to determine whether the incident angle of the light beam is as shown in FIG. 7B or FIG. 7C.
- the two grating patterns 104 and 105 are preliminarily placed on the optical axis so that the shadows of the two grating patterns are shifted and overlapped even with respect to the light beam perpendicularly incident on the modulator 102. It is necessary to shift relative to the above.
- the relative shift of the shadows of the two gratings is ⁇ 0 with respect to the normal incident plane wave on the axis
- the shift ⁇ caused by the plane wave of the incident angle ⁇ is ⁇ Formula 8> ...
- FIG. 9 is a schematic diagram for explaining the generation of moire fringes and the frequency spectrum when the first grating pattern 104 and the second grating pattern 105 are shifted from each other.
- the left side shows the arrangement of the light beam and the modulator 102
- the middle row shows the moire fringes
- the right side shows the spatial frequency spectrum.
- 9A shows a case where the light beam is perpendicularly incident
- FIG. 9B shows a case where the light beam is incident at an angle ⁇ from the left side
- FIG. 9C shows an angle from the right side. In this case, the incident light is ⁇ .
- a first grating pattern 104 and the second grating pattern 105 is disposed shifted by beforehand [delta] 0. Therefore, moire fringes are generated in FIG. 9A, and a peak appears in the spatial frequency spectrum.
- the shift amount ⁇ 0 is set so that the peak position appears at the center of the spectrum range on one side from the origin, as described above.
- the shift ⁇ is further increased, and in FIG. 9C, the shift ⁇ is decreased. Therefore, unlike FIG. 7, FIG. 9B and FIG. Can be discriminated from the peak position of the spectrum.
- This peak spectral image is a bright spot showing a light beam at infinity, and is nothing but a photographed image by the imaging device 101 of FIG.
- Equation 13 it can be seen from Equation 13 that the angle of view can be changed by the thickness t of the modulator 102 and the coefficient ⁇ of the grating patterns 104 and 105. Therefore, for example, if the modulator 102 has the configuration shown in FIG. 3 and a function capable of changing the length of the support member 102b, it is possible to change the angle of view at the time of shooting.
- the fast Fourier transform was demonstrated to the example as a method of calculating a spatial frequency spectrum from a moire fringe, it is not limited to this, It is realizable also using discrete cosine transform (DCT: Discrete Cosine Transform) etc. It is also possible to reduce the amount of calculation.
- DCT discrete cosine transform
- the transmittance distribution of the grating patterns 104 and 105 has been described on the assumption that there is a sinusoidal characteristic as shown in Equation 2, but if there is such a component as the fundamental frequency component of the grating pattern, For example, as shown in FIG. 10, it is also possible to binarize the transmittance of the lattice pattern. Further, as shown in FIG. 11, by changing the duty of the lattice region having the high transmittance and the low region, the transmittance is high. It is conceivable to increase the transmittance by widening the area. As a result, an effect such as suppression of diffraction from the grating pattern can be obtained, and deterioration of the photographed image can be reduced.
- the grating patterns 104 and 105 may be realized not by transmittance modulation but by phase modulation.
- a cylindrical lens 1201 as the lattice substrate 102a as shown in FIG. 12, an intensity modulation pattern as shown in the figure can be generated on the image sensor 103, so that imaging can be performed as in the previous discussion. It becomes.
- it can also be implemented with a phase modulation element having an equivalent effect.
- the incident light beam is only one incident angle at the same time.
- the imaging apparatus 101 it is assumed that light having a plurality of incident angles is incident simultaneously. There must be.
- Such light having a plurality of incident angles already overlaps the images of the plurality of front side gratings at the point of incidence on the back side grating pattern. If these cause moiré fringes, there is a concern that the noise may interfere with detection of moiré fringes with the second grating pattern 105, which is a signal component.
- the overlap between the images of the first lattice pattern 104 does not cause the peak of the moire image, and the peak is caused only by the overlap with the second lattice pattern 105 on the back surface side. The reason will be described below.
- the major difference is that the overlap between the shadows of the first grating pattern 104 on the surface side due to the light beams having a plurality of incident angles is not a product but a sum.
- the intensity distribution of the light that is the shadow of the first grating pattern 104 is changed to the intensity distribution of the second grating pattern 105.
- the overlap of the shadows caused by the light having different angles incident on the first grating pattern 104 on the surface side is not the product but the sum because it is the overlap of the light.
- ⁇ Formula 15> ... Formula 15 As shown, the distribution of the original Fresnel zone plate lattice is multiplied by the distribution of moire fringes. Therefore, the frequency spectrum is represented by the overlap integral of the respective frequency spectra. Therefore, even if the moiré spectrum alone has a sharp peak, in effect, only a ghost of the frequency spectrum of the Fresnel zone plate occurs at that position. That is, no sharp peak occurs in the spectrum.
- the spectrum of the moire image detected even when light of a plurality of incident angles is put is always only the moire of the product of the first grating pattern 104 on the front surface side and the second grating pattern 105 on the back surface side, As long as the second grating pattern 105 is single, only one spectrum peak is detected for one incident angle.
- FIG. 13 is an explanatory diagram for explaining angles formed by the light from the respective points constituting the object with respect to the image sensor.
- the light from each point constituting the subject 401 is a spherical wave from a point light source, and the modulator 102 and the image sensor 103 (hereinafter referred to as a grating sensor integrated substrate 1301 in FIG. 13) of the imaging apparatus 101 in FIG. Is incident on.
- the lattice sensor integrated substrate is sufficiently small or sufficiently distant from the subject 401, it can be considered that the incident angle of light illuminating the lattice sensor integrated substrate is the same from each point.
- FIG. 14 shows a state of projection onto the back surface of the first lattice pattern 104 on the front surface side in the case of infinity described above.
- the spherical wave from the point 1401 constituting the object at infinity becomes a plane wave while propagating a sufficiently long distance, irradiates the first lattice pattern 104 on the surface side, and the projected image 1402 is projected on the lower surface.
- the projected image has substantially the same shape as the first lattice pattern 104.
- the projected image 1402 by multiplying the projected image 1402 by the transmittance distribution of the back side lattice pattern (corresponding to the second lattice pattern 105 in FIG. 2), linear moire fringes at equal intervals can be obtained ( FIG. 15).
- FIG. 16 is an explanatory diagram showing that the projection onto the back surface of the first grid pattern 104 on the front surface side is enlarged from the first grid pattern 104 when the object to be imaged is at a finite distance.
- a spherical wave from a point 1601 constituting the object irradiates the first lattice pattern 104 on the surface side, and the projected image 1602 is projected on the lower surface, the projected image is almost one. Will be enlarged.
- the enlargement factor ⁇ is obtained by using the distance f from the first lattice pattern 104 to the point 1601.
- ⁇ Formula 17> ... Formula 17 It can be calculated as follows.
- the first grating pattern 104 and the second grating pattern 105 having the same shape are formed on the front and back surfaces of the grating substrate 102a so as to be shifted from each other, thereby changing the angle of incident parallel light to the space of the moire fringes.
- the image was developed as detected from the frequency spectrum.
- the second lattice pattern 105 on the back surface side is an optical element that modulates the intensity of light incident in close contact with the image sensor 103, and is the same lattice pattern regardless of incident light. Therefore, as shown in FIG. 19, a modulator 1901 from which the second lattice pattern 105 is removed is used, and processing corresponding to the second lattice pattern 105 is executed by the intensity modulation unit 1903 in the image processing unit 1902. Also good.
- FIG. 20 shows details of the configuration of the modulator 1901 at this time.
- one surface of the lattice pattern formed on the lattice substrate 102a can be reduced.
- the manufacturing cost of the modulator can be reduced, and the light utilization efficiency can be further improved.
- FIG. 21 is a flowchart showing an outline of image processing by the image processing unit 1902 of FIG.
- the flowchart in FIG. 21 is different from the flowchart in FIG.
- the above-described intensity modulation unit 1903 generates a moire fringe image corresponding to the transmission of the lattice pattern 105 on the back side of the image output from the image sensor 103.
- the intensity modulation unit 1903 generates the back side lattice pattern 105 and multiplies the image of the image sensor 103. Further, if the lattice pattern 105 on the back surface side is a binarized pattern as shown in FIGS.
- the pitch of the pixels 103a included in the image sensor 103 is fine enough to reproduce the pitch of the first lattice pattern 104, or the pitch of the first lattice pattern 104 is reproduced at the pitch of the pixel 103a. It needs to be as rough as possible.
- the pitch of the lattice pattern does not necessarily need to be resolved by the pixel 103a of the image sensor 103, and only the moire image needs to be resolved.
- the resolution of the lattice pattern and the image sensor 103 needs to be equal.
- the processing corresponding to the second grating pattern 105 is realized by the intensity modulation unit 1903, but the second grating pattern 105 is an optical element that modulates the intensity of incident light in close contact with the sensor. It can also be realized by effectively setting the sensitivity of the sensor in consideration of the transmittance of the second grating pattern 105.
- Equation 19 is shown in the form of integration, but the same effect can be obtained by actually calculating the total sum of the combinations of ⁇ F and ⁇ B.
- ⁇ F and ⁇ B may be set so as to equally divide the angle between 0 and 2 ⁇ , and are divided into four equal parts such as ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ , ⁇ 0, ⁇ / 3 It may be divided into three equal parts such as 2 ⁇ / 3 ⁇ .
- Equation 19 can be simplified.
- the calculation is performed so that ⁇ F and ⁇ B can be changed independently.
- the noise term can be canceled.
- Formula 20 the noise term is canceled and a term that is a constant multiple of the single frequency remains.
- ⁇ may be set so as to equally divide the angle between 0 and 2 ⁇ , and may be equally divided into four as ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ .
- the noise term can be canceled and further simplified without dividing into equal parts.
- the first lattice pattern 104 and the second lattice pattern 105 separate the two developed images generated in the spatial frequency space by shifting ⁇ 0 in advance.
- this method has a problem that the number of pixels of the developed image is halved. Therefore, a method for avoiding duplication of developed images without shifting ⁇ 0 will be described.
- ⁇ Equation 23> ... Formula 23 As shown below, the calculation is performed on the complex plane using exp. This cancels the noise term and leaves a term that is a constant multiple of the single frequency. If exp (2i ⁇ x) in Equation 23 is Fourier transformed, ⁇ Formula 24> ... Formula 24 Thus, it can be seen that a single developed image can be obtained without generating two peaks as in Equation 7. Thus, it is not necessary to shift the grid patterns 104 and 105, and the number of pixels can be used effectively.
- FIGS. 1-10 A configuration for performing the noise canceling method based on the above fringe scan will be described with reference to FIGS.
- fringe scanning it is necessary to use a plurality of patterns having different initial phases as at least the grating pattern 104.
- FIG. 22 shows a configuration for realizing time-division fringe scanning.
- the modulator 2201 is, for example, a liquid crystal display element that can electrically switch and display a plurality of initial phases shown in FIG.
- the initial phase ⁇ F or ⁇ is ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ , respectively.
- FIG. 24 shows an example of electrode arrangement in the liquid crystal display element of the modulator 2201 that realizes this. Concentric electrodes are configured so that one period of the lattice pattern is divided into four. Every four electrodes are connected from the inside, and four electrodes are drawn out as drive terminals from the outer periphery.
- the initial phase ⁇ F or ⁇ of the lattice pattern is as shown in FIGS. Can be switched to ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ .
- the electrode to which “1” indicated by shading is shielded from light, and the electrode to which “0” indicated by white is transmitted corresponds to light transmission.
- FIG. 25 shows a flowchart showing an outline of image processing in the image processing unit 2203.
- the flowchart in FIG. 25 differs from the flowchart in FIG. 21 in the processing of steps 2501 to 2504.
- the addition result is reset at the beginning of the fringe scan calculation (2501).
- the same initial phase as that of the lattice pattern 104 used for photographing is set (2502), and the lattice pattern 105 having the initial phase is generated and multiplied by the image of the image sensor 103. (2101). This result is added for each initial phase pattern (2503).
- the above steps 2502 to 2503 are repeated for all initial phase patterns (2504).
- Subsequent processing is the same as the processing of FIG. 21, and thus the description thereof is omitted here.
- the said flow demonstrated the formula 20 as an example, it is possible to apply to the formulas 19, 22, and 23 similarly.
- FIG. 26 shows a configuration for realizing the space division fringe scan.
- the modulator 2601 has a configuration in which a plurality of initial phase patterns are two-dimensionally arranged, for example, such that the initial phase ⁇ F or ⁇ in FIG. 27 is a pattern of ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ , respectively. is there.
- the image dividing unit 2602 divides the output of the image sensor 103 into regions corresponding to the pattern arrangement of the modulator 2601 and sequentially transmits them to the image processing unit. In the example of FIG. 26, the image sensor output is divided into 4 areas of 2 ⁇ 2 in the vertical direction.
- the modulator 2601 Since the fringe scan based on Equation 20 requires 4 phases, the modulator 2601 has 2 ⁇ 2 in the vertical direction. However, the fringe scan based on Equation 22 can be realized in 2 phases, so the modulator 2601 has 1 ⁇ 2 in the vertical direction. This can also be realized by pattern arrangement, and the image sensor output is also divided into 1 ⁇ 2 horizontal regions accordingly.
- the subsequent processing of the image processing unit 2203 is the same as the processing of FIG. 22 that is time-division fringe scanning, and thus the description thereof is omitted.
- space-division fringe scan it is not necessary to perform electrical switching as in the case of the time-division fringe scan modulator 2201, and the modulator can be manufactured at low cost.
- space division fringe scanning when space division fringe scanning is used, the resolution is effectively reduced because the image is divided. Therefore, time division fringe scanning is suitable when the resolution needs to be increased.
- FIG. 28 is an explanatory diagram showing the spread angle (scattering angle) ⁇ s of light from a certain point of the object when the object to be imaged is at a short distance.
- the diameter B of the irradiation region in the first lattice pattern 104 is determined using the scattering angle ⁇ s.
- f is the distance from the point 2801 to the first lattice pattern 104. In this way, only the irradiation area of the first lattice pattern 104 can be used during close-up photography. In reality, the scattered light intensity gradually attenuates as the scattering angle increases, but in FIG. 28, it is assumed that the scattered light reaches only the irradiated region for the sake of simplicity.
- the first lattice pattern 104 is a concentric lattice pattern in which the pitch of the stripes becomes narrower from the center toward the end, the distance from the center of the first lattice pattern 104 increases, for example, as indicated by a point 2803.
- the pitch of the stripes becomes narrower.
- the projected image of the stripes with a narrow pitch is likely to be buried in noise because the contrast on the image sensor 103 is lowered due to the influence of diffraction or the like, and development is difficult. From the above, it is possible to image points near the center of the first lattice pattern 104 such as points 2801 and 2802, but imaging becomes difficult as the distance from the center increases as point 2803, and the imageable range (field of view) is large. Will be limited.
- FIG. 29 is a diagram illustrating a configuration example of wide field of view by a compound eye lattice pattern.
- FIG. 29 shows a configuration capable of enlarging the field of view in proximity imaging.
- FIG. 29 differs from FIG. 19 in that a first compound eye lattice pattern 2902 in which a plurality of basic patterns 2903 are arranged is used as the first lattice pattern 104, and that an image dividing unit 2904 and an image processing unit 2905 are provided.
- FIG. 30 shows an example of the first compound eye lattice pattern 2902.
- the first compound eye lattice pattern 2902 can be realized by arranging the basic patterns 2903 composed of concentric lattice patterns on a plane parallel to the image sensor without overlapping three vertical and three horizontal.
- the first compound eye lattice pattern 2902 is a pattern composed of basic patterns arranged in three vertical rows and three horizontal rows.
- the present invention is not limited to this. You may change suitably according to the distance of this.
- FIG. 31 shows a field of view by a compound eye lattice pattern.
- the initial phase ⁇ of the concentric lattice pattern constituting each basic pattern 2903 may be arbitrary. Further, although the single image sensor 103 is used in the configuration of FIG. 29, a plurality of image sensors 103 may be used side by side.
- the light beam from the point 3103 passes through the adjacent basic pattern 3102 and enters the range C.
- the basic pattern 3101 information on the adjacent basic pattern 3102 becomes noise. In this way, crosstalk occurs due to light rays incident through different basic patterns.
- FIG. 33A and FIG. 33B are flowcharts showing an outline of image processing by the image processing unit 2905.
- the flowchart in FIG. 33A differs from that in FIG. 21 in the processing of step 3301 and step 3302.
- the image dividing unit 2904 divides the sensor image acquired by the image sensor 103 according to the basic pattern 2903 arrangement (3301). Thereafter, processing similar to that of FIG. 21 is performed up to step 504, and in step 3302, the output images of step 504 are rearranged and combined in accordance with the division in step 3301. The subsequent processing is the same as the processing in FIG.
- the back side lattice pattern used in the processing of step 2101 is either a monocular first lattice pattern composed of a single basic pattern 2903 or a compound eye pattern similar to the compound eye first compound eye lattice pattern 2902. good.
- FIG. 33B is different from the flowchart in FIG. 33A in the timing of dividing the output image.
- step 3301 of FIG. 33A is not performed, and the output image after the processing of step 504 is divided according to the arrangement of the basic pattern 2903 (3303), rearranged and combined (3302).
- FIG. 29 has been described based on FIG. 19, but it is also possible to cancel noise by fringe scanning by similarly applying to other configurations such as FIG.
- Example 2 Crosstalk reduction by light shielding plate>
- a method of reducing crosstalk generated from adjacent basic patterns in the first compound eye lattice pattern 2902 by a light shielding plate will be described.
- crosstalk is reduced by appropriately setting t (the thickness of the modulator 102) and q m (the distance between the centers of concentric circles of adjacent basic patterns). In some cases, the degree of design freedom of the vessel is limited.
- Crosstalk can also be reduced by inserting a light shielding plate.
- FIG. 34 shows the principle of crosstalk reduction by the light shielding plate. A light beam from the point 3103 that becomes noise for imaging by the basic pattern 3101 can be removed by inserting a light shielding plate 3401.
- FIG. 35 is an explanatory diagram of a configuration for realizing crosstalk reduction by the light shielding plate.
- a light shielding plate 3502 is inserted into the modulator 3501.
- the light shielding plate needs to be made of a material that does not transmit a wavelength to be photographed.
- a black plastic plate or metal plate may be used, and for far infrared light, an acrylic plate or metal plate may be used.
- the light shielding plate 3502 is arranged so as to be divided into regions U having the basic pattern 2903 as a unit.
- FIG. 36 shows the principle of crosstalk reduction using a polarizing plate.
- the modulator 2901 is sandwiched between polarizing plates 3601 to 3604.
- the polarizing axes of adjacent polarizing plates such as the polarizing plate 3601 and the polarizing plate 3602 are orthogonal to each other, and the polarizing axes of the opposing polarizing plates such as the polarizing plate 3601 and the polarizing plate 3603 are aligned.
- the light beam from the point 3605 to be imaged by the basic pattern 3101 passes through the polarizing plate 3601 and the polarizing plate 3603, and the light beams reach the image sensor 103 because the polarization axes of the two polarizing plates are parallel to each other. .
- FIG. 37 is an explanatory diagram of a configuration for realizing crosstalk reduction by a polarizing plate.
- a modulator 2901 is sandwiched between a first polarizing plate 3701 and a second polarizing plate 3702.
- the first polarizing plate 3701 is disposed close to the first compound eye lattice pattern 2902, and the second lattice pattern is disposed close to the image sensor 103.
- the first polarizing plate 3701 is disposed on the front surface side of the modulator 2901, but may be disposed on the back surface side of the first compound eye lattice pattern 2902.
- FIG. 37B shows examples of polarizing plates 3701 and 3702.
- the polarizing plate 3701 includes a plurality of polarizing plates, and is disposed so that the polarizing axes of adjacent polarizing plates such as the polarizing plate 3601 and the polarizing plate 3602 are orthogonal to each other.
- the size of the polarizing plate 3601 is the same size as the basic pattern 2903 of the first compound eye lattice pattern 2902 and is arranged in accordance with the arrangement of the basic pattern 2903.
- the first compound eye lattice pattern 2902 is a pattern composed of an arrangement of 3 vertical ⁇ 3 basic patterns.
- the present invention is not limited to this. You may change suitably according to distance etc.
- the polarizing plate of the liquid crystal display element may be the polarizing plate 3603 constituting the first polarizing plate 3601.
- the polarizing plates such as the polarizing plate 3601 and the polarizing plate 3603 are arranged so that the polarizing axes of the opposing polarizing plates are aligned.
- the present invention is not limited to this, and the polarization plane rotates depending on the material of the modulator 2901.
- the inclination of the polarization axis may be set so that the amount of light transmitted through the opposing polarizing plate is maximized or the amount of crosstalk light is minimized.
- FIG. 38 shows a configuration for realizing crosstalk cancellation using time-division fringe scanning.
- FIG. 38 differs from FIG. 22 in that a first compound eye lattice pattern 3802 is used as the first lattice pattern, and an image dividing unit 3806 and an image processing unit 3805 are provided.
- the first compound eye lattice pattern 3802 is arranged so that the initial phases ⁇ of the basic patterns 3803 and 3804 adjacent vertically and horizontally are shifted by ⁇ / 2.
- FIG. 39 shows combinations of basic patterns 3803 and 3804 in FIG.
- basic patterns 3803 and 3804 are set as basic patterns 3901 and 3902, respectively.
- ⁇ F1 and ⁇ F2 are set to ⁇ 0, ⁇ / 2 ⁇ , ⁇ / 2, ⁇ , so that the phase difference between the initial phases ⁇ F1 and ⁇ F2 is ⁇ / 2.
- a combination such as ⁇ , 3 ⁇ / 2 ⁇ , ⁇ 3 ⁇ / 2, 2 ⁇ is used.
- the initial phase [Phi B1 and [Phi B2 of the basic pattern 3903,3904 constituting the compound-eye grating pattern of the back side so that the phase difference of the initial phase [Phi B1 and [Phi B2 becomes ⁇ / 2, ⁇ 0, ⁇ / 2 ⁇ , ⁇ / 2, ⁇ , ⁇ , 3 ⁇ / 2 ⁇ , ⁇ 3 ⁇ / 2, 2 ⁇ , etc.
- crosstalk can be canceled by performing a fringe scan operation according to Equation 19.
- the projection image of the basic pattern 3901 is developed by the basic pattern 3903, but the initial phase difference ( ⁇ F1 ⁇ F3 ) of this pattern is 0, and the cos term in Equation 19 is 1.
- the initial phase difference ( ⁇ F1 ⁇ F3 ) is ⁇ / 2
- the cos term in Equation 19 is 0. Canceled. Therefore, crosstalk cancellation is possible by a combination of initial phases of the front-side compound eye lattice pattern and the back-side compound eye lattice pattern.
- FIG. 40 shows an example of the first compound eye lattice pattern 3802.
- the first compound eye lattice pattern 3802 having different initial phases of the basic patterns 3803 and 3804 is switched and used.
- the switching method is the same as the time-division fringe scanning method described in the first embodiment, and thus the description thereof is omitted.
- FIG. 41 shows an example of the first compound eye lattice pattern. Since the first compound eye lattice pattern 4101 realizes a space division fringe scan, the basic pattern 4102 includes division patterns 4103 and 4104 each having four initial phases. Further, in order to realize crosstalk cancellation, the division patterns 4103 and the division patterns 4104 adjacent to each other are arranged such that the initial phases of the division patterns adjacent vertically and horizontally are shifted by ⁇ / 2. In this combination, if the fringe scan calculation according to Equation 19 is performed, crosstalk can be canceled as described above.
- the basic patterns constituting the first compound eye lattice pattern are arranged so that adjacent ones do not overlap with each other.
- the adjacent basic patterns overlap. May be.
- Example 5 Combined use of crosstalk cancellation and polarizing plate>
- the crosstalk cancellation of Example 4 and the crosstalk reduction method using the polarizing plate of Example 3 were used in combination, and the first compound eye lattice pattern A method for reducing the crosstalk generated from the adjacent pattern will be described.
- Example 4 shows an example in which a polarizing plate is used in combination.
- FIG. 42 is an explanatory diagram showing a method of reducing crosstalk by using crosstalk cancellation using time-division fringe scanning and a polarizing plate in combination.
- FIG. 42 is different from FIG. 38 in that it includes two polarizing plates, a first polarizing plate 4201 and a second polarizing plate 4202.
- the first polarizing plate 4201 is disposed in the vicinity of the first compound eye lattice pattern 3802, and the second polarizing plate 4202 is disposed in the vicinity of the image sensor 103.
- the second polarizing plate 4202 is the same as the first polarizing plate 4201 and is arranged so that the polarization directions of the polarizing plates are aligned.
- the first polarizing plate 4201 is disposed on the front surface side of the modulator 3801, but may be disposed on the back surface side of the first compound eye lattice pattern 3802.
- FIG. 43 shows examples of polarizing plates 4201 and 4202.
- FIG. 43 differs from the polarizing plates 3701 and 3702 described with reference to FIG. This is the point of size.
- the first compound eye lattice pattern 3802 is a pattern composed of 2 ⁇ 2 basic patterns, so that the polarizing plates 4201 and 4202 are equivalent to 2 ⁇ 1 horizontal pattern of the basic pattern. It becomes size.
- the polarization axis of the adjacent polarizing plate 4203 is orthogonal to the polarizing axes of the polarizing plates 4201 and 4202. Crosstalk is reduced by the orthogonal polarization axes.
- the configuration in which the basic patterns are arranged in a lattice shape has been described as an example.
- the present invention is not limited to this, and the adjacent basic patterns may be arranged so as to have a 60-degree positional relationship like a honeycomb structure. Good. Even in such a case, crosstalk can be reduced by setting the initial phase difference between adjacent basic patterns to ⁇ / 2, or by arranging the polarization axes of adjacent polarizing plates to be orthogonal to each other.
- the polarizing plate of the liquid crystal display element may be the polarizing plate 4203 constituting the first polarizing plate 4201.
- the crosstalk cancellation using the spatial division fringe scan and the reduction of the crosstalk by using the polarizing plate can be realized.
- Example 6 Application Example to Vein Imaging>
- a finger vein imaging method for application to a finger vein authentication apparatus will be described.
- FIG. 44 is an explanatory diagram showing the configuration and optical path of an imaging device for securing a field of view sufficient for finger vein authentication.
- q m is the distance between the centers of the basic patterns constituting the first compound eye lattice pattern 4401
- n is the number of basic patterns in a certain direction
- f is the distance from the subject 4402 to the first compound eye lattice pattern 4401.
- Field A s of each basic pattern is represented by formula 26.
- the image sensor 103 is not a single sensor, but a plurality of sensors can be arranged to increase the sensor size.
- the visual field necessary for finger vein authentication can be acquired. Further, although crosstalk occurs in the above method, it can be reduced by using the above-described crosstalk reduction method.
- FIG. 45 shows an example of a finger vein authentication device.
- FIG. 45 includes a compound eye lattice pattern (front side) 4501, a light source 4503, and an image sensor 4502.
- the light source 4503 uses near-infrared light having a wavelength of around 850 nm and the reflected light from the finger is acquired by the image sensor 4502. Note that the arrangement may be such that transmitted light is acquired by the image sensor 4502. Finger vein imaging can be realized with such an apparatus.
- a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
- Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
- Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
- Information such as programs, tables, and files for realizing each function is stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
- a RAM Random Access Memory
- CPU Central Processing Unit
- control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
- each of the above-described configurations, functions, processing units, and the like may be realized in a distributed system by executing a part or all of them by, for example, another device and performing integrated processing via a network.
- DESCRIPTION OF SYMBOLS 101 ... Imaging device, 102 ... Modulator, 102a ... Lattice substrate, 102b ... Support member, 103 ... Image sensor, 103a ... Pixel, 106 ... Image processing part, 107 ... Image display unit, 104 ... Grid pattern (front side), 105 ... Grid pattern (back side), 401 ... Subject, 1201 ... Cylindrical lens, 1301 ... Grid sensor integrated substrate, 1401 ... Point, 1402 ... Projected image, 1601 ... Point, 1602 ... Projected image, 1901 ... Modulator, 1902 ... Image processing unit, 1903 ... Intensity modulation unit, 2201 ..
- Modulator 2202 Modulator control unit 2203 Image processing unit 2601 Modulator 2602 Image dividing unit 2801 Point 2802 Point 2803 ⁇ ⁇ Point, 2901 ... modulator, 2902 ... compound eye lattice pattern (front side), 2903 ... lattice pattern, 2904 ... image dividing unit, 2905 ... image processing unit, 3101 ... lattice pattern, 3102 ... Lattice pattern, 3103 ... Point, 3401 ... Light shielding plate, 3501 ... Modulator, 3502 ... Light shielding plate, 3601 ... Polarizing plate, 3602 ... Polarizing plate, 3603 .. Polarizing plate, 3604... Polarizing plate, 3605..., 3701... Polarizing plate, 3702...
- Polarizing plate 3801. 3803 ... Grid pattern, 3804 ... Grid pattern, 3805 ... Image processing unit, 3806 ... Image dividing unit, 3901 ... Grid pattern, 3902 ... Grid pattern, 3 03 ... lattice pattern, 3904 ... lattice pattern, 4101 ... compound eye lattice pattern, 4102 ... lattice pattern, 4103 ... lattice pattern, 4104 ... lattice pattern, 4201 ... polarizing plate, 4202 ... Polarizing plate, 4203 ... Polarizing plate, 4401 ... Compound eye lattice pattern (front side), 4402 ... Subject, 4403 ... Grid pattern, 4501 ... Compound eye lattice pattern (front side), 4502 ... Image sensor, 4503 ... Light source
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Diffracting Gratings Or Hologram Optical Elements (AREA)
- Polarising Elements (AREA)
- Image Input (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
容易な信号処理により演算量を低減し、近距離の撮像において視野を拡大する薄型の撮像装置の技術を提供する。 撮像装置であって、第1の複眼格子パターンを有し、第1の複眼格子パターンを透過させることで光の強度を変調する変調器と、変調器を透過した光を画像データに変換して出力する画像センサと、画像センサから出力される画像データを用いて像を復元する画像処理を行う画像処理部と、を備え、第1の複眼格子パターンは、複数の基本パターンを含んで構成され、それぞれの基本パターンは、同心円状である、ことを特徴とする。
Description
本発明は、撮像装置に関する。本発明は2016年12月13日に出願された日本国特許の出願番号2016-240818の優先権を主張し、文献の参照による織り込みが認められる指定国については、その出願に記載された内容は参照により本出願に織り込まれる。
本技術分野の背景技術として、特開2011-203792号公報(特許文献1)がある。この公報には、マイクロレンズアレイを用いることにより小型・薄型化を実現する撮像装置についての記載がある。
上記特許文献1に記載された技術では、「前段のマイクロレンズアレイと絞りアレイとを対向させ、前段のマイクロレンズアレイの被写体からの光の焦点近傍に絞りアレイの絞りを設けて、更に後段のマイクロレンズアレイによって光の集束も同時に行う」ことで、「光学系を小さくし、小型・薄型の指静脈認証装置を実現することが出来る」撮像方式である。該撮像方式は、レンズを用いることにより画像センサ上への集光に距離が必要である点と、2つのレンズアレイを配置する空間が必要である点が、薄型化の限界となっている。
本発明の課題は、容易な信号処理により演算量を低減し、近距離の撮像において視野を拡大する薄型の撮像装置に係る技術を提供することである。
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る撮像装置は、第1の複眼格子パターンを有し、上記第1の複眼格子パターンを透過させることで光の強度を変調する変調器と、上記変調器を透過した光を画像データに変換して出力する画像センサと、上記画像センサから出力される画像データを用いて像を復元する画像処理を行う画像処理部と、を備え、上記第1の複眼格子パターンは、複数の基本パターンを含んで構成され、それぞれの上記基本パターンは、同心円状である。
本発明によれば、容易な信号処理により演算量を低減し、近距離の撮像において視野を拡大する薄型の撮像装置の技術を提供できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の実施例について図面を用いて説明する。
一般に、車載カメラ、ウェアラブルデバイス、スマートフォンなどの情報機器に搭載するデジタルカメラには薄型化と低コスト化が求められることが多い。例えば、レンズを用いることなく物体像を得ることで薄型化と低コスト化を実現する撮像方式が提案されている。そのような技術では、画像センサの前に特殊な格子パターンを貼り付け、その画像センサにて受光される射影パターンから像を現像するための逆問題を解くことにより、物体の像を得る撮像方式がある。この方式では、信号処理により逆問題を解く際の演算が複雑になり、処理負荷が高いために、情報機器のハードウェア要求仕様が高くなってしまう。本発明は、処理負荷を低く抑えつつ、薄型化を可能とすることをねらいとしている。
〈無限遠物体の撮影原理〉図1は、本発明の第一の実施形態に係る撮像装置101の構成を示す図である。撮像装置101は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図1に示すように、変調器102、画像センサ103、および画像処理部106から構成されている。また、撮像装置101は、画像を表示するディスプレイ装置等を有する画像表示部107と接続され、画像処理部106により画像表示部107の表示情報は制御される。
図2に変調器102の一例を示す。変調器102は、画像センサ103の受光面に密着して固定されており、格子基板102aに第1の格子パターン104、第2の格子パターン105がそれぞれ形成された構成からなる。格子基板102aは、例えばガラスやプラスティックなどの透明な材料からなる。以降、格子基板102aの画像センサ103側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。この格子パターン104、105は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。格子パターン104,105は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。金属が蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。なお、格子パターン104,105の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。さらに、ここでは可視光を例に説明したが、例えば遠赤外線の撮影を行う際には、格子基板102aは例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料、格子パターン104,105には金属等の遮断する材料を用いればよい。
なお、ここでは変調器102を実現するために、格子パターン104,105を格子基板102aに形成する方法について述べたが、図3に示すように格子パターン104,105を薄膜に形成し、支持部材102bにより保持する構成などによっても実現できる。
格子パターン104,105を透過する光は、その格子パターンによって光の強度が変調され、透過した光は画像センサ103にて受光される。画像センサ103は、例えばCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどからなる。
画像センサ103の表面には、受光素子である画素103aが格子状に規則的に配置されている。この画像センサ103は、画素103aが受光した光画像を電気信号である画像信号に変換する。画像センサ103から出力された画像信号は、画像処理部である画像処理部106によって画像処理されて画像表示部107などに出力される。
図4は、図1の撮像装置101による撮影の一例を示す説明図である。この図4では、撮像装置101によって被写体401を撮影して画像表示部107に表示している例を示している。図示するように、被写体401を撮影する際には、被写体401に対して変調器102における表面、具体的には第1の格子パターン104が形成されている格子基板102aの面が正対するようにして撮影が行われる。
続いて、画像処理部106による画像処理の概略について説明する。図5は、図1の撮像装置101が有する画像処理部106による画像処理の概略を示すフローチャートである。
まず、画像センサ103から出力されるモアレ縞画像に対して、カラーのRGB(Red Green Blue)成分ごとに高速フーリエ変換(FFT:Fast Fourier Transform)などの2次元フーリエ変換演算による現像処理で周波数スペクトルを求める(501)。続いて、ステップ501の処理による周波数スペクトルのうち必要な周波数領域のデータを切り出した後(502)、該周波数スペクトルの強度計算を行う(503)ことによって画像を取得する。そして、得られた画像に対してノイズ除去処理を行い(504)、続いてコントラスト強調処理(505)などを行う。その後、画像のカラーバランスを調整して(506)撮影画像として出力する。以上により、画像処理部106による画像処理が終了となる。
続いて、撮像装置101における撮影原理について説明する。まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン104,105は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をrとし、そこでの球面波の位相をΦ(r)とするとき、これを波面の曲がりの大きさを決める係数βを用いて、
<式1>
・・・式1
と表せる。
<式1>
・・・式1
と表せる。
球面波にもかかわらず、半径rの2乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、
<式2>
・・・式2
のような干渉縞の強度分布が得られる。これは、
<式3>
・・・式3
を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをpとすると、
<式4>
・・・式4
が得られ、ピッチは、半径に対して反比例して狭くなっていくことがわかる。このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。式2で定義される強度分布に比例した透過率分布をもった格子パターンを、図1に示した格子パターン104,105として用いる。
<式2>
・・・式2
のような干渉縞の強度分布が得られる。これは、
<式3>
・・・式3
を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをpとすると、
<式4>
・・・式4
が得られ、ピッチは、半径に対して反比例して狭くなっていくことがわかる。このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。式2で定義される強度分布に比例した透過率分布をもった格子パターンを、図1に示した格子パターン104,105として用いる。
このような格子パターンが両面に形成された厚さtの変調器102に、図6に示すように角度θ0で平行光が入射したとする。変調器102中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、δ=t・tanθだけずれて裏面に入射し、仮に2つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、
<式5>
・・・式5
ような強度分布が得られる。
<式5>
・・・式5
ような強度分布が得られる。
この展開式の第4項が、2つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の2次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであるが、全面で一様に等間隔なモアレ縞が得られるのであればどのような格子パターンを使用してもよい。
ここで、式5から鋭いピークを持つ成分のみを
<式6>
・・・式6
のように取り出すと、そのフーリエスペクトルは、
<式7>
・・・式7
のようになる。ここで、Fはフーリエ変換の演算を表し、u、vは、x方向およびy方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがu=±δβ/πの位置に生じることがわかる。
ここで、式5から鋭いピークを持つ成分のみを
<式6>
・・・式6
のように取り出すと、そのフーリエスペクトルは、
<式7>
・・・式7
のようになる。ここで、Fはフーリエ変換の演算を表し、u、vは、x方向およびy方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがu=±δβ/πの位置に生じることがわかる。
その様子を図7に示す。図7において、左から右にかけては、光線と変調器102の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示している。図7(a)は、垂直入射、図7(b)は、左側から角度θで光線が入射する場合、図7(c)は、右側から角度θで光線が入射する場合をそれぞれ示している。
変調器102の表面側に形成された第1の格子パターン104と裏面側に形成された第2の格子パターン105とは、軸がそろっている。図7(a)では、第1の格子パターン104と第2の格子パターン105との影が一致するのでモアレ縞は生じない。
図7(b)および図7(c)では、第1の格子パターン104と第2の格子パターン105とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図7(b)の場合なのか、あるいは図7(c)の場合なのかを判別することができなくなる。
これを避けるためには、例えば図8に示すように、変調器102に垂直に入射する光線に対しても2つの格子パターンの影がずれて重なるようあらかじめ2つの格子パターン104,105を光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して2つの格子の影の相対的なずれをδ0とするとき、入射角θの平面波によって生じるずれδは、
<式8>
・・・式8
のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では
<式9>
・・・式9
の位置となる。画像センサの大きさをS、画像センサのx方向およびy方向の画素数を共にNとすると、2次元フーリエ変換による離散画像の空間周波数スペクトルは、-N/(2S)から+N/(2S)の範囲で得られる。このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波(θ=0)によるモアレ縞のスペクトルピーク位置は、原点(DC:直流成分)位置と、例えば+側端の周波数位置との中央位置、すなわち、
<式10>
・・・式10
の空間周波数位置とするのが妥当である。したがって、2つの格子の相対的な中心位置ずれは、
<式11>
・・・式11
とするのが妥当である。
<式8>
・・・式8
のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では
<式9>
・・・式9
の位置となる。画像センサの大きさをS、画像センサのx方向およびy方向の画素数を共にNとすると、2次元フーリエ変換による離散画像の空間周波数スペクトルは、-N/(2S)から+N/(2S)の範囲で得られる。このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波(θ=0)によるモアレ縞のスペクトルピーク位置は、原点(DC:直流成分)位置と、例えば+側端の周波数位置との中央位置、すなわち、
<式10>
・・・式10
の空間周波数位置とするのが妥当である。したがって、2つの格子の相対的な中心位置ずれは、
<式11>
・・・式11
とするのが妥当である。
図9は、第1の格子パターン104と第2の格子パターン105とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。図7と同様にして、左側は光線と変調器102の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図9(a)は、光線が垂直入射の場合であり、図9(b)は、光線が左側から角度θで入射する場合であり、図9(c)は、光線が右側から角度θで入射する場合である。
第1の格子パターン104と第2の格子パターン105とは、あらかじめδ0だけずらして配置されている。そのため、図9(a)でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ0は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図9(b)では、ずれδがさらに大きくなる方向、図9(c)では、小さくなる方向となっているため、図7と異なり、図9(b)と図9(c)との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図1の撮像装置101による撮影像にほかならない。
一般的なレンズを用いた結像との類推から、画角θmaxの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置101の実効的な焦点距離は、
<式14>
・・・式14
に相当すると考えることができる。
<式14>
・・・式14
に相当すると考えることができる。
ここで、式13より画角は変調器102の厚さt、格子パターン104,105の係数βによって変更可能であることが判る。よって、例えば変調器102が図3の構成であり支持部材102bの長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。
なお、モアレ縞から空間周波数スペクトルを算出する方法として高速フーリエ変換を例に説明したが、これに限定されるものではなく、離散コサイン変換(DCT:Discrete Cosine Transform)などを使用しても実現可能であり、さらに演算量を削減することも可能である。
また、格子パターン104,105の透過率分布は、式2で示したように正弦波的な特性があることを想定して説明したが、格子パターンの基本周波数成分としてそのような成分があればよく、例えば図10に示すように格子パターンの透過率を2値化することも可能であり、さらに図11のように透過率が高い格子領域と低い領域のdutyを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。これにより、格子パターンからの回折を抑圧するなどの効果も得られ、撮影像の劣化を低減可能である。
また、格子パターン104,105は透過率変調でなく、位相変調で実現してもよい。例えば図12に示すように格子基板102aをシリンドリカルレンズ1201とすることにより、画像センサ103上に図に示すような強度変調パターンを生じさせることができるため、今までの議論と同様に撮像が可能となる。これにより格子パターン104の遮蔽部による光量損失を低減でき、光利用効率を向上させることができる上、格子パターンからの回折を抑圧する効果も得られる。図12ではレンズとして実現したが、同等の効果を持つ位相変調素子で実現することも可能である。
以上の説明では、いずれも入射光線は同時には1つの入射角度だけであったが、実際に撮像装置101がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらが相互にモアレ縞を生じると、信号成分である第2の格子パターン105とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし、実際は、第1の格子パターン104の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側の第2の格子パターン105との重なりだけになる。その理由について以下に説明する。
まず、複数の入射角の光線による表面側の第1の格子パターン104の影どうしの重なりは、積ではなく和であることが大きな違いである。1つの入射角の光による第1の格子パターン104の影と第2の格子パターン105との重なりでは、第1の格子パターン104の影である光の強度分布に、第2の格子パターン105の透過率を乗算することで、裏面側の第2の格子パターン105を透過したあとの光強度分布が得られる。
これに対して、表面側の第1の格子パターン104に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、
<式15>
・・・式15
のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の第1の格子パターン104と裏面側の第2の格子パターン105との積のモアレだけであり、第2の格子パターン105が単一である以上、検出されるスペクトルのピークは1つの入射角に対して1つだけとなるのである。
<式15>
・・・式15
のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の第1の格子パターン104と裏面側の第2の格子パターン105との積のモアレだけであり、第2の格子パターン105が単一である以上、検出されるスペクトルのピークは1つの入射角に対して1つだけとなるのである。
ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図13を用いて模式的に説明する。図13は、物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。被写体401を構成する各点からの光は、厳密には点光源からの球面波として、図1の撮像装置101の変調器102および画像センサ103(以下、図13では格子センサ一体基板1301という)に入射する。このとき、被写体401に対して格子センサ一体基板が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板を照明する光の入射角が同じとみなすことができる。
式9から求められる微小角度変位Δθに対するモアレの空間周波数変位Δuが、画像センサの空間周波数の最小解像度である1/S以下となる関係から、Δθが平行光とみなせる条件は、
<式16>
・・・式16
のように表せる。この条件下であれば、無限遠の物体に対して本発明の撮像装置で撮像が可能である。
<式16>
・・・式16
のように表せる。この条件下であれば、無限遠の物体に対して本発明の撮像装置で撮像が可能である。
〈有限距離物体の撮影原理〉ここで、これまで述べた無限遠の場合における表面側の第1の格子パターン104の裏面への射影の様子を図14に示す。無限遠の物体を構成する点1401からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側の第1の格子パターン104を照射し、その投影像1402が下の面に投影される場合、投影像は第1の格子パターン104とほぼ同じ形状である。結果、投影像1402に対して、裏面側の格子パターン(図2の第2の格子パターン105に相当)の透過率分布を乗じることにより、等間隔な直線状のモアレ縞を得ることができる(図15)。
一方、有限距離の物体に対する撮像について説明する。図16は、撮像する物体が有限距離にある場合に表面側の第1の格子パターン104の裏面への射影が第1の格子パターン104より拡大されることを示す説明図である。図16に示すように、物体を構成する点1601からの球面波が表面側の第1の格子パターン104を照射し、その投影像1602が下の面に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、第1の格子パターン104から点1601までの距離fを用いて、
<式17>
・・・式17
のように算出できる。
<式17>
・・・式17
のように算出できる。
そのため、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる(図17)。しかし、一様に拡大された表面側の第1の格子パターン104の影に合わせて、第2の格子パターン105を拡大するならば、拡大された投影像1602に対して再び、等間隔な直線状のモアレ縞を生じさせることができる(図18)。このためには、第2の格子パターン105の係数βをβ/α2とすることで補正が可能である。
これにより、必ずしも無限遠でない距離の点1601からの光を選択的に現像することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。
〈簡略化構成〉次に、変調器102の構成を簡略化する方法について説明する。変調器102では、格子基板102aの表面および裏面にそれぞれ同一形状の第1の格子パターン104および第2の格子パターン105を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を現像していた。この裏面側の第2の格子パターン105は、画像センサ103に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。そこで、図19に示すように、第2の格子パターン105を除去した変調器1901を使用し、第2の格子パターン105に相当する処理を画像処理部1902内の強度変調部1903で実行してもよい。
この時の変調器1901の構成の詳細を図20に示す。この構成によって、格子基板102aに形成する格子パターンを1面減らすことができる。それにより、変調器の製造コストを低減することができ、さらに光利用効率を向上させることもできる。
図21は、図19の画像処理部1902による画像処理の概略を示すフローチャートである。この図21におけるフローチャートが図5のフローチャートと異なるところは、ステップ2101の処理である。ステップ2101の処理では、前述した強度変調部1903により、画像センサ103から出力される画像に対して、裏面側の格子パターン105を透過したことに相当するモアレ縞画像を生成する。具体的には、式5に相当する演算が行われればよいので、強度変調部1903において裏面側の格子パターン105を生成し、画像センサ103の画像に対して乗算すればよい。さらに、裏面側の格子パターン105が図10、11に示すような2値化したパターンであれば、黒に相当する領域の画像センサ103の値を0にするだけでも実現可能である。これにより、乗算回路の規模を抑圧することが可能である。以降、図21のステップ501~506の処理は、図5の処理と同様であるので、ここでは説明を省略する。
なお、この場合、画像センサ103が有する画素103aのピッチは、第1の格子パターン104のピッチを十分再現できる程度に細かいか、あるいは第1の格子パターン104のピッチが画素103aのピッチにて再現できる程度に粗い必要がある。格子パターンを格子基板102aの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ103の画素103aにて解像できる必要はなく、そのモアレ像だけが解像できればよい。しかし、画像処理により格子パターンを再現する場合は、格子パターンと画像センサ103の解像度は同等である必要がある。
また、以上は強度変調部1903により第2の格子パターン105に相当する処理を実現したが、第2の格子パターン105はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に第2の格子パターン105の透過率を加味して設定することによっても実現できる。
〈ノイズキャンセル〉これまでの説明では、式5から鋭いピークを持つ成分のみを取り出した式6に着目して話を進めたが、実際には式5の第4項以外の項がノイズとなる。そこで、フリンジスキャンに基づくノイズキャンセルが効果的である。
まず、式2の干渉縞強度分布において、第1の格子パターン104の初期位相をΦF、第2の格子パターン105の初期位相をΦBとすると、式5は
<式18>
・・・式18
のように表せる。ここで、三角関数の直交性を利用し、
<式19>
・・・式19
のように式18をΦF、ΦBに関して積分すると、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。前述の議論から、これをフーリエ変換すれば、空間周波数分布にノイズのない鋭いピークを生じることになる。
<式18>
・・・式18
のように表せる。ここで、三角関数の直交性を利用し、
<式19>
・・・式19
のように式18をΦF、ΦBに関して積分すると、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。前述の議論から、これをフーリエ変換すれば、空間周波数分布にノイズのない鋭いピークを生じることになる。
ここで式19は積分の形で示しているが、実際にはΦF、ΦBの組合せの総和を計算することによっても同様の効果が得られる。ΦF、ΦBは0~2πの間の角度を等分するように設定すればよく、{0、π/2、π、3π/2}のように4等分、{0、π/3、2π/3}のように3等分してもよい。
さらに、式19は簡略化できる。式19では、ΦF、ΦBを独立して変えられるように計算したが、ΦF=ΦBすなわち格子パターン104と105の初期位相に同じ位相を適用してもノイズ項をキャンセルできる。式19においてΦF=ΦB=Φとすれば、
<式20>
・・・式20
となり、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。また、Φは0~2πの間の角度を等分するように設定すればよく、{0、π/2、π、3π/2}のように4等分すればよい。
<式20>
・・・式20
となり、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。また、Φは0~2πの間の角度を等分するように設定すればよく、{0、π/2、π、3π/2}のように4等分すればよい。
また、等分せずとも、{0、π/2}の直交した位相を使用してもノイズ項をキャンセルでき、さらに簡略化できる。まず、図19の構成のように第2の格子パターン105を画像処理部1902で実施すれば、格子パターン105に負値を扱えるため、式18は
<式21>
・・・式21
となる(ΦF=ΦB=Φ)。格子パターン105は既知であるため、この式21から格子パターン105を減算し、Φ={0、π/2}の場合について加算すれば、
<式22>
・・・式22
のようにノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。
<式21>
・・・式21
となる(ΦF=ΦB=Φ)。格子パターン105は既知であるため、この式21から格子パターン105を減算し、Φ={0、π/2}の場合について加算すれば、
<式22>
・・・式22
のようにノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。
また、前述のように第1の格子パターン104と第2の格子パターン105とは、あらかじめδ0ずらすことで空間周波数空間に生じる2つの現像画像を分離していた。しかし、この方法では現像画像の画素数が半分になる問題点がある。そこで、δ0ずらさなくとも現像画像の重複を回避する方法について説明する。式19のフリンジスキャンにおいて、cosの代わりに
<式23>
・・・式23
のようにexpを用い複素平面上で演算する。これによりノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。式23中のexp(2iβδx)をフーリエ変換すれば、
<式24>
・・・式24
となり、式7のように2つのピークを生じず、単一の現像画像を得られることが判る。このように、格子パターン104、105をずらす必要もなくなり、画素数を有効に使用可能となる。
<式23>
・・・式23
のようにexpを用い複素平面上で演算する。これによりノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。式23中のexp(2iβδx)をフーリエ変換すれば、
<式24>
・・・式24
となり、式7のように2つのピークを生じず、単一の現像画像を得られることが判る。このように、格子パターン104、105をずらす必要もなくなり、画素数を有効に使用可能となる。
以上のフリンジスキャンに基づくノイズキャンセル方法を行うための構成について図22~27を用いて説明する。フリンジスキャンでは、少なくとも格子パターン104として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法がある。
図22に時分割フリンジスキャンを実現する構成を示す。変調器2201は、例えば電気的に図23に示す複数の初期位相を切り替えて表示することが可能な液晶表示素子などである。図23(a)~(d)のパターンは、初期位相ΦFもしくはΦがそれぞれ{0、π/2、π、3π/2}とする。これを実現する変調器2201の液晶表示素子における電極配置の例を図24に示す。格子パターンの1周期を4分割するように同心円状電極が構成されており、内側から4本おきに電極が結線され、外周部から駆動端子として4本の電極が引き出されている。これら4つの電極に印加する電圧状態を“0”と“1”の2つの状態で時間的に切り替えることで、格子パターンの初期位相ΦFもしくはΦを図24(a)~(d)のように{0、π/2、π、3π/2}と切り替えることが可能となる。なお、図24において、網掛けで示した“1”を印加した電極が光を遮蔽し、白で示した“0”を印加した電極が光を透過させることに対応している。
次に、図25に画像処理部2203における画像処理の概略を示すフローチャートを示す。この図25におけるフローチャートが図21のフローチャートと異なるところは、ステップ2501~2504の処理である。まず、フリンジスキャン演算の初めに加算結果をリセットする(2501)。次に、式20に対応する場合には、撮影に使用した格子パターン104と同じ初期位相に設定し(2502)、その初期位相を持つ格子パターン105を生成、画像センサ103の画像に対して乗算する(2101)。この結果を各初期位相のパターン毎に加算する(2503)。以上のステップ2502~2503の処理を全ての初期位相のパターン数繰り返す(2504)。以降の処理は、図21の処理と同様であるので、ここでは説明を省略する。なお、上記フローは式20を例に説明したが、式19、22、23にも同様に適用することが可能である。
対して、図26に空間分割フリンジスキャンを実現する構成を示す。変調器2601は、例えば図27の初期位相ΦFもしくはΦがそれぞれ{0、π/2、π、3π/2}のパターンように、複数の初期位相のパターンを2次元的に並べた構成である。画像分割部2602は、画像センサ103出力を変調器2601のパターン配置に応じた領域に分割し、画像処理部に順次伝送する。図26の例では、画像センサ出力を縦2×横2の4領域に分割するということである。式20に基づくフリンジスキャンでは4位相必要であるため変調器2601は縦2×横2であったが、式22に基づくフリンジスキャンでは2位相で実現できるため変調器2601は縦1×横2のパターン配置でも実現可能であり、それに応じて画像センサ出力も縦1×横2の領域に分割する。以降の画像処理部2203の処理は時分割フリンジスキャンである図22の処理と同等であるため説明を省略する。
この空間分割フリンジスキャンを用いれば、時分割フリンジスキャンの変調器2201のように電気的に切り替える必要がなく、安価に変調器を作製することができる。しかし、空間分割フリンジスキャンを用いると画像を分割するため解像度が実効的に低下する。よって、解像度を上げる必要がある場合には時分割フリンジスキャンが適している。
〈近接撮像における問題〉次に、近距離の物体に対する撮像時の問題点について説明する。ある光源からの光が物体に照射され、その散乱光を近距離から撮像する場合、その物体からの散乱角が問題となる。図28は、撮像する物体が近距離にある場合に物体のある点からの光の拡がり角(散乱角)θsを示す説明図である。図28に示すように、物体を構成する点2801からの散乱光が第1の格子パターン104を照射する場合、第1の格子パターン104における照射領域の直径Bは、散乱角θsを用いて、
<式25>
・・・式25
となる。fは点2801から第1の格子パターン104までの距離である。このように、近接撮影時には第1の格子パターン104のうち照射領域しか使用することができない。なお、現実には散乱光強度は散乱角が大きくなるに従い徐々に減衰するものであるが、図28では簡単化のため、照射領域のみ散乱光が到達しているとしている。
<式25>
・・・式25
となる。fは点2801から第1の格子パターン104までの距離である。このように、近接撮影時には第1の格子パターン104のうち照射領域しか使用することができない。なお、現実には散乱光強度は散乱角が大きくなるに従い徐々に減衰するものであるが、図28では簡単化のため、照射領域のみ散乱光が到達しているとしている。
第1の格子パターン104は中心から端へ向かうほど縞のピッチが狭くなる同心円状の格子パターンからなるため、例えば点2803のように、第1の格子パターン104の中心から離れるほど、照射領域における縞のピッチは狭くなる。ピッチの狭い縞の投影像は回折等の影響により画像センサ103上でのコントラストが低下することからノイズに埋もれやすく、現像が困難となる。以上から、点2801、2802のように第1の格子パターン104の中心付近にある点の撮像は可能だが、点2803のように中心から離れるに従って撮像が困難となり、撮像可能な範囲(視野)が制限されることになる。
実験的に、散乱光が第1の格子パターン104の中心を通る場合に撮像できることが判っている。そのため、式13で与えられる最大画角θmaxを用いて、θs≦θmaxとなる場合には、視野角は散乱角θsとなり、視野の直径Asは
<式26>
・・・式26
となる。
<式26>
・・・式26
となる。
この視野を拡大するためには、第1の格子パターン104を形成する同心円状の格子パターンの係数βを小さくすることで縞のピッチを広くするという方法があるが、ピッチを広くすると解像度が劣化してしまう。
〈近接撮像における視野拡大方法〉そこで、近距離の物体に対する撮像において解像度を保ちながら視野を拡大する方法について説明する。
図29は、複眼の格子パターンによる広視野化の構成例を示す図である。図29は、近接撮像における視野を拡大可能な構成を示す。図29が図19と異なるところは、基本パターン2903を複数配列した第1の複眼格子パターン2902を第1の格子パターン104として用いる点と、画像分割部2904と画像処理部2905を有する点である。図30に第1の複眼格子パターン2902の例を示す。同心円状の格子パターンからなる基本パターン2903を縦3つ×横3つ重なることなく撮像素子と平行する平面上に配列することで第1の複眼格子パターン2902を実現できる。このように基本パターンを複数配置する構成とすることで、単一の格子パターンの視野Asを複数配置することができるようになる。このように構成することで、格子パターンの係数βを変更することなく、照射領域の周辺部分の縞のピッチが狭くなりすぎることにより回折等の解像度低下の影響が強くなり視野を制限するという問題を抑圧可能となる。
なお、図29では、第1の複眼格子パターン2902を、縦3つ×横3つに配列した基本パターンからなるパターンとしているが、これに限定するものではなく、撮影対象のサイズ、撮影対象までの距離などに合わせて適宜変更してもよい。
また、図31に、複眼格子パターンによる視野を示す。複眼格子パターンによる視野Amは、隣接する基本パターンの同心円の中心間距離をqm、基本パターンの配置数をnとして、
<式27>
・・・式27
となる。
<式27>
・・・式27
となる。
また、それぞれの基本パターン2903を構成する同心円状の格子パターンの初期位相Φは任意のもので良い。また、図29の構成では単一の画像センサ103を用いているが、画像センサ103を複数並べて用いても良い。
〈クロストーク発生原理〉複眼格子パターンを用いることで、隣接する基本パターンから発生するクロストークが問題になりうる。図31を用いて、第1の複眼格子パターン2902を用いた撮像におけるクロストークについて説明する。基本パターン3101の視野角をθsとすると、画像センサ103上では、
<式28>
・・・式28
の直径をもつ範囲に散乱光が入射する。この範囲の情報が基本パターン3101の視野角θsの範囲の撮像に寄与する。
<式28>
・・・式28
の直径をもつ範囲に散乱光が入射する。この範囲の情報が基本パターン3101の視野角θsの範囲の撮像に寄与する。
しかし、例えば点3103からの光線は隣接する基本パターン3102を通過してCの範囲に入射する。基本パターン3101の現像において、隣接する基本パターン3102の情報はノイズとなる。このように、異なる基本パターンを通過して入射する光線によりクロストークが発生する。
(実施例1:変調器の形状)これに対して、図32のように、C≦qmとなる場合には、クロストークは発生しない。つまりt≦qm/(2・tanθs)を満たすt(変調器102の厚さ)とqm(隣接する基本パターンの同心円の中心間距離)となるよう変調器102を構成することで、クロストークを防ぐことが可能である。
続いて、複眼格子パターン適用時の画像処理について説明する。図33(a)および図33(b)は画像処理部2905による画像処理の概略を示すフローチャートである。図33(a)におけるフローチャートが図21と異なるところは、ステップ3301とステップ3302の処理である。
まず、画像分割部2904において、画像センサ103にて取得するセンサ画像を基本パターン2903の配列に従って分割する(3301)。以降、ステップ504まで図21の処理と同様の処理を行い、ステップ3302にて、ステップ3301での分割に従ってステップ504の出力画像を並び替えて合成する。以降の処理は図21の処理と同様である。なお、ステップ2101の処理において用いる裏面側の格子パターンは単一の基本パターン2903からなる単眼の第1の格子パターン、もしくは複眼の第1の複眼格子パターン2902と同様の複眼のパターンのどちらとしても良い。
図33(b)におけるフローチャートが図33(a)と異なるところは、出力画像の分割のタイミングである。図33(b)では、図33(a)のステップ3301を行わず、ステップ504の処理後の出力画像を基本パターン2903の配列に従って分割し(3303)、並び替えて合成する(3302)。
なお、図29は図19を基に説明したが、同様に図22など他の構成にも適用することで、フリンジスキャンによるノイズキャンセルを行うことも可能である。
以上の構成によれば、近接撮像においても解像度を保ったまま視野を広げることが可能となる。
〈実施例2:遮光板によるクロストーク低減〉本実施例では、第1の複眼格子パターン2902における隣接する基本パターンから発生するクロストークを遮光板により低減する方法について説明する。
上述のとおり、実施例1では、t(変調器102の厚さ)とqm(隣接する基本パターンの同心円の中心間距離)を適切に設定することでクロストークを低減したが、これでは変調器の設計自由度が制限される場合もある。クロストークは遮光板を挿入することでも低減可能である。図34に、遮光板によるクロストーク低減の原理について示す。基本パターン3101による撮像に対してノイズとなる点3103からの光線は、遮光板3401を挿入することで除去することが出来る。
図35は、遮光板によるクロストーク低減を実現する構成の説明図である。図35では、変調器3501に遮光板3502を挿入している。遮光板は、撮影対象とする波長が透過しない材質とする必要があり、可視光では黒色のプラスティック板や金属板、遠赤外光ではアクリル板や金属板などを用いればよい。また、遮光板3502は図34のように、基本パターン2903を単位とする領域U毎に区切るように配置する。このとき、視野角は式13においてS=Uとしたときのθmaxとなり、視野角をθuとすると視野Auは、
<式29>
・・・式29
となる。
<式29>
・・・式29
となる。
以上の構成によれば、設計自由度を制限することなく、第1の複眼格子パターンにおける隣接する基本パターンから発生するクロストークを低減することが可能となる。
〈実施例3:偏光板によるクロストーク低減〉本実施例では、第1の複眼格子パターンにおける隣接する基本パターンから発生するクロストークを偏光板により低減する方法について説明する。
図36に、偏光板によるクロストーク低減の原理について示す。変調器2901を偏光板3601乃至3604で挟む構成とする。また、偏光板3601と偏光板3602のように隣接する偏光板の偏光軸を直交させ、偏光板3601と偏光板3603のように対向する偏光板の偏光軸を揃えるように配置する。これにより、基本パターン3101による撮像対象である点3605からの光線は、偏光板3601ならびに偏光板3603を経由し、2つの偏光板の偏光軸は互いに並行であるため画像センサ103に光が到達する。それに対し、ノイズとなる点3103からの光線は、偏光板3602ならびに偏光板3603を経由するが、2つの偏光板の偏光軸は互いに直交しているため画像センサ103に光が到達しない。よって、クロストークを除去することができる。このとき、視野角はθuとなり、視野Auは式29で与えられる。
図37は、偏光板によるクロストーク低減を実現する構成の説明図である。図37(a)に示すように、変調器2901を第1の偏光板3701および第2の偏光板3702で挟む構成とする。第1の偏光板3701は第1の複眼格子パターン2902に近接して配置し、第2の格子パターンは画像センサ103に近接して配置する。なお、図37(a)では変調器2901の表面側に第1の偏光板3701を配置しているが、第1の複眼格子パターン2902の裏面側に配置しても良い。
図37(b)に偏光板3701、3702の例を示す。偏光板3701は複数の偏光板からなり、偏光板3601と偏光板3602のように隣接する偏光板の偏光軸を直交するように配置する。また、偏光板3601の大きさは第1の複眼格子パターン2902の基本パターン2903と同じサイズとし、基本パターン2903の配置に合わせて配置する。
以上の構成によれば、第1の複眼格子パターンにおける隣接する基本パターンから発生するクロストークを低減することが可能となる。
なお、図37では、第1の複眼格子パターン2902を、縦3つ×横3つの基本パターンの配置からなるパターンとしているが、これに限定するものではなく、撮影対象のサイズ、撮影対象までの距離などに合わせて適宜変更してもよい。
また、液晶表示素子を用いて第1の複眼格子パターンを実現する場合には、液晶表示素子の偏光板を、上記第1の偏光板3601を構成する偏光板3603とすることもできる。
また、偏光板3601と偏光板3603のように対向する偏光板の偏光軸を揃えるように配置するものとしたが、これに限定するものではなく、変調器2901の素材によっては偏光面が旋回することもあるため、対向する偏光板を透過する光量が最も大きくなるように、またはクロストーク光量が最も小さくなるように、偏光軸の傾きを設定するものであってもよい。
〈実施例4:クロストークキャンセル〉本実施例では、第1の複眼格子パターンにおける隣接する基本パターンから発生するクロストークをフリンジスキャンに基づいてキャンセルする方法について説明する。
フリンジスキャンによるクロストークキャンセルでは、少なくとも第1の複眼格子パターンとして、基本パターンの初期位相が異なる複数のパターンを使用する必要がある。これを実現するには時分割フリンジスキャンを用いる方法と、空間分割フリンジスキャンスキャンを用いる方法がある。
まず、時分割フリンジスキャンを用いたクロストークキャンセルについて説明する。図38に、時分割フリンジスキャンを用いてクロストークキャンセルを実現するための構成を示す。図38が図22と異なるところは、第1の格子パターンとして、第1の複眼格子パターン3802を用いる点と、画像分割部3806および画像処理部3805を有する点である。第1の複眼格子パターン3802は、上下左右に隣接する基本パターン3803、3804の初期位相Φが互いにπ/2ずれるように配置する。
ここで、初期位相差をπ/2とすることによるクロストークキャンセルの原理について説明する。図39に、図38における基本パターン3803、3804の組合せを示す。図40では、基本パターン3803、3804をそれぞれ基本パターン3901、3902としている。基本パターン3901、3902は、それぞれの初期位相ΦF1とΦF2の位相差がπ/2となるように、ΦF1とΦF2を{0、π/2}、{π/2、π}、{π、3π/2}、{3π/2、2π}などの組合せとする。また、裏面側の複眼格子パターンを構成する基本パターン3903、3904の初期位相ΦB1とΦB2も同様に、初期位相ΦB1とΦB2の位相差がπ/2となるように、{0、π/2}、{π/2、π}、{π、3π/2}、{3π/2、2π}などの組合せとする。本組合せにおいて、式19によるフリンジスキャン演算を行えばクロストークをキャンセルできる。
例えば、基本パターン3901の投影像は基本パターン3903により現像処理するが、このパターンの初期位相差(ΦF1-ΦF3)は0となり、式19におけるcosの項は1となる。対して、クロストークとなる基本パターン3902の像を基本パターン3903により現像処理する場合、初期位相差(ΦF1-ΦF3)はπ/2となり、式19におけるcosの項は0となることからキャンセルされる。よって、表面側の複眼格子パターンと裏面側の複眼格子パターンの初期位相の組合せにより、クロストークキャンセルが可能となる。
図40に、第1の複眼格子パターン3802の例を示す。図40(a)~(b)のように基本パターン3803、3804の初期位相が異なる第1の複眼格子パターン3802を切り替えて使用する。切り替え方法については、実施例1にて説明した時分割フリンジスキャンの方法と同様であるため説明を省略する。
次に、空間分割フリンジスキャンを用いたクロストークキャンセルについて説明する。図41に、第1の複眼格子パターンの例を示す。第1の複眼格子パターン4101は空間分割フリンジスキャンを実現するため、基本パターン4102は4つの初期位相からなる分割パターン4103、4104からなる。さらに、クロストークキャンセルを実現するため、分割パターン4103と隣接する分割パターン4104のように、上下左右に隣接する分割パターンの初期位相がπ/2ずれるように配置する。本組合せにおいて、式19によるフリンジスキャン演算を行えば、前述の説明の通りクロストークをキャンセルすることが可能となる。
以上の構成によれば、第1の複眼格子パターンにおける隣接する基本パターンから発生するクロストークを低減することが可能となる。
なお、実施例1乃至実施例3では、第1の複眼格子パターンを構成する基本パターンを、隣接するもの同士が重ならないように配置していたが、本実施例では隣接する基本パターンが重なり合っていても良い。
なお、実施例1乃至実施例3では、第1の複眼格子パターンを構成する基本パターンを、隣接するもの同士が重ならないように配置していたが、本実施例では隣接する基本パターンが重なり合っていても良い。
〈実施例5:クロストークキャンセルと偏光板の併用〉本実施例では、実施例4のクロストークキャンセルと、実施例3の偏光板によるクロストーク低減方法を併用し、第1の複眼格子パターンにおける隣接パターンから発生するクロストークを低減する方法について説明する。
実施例4に係るクロストークキャンセル方法では、上下左右に隣接する基本パターンの初期位相Φが互いにπ/2ずれるように配置することで、クロストークの影響をキャンセルした。しかし、この方法だと斜め方向に隣接する基本パターンからのクロストークをキャンセルしきれない場合がある。そこで、実施例4では、偏光板を併用する例を示す。
図42は、時分割フリンジスキャンを用いたクロストークキャンセルと偏光板の併用によりクロストークを低減する方法について示した説明図である。図42が図38と異なるところは、第1の偏光板4201と第2の偏光板4202の2枚の偏光板を有する点である。第1の偏光板4201は第1の複眼格子パターン3802に近接して配置し、第2の偏光板4202は画像センサ103に近接して配置する。ここで、第2の偏光板4202は、第1の偏光板4201と同じものとし、偏光板の偏光の方向が揃うように配置する。なお、図42では、変調器3801の表面側に第1の偏光板4201を配置しているが、第1の複眼格子パターン3802の裏面側に配置しても良い。
図43に、偏光板4201および4202の例を示す。図43が図37にて説明した偏光板3701および3702と異なるところは、第1の偏光板4201および第2の偏光板4202を構成する偏光板4203のサイズを、基本パターン3803を並べた一列のサイズとする点である。図43では、例として、第1の複眼格子パターン3802として、縦2×横2の基本パターンからなるパターンとしているため、偏光板4201、4202は、基本パターンの縦2枚×横1枚分のサイズとなる。また、隣接する偏光板4203の偏光軸は、偏光板4201、4202の偏光軸と直交させる。偏光軸が直交することで、クロストークが低減される。
なお、基本パターンを格子状に配置する構成を例に説明したが、これに限定するものではなく、ハニカム構造のように隣接する基本パターンが互いに60度の位置関係となるように配置してもよい。このような場合においても、隣接する基本パターンの初期位相差をπ/2とする、または、隣り合う偏光板の偏光軸を直交させて配置することによりクロストークを低減することが可能となる。
以上の構成によれば、第1の複眼格子パターンにおける斜め方向の隣接する基本パターンから発生するクロストークをも低減することが可能となる。
なお、液晶表示素子を用いて第1の複眼格子パターンを実現する場合には、液晶表示素子の偏光板を、上記第1の偏光板4201を構成する偏光板4203とすることもできる。
また、上記2枚の偏光板4201および4202を用いて、空間分割フリンジスキャンを用いたクロストークキャンセルと偏光板の併用によるクロストークの低減も実現できる。
〈実施例6:静脈撮像への適用例〉本実施例では、指静脈認証装置への適用のための指静脈撮像方法について示す。
指静脈認証では、認証に十分な視野の撮像が必要となる。図44は、指静脈認証に十分な視野を確保するための撮像装置の構成と光路を示した説明図である。qmを第1の複眼格子パターン4401を構成する基本パターンの中心間距離、nをある方向における基本パターンの数、fを被写体4402から第1の複眼格子パターン4401までの距離、とする。この時、被写体4402の撮像に必要な視野Amを得るために必要な、距離fと中心間距離qmの関係について説明する。
距離fが短いと、各基本パターンの視野が小さくなり、合成した視野Amに隙間が生じることになる。隙間が生じないためには、fが図44におけるfmin以上でなければならない。各基本パターンの視野Asは、式26で示される。式26における散乱角θsは、光源を指に照射した時に生じる透過光または反射光の散乱角であるので、As=2f・tanθs≧qmであればよい。つまり、指を第1の複眼格子パターンに近づけられる限界となる距離fminは
<式30>
・・・式30
となる。
<式30>
・・・式30
となる。
次に、視野Amを得るために必要な、画像センサ103のサイズDについて説明する。各基本パターン4403の視野内の光線は、画像センサ103上で式27の関係を有するものとなる。よって、
<式31>
・・・式31
のサイズがあれば、視野Am内の情報を正しく撮像することが可能となる。
<式31>
・・・式31
のサイズがあれば、視野Am内の情報を正しく撮像することが可能となる。
なお、画像センサ103は単一のセンサでなくても、複数のセンサを配列してセンササイズを広げることも可能である。
以上の条件を満たせば、指静脈認証に必要な視野を取得することができる。また、以上の方法ではクロストークが生じるが、前述のクロストーク低減方法を用いることで低減可能である。
続いて、図45に指静脈認証装置の例を示す。図45は、複眼格子パターン(表側)4501と、光源4503と、画像センサ4502とを有する。光源4503は、波長850nm付近の近赤外光を用い、指からの反射光を画像センサ4502で取得する構成としている。なお、透過光を画像センサ4502で取得する配置としてもよい。このような装置により指静脈撮像を実現できる。
以上の構成によれば、指静脈認証に必要な視野を確保し、かつ薄型の指静脈認証装置を実現することが可能となる。
なお、本発明は上記の実施の例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に格納しておき、実行時にRAM(Random Access Memory)等に読み出され、CPU(Central Processing Unit)等により実行することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
また、上記した各構成、機能、処理部等は、それらの一部又は全部を、例えば別の装置で実行してネットワークを介して統合処理する等により分散システムで実現してもよい。
また、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。
以上、本発明について、実施形態を中心に説明した。
101・・・撮像装置、102・・・変調器、102a・・・格子基板、102b・・・支持部材、103・・・画像センサ、103a・・・画素、106・・・画像処理部、107・・・画像表示部、104・・・格子パターン(表側)、105・・・格子パターン(裏側)、401・・・被写体、1201・・・シリンドリカルレンズ、1301・・・格子センサ一体基板、1401・・・点、1402・・・投影像、1601・・・点、1602・・・投影像、1901・・・変調器、1902・・・画像処理部、1903・・・強度変調部、2201・・・変調器、2202・・・変調器制御部、2203・・・画像処理部、2601・・・変調器、2602・・・画像分割部、2801・・・点、2802・・・点、2803・・・点、2901・・・変調器、2902・・・複眼格子パターン(表側)、2903・・・格子パターン、2904・・・画像分割部、2905・・・画像処理部、3101・・・格子パターン、3102・・・格子パターン、3103・・・点、3401・・・遮光板、3501・・・変調器、3502・・・遮光板、3601・・・偏光板、3602・・・偏光板、3603・・・偏光板、3604・・・偏光板、3605・・・点、3701・・・偏光板、3702・・・偏光板、3801・・・変調器、3802・・・複眼格子パターン(表側)、3803・・・格子パターン、3804・・・格子パターン、3805・・・画像処理部、3806・・・画像分割部、3901・・・格子パターン、3902・・・格子パターン、3903・・・格子パターン、3904・・・格子パターン、4101・・・複眼格子パターン、4102・・・格子パターン、4103・・・格子パターン、4104・・・格子パターン、4201・・・偏光板、4202・・・偏光板、4203・・・偏光板、4401・・・複眼格子パターン(表側)、4402・・・被写体、4403・・・格子パターン、4501・・・複眼格子パターン(表側)、4502・・・画像センサ、4503・・・光源
Claims (7)
- 第1の複眼格子パターンを有し、前記第1の複眼格子パターンを透過させることで光の強度を変調する変調器と、
前記変調器を透過した光を画像データに変換して出力する画像センサと、
前記画像センサから出力される画像データを用いて像を復元する画像処理を行う画像処理部と、
を備え、
前記第1の複眼格子パターンは、複数の基本パターンを含んで構成され、
それぞれの前記基本パターンは、同心円状であり、
前記同心円の中心間の距離は複数の前記基本パターンの合成視野に隙間が生じないように決定されている、
ことを特徴とする撮像装置。 - 第1の複眼格子パターンを有し、前記第1の複眼格子パターンを透過させることで光の強度を変調する変調器と、
前記変調器を透過した光を画像データに変換して出力する画像センサと、
前記画像センサから出力される画像データを用いて像を復元する画像処理を行う画像処理部と、
を備え、
前記第1の複眼格子パターンは、複数の基本パターンを含んで構成され、
それぞれの前記基本パターンは、同心円状であり、
前記画像センサのサイズは、前記同心円の中心間の距離と、複数の前記基本パターンにより撮像できる視野角に基づいて決定されている、
ことを特徴とする撮像装置。 - 請求項1または2に記載の撮像装置であって、
前記基本パターンにおける前記同心円は、同心円の中心となる基準座標に対して同心円のピッチが前記基準座標からの距離に反比例して細かくなる、
ことを特徴とする撮像装置。 - 請求項1または2に記載の撮像装置であって、
前記画像処理部は、前記画像データを、同心円から構成される第2の複眼格子パターンを示すデータを用いて変調することでモアレ縞画像を生成する、
ことを特徴とする撮像装置。 - 請求項1または2に記載の撮像装置であって、
前記画像処理部は、前記画像データを、同心円から構成される第2の複眼格子パターンを示すデータを用いて変調することでモアレ縞画像を生成し、前記モアレ縞画像をフーリエ変換して周波数スペクトルを算出する、
ことを特徴とする撮像装置。 - 請求項1または2に記載の撮像装置であって、
前記同心円の中心間の距離は、前記変調器から撮像対象物までの距離および該撮像対象物からの光の散乱角に基づき決定されている、
ことを特徴とする撮像装置。 - 請求項2に記載の撮像装置であって、
前記画像センサのサイズは、前記同心円の中心間の距離と、撮像対象物からの光の散乱角に基づいて決定されている、
ことを特徴とする撮像装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016240818A JP6685887B2 (ja) | 2016-12-13 | 2016-12-13 | 撮像装置 |
JP2016-240818 | 2016-12-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018110120A1 true WO2018110120A1 (ja) | 2018-06-21 |
Family
ID=62488619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/038941 WO2018110120A1 (ja) | 2016-12-13 | 2017-10-27 | 撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10461108B2 (ja) |
JP (1) | JP6685887B2 (ja) |
CN (1) | CN108616677B (ja) |
TW (1) | TWI658432B (ja) |
WO (1) | WO2018110120A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020031299A1 (ja) * | 2018-08-08 | 2020-02-13 | マクセル株式会社 | 撮像装置、撮像システム、及び撮像方法 |
JP2022033219A (ja) * | 2018-08-08 | 2022-02-28 | マクセル株式会社 | 撮像装置、撮像システム、及び撮像方法 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017145348A1 (ja) * | 2016-02-26 | 2017-08-31 | 株式会社日立製作所 | 撮像装置 |
US11054680B1 (en) * | 2018-08-07 | 2021-07-06 | UltResFP, LLC | Electronically configurable variable aperture and grating for optical and spectral applications |
US10638061B2 (en) * | 2018-09-18 | 2020-04-28 | Analog Devices Global Unlimited Company | Active-pixel image sensor |
CN109842766B (zh) * | 2018-12-28 | 2021-05-18 | 上海集成电路研发中心有限公司 | 一种极坐标图像传感器及其进行图像处理的方法 |
WO2021010339A1 (ja) * | 2019-07-12 | 2021-01-21 | 株式会社小糸製作所 | イメージング装置およびその照明装置、車両、車両用灯具 |
CN112630932B (zh) * | 2019-10-09 | 2023-05-26 | 英属开曼群岛商音飞光电科技股份有限公司 | 摩尔纹成像装置 |
CN112995452B (zh) * | 2019-12-17 | 2022-11-11 | 英属开曼群岛商音飞光电科技股份有限公司 | 摩尔纹影像处理装置 |
US20210263198A1 (en) * | 2020-02-26 | 2021-08-26 | Beijing Voyager Technology Co., Ltd. | Liquid crystal-based laser beam scanners and laser signal receivers |
CN113554575B (zh) * | 2020-04-23 | 2022-10-11 | 华东交通大学 | 一种基于偏振原理的高反物体表面高光去除方法 |
JP2022051426A (ja) * | 2020-09-18 | 2022-03-31 | 株式会社ジャパンディスプレイ | カメラモジュール |
KR102406921B1 (ko) | 2020-12-04 | 2022-06-10 | (주)딥인사이트 | 모놀리식 아키텍처를 가지는 광학 장치 및 그 제조 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007109801A (ja) * | 2005-10-12 | 2007-04-26 | Sumitomo Electric Ind Ltd | 固体撮像装置とその製造方法 |
JP2015115527A (ja) * | 2013-12-13 | 2015-06-22 | 株式会社東芝 | 固体撮像装置及びカメラシステム |
US20150219808A1 (en) * | 2013-08-28 | 2015-08-06 | Rambus Inc. | Patchwork fresnel zone plates for lensless imaging |
JP2016092413A (ja) * | 2014-10-29 | 2016-05-23 | 株式会社半導体エネルギー研究所 | 撮像装置および電子機器 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002209226A (ja) * | 2000-12-28 | 2002-07-26 | Canon Inc | 撮像装置 |
US7417664B2 (en) * | 2003-03-20 | 2008-08-26 | Seijiro Tomita | Stereoscopic image picking up and display system based upon optical axes cross-point information |
JP5022601B2 (ja) * | 2003-12-18 | 2012-09-12 | パナソニック株式会社 | 固体撮像装置 |
JP4711657B2 (ja) * | 2004-09-29 | 2011-06-29 | パナソニック株式会社 | 固体撮像装置 |
JP4515971B2 (ja) * | 2005-06-17 | 2010-08-04 | パナソニック株式会社 | 集光素子の製造方法および位相シフトマスク |
WO2007132787A1 (ja) * | 2006-05-15 | 2007-11-22 | Panasonic Corporation | 回折撮像レンズと回折撮像レンズ光学系及びこれを用いた撮像装置 |
JP2009252978A (ja) * | 2008-04-04 | 2009-10-29 | Panasonic Corp | 固体撮像素子およびその製造方法 |
US8558182B2 (en) * | 2009-10-09 | 2013-10-15 | University Of Rochester | Optical element, device, method, and applications |
JP2011203792A (ja) | 2010-03-24 | 2011-10-13 | Hitachi Displays Ltd | 撮像装置 |
CN104006765B (zh) * | 2014-03-14 | 2016-07-13 | 中国科学院上海光学精密机械研究所 | 单幅载频干涉条纹相位提取方法及检测装置 |
-
2016
- 2016-12-13 JP JP2016240818A patent/JP6685887B2/ja active Active
-
2017
- 2017-10-27 WO PCT/JP2017/038941 patent/WO2018110120A1/ja active Application Filing
- 2017-11-14 CN CN201711121335.9A patent/CN108616677B/zh active Active
- 2017-12-08 TW TW106143098A patent/TWI658432B/zh active
- 2017-12-08 US US15/836,017 patent/US10461108B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007109801A (ja) * | 2005-10-12 | 2007-04-26 | Sumitomo Electric Ind Ltd | 固体撮像装置とその製造方法 |
US20150219808A1 (en) * | 2013-08-28 | 2015-08-06 | Rambus Inc. | Patchwork fresnel zone plates for lensless imaging |
JP2015115527A (ja) * | 2013-12-13 | 2015-06-22 | 株式会社東芝 | 固体撮像装置及びカメラシステム |
JP2016092413A (ja) * | 2014-10-29 | 2016-05-23 | 株式会社半導体エネルギー研究所 | 撮像装置および電子機器 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020031299A1 (ja) * | 2018-08-08 | 2020-02-13 | マクセル株式会社 | 撮像装置、撮像システム、及び撮像方法 |
CN112020854A (zh) * | 2018-08-08 | 2020-12-01 | 麦克赛尔株式会社 | 摄像装置、摄像***和摄像方法 |
JPWO2020031299A1 (ja) * | 2018-08-08 | 2021-02-25 | マクセル株式会社 | 撮像装置、撮像システム、及び撮像方法 |
US11228705B2 (en) | 2018-08-08 | 2022-01-18 | Maxell, Ltd. | Imaging device, imaging system, and imaging method which manage a moving image captured by a lensless imaging device in a state in which the capacity of the moving image is reduced |
JP6999820B2 (ja) | 2018-08-08 | 2022-01-19 | マクセル株式会社 | 撮像装置、撮像システム、及び撮像方法 |
JP2022033219A (ja) * | 2018-08-08 | 2022-02-28 | マクセル株式会社 | 撮像装置、撮像システム、及び撮像方法 |
US11570357B2 (en) | 2018-08-08 | 2023-01-31 | Maxell, Ltd. | Imaging device and imaging system |
JP7218422B2 (ja) | 2018-08-08 | 2023-02-06 | マクセル株式会社 | 撮像装置、撮像システム、及び撮像方法 |
US11812163B2 (en) | 2018-08-08 | 2023-11-07 | Maxell, Ltd. | Imaging device having a modulator that includes at least a first grating pattern and a second grating patern having a phase deviating from a phase of the first grating pattern |
Also Published As
Publication number | Publication date |
---|---|
US10461108B2 (en) | 2019-10-29 |
JP6685887B2 (ja) | 2020-04-22 |
TWI658432B (zh) | 2019-05-01 |
CN108616677A (zh) | 2018-10-02 |
TW201822145A (zh) | 2018-06-16 |
JP2018098623A (ja) | 2018-06-21 |
CN108616677B (zh) | 2020-11-03 |
US20180166489A1 (en) | 2018-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018110120A1 (ja) | 撮像装置 | |
JP6820908B2 (ja) | 撮像装置 | |
JP6491332B2 (ja) | 撮像装置 | |
JP6721698B2 (ja) | 撮像装置 | |
JP6646619B2 (ja) | 撮像装置 | |
JP6864604B2 (ja) | 撮像装置 | |
WO2020059181A1 (ja) | 撮像装置および撮像方法 | |
JP6947891B2 (ja) | 携帯情報端末 | |
JP2023016864A (ja) | 撮像装置および方法 | |
JP6770164B2 (ja) | 撮像装置 | |
JP7389195B2 (ja) | 画像生成方法 | |
JP6636663B2 (ja) | 撮像装置及び画像生成方法 | |
JP2021064000A (ja) | 撮像装置 | |
JP2020098963A (ja) | 撮像装置 | |
CN110278350B (zh) | 摄像装置 | |
JP2022180800A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17880828 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17880828 Country of ref document: EP Kind code of ref document: A1 |