WO2021024452A1 - 撮像装置および方法 - Google Patents

撮像装置および方法 Download PDF

Info

Publication number
WO2021024452A1
WO2021024452A1 PCT/JP2019/031352 JP2019031352W WO2021024452A1 WO 2021024452 A1 WO2021024452 A1 WO 2021024452A1 JP 2019031352 W JP2019031352 W JP 2019031352W WO 2021024452 A1 WO2021024452 A1 WO 2021024452A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sensor
image sensor
pattern
imaging device
Prior art date
Application number
PCT/JP2019/031352
Other languages
English (en)
French (fr)
Inventor
悠介 中村
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to JP2021538646A priority Critical patent/JP7183429B2/ja
Priority to US17/632,828 priority patent/US11856281B2/en
Priority to PCT/JP2019/031352 priority patent/WO2021024452A1/ja
Priority to CN201980099128.9A priority patent/CN114208145A/zh
Publication of WO2021024452A1 publication Critical patent/WO2021024452A1/ja
Priority to JP2022186275A priority patent/JP2023016864A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
    • G02B5/188—Plurality of such optical elements formed in or on a supporting substrate
    • G02B5/1885—Arranged as a periodic array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the present invention relates to a technique of an imaging device.
  • Patent Document 1 states, "By facilitating the detection of the incident angle of light rays passing through a lattice substrate, an imaging device capable of enhancing the functionality of the imaging device is obtained.
  • a plurality of imaging devices arranged in an array on the imaging surface.
  • An image sensor that converts an optical image captured in a pixel into an image signal and outputs it, a modulator provided on a light receiving surface of the image sensor to modulate the light intensity, and an image signal output from the image sensor.
  • a first grid composed of a plurality of concentric circles includes an image storage unit that temporarily stores the image storage unit and a signal processing unit that performs image processing of an image signal output from the image storage unit. Having a pattern, the signal processing unit generates a moire fringe image by modulating an image signal output from the image storage unit with a virtual second lattice pattern composed of a plurality of concentric circles.
  • This can be solved by an image pickup apparatus characterized in that the size of concentric circles of the second grid pattern is changed according to the focus position. "(Summary).
  • a lensless image pickup device including a lensless camera that does not use a lens has been proposed as an image pickup device including a camera, and is expected as an image pickup device that can realize small size and low cost. Further, network connection of an imaging device has become indispensable for expanding the applicable range of an imaging device such as image analysis.
  • Patent Document 1 does not describe the characteristics of a suitable image sensor when taking an image with a lensless image pickup apparatus.
  • An object of the present invention is to provide a technique such as characteristics, a structure, and a processing method of an image sensor suitable for imaging with respect to the technique of a lensless image pickup device.
  • a typical embodiment of the present invention has the following configuration.
  • the imaging device of one embodiment includes a modulator that modulates the intensity of incident light based on a photographing pattern, an image sensor that converts the modulated light into an electric signal, and generates a sensor image.
  • a microlens array including a plurality of microlenses arranged for a plurality of pixels of the image sensor, and a center position of a light receiving portion in each pixel of the plurality of pixels in the plane of the image sensor.
  • the microlens array has a characteristic of distribution regarding the amount of deviation of the position of the plurality of microlenses relative to the center position of each microlens, and the characteristic is a difference value of the amount of deviation between the adjacent pixels. However, it is a characteristic having at least one or more points that change from positive to negative or negative to positive.
  • FIG. 1 The figure which shows the structural example of the image pickup apparatus of Embodiment 1 of this invention.
  • FIG. An explanatory diagram regarding light incident on a pattern substrate according to the first embodiment.
  • FIG. 5 is a diagram showing a configuration example of a combination of a plurality of patterns having different initial phases in the first embodiment.
  • FIG. 5 is a diagram showing a configuration example of a space-divided shooting pattern in the first embodiment.
  • FIG. 5 is a flow chart of a fringe scan calculation process according to the first embodiment.
  • FIG. FIG. 5 is a diagram showing that a shooting pattern is projected in the case of an infinite distance object in the first embodiment.
  • FIG. 5 is a diagram showing that the photographing pattern is enlarged in the case of a finite distance object in the first embodiment.
  • FIG. 5 is a comparative example relating to the first embodiment, showing a configuration example of arrangement of pixels and microlenses in an image sensor. An explanatory diagram showing light incidents on one pixel in a comparative example according to the first embodiment.
  • FIG. FIG. 5 is a comparative example relating to the first embodiment, showing a configuration example of arrangement of pixels and microlenses in an image sensor.
  • FIG. FIG. 5 is a diagram showing a configuration example of a change in relative positional deviation between a pixel and a microlens in the image sensor plane according to the first embodiment.
  • FIG. 5 is a diagram showing an example of a processing division method regarding a relative positional deviation between a pixel and a microlens in the second embodiment.
  • the imaging apparatus and imaging method according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 33 and the like.
  • the imaging method of the first embodiment is a method having steps performed by the imaging apparatus of the first embodiment.
  • the image pickup device of the first embodiment is an image pickup device that implements the image pickup method of the first embodiment.
  • FIG. 1 shows a configuration example of the image pickup apparatus of the first embodiment.
  • the image pickup apparatus 1 of FIG. 1 is a lensless camera that acquires an image of an object in the outside world without using a lens to form an image.
  • the image pickup apparatus 1 includes an image pickup section 102, a fringe scan processing section 106, an image processing section 107, and a controller 108.
  • the image pickup unit 102 includes an image sensor 103, a microlens array 140, and a modulator 110.
  • the modulator 110 has a pattern substrate 104 and a pattern 105 for photographing.
  • the image sensor 103 is a device that converts light into an electric signal to generate a sensor image.
  • the modulator 110 is a portion in which the pattern substrate 104 and the photographing pattern 105 are combined, and is a device that modulates the intensity of light incident on and detected by the image sensor 103 based on the photographing pattern 105.
  • FIG. 2 shows an exploded view of the components in the configuration example of the imaging unit 102.
  • the x-axis direction, y-axis direction, and z-axis direction are used as explanatory directions.
  • the x-axis direction and the y-axis direction are two orthogonal directions constituting the main surface of the image sensor 103 or the like, and the z-axis direction corresponds to the optical axis, the thickness, etc., which are perpendicular to the main surface. It is a direction, which is a vertical direction in the figure.
  • a plurality of pixels 30 are arranged as an array on the light receiving surface (upper surface in the drawing) of the image sensor 103.
  • a microlens array 140 which will be described later, is arranged above the light receiving surface of the image sensor 103.
  • the pattern substrate 104 is arranged on the upper side of the light receiving surface of the image sensor 103 via the microlens array 140.
  • the pattern substrate 104 is fixed in close contact with, for example, the microlens array 140, but is not limited to this, and may be arranged at intervals.
  • the pattern substrate 104 has a pattern 105 for photographing formed on the upper surface of the drawing.
  • the pattern substrate 104 is made of a material that is transparent to visible light, such as glass or plastic.
  • the photographing pattern 105 may be formed by depositing a metal such as aluminum or chromium by using, for example, a sputtering method used in a semiconductor process.
  • the photographing pattern 105 is shaded for transmittance modulation, for example, by a pattern in which aluminum is vapor-deposited and a pattern in which aluminum is not deposited.
  • the method and means for forming the pattern 105 for photographing are not limited to this, and any means that can realize transmittance modulation, such as a method for adding shading by printing with an inkjet printer or the like, may be used.
  • the pattern substrate 104 uses a material having transparency with respect to the wavelength to be photographed, and the photographing pattern 105 is transparent and blocked.
  • a possible material may be used.
  • the pattern substrate 104 uses a material having transparency to far infrared rays such as germanium, silicon, and chalcogenide, and the photographing pattern 105 is converted to far infrared rays.
  • a material capable of permeation and blocking may be used.
  • the present invention is not limited to this, and other methods such as using a display element may be used.
  • FIG. 3 shows the configuration of the imaging unit 102 in another method as a modified example.
  • the photographing pattern 105 is formed in a thin film, and the photographing pattern 105 is held by the support member 301 with respect to the image sensor 103 and the like.
  • the shooting angle of view can be changed depending on the thickness of the pattern substrate 104. Therefore, for example, if the pattern substrate 104 has the configuration shown in FIG. 3 and has a function of changing the length of the support member 301 in the illustrated z-axis direction, the function of changing the angle of view at the time of shooting is available. realizable.
  • pixels 30 which are light receiving elements are regularly arranged, for example, in a grid pattern.
  • the image sensor 103 converts an optical image received by the pixel 30 into an image signal which is an electric signal.
  • the image signal output from the image sensor 103 is image-processed by the image processing unit 107 via the fringe scan processing unit 106, and is output via the controller 108.
  • the light intensity of the light transmitted through the photographing pattern 105 is modulated by the photographing pattern 105 when photographing.
  • the modulated light transmitted through the modulator 110 is transmitted through the microlens array 140 and received by the image sensor 103.
  • the image signal output from the image sensor 103 is noise-canceled by the fringe scan processing unit 106.
  • the signal after noise cancellation is image-processed by the image processing unit 107 to restore the image.
  • the image data after image processing is output to the controller 108.
  • the controller 108 converts the data format so as to be compatible with an interface such as USB and outputs the data.
  • An image signal, image data, or the like may be stored in the memory in the image pickup apparatus 1.
  • the photographing pattern 105 is a concentric pattern in which the pitch becomes finer in inverse proportion to the radius from the center.
  • the photographing pattern 105 is defined by the following equation 1 using the radius r and the coefficient ⁇ from the reference coordinates which are the centers of the concentric circles. It is assumed that the photographing pattern 105 is transmittance-modulated in proportion to I (r) of the formula 1.
  • FIG. 4 shows an example of the Gabor zone plate of the formula 1 as a configuration example of the photographing pattern 105.
  • This Gabor zone plate is a transmittance modulation pattern with multiple shades.
  • FIG. 5 shows an example of a Fresnel zone plate in which Equation 1 is binarized with a threshold value 1 as another configuration example of the photographing pattern 105.
  • This Fresnel zone plate is a transmittance modulation pattern having binary shades.
  • the white part is associated with transparent and the black part is associated with non-transparent.
  • the developing pattern existing corresponding to the photographing pattern 105 also has a pattern.
  • the x-axis direction of FIG. 2 will be mainly described by a mathematical formula, but similarly, by considering the y-axis direction, it can be developed in two dimensions.
  • Equation 2 indicates the initial phase of the transmittance distribution in Equation 1.
  • FIG. 7 shows an example of the projected image 701 of the photographing pattern 105.
  • FIG. 8 shows the development pattern 801.
  • the developing pattern 801 of FIG. 8 is an example corresponding to the photographing pattern 105 of FIG.
  • the image processing unit 107 performs development processing using such a development pattern 801.
  • the image processing unit 107 calculates a cross-correlation function between the projected image 701 of the photographing pattern 105 of FIG. 7 and the developing pattern 801 of FIG. As a result, a bright spot 902 with a shift amount k as shown in FIG. 9 is obtained.
  • FIG. 9 shows a configuration example of the developed image 901 by the correlation development method.
  • the developing pattern 801 of FIG. 8 a Gabor zone plate or a Fresnel zone plate is used as in the photographing pattern 105. Therefore, the development pattern 801 can be expressed by the following equation 3 using the initial phase ⁇ .
  • Equation 1 Since the developing pattern 801 is used in image processing, it is not necessary to offset it by 1 as in Equation 1, and there is no problem even if it has a negative value.
  • Equation 4 and 5 The Fourier transforms of Equations 1 and 3 are as shown in Equations 4 and 5, respectively.
  • Equation 6 Equation 6
  • Equation 6 The term e- iku represented by the exponential function of Equation 6 is the signal component.
  • e- iku is Fourier transformed, it is transformed as shown in the following equation 7, and a bright spot can be obtained at the position of the shift amount k on the original x-axis.
  • This bright spot indicates a luminous flux at infinity, which corresponds to an image taken by the imaging device 1 in FIG.
  • the autocorrelation function of the pattern may be realized by a pattern not limited to the Fresnel zone plate or the Gabor zone plate, for example, a random pattern.
  • the image processing unit 107 multiplies the projected image 701 of the photographing pattern 105 of FIG. 7 with the developing pattern 801 of FIG. 8 to form the moire fringes 1000 as shown in FIG. Generate. Then, the image processing unit 107 obtains bright spots 1102 and 1103 having a shift amount of k ⁇ / ⁇ in the developed image 1101 of FIG. 11 by Fourier transforming the moire fringes 1000.
  • the bright spot 1102 is a bright spot of ⁇ k ⁇ / ⁇
  • the bright spot 1103 is a bright spot of + k ⁇ / ⁇ .
  • the third term of the expansion formula of the formula 8 is a signal component. It can be seen that this signal component forms a fringe pattern such as the moire fringe 1000 in FIG. 10 over the entire region where the two patterns overlap.
  • this signal component forms a fringe pattern such as the moire fringe 1000 in FIG. 10 over the entire region where the two patterns overlap.
  • straight fringe patterns are formed at equal intervals (interval 1001) in the direction of deviation of the two patterns (x-axis direction) and in the direction orthogonal to the direction (y-axis direction). There is.
  • the fringes generated at a relatively low spatial frequency by superimposing such fringes are called moire fringes.
  • moire fringes are generated by superimposing the photographing pattern 501 and the developing pattern 801.
  • the two-dimensional Fourier transform of the third term of the equation 8 is as shown in the following equation 9.
  • F represents the Fourier transform operation
  • u represents the frequency coordinates in the x-axis direction
  • ⁇ with parentheses is the delta function.
  • the moire fringes obtained by shifting the pattern may have a single frequency, and may be realized by a pattern not limited to the Fresnel zone plate or the Gabor zone plate, for example, an elliptical pattern. Good.
  • the fringe scan processing unit 106 of the image pickup apparatus 1 performs noise cancellation based on the fringe scan.
  • the fringe scan it is necessary to use a plurality of patterns having different initial phases ⁇ as the photographing pattern 105.
  • FIG. 12 shows a configuration example of a combination of a plurality of patterns having different initial phases ⁇ as the photographing pattern 105 in the fringe scan.
  • the fringe scan processing unit 106 calculates the sensor image captured using these four phases according to the following equation 10. Then, a complex number sensor image (may be described as a complex sensor image) is obtained.
  • the complex number development pattern 801 can be expressed by the following equation 11. Since the development pattern 801 is used in the fringe scan process by the fringe scan process unit 106, there is no problem even if it is a complex number.
  • Equation 12 exp (2i ⁇ kx) represented by the exponential function of Equation 12 is the signal component. From this signal component, it can be seen that noise is canceled without generating an unnecessary term as in Equation 8.
  • Equation 15 The term exp (-iku) represented by the exponential function of Equation 15 is the signal component. From this signal component, it can be seen that noise is canceled without generating an unnecessary term as in Equation 8.
  • the initial phase ⁇ may be set so as to equally divide the angle between 0 and 2 ⁇ , and is not limited to the above four phases. ..
  • the methods for realizing shooting with the above multiple patterns can be roughly divided into a method of switching patterns by time division and a method of switching patterns by spatial division. Either a method of switching patterns by time division or a method of switching patterns by spatial division may be applied, or both methods may be implemented and the selected method may be used.
  • a display element such as a liquid crystal display element capable of electrically switching and displaying a plurality of initial phases in FIG. It may be used as the photographing pattern 105 of.
  • the fringe scan processing unit 106 of FIG. 1 controls the switching timing of the liquid crystal display element, which is the pattern 105 for photographing, and the shutter timing of the image sensor 103 in synchronization with each other.
  • the image pickup apparatus 1 executes the fringe scan calculation in the fringe scan processing unit 106 after acquiring the corresponding four images from the image sensor 103.
  • the imaging pattern 105 has a plurality of initial phases in the spatial division.
  • Pattern 1300 is used.
  • the photographing pattern 1300 of FIG. 13 has the above-mentioned four-phase pattern in the regions 1301 to 1304 in which the entire rectangular region is divided into four by aligning the x-axis direction and the y-axis direction.
  • the image pickup apparatus 1 After acquiring one image from the image sensor 103, the image pickup apparatus 1 divides the image into four images corresponding to the respective initial phase patterns in the fringe scan processing unit 106, and executes the fringe scan calculation. To do.
  • FIG. 14 is a flow chart showing an outline of processing including a fringe scan operation of the fringe scan processing unit 106.
  • FIG. 14 has steps S1 to S7, which will be described below in the order of steps.
  • step S1 the fringe scan processing unit 106 acquires a sensor image based on a plurality of patterns output from the image sensor 103.
  • the fringe scan processing unit 106 divides the sensor image when the spatial division fringe scan is used, and does not perform the division in step S1 when the time division fringe scan is used.
  • step S2 the fringe scan processing unit 106 initializes the complex sensor image for output.
  • step S3 the fringe scan processing unit 106 acquires a sensor image of the first initial phase ⁇ in the loop, and in step S4, exp (i ⁇ ), which is an exponential function corresponding to the initial phase ⁇ , is added to the sensor image. ) Is multiplied, and in step S5, the multiplication result is added to the complex sensor image for output.
  • step S7 the fringe scan processing unit 106 outputs the processed complex sensor image.
  • the main processing in the fringe scan processing unit 106 described above corresponds to the above-mentioned equation 10.
  • FIG. 15 is a flow chart showing an outline of processing when the correlation development method is used in the image processing unit 107.
  • FIG. 15 has steps S21-S26.
  • step S21 the image processing unit 107 acquires a complex sensor image output from the fringe scan processing unit 106, and executes a two-dimensional fast Fourier transform (FFT) operation on the complex sensor image.
  • FFT fast Fourier transform
  • step S22 the image processing unit 107 generates a developing pattern 801 to be used for the developing process.
  • the image processing unit 107 may refer to the development pattern 801 which is set and stored in the memory or the like in advance. Then, the image processing unit 107 multiplies the complex sensor image after the two-dimensional FFT calculation by the development pattern 801. In step S24, the image processing unit 107 performs an inverse two-dimensional FFT calculation on the image after the multiplication.
  • step S24 the image processing unit 107 performs real number processing on the complex number of the calculation result.
  • the realization process is a process of making an absolute value or a process of extracting a real part.
  • the process of making it an absolute value can be represented by
  • ⁇ (A 2 + B 2 ).
  • the image processing unit 107 develops the image to be photographed into a real number.
  • the image processing unit 107 performs contrast enhancement processing on the obtained image in step S15, and color balance adjustment and the like in step S26.
  • the image processing unit 107 outputs the data of the processing results as a captured image. This completes the image processing of the image processing unit 107, and a photographed image that can be visually recognized by the user can be obtained.
  • FIG. 16 shows an outline of processing when the moire development method is used.
  • FIG. 16 has steps S31-S36.
  • step S31 the image processing unit 107 acquires the complex sensor image output from the fringe scan processing unit 106, generates a development pattern 801 to be used for the development process, and multiplies the complex sensor image.
  • step S32 the image processing unit 107 obtains a frequency spectrum from the multiplied image by a two-dimensional FFT calculation, and in step S33, cuts out data in a necessary frequency domain from the frequency spectrum.
  • steps S34 to 36 are the same as the processes of steps S24 to S26 of FIG.
  • the image pickup device 1 is not limited to a camera that captures an image by visible light, but is a device that captures an image in a frequency band such as infrared rays based on the same principle, and a distance image (three-dimensional depth) with a subject. It is also possible to use a device (sometimes called a distance image sensor or the like) for capturing an image (an image having distance information in a direction).
  • FIG. 17 shows the state of projection of the photographing pattern 105 on the image sensor 103 when the subject described above is far away (in other words, in the case of an infinity object).
  • the spherical wave from the point 1701 constituting the distant object becomes a plane wave while propagating a sufficiently long distance, and irradiates the photographing pattern 105.
  • the projected image 1702 due to the irradiation is projected onto the image sensor 103, the projected image has substantially the same shape as the photographing pattern 105.
  • it is possible to obtain a single bright spot by performing a developing process on the projected image 1702 using the above-mentioned developing pattern.
  • FIG. 18 is an explanatory diagram showing that when the object to be imaged is at a finite distance, the projection of the photographing pattern 105 on the image sensor 103 is magnified more than that of the photographing pattern 105.
  • a spherical wave from the point 1801 constituting the object irradiates the photographing pattern 105, and the projected image 1802 due to the irradiation is projected on the image sensor 103.
  • the projected image is magnified almost uniformly.
  • the magnification ⁇ at this time can be calculated by the following equation 16 using the distance f from the photographing pattern 105 to the point 1801 in the z-axis direction.
  • the development process is performed by using the development pattern designed for parallel light as it is, a single bright spot cannot be obtained. Therefore, when the development pattern 801 is enlarged in accordance with the projected image of the photographing pattern 105 which is uniformly enlarged as shown in FIG. 18, a single bright spot is again formed on the enlarged projected image 1802. Obtainable. For this purpose, correction is possible by setting the coefficient ⁇ of the developing pattern 801 to ⁇ / ⁇ 2 . As a result, the image pickup apparatus 1 can selectively reproduce the light from the point 1801 at a distance not necessarily infinity. As a result, the image pickup apparatus 1 can focus on an arbitrary position and perform shooting.
  • FIG. 19 shows the cross-sectional structure of the image sensor 103a (103) in the central pixel 1901 and the edge pixel 1902 in the x-axis direction in the comparative example according to the first embodiment.
  • an image sensor configured by using an image sensor such as a general CMOS or CCD is considered.
  • the pixel 30 in the image sensor 103a cannot receive light on the entire surface, but can receive light only in a part of the light receiving unit 1903.
  • the width 1912 of the light receiving unit 1903 is smaller than the width 1911 of the pixel 30.
  • a microlens 1904 is arranged as a microlens array in front of the light receiving unit 1903 in the z-axis direction in order to improve the light utilization efficiency.
  • the incident light 1905 indicated by the alternate long and short dash line is condensed by the microlens 1904 like the light 1906 indicated by the dotted line, and is efficiently taken into the light receiving unit 1903.
  • Each microlens 1904 is a lens having a curved surface convex on the incident side.
  • FIG. 20 shows a state of light incident with respect to one pixel 30 of FIG. Since the light receiving portion 1903 of the image sensor 103a of FIG. 19 is smaller than the pixel 30 in this way, as shown in the light ray 2001 of FIG. 20, only in the angle range in which the light is focused in the range of the light receiving portion 1903. , Shooting is possible. Light from angles outside this angle range will rapidly lose sensitivity.
  • FIG. 21 shows an example of the angle dependence of the sensitivity
  • FIG. 22 shows an example of actual measurement.
  • Such sensitivity is called the chief ray angle (CRA) characteristic.
  • the horizontal axis is the angle ⁇ and the vertical axis is the sensitivity.
  • Sensitivity corresponds to the amount of received light and the light intensity.
  • the horizontal axis is the incident angle corresponding to the angle ⁇
  • the vertical axis is the normalized light intensity.
  • FIG. 23 shows a configuration example of an image-side telecentric optical system in a general camera as a comparative example.
  • the lenses 2301, 302 are arranged at positions in front of the image sensor 103a (upper side in the drawing) in the z-axis direction.
  • the lens 2302 is a field lens, which is a lens that changes the traveling direction of light around the image.
  • the light rays 2303 that are obliquely incident on the optical axis in the z-axis direction are converted into light rays in the z-axis direction, that is, parallel light by the lenses 2301, 302.
  • FIG. 24 shows a configuration example of a non-telecentric optical system in another general camera as a comparative example.
  • the lens 2401 is arranged at a position in front of the image sensor 103a in the z-axis direction.
  • the light ray 2403 that is obliquely incident on the optical axis in the z-axis direction at an angle ⁇ 1 is received by the light receiving portion as an oblique light ray even after passing through the lens 2401.
  • FIG. 24 shows a configuration example of a non-telecentric optical system in another general camera as a comparative example.
  • the lens 2401 is arranged at a position in front of the image sensor 103a in the z-axis direction.
  • the light ray 2403 that is obliquely incident on the optical axis in the z-axis direction at an angle ⁇ 1 is received by the light receiving portion as an oblique light ray even after passing through the lens 2401.
  • the pixel characteristics of a plurality of pixels in the plane of the image sensor 103a differ depending on the incident angle of the light beam. Since the pixels at the edges are obliquely incident, the amount of light is reduced and the pixel value becomes dark.
  • FIG. 25 is a comparative example of the first embodiment, and shows a configuration example of the arrangement of the pixels 30 and the microlens 1904 in the image sensor 103b (103).
  • the configuration of FIG. 25 is a configuration in which the optical axis of the microlens 1904 of the image sensor 103 and the optical axis of the light receiving unit 1903 are intentionally shifted so as to be different from each other.
  • the light beam is corrected by the relative positional relationship with the microlens 1904 so as to match the pixel 1902 at the end.
  • the relationship between the microlens 1904 and the light receiving unit 1903 is different between the pixel 1901 at the center and the pixel 1902 at the end of the image sensor 103 in the x-axis direction.
  • the image sensor 103b has a configuration in which the relative positions of the microlens 1904 and the light receiving unit 1903 change in a plane including the x-axis direction and the y-axis direction, and the amount of deviation of the relative positions is monotonically increased or decreased. Is.
  • the optical axis of the microlens 1904 and the optical axis of the light receiving portion 1903 coincide with each other.
  • the pixel 1902 at the end has a deviation distance of 2502 between the optical axis of the microlens 1904 and the optical axis of the light receiving unit 1903.
  • the pixels at the opposite end also have a deviation distance in the opposite direction.
  • the image sensor 103b is an imaging system in which the attenuation of peripheral illumination of the image is small.
  • a camera having a configuration as shown in FIG. 25 has already been realized at low cost.
  • FIG. 26 shows an example of a sensor image 2601 having shading when the image sensor 103b is used. When such shading occurs, low-frequency noise appears strongly in the process of the subsequent development process, so that the developed image is deteriorated.
  • the light receiving unit 1903 and the microlens 1904 are not configured as shown in FIG. 25 but as shown in FIG. 19 as shown in the image sensor 103a.
  • a configuration having a uniform relationship with is desirable.
  • the CRA characteristic due to the pixel structure becomes an issue, and the field of view (corresponding angle of view range) of the camera becomes narrow.
  • FIG. 27A shows a top view of one pixel 30 and the microlens 1904 of FIG. 20.
  • FIG. 27B shows a case where there is a relative positional deviation between the microlens 1904 and the light receiving unit 1903.
  • the relative position shift is shown as a shift ( ⁇ ) 2701 using a vector.
  • FIG. 28 shows the relationship between the position of the pixel 30 in the x-axis direction and the deviation ⁇ x in the configuration of the image sensor 103b of FIG. 25 described above.
  • FIG. 28A shows the characteristics of the distribution of the deviation ⁇ x
  • FIG. 28B shows a graph obtained by differentiating the characteristics of (A).
  • the center is shown at position L1
  • the right end corresponding to the positive direction is shown at position L2
  • the left end corresponding to the negative direction is shown at position L3. ..
  • the pitch of the microlens 1904 and the pitch of the pixels 30 are substantially the same, and the relative pitch is such that the difference is one pixel or less from the center to the end of the image sensor 103b. It is realized by shifting, in other words, changing.
  • FIG. 29 shows the pitch p1 between the pixels 30 and the light receiving unit 1903, the pitch p2 between the microlenses 1904, the relative position shift 2502, and the like for the purpose of explaining the configuration of the image sensor 103b.
  • FIG. 29 is an example of pixel 1902 at the left end of FIG. 25. Pitch p1 and pitch p2 are almost the same.
  • the relative position deviation 2502 is shown with reference to the center position of the microlens 1904 with respect to the center position of the pixel 30 and the positive direction in the x-axis direction (direction from left to right in the figure).
  • the pitch p21 is the pitch p21
  • the pitch p2 between the microlenses 1904 in the pixel 1902 at the left end is the pitch p22.
  • the pitch p2 between the microlenses 1904 is shifted so as to decrease from the pitch p21 to the pitch p22 from the central portion to the end portion.
  • the configuration is such that the change in the relative position deviation between the pixel 30 and the microlens 1904 is a difference of one pixel or less.
  • FIG. 30 shows a configuration example of the image sensor 103c (103) in the image pickup apparatus 1 of the first embodiment.
  • FIG. 30 shows an enlarged configuration example of the pixel 30 and the microlens 140 at the position L1 at the center of the image sensor 103 in the plane.
  • the pitch p2 between the microlenses 140 is larger than the pitch p1 between the pixels 30 (p1 ⁇ p2).
  • the central pixel 30 is designated as pixel PX1, and the pixels 30 on both sides thereof are represented by pixels PX2 and PX3.
  • the individual microlenses 140 corresponding to them are shown by microlenses ML1, ML2, and ML3.
  • the deviation ⁇ x of the relative position with respect to the microlens ML1 is 0.
  • the deviation ⁇ x (3001) of the relative position with respect to the microlens ML2 is a value larger than 0 in the positive direction.
  • the deviation ⁇ x (3002) of the relative position with respect to the microlens ML3 is a value larger than 0 in the negative direction. This relative misalignment changes so as to increase from the center to the outer edge in the plane.
  • the pitch p2 of the microlens 140 and the pitch p1 of the pixel 30 are significantly different, in other words, when the difference (p2-p1) between the pitch p2 and the pitch p1 is made larger than a certain level, it is in-plane.
  • the relative positional deviation ( ⁇ x, ⁇ y) changes sharply.
  • the relative positional deviation between the adjacent pixels 30 may change from positive to negative or from negative to positive when the difference exceeds the difference of one pixel. The larger the difference (p2-p1), the greater the number of such locations.
  • the relative positional deviation in the plane of the image sensor 103 is changed to have various values.
  • the effect of improving the camera characteristics can be obtained as described later.
  • the image sensor 103 in the first embodiment may be configured to randomly shift and change the relative positions of the pixel 30 and the microlens 140 in the plane as shown in FIG. 31.
  • the schematic graph of FIG. 31A shows the characteristics of the distribution of the relative displacement amount of the image sensor 103 in the first embodiment.
  • the horizontal axis of the graph indicates, for example, the pixel 30 at each position in the x-axis direction, and the vertical axis indicates the deviation ⁇ x of the relative position between the center position of the pixel 30 and the center position of the microlens 140.
  • the deviation ⁇ x takes a random value within the range from ⁇ x1 to + ⁇ x1.
  • FIG. 31B is a schematic graph obtained by differentiating the characteristics of FIG.
  • the difference value of the relative misalignment amount also has a random distribution.
  • the difference value which is the change in the amount of deviation between adjacent pixels, has a place where it changes from positive to negative and a place where it changes from negative to positive.
  • Such a random characteristic can be realized, for example, by making at least one of the pitch p1 of the pixel 30 and the pitch p2 of the microlens 140 random according to the position in the plane.
  • the configuration shown in FIGS. 30 and 31 includes various relative positional deviations in the plane of the image sensor 103, that is, a configuration including pixels 30 corresponding to light receiving light rays at various incident angles. ..
  • the CRA characteristics as shown in FIG. 32 can be realized.
  • FIG. 32 shows an example of the CRA characteristics of the entire image sensor 103 in the first embodiment.
  • the CRA characteristic 3200 of FIG. 32 includes a CRA characteristic 3201 having a peak in a light ray incident on a light beam perpendicular to the image sensor 103 (z-axis direction), a CRA characteristic 3202, 3203 having a peak in a light ray incident obliquely, and the like. It is a combination of various characteristics.
  • the entire image sensor 103 has a configuration that is sensitive to a wide angle of incidence, such as the CRA characteristic 3200.
  • the lensless image pickup apparatus including the lensless optical system as in the first embodiment, the information of the incident light from a certain point is the entire plurality of pixels 30 of the image sensor 103 (corresponding sensor image). It is dispersed in. Therefore, even if there is a defect in the sensor image, the information (corresponding image) can be restored by processing. Based on the properties of such a lensless image pickup apparatus and the configuration of random relative positional deviation, the image pickup apparatus 1 of the first embodiment can be developed while suppressing deterioration of image quality.
  • the relative position between the light receiving unit 1903 and the microlens 140 may change, for example, randomly. Therefore, the same effect can be obtained not only by the configuration shown in FIG. 31 but also by the configuration example shown in FIG. 33.
  • the configuration of FIG. 33 is a configuration in which an optical element that randomly scatters light, such as a scatterer 3301, is inserted as a modification of the first embodiment.
  • the scatterer 3301 is arranged on the incident side with respect to the microlens 140 in the z-axis direction.
  • the distribution of the relative positional deviation between the pixel 30 and the microlens 140 in the image sensor 103 is not provided.
  • the scatterer 3301 may be provided.
  • the relative positions of the light receiving unit 1903 and the microlens 140 change, for example, randomly in the plane of the image sensor 103, in other words, various types.
  • the configuration has a distribution of relative misalignment. This makes it possible to provide the characteristics, structure, processing method, etc. of the image sensor 103 suitable for imaging, and realize a lensless imaging device with a wide shooting angle of view, no noise due to shading, high image quality, and improved camera characteristics. it can.
  • the existing inexpensive image sensor can be used as the image sensor 103, so that the manufacturing cost can be suppressed.
  • the relative positions of the light receiving unit 1903 and the microlens 140 in the image sensor 103 are arranged so as to change, for example, randomly. Due to this configuration, defects in the sensor image may occur randomly when the image is taken from a certain angle, and the random defects may affect the image quality of the developed image. Therefore, in the second embodiment, a configuration devised in consideration of the possibility, a processing method, and the like will be described.
  • the image pickup device 1 of the second embodiment is also configured to change the relative positional deviation between the light receiving portion and the microlens in the plane of the image sensor 103, thereby improving the CRA characteristics in the entire lensless optical system.
  • the second embodiment does not have a random arrangement as in the first embodiment, but has a characteristic of arrangement and distribution of a known relative misalignment amount such as a periodic arrangement.
  • the sensor image captured by the image sensor 103 is decomposed and processed for each angle corresponding to the incident angle of the light beam.
  • FIG. 34 shows a configuration example of the periodic arrangement of the relative positional deviation of the image sensor 103 in the image pickup apparatus 1 of the second embodiment.
  • FIG. 34A shows the characteristics of the distribution of the relative displacement amount of the image sensor 103 in the second embodiment, and is the characteristic of the periodic distribution as shown in the figure.
  • the horizontal axis of (A) shows, for example, the pixels 30 at each position in the x-axis direction, and the vertical axis shows the deviation ⁇ x of the relative positions between the light receiving portion 1903 and the microlens 140.
  • the deviation ⁇ x changes periodically in the range from ⁇ x1 to + ⁇ x1 according to the pixel position in the x-axis direction.
  • the deviation ⁇ x is ⁇ x1
  • the deviation ⁇ x is + ⁇ x1.
  • the deviation ⁇ x increases linearly from ⁇ x1 to + ⁇ x1.
  • the deviation ⁇ x increases linearly as in the range 3401.
  • FIG. 34 (B) is a graph obtained by differentiating the characteristics of (A), and is a graph in which the difference value between the adjacent pixels 30 is taken as the amount of change in the relative displacement amount.
  • the difference value of the relative misalignment amount has a positive constant value portion and a plurality of portions that greatly change from positive to negative or negative to positive.
  • the characteristics of FIG. 31 of the first embodiment and the characteristics of FIG. 34 of the second embodiment are different from the characteristics of monotonous increase or monotonous decrease as shown in FIG. 28 of the comparative example, and the difference value of the relative misalignment amount is positive. It has a part that changes from negative or negative to positive.
  • the image pickup apparatus 1 has known characteristics as shown in FIG. 34, and is used for processing of the image processing unit 107 and the like.
  • FIG. 35 shows an example of a sensor image 3500 with shading taken by the image sensor 103.
  • the sensor image 3500 (corresponding image sensor 103) has a plurality of regions 3501 in the x-axis-y-axis plane.
  • One region 3501 is a region corresponding to one cycle of change in relative positional deviation (a portion such as a range 3401 in FIG. 34), and the region for this one cycle is defined as one unit. Then, the relative position deviation ⁇ x in this unit is as shown in FIG.
  • FIG. 36 shows an example of a processing division method regarding a relative positional deviation in the unit.
  • the horizontal axis is the position of the pixel 30 in one unit in the x-axis direction
  • the vertical axis is the relative position deviation ⁇ x.
  • the center of one unit is indicated by M1
  • the right end is indicated by M2
  • the left end is indicated by M3.
  • the image pickup apparatus 1 of the second embodiment has a plurality of units in the entire region of the sensor image (corresponding image sensor 103), such as a plurality of ranges, for example, ranges A1 to A5, at intervals of a certain relative displacement amount of 3601. Divide into.
  • the deviation amount is divided into five ranges (A1 to A5) within the range from the minimum value ( ⁇ x1) to the maximum value (+ ⁇ x1).
  • the interval 3601 and the number of divisions are set values and can be changed.
  • the relative positional deviation ⁇ y in the y-axis direction of the unit is also divided into a plurality of ranges, for example, ranges B1 to B5 at intervals of 3602.
  • the image processing unit 107 divides the sensor image in this way.
  • FIG. 37 (A) shows a configuration example of division within one unit.
  • the intersection of each range in the x-axis direction and each range in the y-axis direction constitutes a region smaller than the unit.
  • region 3701 is a region of A1-B1
  • region 3702 is a region of A5-B5.
  • the image processing unit 107 generates, as a divided sensor image, an image classified and collected for each region of the same type in the plurality of units of the sensor image 3500 of FIG. 35.
  • 5 ⁇ 5 25 divisions from a divided sensor image (referred to as G11) in which only the area 3701 of A1-B1 is collected to a divided sensor image (referred to as G55) in which only the area 702 of A5-B5 is collected.
  • G11 a divided sensor image
  • G55 a divided sensor image
  • the image processing unit 107 executes the development processing shown in FIGS. 15 and 16 described above by using the corresponding development pattern for each of the divided sensor images in the plurality of divided sensor images generated. Then, the image processing unit 107 synthesizes the development processing results for each of the divided sensor images into one image.
  • processing division method processing can be performed for each division sensor image without the above-mentioned pixel loss. Therefore, image processing can be performed without increasing noise, information can be restored in the combined image, and image quality deterioration can be suppressed.
  • FIG. 38 (B) shows an example of dividing and processing only in the x-axis direction
  • FIG. 38 (C) shows an example of dividing and processing only in the y-axis direction. In this way, it is possible to perform an optimum design according to the characteristics of the image sensor, such as processing by changing the direction.
  • FIG. 38 (A) shows.
  • PSF Point Spread Function
  • the relative positional deviation in the image sensor 103 is randomly arranged as in the first embodiment, but the random arrangement is a known design. That is, it is known what kind of relative positional deviation the image pickup apparatus 1 has for each pixel 30. Then, in the modified example, as shown in FIG. 39, a range due to division is assigned to each unit according to the relative displacement amount.
  • FIG. 39 shows a processing division method regarding relative positional deviation in the modified example. For example, with respect to the deviation ⁇ x of the relative position in the x-axis direction, ranges A1 to A5 are assigned according to the magnitude of the deviation amount. Similar to the second embodiment, the image processing unit 107 generates a divided sensor image according to the range, and processes each divided sensor image.
  • FIG. 38 (B) shows an example of a PSF related to a developed image obtained as a result of image processing according to a modified example. According to the configuration of the modified example, it can be seen that the peak (A) in FIG. 38 due to the periodicity, for example, the peak 3801 is suppressed as the peak 3802 in FIG. 38 (B).
  • the relative positional deviation is periodically changed in the plane of the image sensor 103, and the sensor image is correspondingly divided into a plurality of regions for processing. ..
  • the characteristic of the periodic distribution of the relative positional deviation in the image sensor 103 described above is not limited to the above example, and may be defined by another periodic function such as a sine function.
  • the present invention has been specifically described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the gist.
  • the present invention can also be configured by adding, deleting, replacing, merging, etc. the elements to all the components of the embodiment.
  • the present invention can also be configured in combination with one embodiment and another.
  • the components in the present invention may be configured by hardware such as an integrated circuit or FPGA, or may be configured by software program processing or the like. You may.
  • a processor using a CPU, ROM, RAM, or the like realizes a function by executing processing according to the program while using memory or the like.
  • the program and related data and information may be stored in a storage device or recording medium such as an HDD, DVD, SSD, SD card, or may be stored on an external communication network.
  • FIG. 40 shows a configuration example of the cross-correlation calculation in the above-mentioned correlation development method as a supplement to each embodiment.
  • the image processing unit 107 performs FFT 402 on the sensor image 401 input from the image sensor 103 via the fringe scan processing unit 106, and obtains the post-FFT image 403.
  • the image processing unit 107 performs FFT 412 on the pre-generated development pattern 411 (for example, the above-mentioned development pattern 801) to obtain the post-FFT development pattern 413.
  • the image processing unit 107 obtains the post-folding image 405 by performing the FFT post-development pattern 413 on the post-FFT image 403 by the convolution calculation 404.
  • the image processing unit 107 obtains a restored image 407 by performing a reverse FFT406 on the image 405 after folding.
  • the image processing unit 107 may execute processing such as FFT in real time for each imaging, but it generates data that has been processed such as FFT in advance (for example, FFT post-development pattern 413) and stores it in the memory.
  • the data may be read out and the above calculation may be performed at the time of imaging. This makes it possible to increase the speed.
  • Imaging device 30 ... Pixels, 102 ... Imaging unit, 103 ... Image sensor, 104 ... Pattern substrate, 105 ... Shooting pattern, 106 ... Fringe scan processing unit, 107 ... Image processing unit, 108 ... Controller, 1903 ... Light receiving Part, 140 ... Micro lens.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

レンズレス撮像装置に関して、撮像に適した画像センサの特性や構造等を提供する。撮像装置は、撮影用パターンに基づいて光の強度を変調する変調器と、変調後の光に基づいてセンサ画像を生成する画像センサと、画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、を備える。撮像装置は、画像センサの面内において、複数の画素の各画素の受光部の中心位置と、複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有する。この特性は、隣接する各画素間でのずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも１つ以上持つ特性である。

Description

撮像装置および方法
　本発明は、撮像装置の技術に関する。
　撮像装置に関する先行技術例として、国際公開第２０１７／１４９６８７号（特許文献１）がある。特許文献１には、「格子基板を透過する光線の入射角度の検出を容易化することにより、撮像装置の高機能化が可能な撮像装置を得る。撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、光の強度を変調する変調器と、前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、を具備し、前記変調器は、複数の同心円から構成される第１の格子パターンを有し、前記信号処理部は、前記画像記憶部から出力される画像信号を、複数の同心円から構成される仮想的な第２の格子パターンで変調することでモアレ縞画像を生成し、フォーカス位置に応じて前記第２の格子パターンの同心円の大きさを変更することを特徴とする撮像装置で解決できる。」（要約）と記載されている。
国際公開第２０１７／１４９６８７号
　先行技術例のように、カメラを含む撮像装置として、レンズを使用しないレンズレスカメラを含むレンズレス撮像装置が提案されており、小型・低コストを実現できる撮像装置として期待されている。また、撮像装置のネットワーク接続は、画像解析等の撮像装置の適用範囲拡大に必須となってきている。
　しかしながら、先行技術例のレンズレス撮像装置は、撮像に適した画像センサの特性に関して検討の余地がある。特許文献１では、レンズレス撮像装置で撮像する際の好適な画像センサの特性については述べられていない。
　本発明の目的は、レンズレス撮像装置の技術に関して、撮像に適した画像センサの特性や構造および処理方法等の技術を提供することである。
　本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の撮像装置は、撮影用パターンに基づいて、入射される光の強度を変調する変調器と、前記変調後の光を電気信号に変換し、センサ画像を生成する画像センサと、前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、を備え、前記画像センサの面内において、前記複数の画素の各画素における受光部の中心位置と、前記マイクロレンズアレイの前記複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有し、前記特性は、隣接する前記各画素間での前記ずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも１つ以上持つ特性である。
　本発明のうち代表的な実施の形態によれば、レンズレス撮像装置に関して、撮像に適した画像センサの特性や構造および処理方法等を提供できる。
本発明の実施の形態１の撮像装置の構成例を示す図。 実施の形態１で、撮像部の構成例を示す図。 実施の形態１の変形例で、撮像部の構成例を示す図。 実施の形態１で、撮影用パターンまたは現像用パターンの構成例を示す図。 実施の形態１で、撮影用パターンまたは現像用パターンの構成例を示す図。 実施の形態１で、パターン基板への光入射に関する説明図。 実施の形態１で、撮影用パターンの投影像の構成例を示す図。 実施の形態１で、現像用パターンの構成例を示す図。 実施の形態１で、相関現像方式による現像画像の構成例を示す図。 実施の形態１で、モアレ現像方式によるモアレ縞の構成例を示す図。 実施の形態１で、モアレ現像方式による現像画像の構成例を示す図。 実施の形態１で、初期位相の異なる複数のパターンの組合せの構成例を示す図。 実施の形態１で、空間分割方式の撮影用パターンの構成例を示す図。 実施の形態１で、フリンジスキャン演算処理のフロー図。 実施の形態１で、相関現像方式による画像処理のフロー図。 実施の形態１で、モアレ現像方式による画像処理のフロー図。 実施の形態１で、無限距離物体の場合に撮影用パターンが投影されることを示す図。 実施の形態１で、有限距離物体の場合に撮影用パターンが拡大されることを示す図。 実施の形態１に関する比較例で、画像センサにおける画素とマイクロレンズの配置の構成例を示す図。 実施の形態１に関する比較例で、１個の画素に関する光入射を示す説明図。 一般的な画像センサに関するＣＲＡ特性の例を示す図。 一般的な画像センサに関するＣＲＡ特性の実測の例を示す図。 実施の形態１に関する比較例で、像側テレセントリック光学系の例を示す図。 実施の形態１に関する比較例で、非テレセントリック光学系の例を示す図。 実施の形態１に関する比較例で、画像センサにおける画素とマイクロレンズの配置の構成例を示す図。 実施の形態１に関する比較例で、センサ画像のシェーディングの例を示す図。 画素とマイクロレンズとの相対位置ずれの例を示す図。 画素とマイクロレンズとの相対位置ずれに関する画像センサ面内での変化の例を示す図。 画素間のピッチおよびマイクロレンズ間のピッチ等の例を示す図。 実施の形態１で、画素センサにおける画素とマイクロレンズとの配置の構成例を示す図。 実施の形態１で、画像センサ面内での画素とマイクロレンズとの相対位置ずれの変化の構成例を示す図。 実施の形態１で、画像センサ全体でのＣＲＡ特性の例を示す図。 実施の形態１の変形例における、画素とマイクロレンズの配置の構成例を示す図。 本発明の実施の形態２の撮像装置における、画像センサの面内での画素とマイクロレンズとの相対位置ずれの変化の構成例を示す図。 実施の形態２で、センサ画像のシェーディングの例を示す図。 実施の形態２で、画素とマイクロレンズとの相対位置ずれに関する処理分割方法の例を示す図。 実施の形態２で、ユニット内の分割の例を示す図。 実施の形態２に関する、現像画像のＰＳＦの例を示す図。 実施の形態２の変形例における相対位置ずれおよび処理分割方法を示す図。 各実施の形態の補足として、相互相関演算の例を示す図。
　以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、全図面において同一部には原則として同一符号を付し、繰り返しの説明は省略する。以下、必要に応じて、複数のセクションや実施の形態に分けて説明する。それらは互いに変形例、詳細、補足説明等の関係を持つ。また、以下、構成要素の数、量、範囲、寸法、形状、位置関係等に言及する場合、特定の数等には限定されない。構成要素の形状等は、近似または類似の形状等を含む。
　（実施の形態１）
　図１～図３３等を用いて、本発明の実施の形態１の撮像装置および撮像方法について説明する。実施の形態１の撮像方法は、実施の形態１の撮像装置で実行されるステップを有する方法である。実施の形態１の撮像装置は、実施の形態１の撮像方法を実装した撮像装置である。
　＜無限遠物体の撮像原理＞
　以下では、主に無限遠物体の撮像原理等について説明する。
　［撮像装置］
　図１は、実施の形態１の撮像装置の構成例を示す。図１の撮像装置１は、結像させるレンズを用いることなく、外界の物体の画像を取得するレンズレスカメラである。撮像装置１は、撮像部１０２、フリンジスキャン処理部１０６、画像処理部１０７、およびコントローラ１０８を有する。撮像部１０２は、画像センサ１０３、マイクロレンズアレイ１４０、および変調器１１０を有する。変調器１１０は、パターン基板１０４および撮影用パターン１０５を有する。画像センサ１０３は、光を電気信号に変換し、センサ画像を生成するデバイスである。変調器１１０は、パターン基板１０４と撮影用パターン１０５とを合わせた部分であり、撮影用パターン１０５に基づいて、画像センサ１０３に入射され検出される光の強度を変調するデバイスである。
　図２は、撮像部１０２の構成例における構成要素の分解図を示す。なお、説明上の方向として、ｘ軸方向，ｙ軸方向，ｚ軸方向を用いる。ｘ軸方向およびｙ軸方向は、画像センサ１０３等の主面を構成する直交する２つの方向であり、ｚ軸方向は、その主面に対して垂直な、光軸や厚さ等に対応する方向であり、図示での上下方向である。画像センサ１０３の受光面（図示の上側の面）には、複数の画素３０がアレイとして配列されている。画像センサ１０３の受光面の上側には、後述のマイクロレンズアレイ１４０が配置されている。画像センサ１０３の受光面の上側には、マイクロレンズアレイ１４０を介して、パターン基板１０４が配置されている。パターン基板１０４は、例えばマイクロレンズアレイ１４０に密着して固定されるが、それに限らず、間隔を置いて配置されてもよい。
　パターン基板１０４は、図示の上側の面に、撮影用パターン１０５が形成されている。パターン基板１０４は、例えばガラスやプラスティック等の可視光に対して透明な材料から構成される。撮影用パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法等を用いてアルミニウムやクロム等の金属を蒸着することによって形成されてもよい。撮影用パターン１０５は、例えばアルミニウムが蒸着されたパターンと蒸着されていないパターンとによって、透過率変調のための濃淡がつけられる。なお、撮影用パターン１０５の形成の方式や手段は、これに限定されず、例えばインクジェットプリンタによる印刷等によって濃淡をつける方式等、透過率変調を実現できる手段であればよい。また、ここでは、可視光を例に説明するが、これに限らず、パターン基板１０４は、撮影対象となる波長に対して透過性を持つ材料を用い、撮影用パターン１０５は、透過および遮断が可能な材料を用いればよい。例えば、遠赤外線の撮影を行う撮像装置１とする場合、パターン基板１０４は、例えばゲルマニウム、シリコン、カルコゲナイド等の遠赤外線に対して透過性を持つ材料を用い、撮影用パターン１０５は、遠赤外線に対して透過および遮断が可能な材料を用いればよい。なお、ここでは、撮影用パターン１０５をパターン基板１０４に形成する方式の場合を述べたが、これに限らず、表示素子を用いる等、他の方式としてもよい。
　図３は、変形例として、他の方式における撮像部１０２の構成を示す。図３の撮像部１０２は、撮影用パターン１０５が薄膜に形成されており、この撮影用パターン１０５が、支持部材３０１によって、画像センサ１０３等に対し保持される構成である。
　なお、図１および図２の方式の撮像装置１では、撮影画角は、パターン基板１０４の厚さによって変更可能である。よって、例えばパターン基板１０４が、図３の構成を有し、支持部材３０１の図示のｚ軸方向での長さを変更可能な機能を有する構成とすれば、撮影時に画角を変更できる機能が実現できる。
　図２で、画像センサ１０３の図示の上側の表面には、受光素子である画素３０が、例えば格子状に規則的に配置されている。この画像センサ１０３は、画素３０が受光した光画像を、電気信号である画像信号に変換する。画像センサ１０３から出力された画像信号は、図１のように、フリンジスキャン処理部１０６を経由して、画像処理部１０７によって画像処理され、コントローラ１０８を経由して出力される。
　上記撮像装置１の構成において、撮影する場合に、撮影用パターン１０５を透過する光は、撮影用パターン１０５によって光強度が変調される。変調器１１０を透過した変調後の光は、マイクロレンズアレイ１４０を透過して画像センサ１０３にて受光される。画像センサ１０３から出力された画像信号は、フリンジスキャン処理部１０６によってノイズキャンセルされる。ノイズキャンセル後の信号は、画像処理部１０７によって画像処理されて像が復元される。画像処理後の画像データは、コントローラ１０８に対して出力される。コントローラ１０８は、画像処理部１０７の出力の画像データを、ホストコンピュータや外部記録媒体等に出力する場合には、ＵＳＢ等のインターフェイスに適合するようにデータ形式を変換して出力する。なお、撮像装置１内のメモリに画像信号や画像データ等を記憶してもよい。
　［撮影原理］
　続いて、撮像装置１における撮影原理について説明する。まず、撮影用パターン１０５は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンである。撮影用パターン１０５は、同心円の中心である基準座標からの半径ｒ、係数βを用いて、下記の式１で定義する。撮影用パターン１０５は、式１のＩ（ｒ）に比例して透過率変調されているものとする。
Figure JPOXMLDOC01-appb-M000001
　このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図４は、撮影用パターン１０５の構成例として、式１のガボールゾーンプレートの例を示す。このガボールゾーンプレートは、多値の濃淡を持つ透過率変調パターンである。図５は、撮影用パターン１０５の他の構成例として、式１を閾値１で２値化した、フレネルゾーンプレートの例を示す。このフレネルゾーンプレートは、２値の濃淡を持つ透過率変調パターンである。白部分は透過、黒部分は非透過に対応付けられる。撮影用パターン１０５に対応して存在する現像用パターンも、同様に模様を持つ。なお、以降では簡単化のために、主に図２のｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで、２次元に展開して考えることができる。
　図６は、パターン基板１０４に関する説明図である。図６を用いて、斜め入射平行光によるパターン基板１０４の表面の撮影用パターン１０５から画像センサ１０３への射影像が面内ずれを生じることについて説明する。図６のように、撮影用パターン１０５が形成された厚さｄを持つパターン基板１０４に、ｘ軸方向に角度θ０で平行光が入射したとする。パターン基板１０４中の屈折角をθとして、幾何光学的には、パターン基板１０４の表面の撮影用パターン１０５の模様の透過率が乗じられた光が、図示のｋ＝ｄ・ｔａｎθの量に対応する分だけ屈折して、画像センサ１０３に入射する。このとき、下記の式２のような強度分布を持つ投影像が、画像センサ１０３上で検出される。なお、式２のΦは、式１の透過率分布の初期位相を示す。
Figure JPOXMLDOC01-appb-M000002
　図７は、この撮影用パターン１０５の投影像７０１の例を示す。この投影像７０１は、式２のように、ｋシフト（＝シフト量ｋでのシフト）して投影される。この投影像７０１が、撮像部１０２の出力となる。
　図８は、現像用パターン８０１を示す。図８の現像用パターン８０１は、図５の撮影用パターン１０５に対応した例である。画像処理部１０７は、このような現像用パターン８０１を用いて現像処理を行う。
　［現像処理（１）］
　次に、画像処理部１０７における処理に関して、相関現像方式とモアレ現像方式による現像処理について説明する。相関現像方式による現像処理と、モアレ現像方式による現像処理とは、いずれを用いてもよい。また、両方の方式を実装し、必要に応じて方式を切り替えて使用できる形態としてもよい。
　相関現像方式では、画像処理部１０７は、図７の撮影用パターン１０５の投影像７０１と図８の現像用パターン８０１との相互相関関数を演算する。これにより、図９のようなシフト量ｋの輝点９０２が得られる。図９は、相関現像方式による現像画像９０１の構成例を示す。
　なお、一般的に相互相関演算を２次元畳込演算で行う場合には演算量が大きくなることから、フーリエ変換を用いて演算を行う例について、数式を用いて原理を説明する。まず、図８の現像用パターン８０１は、撮影用パターン１０５と同様に、ガボールゾーンプレートやフレネルゾーンプレートを用いる。そのため、現像用パターン８０１は、初期位相Φを用いて、下記の式３で表せる。
Figure JPOXMLDOC01-appb-M000003
　現像用パターン８０１は、画像処理内で使用されるため、式１のように、１でオフセットさせる必要は無く、負の値を有していても問題無い。式１および式３のフーリエ変換は、それぞれ、下記の式４および式５のようになる。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ軸方向の周波数座標を表し、括弧を伴うδはデルタ関数である。これらの式で重要なことは、フーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、撮像装置１は、上記式に基づいて、フーリエ変換後の現像用パターンを直接的に生成し保存しておいて利用してもよい。これにより、演算量を低減可能である。次に、式４および式５を乗算すると、下記の式６となる。
Figure JPOXMLDOC01-appb-M000006
　式６の指数関数で表された項ｅ－ｉｋｕが信号成分である。この項ｅ－ｉｋｕをフーリエ変換すると、下記の式７のように変換され、元のｘ軸においてシフト量ｋの位置に輝点を得ることができる。
Figure JPOXMLDOC01-appb-M000007
　この輝点が無限遠の光束を示しており、図１の撮像装置１による撮影像に相当する。なお、相関現像方式では、パターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。
　［現像処理（２）］
　次に、モアレ現像方式の場合、画像処理部１０７は、図７の撮影用パターン１０５の投影像７０１と図８の現像用パターン８０１とを乗算することにより、図１０のようなモアレ縞１０００を生成する。そして、画像処理部１０７は、このモアレ縞１０００をフーリエ変換することにより、図１１の現像画像１１０１におけるシフト量ｋβ／πの輝点１１０２，１１０３を得る。輝点１１０２は－ｋβ／πの輝点、輝点１１０３は＋ｋβ／πの輝点である。このモアレ縞を数式で示すと、下記の式８となる。
Figure JPOXMLDOC01-appb-M000008
　式８の展開式の第３項が信号成分である。この信号成分が、図１０のモアレ縞１０００のような縞模様を、２つのパターンが重なり合った領域一面に作ることがわかる。図１０のモアレ縞１０００では、２つのパターンのずれの方向（ｘ軸方向）に等間隔（間隔１００１）で、その方向に対し直交する方向（ｙ軸方向）にまっすぐな縞模様が作られている。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞は、モアレ縞と呼ばれる。実施の形態１の例では、撮影用パターン５０１と現像用パターン８０１との重ね合わせによってモアレ縞が生じる。式８の第３項の２次元フーリエ変換は、下記の式９のようになる。
Figure JPOXMLDOC01-appb-M000009
　ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ軸方向の周波数座標を表し、括弧を伴うδはデルタ関数である。この結果から、モアレ縞の空間周波数スペクトルにおいて、空間周波数のピークが、ｕ＝±ｋβ／πの位置に生じることがわかる。このピークに対応する輝点が、無限遠の光束を示しており、図１の撮像装置１による撮影像に相当する。
　なお、モアレ現像方式では、パターンのシフトによって得られるモアレ縞が単一の周波数を有するものであればよく、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えば楕円状のパターンで実現してもよい。
　＜ノイズキャンセル＞
　以下、フリンジスキャンに基づいたノイズキャンセル等について説明する。
　［フリンジスキャン処理］
　上記式６から式７への変換、および式８から式９への変換において、信号成分に着目して説明したが、実際には信号成分以外の項が現像を阻害する。そこで、撮像装置１のフリンジスキャン処理部１０６は、フリンジスキャンに基づいたノイズキャンセルを行う。フリンジスキャンのためには、撮影用パターン１０５として、初期位相Φの異なる複数のパターンを使用する必要がある。
　図１２は、フリンジスキャンにおける撮影用パターン１０５として、初期位相Φの異なる複数のパターンの組合せの構成例を示す。図１２の（ａ）～（ｄ）は、Φ＝０，π／２，π，３π／２となる４位相のパターン１２０１～１２０４を示す。ここでは、フリンジスキャン処理部１０６は、それらの４位相を用いて撮影したセンサ画像を、以下の式１０に従って演算する。すると、複素数のセンサ画像（複素センサ画像と記載する場合がある）が得られる。
Figure JPOXMLDOC01-appb-M000010
　ここで、複素数の現像用パターン８０１は、下記の式１１で表せる。現像用パターン８０１は、フリンジスキャン処理部１０６によるフリンジスキャン処理内で使用されるため、複素数であっても問題無い。
Figure JPOXMLDOC01-appb-M000011
　モアレ現像方式の場合、式１０と式１１を乗算すると、下記の式１２となる。式１２の指数関数で表された項ｅｘｐ（２ｉβｋｘ）が信号成分である。この信号成分から、式８のような不要な項が発生せず、ノイズキャンセルされていることがわかる。
Figure JPOXMLDOC01-appb-M000012
　同様に、相関現像方式についても確認すると、式１０および式１１のフーリエ変換は、それぞれ、下記の式１３および式１４のようになる。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　次に、式１３および１４を乗算すると、下記の式１５となる。式１５の指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分である。この信号成分から、式８のような不要な項が発生せず、ノイズキャンセルされていることがわかる。
Figure JPOXMLDOC01-appb-M000015
　なお、以上の例では、４位相の複数のパターンを使用して説明したが、初期位相Φは、０～２πの間の角度を等分するように設定すればよく、上記４位相に限定されない。
　以上の複数のパターンによる撮影を実現するための方式としては、大別すると、時分割でパターンを切り替える方式と、空間分割でパターンを切り替える方式とが挙げられる。時分割でパターンを切り替える方式と、空間分割でパターンを切り替える方式とのいずれを適用してもよいし、両方の方式を実装して選択した方式を使用できる形態としてもよい。
　上記時分割でパターンを切り替える方式に対応した時分割フリンジスキャンを実現するには、例えば、図１２の複数の初期位相を電気的に切り替えて表示可能な液晶表示素子等の表示素子を、図１の撮影用パターン１０５として使用すればよい。例えば、図１のフリンジスキャン処理部１０６は、この撮影用パターン１０５である液晶表示素子の切り替えタイミングと、画像センサ１０３のシャッタタイミングとを同期して制御する。これにより、撮像装置１は、画像センサ１０３から対応する４枚の画像を取得した後に、フリンジスキャン処理部１０６においてフリンジスキャン演算を実行する。
　これに対し、上記空間分割でパターンを切り替える方式に対応した空間分割フリンジスキャンを実現するには、例えば、図１３に示すように、撮影用パターン１０５として、空間分割で複数の初期位相を有する撮影用パターン１３００を使用する。図１３の撮影用パターン１３００は、矩形領域全体をｘ軸方向およびｙ軸方向を合わせて４分割した領域１３０１～１３０４において、上記４位相のパターンを有する。
　撮像装置１は、画像センサ１０３から１枚の画像を取得した後、その画像を、フリンジスキャン処理部１０６において、それぞれの初期位相のパターンに対応して４枚に分割し、フリンジスキャン演算を実行する。
　［フリンジスキャン演算］
　続いて、フリンジスキャン処理部１０６でのフリンジスキャン演算について説明する。図１４は、フリンジスキャン処理部１０６のフリンジスキャン演算を含む処理概略を示すフロー図である。図１４は、ステップＳ１～Ｓ７を有し、以下、ステップの順に説明する。まず、ステップＳ１で、フリンジスキャン処理部１０６は、画像センサ１０３から出力される複数のパターンによるセンサ画像を取得する。この際、フリンジスキャン処理部１０６は、空間分割フリンジスキャンを使用する場合には、そのセンサ画像を分割し、時分割フリンジスキャンを使用する場合には、このステップＳ１の分割を行わない。
　次に、ステップＳ２で、フリンジスキャン処理部１０６は、出力用の複素センサ画像を初期化する。ステップＳ３で、フリンジスキャン処理部１０６は、ループにおける１つ目の初期位相Φのセンサ画像を取得し、ステップＳ４で、そのセンサ画像に、その初期位相Φに応じた指数関数であるｅｘｐ（ｉΦ）を乗算し、ステップＳ５で、乗算結果を出力用の複素センサ画像に加算する。
　フリンジスキャン処理部１０６は、ステップＳ６で、使用する全初期位相Φについて処理を終了したかを確認し、ステップＳ３からステップＳ５までの処理を、使用する初期位相Φの数だけ同様に繰り返す。例えば、図１２や図１３の４位相を用いたフリンジスキャンでは、初期位相Φ＝０，π／２，π，３π／２に対応して４回の処理が繰り返される。
　最後に、ステップＳ７で、フリンジスキャン処理部１０６は、処理後の複素センサ画像を出力する。以上のフリンジスキャン処理部１０６での主な処理は、前述の式１０に相当する。
　［画像処理］
　次に、画像処理部１０７での画像処理について説明する。図１５は、画像処理部１０７において相関現像方式を使用した場合の処理概略を示すフロー図である。図１５はステップＳ２１～Ｓ２６を有する。まず、ステップＳ２１で、画像処理部１０７は、フリンジスキャン処理部１０６から出力される複素センサ画像を取得し、その複素センサ画像に２次元高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）演算を実行する。
　次に、ステップＳ２２で、画像処理部１０７は、現像処理に使用する現像用パターン８０１を生成する。あるいは、画像処理部１０７は、予めメモリ等に設定および記憶されている現像用パターン８０１を参照してもよい。そして、画像処理部１０７は、２次元ＦＦＴ演算後の複素センサ画像にその現像用パターン８０１を乗算する。ステップＳ２４で、画像処理部１０７は、その乗算後の画像に、逆２次元ＦＦＴ演算を行う。
　この演算結果は複素数となる。そのため、ステップＳ２４で、画像処理部１０７は、その演算結果の複素数に対し、実数化処理を行う。実数化処理は、絶対値化する処理、または、実部を取り出す処理である。複素数をＣ＝Ａ＋Ｂｉで表すと、絶対値化する処理は、｜Ａ＋Ｂｉ｜＝√（Ａ２＋Ｂ２）で表せる。実部を取り出す処理は、Ｒｅ［Ａ＋Ｂｉ］＝Ａで表せる。これにより、画像処理部１０７は、撮影対象の像を実数化して現像する。
　その後、画像処理部１０７は、得られた画像に対し、ステップＳ１５でコントラスト強調処理を行い、ステップＳ２６でカラーバランス調整等を行う。画像処理部１０７は、それらの処理結果のデータを撮影画像として出力する。以上で画像処理部１０７の画像処理が終了となり、ユーザが視認できる撮影画像が得られる。
　上記に対し、図１６は、モアレ現像方式を使用した場合の処理概略を示す。図１６は、ステップＳ３１～Ｓ３６を有する。まず、ステップＳ３１で、画像処理部１０７は、フリンジスキャン処理部１０６から出力される複素センサ画像を取得し、現像処理に使用する現像用パターン８０１を生成し、その複素センサ画像に乗算する。ステップＳ３２で、画像処理部１０７は、その乗算後の画像に対し、２次元ＦＦＴ演算により周波数スペクトルを求め、ステップＳ３３で、この周波数スペクトルのうち必要な周波数領域のデータを切り出す。以降のステップＳ３４～３６の処理は、図１５のステップＳ２４～Ｓ２６の処理と同様である。
　なお、撮像装置１は、可視光による画像を撮像するカメラに限らず、同様の原理に基づいて、赤外線等の周波数帯域を対象として撮像する装置や、被写体との距離画像（３次元での奥行き方向の距離情報を持つ画像）を撮像する装置（距離画像センサ等と呼ばれる場合がある）とすることも可能である。
　＜有限距離物体の撮影原理＞
　以下では、主に有限距離物体の撮像原理等について説明する。
　［無限遠物体の撮像と有限距離物体の撮像］
　次に、図１７には、これまで述べた被写体が遠い場合（言い換えると無限遠物体の場合）における撮影用パターン１０５の画像センサ１０３への射影の様子を示す。遠方の物体を構成する点１７０１からの球面波は、十分に長い距離を伝搬する間に平面波となり、撮影用パターン１０５を照射する。その照射による投影像１７０２が画像センサ１０３に投影される場合、投影像は、撮影用パターン１０５とほぼ同じ形状を持つ。結果、投影像１７０２に対して、前述の現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。
　一方、被写体が近い場合に対応する有限距離物体に対する撮像について説明する。図１８は、撮像する物体が有限距離にある場合に、撮影用パターン１０５の画像センサ１０３への射影が、撮影用パターン１０５よりも拡大されることを示す説明図である。物体を構成する点１８０１からの球面波が撮影用パターン１０５を照射し、その照射による投影像１８０２が画像センサ１０３に投影される。この場合、投影像は、ほぼ一様に拡大される。なお、この際の拡大率αは、ｚ軸方向における撮影用パターン１０５から点１８０１までの距離ｆを用いて、下記の式１６のように算出できる。
Figure JPOXMLDOC01-appb-M000016
　そのため、平行光に対して設計された現像用パターンをそのまま使用して現像処理を行うのでは、単一の輝点を得ることができない。そこで、図１８のように一様に拡大される撮影用パターン１０５の投影像に合わせて現像用パターン８０１を拡大させる場合、拡大された投影像１８０２に対して、再び、単一の輝点を得ることができる。このためには、現像用パターン８０１の係数βをβ／α２とすることで、補正が可能である。これにより、撮像装置１は、必ずしも無限遠でない距離の点１８０１からの光を選択的に再生することができる。これによって、撮像装置１は、任意の位置に焦点を合わせて撮影を行うことができる。
　＜画像センサ構成＞
　次に、図１９等を用いて、画像センサ１０３の構成について説明する。
　［画像センサ（１）］
　図１９は、実施の形態１に関する比較例における、画像センサ１０３ａ（１０３）のｘ軸方向における中央部の画素１９０１や端部の画素１９０２における断面構造を示す。ここでは、一般的なＣＭＯＳやＣＣＤ等の撮像素子を用いて構成される画像センサを考える。この画像センサ１０３ａにおける画素３０は、配線やマスクの構造に基づいて、全面で光を受光できる訳ではなく、一部である受光部１９０３でのみ光を受光できる。受光部１９０３の幅１９１２は、画素３０の幅１９１１よりも小さい。
　そのため、一般的な画像センサは、この画像センサ１０３ａのように、光利用効率向上のために、ｚ軸方向で受光部１９０３の前にマイクロレンズ１９０４がマイクロレンズアレイとして配置されている。これにより、一点鎖線で示す入射光１９０５が、マイクロレンズ１９０４によって、点線で示す光１９０６のように集光されて、受光部１９０３に効率的に取り込まれる。個々のマイクロレンズ１９０４は、入射側に凸の曲面を持つレンズである。
　図２０は、図１９の１個の画素３０に関する光入射の様子を示す。図１９の画像センサ１０３ａは、このように受光部１９０３が画素３０よりも小さいことから、図２０の光線２００１に示すように、受光部１９０３の範囲に光が集光されている角度範囲でのみ、撮影が可能である。この角度範囲以外の角度からの光は、急速に感度が低下することになる。
　図２１には、上記感度の角度依存性の例を示し、図２２には、実測した例を示す。このような感度は、主光線角度（Chief Ray Angle：ＣＲＡ）特性と呼ばれる。図２１のグラフで横軸は上記角度θ、縦軸は感度である。感度は受光光量、光強度と対応している。図２２で横軸は角度θに対応する入射角、縦軸は規格化光強度である。画像センサの構造が問題とならない場合には、一般的に、ＣＲＡ特性は、ｃｏｓθの４乗で低下するとされる。しかし、このような画像センサの構造が阻害要因となる場合、図２２のように、ｃｏｓθの４乗よりも急速に光量が低下することになる。
　よって、比較例として、レンズレスではない一般的なカメラでは、図２３に示すように、像側テレセントリックとなる系を用いている。これにより、常に画像センサに対して垂直に光線が入射するようにし、画像センサ（対応する画素）への斜入射を避けている。図２３は、比較例として一般的なカメラにおける像側テレセントリック光学系の構成例を示す。図２３では、ｚ軸方向で、画像センサ１０３ａに対して前（図示の上側）の位置に、レンズ２３０１，２３０２が配置されている。レンズ２３０２は、フィールドレンズであり、像の周辺の光の進行方向を変えるレンズである。ｚ軸方向の光軸に対し斜めに入射する光線２３０３は、レンズ２３０１，２３０２によってｚ軸方向の光線、すなわち平行光に変換されている。
　しかし、近年のスマートフォン等の機器に見られる小型化・高密度化が進展した結果、図２４のように、非テレセントリック光学系が使用されることも多くなっている。図２４は、比較例として他の一般的なカメラにおける非テレセントリック光学系の構成例を示す。図２４では、ｚ軸方向で、画像センサ１０３ａに対して前の位置に、レンズ２４０１が配置されている。ｚ軸方向の光軸に対し斜めに角度θ１で入射する光線２４０３は、レンズ２４０１経由後も斜めの光線として、受光部に受光する。図２４のように、レンズが有るカメラの場合、画像センサ１０３ａの面内の複数の画素において、光線の入射角度に応じて画素特性が異なる。端にある画素では、斜入射となるので、光量が少なくなり、暗い画素値となる。
　現在のカメラは、このような非テレセントリック光学系の特性に適合させるように、図２５に示すような構成が主流となっている。図２５は、実施の形態１に関する比較例で、画像センサ１０３ｂ（１０３）における画素３０とマイクロレンズ１９０４の配置の構成例を示す。図２５の構成は、画像センサ１０３のマイクロレンズ１９０４の光軸と受光部１９０３の光軸とをあえて異ならせるようにシフトさせた構成である。画像センサ１０３の面内の各画素３０の光量を同じにしたい場合、この構成では、端にある画素１９０２に合わるようにして、マイクロレンズ１９０４との相対位置関係によって、光線を補正する。この構成では、ｘ軸方向で画像センサ１０３の中央部の画素１９０１と端部の画素１９０２とでは、マイクロレンズ１９０４と受光部１９０３との関係が異なっている。この画像センサ１０３ｂは、ｘ軸方向およびｙ軸方向を含む面内において、マイクロレンズ１９０４と受光部１９０３との相対位置が変化する構成であり、相対位置のずれ量を単調に増加または減少する構成である。中央部の画素１９０１では、マイクロレンズ１９０４の光軸と受光部１９０３の光軸とが一致している。端部の画素１９０２では、マイクロレンズ１９０４の光軸と受光部１９０３の光軸との間にずれの距離２５０２を持つ。図示しないが反対側の端部の画素についても同様に、反対方向でのずれの距離を持つ。これにより、この画像センサ１０３ｂは、画像の周辺光量減衰が小さい撮像系となっている。図２５のような構成を持つカメラは、既に安価に実現されている。
　しかし、レンズレス光学系では、図２４のようなレンズが無く、図１７に示すように、点１７０１からの光は、パターン基板１０４からの出射位置ではほぼ平行光である投影像１７０２となり、一様に画像センサ１０３を照射することになる。画像センサ１０３の面内の各画素に対し、基本的には光線が垂直に入射し、各画素の光量がほぼ同じとなる。この場合、図２５のようなタイプの画像センサ１０３ｂを適用すると、撮像した画像信号に対応するセンサ画像では、図２６に示すように、シェーディングが強く発現する。言い換えると、センサ画像内の周辺部分が暗くなってしまう。図２６は、画像センサ１０３ｂを用いた場合におけるシェーディングを持つセンサ画像２６０１の例を示す。このようなシェーディングが発生すると、後段の現像処理の過程で、低周波のノイズが強く現れるため、現像した画像が劣化する。
　よって、レンズレス光学系では、画像の劣化を避けるためには、図２５のような画像センサ１０３ｂの構成ではなく、図１９のようなタイプの画像センサ１０３ａのように受光部１９０３とマイクロレンズ１９０４との関係が一様である構成が望ましい。しかし、その構成を適用した場合、図２１および図２２のように、画素構造に起因するＣＲＡ特性が課題となり、カメラの視野（対応する画角範囲）が狭くなってしまう。
　［画像センサ（２）］
　そこで、実施の形態１の撮像装置１において、上記シェーディングおよびＣＲＡ特性の課題を改善する方式について説明する。実施の形態１は、画像劣化抑制と広い画角範囲との両立を目指す。図２７の（Ａ）は、図２０の１個の画素３０およびマイクロレンズ１９０４に関する上面図を示す。図２７の（Ａ）の場合、マイクロレンズ１９０４と受光部１９０３との相対位置のずれが無い。一方、図２７の（Ｂ）は、マイクロレンズ１９０４と受光部１９０３との相対位置のずれが有る場合を示す。相対位置のずれを、ベクトルを用いて、ずれ（Δ）２７０１として示す。図２７の（Ｂ）のように、相対位置のずれ２７０１が生じている場合、ｘ軸方向のずれΔｘとｙ軸方向のずれΔｙとに分離して考える。
　ここで、図２８は、前述の図２５の画像センサ１０３ｂの構成における、ｘ軸方向での画素３０の位置とずれΔｘとの関係を示す。図２８の（Ａ）は、ずれΔｘの分布の特性を示し、（Ｂ）は、（Ａ）の特性を微分したグラフを示す。図２８の（Ａ）では、ｘ軸方向での各位置の画素３０に関して、中央を位置Ｌ１、正方向に対応する右側の端を位置Ｌ２、負方向に対応する左側の端を位置Ｌ３で示す。このように、画像センサ１０３ｂの中央の位置Ｌ１ではずれΔｘが無く、すなわち０であり、右側の端の位置Ｌ２では正方向にずれΔｘ（＋Δｘ１）を持ち、左側の端の位置Ｌ３では負方向にずれΔｘ（－Δｘ１）を持つ。（Ａ）では、相対位置ずれの変化が単調増加の特性である。（Ｂ）では、ずれΔｘの変化量である隣接画素間での差分値は一定値である。なお、（Ａ）ではずれΔｘが直線で変化する構成であるが、これに限らず、二次関数等の曲線で変化する構成もある。
　この画像センサ１０３ｂの構成は、マイクロレンズ１９０４のピッチと、画素３０のピッチとがほぼ同じで、画像センサ１０３ｂの中央部から端部までにかけて１画素分以下の差となるように相対的にピッチをシフトすること、言い換えると変化させることによって実現されている。
　図２９は、上記画像センサ１０３ｂの構成に関する説明のために、画素３０間および受光部１９０３間のピッチｐ１、マイクロレンズ１９０４間のピッチｐ２、相対位置のずれ２５０２等を示す。図２９は図２５の左側の端部の画素１９０２での例である。ピッチｐ１とピッチｐ２はほぼ同じである。相対位置のずれ２５０２については、画素３０の中心位置に対するマイクロレンズ１９０４の中心位置、ならびにｘ軸方向の正方向（図示の左から右への方向）を基準として示している。例えば、図２５の中央部の画素１９０１におけるマイクロレンズ１９０４間のピッチｐ２をピッチｐ２１とし、左側の端部の画素１９０２におけるマイクロレンズ１９０４間のピッチｐ２をピッチｐ２２とする。上記構成は、例えば、ｐ２１＞ｐ２２とし、マイクロレンズ１９０４間のピッチｐ２を、中央部から端部までにかけてピッチｐ２１からピッチｐ２２へと減少するようにシフトする構成である。かつ、その構成は、画素３０とマイクロレンズ１９０４との相対位置のずれの変化が、１画素分以下の差となるようにされる。
　これに対し、図３０は、実施の形態１の撮像装置１における画像センサ１０３ｃ（１０３）の構成例を示す。図３０は、画像センサ１０３の面内の中央部の位置Ｌ１での画素３０およびマイクロレンズ１４０の構成例を拡大で示す。この構成では、画素３０間のピッチｐ１に対し、マイクロレンズ１４０間のピッチｐ２が大きい（ｐ１＜ｐ２）。中央の画素３０を画素ＰＸ１とし、それに対する両隣りの画素３０を画素ＰＸ２，ＰＸ３で示す。それらに対応する個々のマイクロレンズ１４０をマイクロレンズＭＬ１，ＭＬ２，ＭＬ３で示す。中央の画素ＰＸ１では、マイクロレンズＭＬ１との相対位置のずれΔｘは０である。右隣りの画素ＰＸ２では、マイクロレンズＭＬ２との相対位置のずれΔｘ（３００１）は正方向で０より大きい値である。左隣りの画素ＰＸ３では、マイクロレンズＭＬ３との相対位置のずれΔｘ（３００２）は負方向で０より大きい値である。この相対位置ずれは、面内で中央から外側の端に向かうにつれて大きくなるように変化する。
　図３０のように、マイクロレンズ１４０のピッチｐ２と画素３０のピッチｐ１とを大きく異ならせる場合、言い換えるとピッチｐ２とピッチｐ１との差（ｐ２－ｐ１）をある程度以上に大きくする場合、面内で相対位置ずれ（Δｘ，Δｙ）が急峻に変化することになる。差（ｐ２－ｐ１）の設計に応じて、隣接画素３０間では、相対位置ずれが、１画素分の差を越えることで、正から負または負から正へ変化する箇所も生じる。差（ｐ２－ｐ１）が大きいほど、そのような箇所の数は多くなる。このように、実施の形態１では、例えばピッチｐ１とピッチｐ２とを大きく異ならせることで、画像センサ１０３の面内で相対位置ずれを変化させて様々な値を持たせる。これにより、後述するようにカメラ特性の改善の効果が得られる。
　また、実施の形態１における画像センサ１０３としては、極端に言えば、図３１のように、画素３０とマイクロレンズ１４０との相対位置を面内でランダムにシフト、変化させる構成としてもよい。図３１の（Ａ）の模式的なグラフは、実施の形態１での画像センサ１０３の相対位置ずれ量の分布の特性を示す。グラフの横軸が例えばｘ軸方向での各位置の画素３０、縦軸が画素３０の中心位置とマイクロレンズ１４０の中心位置との相対位置のずれΔｘを示す。（Ａ）では、ずれΔｘは、－Δｘ１から＋Δｘ１までの範囲内でランダムな値をとっている。図３１の（Ｂ）は、（Ａ）の特性を微分した模式的なグラフであり、相対位置ずれ量の変化量として隣接画素間での差分値をとったグラフである。（Ｂ）のように、実施の形態１では、相対位置ずれ量の差分値についてもランダムな分布となる。この特性では、隣接画素間でのずれ量の変化である差分値が、正から負へ変化する箇所や、負から正へ変化する箇所を持つ。このようなランダムの特性は、例えば面内の位置に応じて画素３０のピッチｐ１およびマイクロレンズ１４０のピッチｐ２の少なくとも一方をランダムにする構成等で実現できる。
　図３０や図３１のような構成は、画像センサ１０３の面内で様々な相対位置ずれを含んでいる構成であり、すなわち様々な入射角の光線の受光に対応する画素３０を含む構成である。図３０や図３１のような構成によって、図３２に示すようなＣＲＡ特性を実現できる。図３２は、実施の形態１で、画像センサ１０３の全体でのＣＲＡ特性の例を示す。図３２のＣＲＡ特性３２００は、画像センサ１０３に垂直となる方向（ｚ軸方向）から入射する光線にピークを有するＣＲＡ特性３２０１や、斜入射する光線にピークを有するＣＲＡ特性３２０２，３２０３等の、様々な特性が複合した特性となっている。画像センサ１０３の全体では、ＣＲＡ特性３２００のように、広い入射角に対して感度を有する構成となる。
　ただし、例えば画像センサ１０３に垂直となる方向から入射する光線に対しては、感度を有する画素もあれば、感度が無いまたは低い画素もあり、センサ画像としては歯抜けた画像となってしまう。これは、通常のカメラのように画像センサに結像する系の場合では、画素の欠損となるため問題である。一方、実施の形態１のように、レンズレス光学系を含むレンズレス撮像装置の場合では、ある点からの入射光の情報が、画像センサ１０３（対応するセンサ画像）の複数の画素３０の全体に分散している。そのため、たとえセンサ画像内に欠損があったとしても、処理によって情報（対応する像）を復元することができる。このようなレンズレス撮像装置の性質、およびランダムな相対位置ずれの構成に基づいて、実施の形態１の撮像装置１は、画質劣化を抑制しながら現像が可能である。
　また、上記のような効果を実現するには、受光部１９０３とマイクロレンズ１４０との相対位置が例えばランダムに変化すればよい。このため、図３１のような構成に限らず、図３３のような構成例によっても、同様の効果が得られる。図３３の構成は、実施の形態１の変形例として、散乱体３３０１のような、光をランダムに散乱させる光学素子を挿入する構成である。図３３の構成では、ｚ軸方向でマイクロレンズ１４０に対する入射側に、散乱体３３０１が配置されている。図３３の構成では、画像センサ１０３における画素３０とマイクロレンズ１４０との相対位置ずれの分布を設けていない。他の構成としては、画像センサ１０３における相対位置ずれの分布を持つ構成に加えて散乱体３３０１を設ける構成としてもよい。
　以上のように、実施の形態１の撮像装置１および撮像方法によれば、画像センサ１０３の面内において受光部１９０３とマイクロレンズ１４０との相対位置が例えばランダムに変化する構成、言い換えると様々な相対位置ずれの分布を持つ構成とする。これにより、撮像に適した画像センサ１０３の特性や構造および処理方法等を提供でき、撮影画角が広く、かつシェーディングによるノイズが無く、高画質な、カメラ特性を向上したレンズレス撮像装置を実現できる。さらに、実施の形態１の構成によれば、画像センサ１０３として、既存の安価な画像センサを流用できるため、製造コストの抑制も可能である。
　（実施の形態２）
　図３４以降を用いて、実施の形態２の撮像装置および撮像方法について説明する。以下では、実施の形態２における実施の形態１とは異なる構成部分について説明する。
　［センサ画像の欠損について］
　実施の形態１の撮像装置１の構成では、画像センサ１０３における受光部１９０３とマイクロレンズ１４０との相対位置が例えばランダムに変化するように配置した。この構成のために、ある角度から撮影した場合にセンサ画像の欠損がランダムに発生し、ランダムな欠損が現像画像の画質に影響を及ぼす可能性がある。そこで、実施の形態２では、その可能性も考慮して工夫した構成、ならびに処理方法等について説明する。
　実施の形態２の撮像装置１でも、画像センサ１０３の面内における受光部とマイクロレンズとの相対位置ずれを変化させる構成とすることで、レンズレス光学系全体でのＣＲＡ特性を改善させる。ただし、実施の形態２は、実施の形態１のようにランダムの配置とするのではなく、周期的な配置等、既知の相対位置ずれ量の配置、分布の特性とする。これにより、実施の形態２では、画像センサ１０３で撮像したセンサ画像を、光線の入射角に対応する角度毎に分解して処理を行う。
　［画像センサ］
　図３４は、実施の形態２の撮像装置１における、画像センサ１０３の相対位置ずれの周期的な配置の構成例を示す。図３４の（Ａ）は、実施の形態２での画像センサ１０３の相対位置ずれ量の分布の特性を示し、図示のように周期的な分布の特性である。（Ａ）の横軸が例えばｘ軸方向の各位置の画素３０を示し、縦軸が受光部１９０３とマイクロレンズ１４０との相対位置のずれΔｘを示す。ずれΔｘは、－Δｘ１から＋Δｘ１までの範囲内で、ｘ軸方向の画素位置に応じて周期的に変化している。例えば、中央の位置Ｌ１では、ずれΔｘが－Δｘ１であり、その位置Ｌ１から右側に所定の画素距離を置いた位置３４０２では、ずれΔｘが＋Δｘ１である。位置Ｌ１から位置３４０２までの範囲３４０１では、ずれΔｘが－Δｘ１から＋Δｘ１まで直線で増加している。また、位置３４０２から同じ画素距離を置いた右側の範囲３４０３では、範囲３４０１と同様にずれΔｘが直線で増加している。図３４の（Ｂ）は、（Ａ）の特性を微分したグラフであり、相対位置ずれ量の変化量として隣接画素３０間での差分値をとったグラフである。（Ｂ）のように、実施の形態２では、相対位置ずれ量の差分値について、正の一定値の部分と、正から負または負から正へと大きく変化する複数の箇所とを持つ。実施の形態１の図３１の特性や、実施の形態２の図３４の特性は、比較例の図２８のような単調増加または単調減少の特性とは異なり、相対位置ずれ量の差分値が正から負または負から正へと変化する箇所を持つ。撮像装置１は、図３４のような特性を既知であり、画像処理部１０７の処理等に利用する。
　このように画素３０とマイクロレンズ１９０４との相対位置が周期的に変化する配置を持つ画像センサ１０３では、画像センサ１０３に垂直となる方向（ｚ軸方向）から入射する光線に対しては、図３５のような画像が得られる。図３５は、画像センサ１０３で撮像した、シェーディングを持つセンサ画像３５００の例を示す。センサ画像３５００（対応する画像センサ１０３）は、ｘ軸－ｙ軸の面において、複数の領域３５０１を有する。１つの領域３５０１は、相対位置ずれの変化の１周期（図３４では範囲３４０１等の部分）に対応する領域であり、この１周期分の領域を１つのユニットと定義する。すると、このユニットにおける相対位置のずれΔｘは、図３６のようになる。
　［処理分割方法（１）］
　図３６は、ユニットにおける相対位置ずれに関する処理分割方法の例を示す。図３６の（Ａ）のグラフは、横軸がｘ軸方向での１個のユニットにおける画素３０の位置、縦軸は相対位置のずれΔｘである。１個のユニットにおける中央をＭ１、右側の端をＭ２、左側の端をＭ３で示す。実施の形態２の撮像装置１は、センサ画像（対応する画像センサ１０３）の全領域の複数のユニットについて、ある相対位置ずれ量の間隔３６０１毎に、複数の範囲、例えば範囲Ａ１～Ａ５のように分割する。本例では、ずれ量の最小値（－Δｘ１）から最大値（＋Δｘ１）までの範囲内で、５つの範囲（Ａ１～Ａ５）に分割している。この分割数を多くするほど、画像品質が改善することになる。間隔３６０１および分割数は設定値であり、変更可能である。同様に、図３６の（Ｂ）のように、ユニットにおけるｙ軸方向の相対位置ずれΔｙに対しても、間隔３６０２毎に、複数の範囲、例えば範囲Ｂ１～Ｂ５のように分割する。画像処理部１０７は、センサ画像について、このような分割を行う。
　図３６の分割について、領域３５０１のような１個のユニット（例えばあるユニットＵ１）においてマッピングすると、図３７のようになる。図３７の（Ａ）は、１個のユニット内での分割の構成例を示す。ｘ軸方向の各範囲とｙ軸方向の各範囲との交差によって、ユニットよりも小さい領域が構成されている。例えば、領域３７０１はＡ１－Ｂ１の領域であり、領域３７０２はＡ５－Ｂ５の領域である。画像処理部１０７は、図３５のセンサ画像３５００の複数のユニットにおいて、同じ種類の領域毎に分類して集めた画像を、分割センサ画像として生成する。例えば、Ａ１－Ｂ１の領域３７０１のみを集めた分割センサ画像（Ｇ１１とする）から、Ａ５－Ｂ５の領域７０２のみを集めた分割センサ画像（Ｇ５５とする）まで、５×５＝２５通りの分割センサ画像が生成される。
　画像処理部１０７は、それらの生成した複数の分割センサ画像における分割センサ画像毎に、対応する現像用パターンを用いて、前述の図１５や図１６に示した現像処理を実行する。そして、画像処理部１０７は、それらの分割センサ画像毎の現像処理結果を、１つの画像に合成する。このような処理分割方法によって、分割センサ画像毎では前述の画素欠損が無い状態で処理を行うことができる。そのため、ノイズを増加させることなく画像処理が可能であり、合成後の画像において情報を復元できるとともに、画質劣化を抑制できる。
　なお、本例ではユニット毎に５×５の領域に分割して処理する方法を示したが、これに限らず可能である。図３８の（Ｂ）は、ｘ軸方向でのみ分割して処理する例を示し、図３８の（Ｃ）は、ｙ軸方向でのみ分割して処理する例を示す。このように、方向を変えて処理する等、画像センサの特性に応じて最適な設計が可能である。
　また、上記では、図３４のように周期的な相対位置のずれΔｘを持つ構成例を説明したが、このような周期的な設計とする場合、設計パラメータ次第では、図３８の（Ａ）のように、現像画像のＰＳＦ（Point Spread Function：点像分布関数）において複数のピークを持ってしまい、現像画像にゴーストが現れる可能性がある。図３８の（Ａ）は、現像画像のＰＳＦの例を示す。例えば、最大のピーク３８００は、元の点を表すが、ピーク３８０１はゴーストとなる。
　［処理分割方法（２）］
　そこで、実施の形態２の変形例として、以下の構成としてもよい。変形例では、実施の形態１と同様に画像センサ１０３における相対位置ずれをランダムな配置にするものの、そのランダムな配置を既知の設計とする。すなわち、撮像装置１は、画素３０毎にどのような相対位置ずれを持つかが既知である。そして、変形例では、図３９のように、ユニット毎に、相対位置ずれ量に応じて、分割による範囲を割り当てる。図３９は、変形例での相対位置ずれに関する処理分割方法を示す。例えば、ｘ軸方向での相対位置のずれΔｘに関して、ずれ量の大きさに応じた範囲Ａ１～Ａ５が割り当てられる。画像処理部１０７は、実施の形態２と同様に、範囲に応じた分割センサ画像を生成し、分割センサ画像毎に処理を行う。
　図３８の（Ｂ）は、変形例による画像処理の結果得られた現像画像に関するＰＳＦの例を示す。変形例の構成によれば、周期性による図３８の（Ａ）のピーク、例えばピーク３８０１が、図３８の（Ｂ）のピーク３８０２のように抑圧されることが分かる。
　以上のように、実施の形態２によれば、画像センサ１０３の面内において相対位置ずれが周期的に変化する構成とし、対応してセンサ画像を複数の領域に分割して処理する構成とする。これにより、撮影画角が広く、かつシェーディングによるノイズが無く、高画質なレンズレス撮像装置を実現できる。なお、前述の画像センサ１０３における相対位置ずれの周期的な分布の特性は、前述の例に限らず、他の周期的な関数、例えばサイン関数等で定義されてもよい。
　以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。本発明は、実施の形態の全構成要素に対し、要素を追加、削除、置換、併合等した構成も可能である。本発明は、ある実施例と他の実施例との組合せの構成も可能である。本発明における構成要素（例えば図１のコントローラ１０８、画像処理部１０７、フリンジスキャン処理部１０６等）は、集積回路やＦＰＧＡ等のハードウェアで構成されてもよいし、ソフトウェアプログラム処理等で構成されてもよい。プログラム処理を行う形態とする場合、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を用いたプロセッサが、メモリ等を用いながら、プログラムに従った処理を実行することにより、機能を実現する。また、プログラムや関連するデータや情報は、ＨＤＤ、ＤＶＤ、ＳＳＤ、ＳＤカード等の記憶装置または記録媒体に記憶されてもよいし、外部の通信網上に記憶されてもよい。
　［相互相関演算］
　図４０は、各実施の形態の補足として、前述の相関現像方式での相互相関演算の構成例を示す。画像処理部１０７は、画像センサ１０３からフリンジスキャン処理部１０６を介して入力されるセンサ画像４０１に、ＦＦＴ４０２を行い、ＦＦＴ後画像４０３を得る。一方、画像処理部１０７は、予め生成した現像用パターン４１１（例えば前述の現像用パターン８０１）に、ＦＦＴ４１２を行い、ＦＦＴ後現像用パターン４１３を得る。画像処理部１０７は、ＦＦＴ後画像４０３に、ＦＦＴ後現像用パターン４１３を畳込演算４０４することで、畳込後画像４０５を得る。画像処理部１０７は、畳込後画像４０５に逆ＦＦＴ４０６を行うことで、復元画像４０７を得る。なお、画像処理部１０７は、撮像毎にＦＦＴ等の処理をリアルタイムで実行してもよいが、予めＦＦＴ等の処理済みのデータ（例えばＦＦＴ後現像用パターン４１３）を生成してメモリに保存しておき、撮像の際にそのデータを読み出して上記演算を行うようにしてもよい。これにより高速化が可能である。
　１…撮像装置、３０…画素、１０２…撮像部、１０３…画像センサ、１０４…パターン基板、１０５…撮影用パターン、１０６…フリンジスキャン処理部、１０７…画像処理部、１０８…コントローラ、１９０３…受光部、１４０…マイクロレンズ。

Claims (12)

  1. 　撮影用パターンに基づいて、入射される光の強度を変調する変調器と、
    　前記変調後の光を電気信号に変換し、センサ画像を生成する画像センサと、
    　前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、
    　を備え、
    　前記画像センサの面内において、前記複数の画素の各画素の受光部の中心位置と、前記マイクロレンズアレイの前記複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有し、
    　前記特性は、隣接する前記各画素間での前記ずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも１つ以上持つ特性である、
    　撮像装置。
  2. 　請求項１記載の撮像装置において、
    　前記特性は、前記面内の位置に応じて前記ずれ量がランダムである特性である、
    　撮像装置。
  3. 　請求項１記載の撮像装置において、
    　前記特性は、前記面内の位置に応じて前記ずれ量が周期的に変化する特性である、
    　撮像装置。
  4. 　請求項１記載の撮像装置において、
    　前記センサ画像に対する現像用パターンの演算に基づいて像を復元する画像処理部を備える、
    　撮像装置。
  5. 　請求項１記載の撮像装置において、
    　前記画像センサおよび前記変調器を制御し、前記センサ画像からノイズをキャンセルするフリンジスキャン処理部を備える、
    　撮像装置。
  6. 　請求項４記載の撮像装置において、
    　前記画像処理部は、前記ずれ量の範囲全体を複数の範囲に分割し、前記センサ画像の画素値を、前記複数の範囲に応じて分類し、分類した画素値の画像毎に、対応する現像用パターンとの演算に基づいて現像処理を行い、現像処理後の複数の像を１つの像に合成する、
    　撮像装置。
  7. 　請求項１記載の撮像装置において、
    　前記画像センサは、前記面内における前記複数の画素のピッチよりも、前記複数のマイクロレンズのピッチの方が大きい、
    　撮像装置。
  8. 　撮影用パターンに基づいて、入射される光の強度を変調する変調器と、
    　前記変調後の光を電気信号に変換し、センサ画像を生成する画像センサと、
    　前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、
    　前記マイクロレンズアレイの入射側に配置されている、前記変調後の光を散乱させる散乱体と、
    　を備える、撮像装置。
  9. 　撮像装置における撮像方法であって、
    　前記撮像装置は、
    　撮影用パターンに基づいて、入射される光の強度を変調する変調器と、
    　前記変調後の光を電気信号に変換し、センサ画像を生成する画像センサと、
    　前記画像センサの複数の画素に対し配置されている複数のマイクロレンズを含むマイクロレンズアレイと、
    　を備え、
    　前記画像センサの面内において、前記複数の画素の各画素の受光部の中心位置と、前記マイクロレンズアレイの前記複数のマイクロレンズの各マイクロレンズの中心位置との相対位置のずれ量に関する分布の特性を有し、
    　前記特性は、隣接する前記各画素間での前記ずれ量の差分値が、正から負または負から正へ変化する箇所を少なくとも１つ以上持つ特性であり、
    　前記撮像方法は、
    　前記変調器によって前記光の強度を変調するステップと、
    　前記変調器および前記マイクロレンズアレイを経由した前記変調後の光に基づいて前記画像センサによって前記センサ画像を生成するステップと、
    　を有する、撮像方法。
  10. 　請求項９記載の撮像方法において、
    　前記センサ画像に対する現像用パターンの演算に基づいて像を復元するステップを有する、
    　撮像方法。
  11. 　請求項１記載の撮像装置において、
    　前記画像センサおよび前記変調器を制御し、前記センサ画像からノイズをキャンセルするステップを有する、
    　撮像方法。
  12. 　請求項１０記載の撮像方法において、
    　前記像を復元するステップは、前記ずれ量の範囲全体を複数の範囲に分割し、前記センサ画像の画素値を、前記複数の範囲に応じて分類し、分類した画素値の画像毎に、対応する現像用パターンとの演算に基づいて現像処理を行い、現像処理後の複数の像を１つの像に合成するステップを含む、
    　撮像方法。
PCT/JP2019/031352 2019-08-08 2019-08-08 撮像装置および方法 WO2021024452A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021538646A JP7183429B2 (ja) 2019-08-08 2019-08-08 撮像装置および方法
US17/632,828 US11856281B2 (en) 2019-08-08 2019-08-08 Imaging device and method
PCT/JP2019/031352 WO2021024452A1 (ja) 2019-08-08 2019-08-08 撮像装置および方法
CN201980099128.9A CN114208145A (zh) 2019-08-08 2019-08-08 摄像装置和方法
JP2022186275A JP2023016864A (ja) 2019-08-08 2022-11-22 撮像装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/031352 WO2021024452A1 (ja) 2019-08-08 2019-08-08 撮像装置および方法

Publications (1)

Publication Number Publication Date
WO2021024452A1 true WO2021024452A1 (ja) 2021-02-11

Family

ID=74502876

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031352 WO2021024452A1 (ja) 2019-08-08 2019-08-08 撮像装置および方法

Country Status (4)

Country Link
US (1) US11856281B2 (ja)
JP (2) JP7183429B2 (ja)
CN (1) CN114208145A (ja)
WO (1) WO2021024452A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117769841A (zh) * 2022-07-21 2024-03-26 北京小米移动软件有限公司 拍摄装置以及控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018221019A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 画像処理装置、撮像システム、画像処理方法、及び記録媒体
WO2018221025A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006004802B4 (de) * 2006-01-23 2008-09-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems
JP6571266B2 (ja) 2016-03-02 2019-09-04 株式会社日立製作所 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018221019A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 画像処理装置、撮像システム、画像処理方法、及び記録媒体
WO2018221025A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体

Also Published As

Publication number Publication date
CN114208145A (zh) 2022-03-18
US20220272239A1 (en) 2022-08-25
JPWO2021024452A1 (ja) 2021-02-11
US11856281B2 (en) 2023-12-26
JP2023016864A (ja) 2023-02-02
JP7183429B2 (ja) 2022-12-05

Similar Documents

Publication Publication Date Title
JP6491332B2 (ja) 撮像装置
JP6820908B2 (ja) 撮像装置
TWI658432B (zh) Camera
JP6688716B2 (ja) 撮像装置および撮像方法
WO2018055831A1 (ja) 撮像装置
CN110324513B (zh) 摄像装置，摄像模块和摄像方法
JP2023016864A (ja) 撮像装置および方法
JP6646619B2 (ja) 撮像装置
JP6920974B2 (ja) 距離計測装置および距離計測方法
JP7097787B2 (ja) 撮像装置および撮像方法
JP6864604B2 (ja) 撮像装置
JP6807281B2 (ja) 撮像装置、撮像システム、及び撮像方法
JP6947891B2 (ja) 携帯情報端末
JP6770164B2 (ja) 撮像装置
JP2019149674A (ja) 撮像装置、撮像方法、および画像処理装置
JP6636663B2 (ja) 撮像装置及び画像生成方法
JP7389195B2 (ja) 画像生成方法
JP7159118B2 (ja) 撮像装置
JP6814762B2 (ja) 撮像装置
JP2022180800A (ja) 撮像装置
JP2021064000A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19940283

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021538646

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19940283

Country of ref document: EP

Kind code of ref document: A1