WO2019171691A1 - 画像処理装置、および撮像装置、並びに画像処理方法 - Google Patents
画像処理装置、および撮像装置、並びに画像処理方法 Download PDFInfo
- Publication number
- WO2019171691A1 WO2019171691A1 PCT/JP2018/045005 JP2018045005W WO2019171691A1 WO 2019171691 A1 WO2019171691 A1 WO 2019171691A1 JP 2018045005 W JP2018045005 W JP 2018045005W WO 2019171691 A1 WO2019171691 A1 WO 2019171691A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- restored
- matrix
- roi
- area
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 163
- 238000003384 imaging method Methods 0.000 title claims description 71
- 238000003672 processing method Methods 0.000 title claims description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 230
- 238000004364 calculation method Methods 0.000 claims abstract description 57
- 238000005070 sampling Methods 0.000 claims description 159
- 230000005540 biological transmission Effects 0.000 claims description 32
- 230000005855 radiation Effects 0.000 claims description 29
- 230000010287 polarization Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 48
- 230000008569 process Effects 0.000 description 39
- 238000001514 detection method Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005469 synchrotron radiation Effects 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
- G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
- G02B2207/129—Coded aperture imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Definitions
- the present disclosure relates to an image processing device, an imaging device, and an image processing method.
- the present invention relates to an image processing apparatus, an imaging apparatus, and an image processing method that can control the angle of view of a captured image of a lensless camera (lensless imaging apparatus) and generate a restored image including a part of the imaging area.
- a lensless camera uses a two-dimensional light transmission area and non-transmission area instead of a lens.
- a mask set as a pattern light through the mask is input to the image sensor.
- the image sensor takes an image through a mask.
- predetermined signal processing on the imaging data through the mask, it is possible to generate a two-dimensional image corresponding to a shooting scene similar to a general camera. Since the lensless camera does not require a lens, the image pickup apparatus can be reduced in size and weight.
- the lensless camera inputs light through the mask to the image sensor.
- Information on how the emitted light from the scene (shooting scene) is projected onto the sensor through the mask is defined in advance as a matrix, and from the matrix and the image (observation image) projected onto the sensor An image (reconstructed image) reproducing an actual scene is generated.
- Patent Document 1 International Publication WO2012 / 040192.
- the following processing is performed as reconstruction processing of a captured image that generates an image (restored image) that reproduces an actual scene from an image (observed image) projected on an image sensor of a lensless camera.
- the radiated light of the photographic scene is expressed by the luminance values of a plurality of sampling points in three dimensions, and a plurality of sets of sensor observation values projected onto the image sensor through a mask are obtained in advance by simulation or the like.
- a mask matrix expressing the mask is calculated from the set.
- An inverse matrix of this mask matrix is obtained, and this inverse matrix is applied to the observed value, that is, the pixel value of the image sensor of the lensless camera, to restore the luminance value for each sampling point constituting the shooting scene.
- the luminance value for each sampling point is a luminance value indicating an image of the shooting scene.
- the light emitted from P sampling points in three dimensions is expressed as a scene radiation light vector x having a length P, and an observation value of a two-dimensional sensor having N pixels that receives the light is represented as a scene having a length N.
- an observation vector y Mx Can be expressed.
- M is a matrix representing the transmission function of the mask, that is, a mask matrix (mask matrix).
- x satisfying the relationship of this equation may be obtained from the sensor observation value y of the lensless camera.
- the resolution of the scene to be reproduced can be improved by increasing the number P of three-dimensional sampling points constituting the scene. However, it takes a long time to estimate the scene radiation light vector x, and it takes time to reconstruct the image.
- An object is to provide an image processing device, an imaging device, and an image processing method.
- a first aspect of the present disclosure is a signal that inputs an observation image signal that is an output of an image sensor of a lensless camera and generates a restored image of a restored image region that is a part of a captured image region of the lensless camera.
- a processing unit wherein the signal processing unit generates an observation image signal in a restoration region generated by subtracting an observation image signal not included in the restoration image region from the observation image signal, and generation of the restoration image
- the image processing apparatus generates the restored image by an arithmetic process with an inverse matrix or a pseudo inverse matrix of a matrix applied to.
- a second aspect of the present disclosure is directed to an imaging unit including a mask in which a light transmission region and a non-transmission region are set as a two-dimensional pattern, and an image sensor that receives light through the mask, and the image sensor. And a signal processing unit that generates a restored image of a restored image region including a part of the captured image region of the imaging unit, and the signal processing unit includes the observed image signal The observed image signal in the restored area generated by subtracting the observed image signal not included in the restored image area from the matrix and the inverse matrix of the matrix applied to generate the restored image or the pseudo inverse matrix An imaging apparatus that generates a restored image.
- a third aspect of the present disclosure is an image processing method executed in an image processing apparatus, and the image processing apparatus inputs an observation image signal that is an output of an image sensor of a lensless camera, and the lensless A signal processing unit configured to generate a restored image of a restored image region including a part of a captured image region of the camera, wherein the signal processing unit subtracts an observed image signal not included in the restored image region from the observed image signal;
- the restored image is generated by the arithmetic processing of the observed image signal in the restored area generated by performing the inverse matrix or the pseudo inverse matrix of the matrix applied to the restored image.
- system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
- FIG. 1 and FIG. 2 an outline of a lensless camera (lensless imaging device) will be described by comparison with the configuration of a general camera (imaging device).
- FIG. 1 Lensless camera
- FIG. 2 Camera with lens
- c) Pinhole camera The imaging principle of these three types of cameras is shown.
- the pinhole camera includes a pinhole 21 provided as a hole with respect to the light shielding film 12 and an image sensor (individual imaging device) 11.
- an imaging device including a pinhole as shown in the figure of (c) pinhole camera in the lower right part of FIG. 1, light beams L1 to L3 emitted from different light sources on the subject surface pass through the pinhole 21 respectively.
- images are captured as images on the pixels I1 to I3 on the image sensor (individual image sensor) 11.
- an image is formed by the image sensor (individual image pickup device) 11 by only one pixel of the light rays L1 to L3 emitted from each of the light sources. Since the light is incident on each pixel on the sensor (individual image pickup device) 11, it is picked up as a dark image.
- the camera with a lens (b) in the upper right part of FIG. 1 is provided with an imaging lens 32 in the center of the light shielding film 31, and the imaging lens 32 collects the light beams L1 to L3 as indicated by the light beams I11 to I13, and displays an image.
- Each image is formed on a sensor (individual imaging device) 11 and is set to be imaged by the image sensor (individual imaging device) 11.
- the image sensor (individual imaging device) 11 is formed by forming an image formed of light having a light intensity that is the sum of all the light intensities of the light beams L1 to L3. Since the light is incident on the sensor (individual image sensor) 11, an image having a sufficient amount of light is captured in each pixel of the image sensor (individual image sensor) 11.
- each set of point light sources constitutes a subject. Accordingly, the subject is imaged by imaging the subject formed by converging light rays emitted from a plurality of point light sources on the subject surface.
- the role of the imaging lens 32 is that each light beam emitted from each of the point light sources, that is, diffused light is converted into an image sensor (individual imaging device) 11. It is to lead up. Therefore, an image corresponding to the final image is formed on the image sensor (individual image sensor) 11, and an image composed of detection signals detected in each pixel on the image sensor (individual image sensor) 11 is an image. Becomes an observation image formed.
- the size of the imaging device (imaging device) is determined by the focal length of the imaging lens and the imaging lens, there is a limit to downsizing.
- the (a) lensless camera shown on the left side of FIG. 1 images the subject on the subject surface using the image sensor (individual imaging device) 11 and the mask 51 without providing an imaging lens or a pinhole. To do.
- a mask 51 having a plurality of sizes of openings 51 a is provided in front of the image sensor 11, and light rays L1 to L3 from each of the light sources are modulated. The light enters the imaging surface of the image sensor 11 and is received by each pixel on the image sensor (individual imaging device) 11.
- the size of the mask 51 is random in the horizontal direction and the vertical direction in units of unit size ⁇ as shown in the lower part of the lensless camera in FIG. A mask having a set mask pattern.
- the unit size ⁇ is at least larger than the pixel size.
- a gap of a minute distance d is provided between the image sensor 11 and the mask 51.
- the pitch between pixels on the image sensor 11 is w.
- the light sources L1 to L3 in the upper diagram of FIG. 1A are point light sources PA, PB, and PC as shown in the upper left part of FIG. It is assumed that the light beams having the light intensities a, b, and c are incident on the positions Pa, Pb, and Pc on the image sensor 11 that is incident.
- the detection sensitivity of each pixel is directed according to the incident angle by modulating the incident light from the openings 51a that are randomly set on the mask 51. Will have sex.
- providing the detection sensitivity of each pixel with the incident angle directivity means that the light receiving sensitivity characteristic according to the incident angle of the incident light differs depending on the region on the image sensor 11. is there.
- the light source constituting the subject surface 71 is a point light source
- the image sensor 11 When it is assumed that the light source constituting the subject surface 71 is a point light source, in the image sensor 11, light beams having the same light intensity emitted from the same point light source are incident.
- the incident angle changes for each region on the imaging surface of the image sensor 11. Since the incident angle of incident light is changed according to the area on the image sensor 11 by the mask 51, the light receiving sensitivity characteristic, that is, the incident angle directivity is obtained.
- detection is performed with different sensitivities for each region on the image sensor 11 by the mask 51 provided in the previous stage of the imaging surface of the image sensor 11, and detection signals having different detection signal levels are detected for each region.
- pixel detection signal levels DA, DB, and DC at positions Pa, Pb, and Pc on the image sensor 11 are expressed by the following equations (1) to (1), respectively. It is represented by (3).
- DA ⁇ 1 ⁇ a + ⁇ 1 ⁇ b + ⁇ 1 ⁇ c
- DB ⁇ 2 ⁇ a + ⁇ 2 ⁇ b + ⁇ 2 ⁇ c
- DC ⁇ 3 ⁇ a + ⁇ 3 ⁇ b + ⁇ 3 ⁇ c
- ⁇ 1 is a coefficient for the detection signal level a set in accordance with the incident angle of the light beam from the point light source PA on the object surface 71 to be restored at the position Pa on the image sensor 11.
- ⁇ 1 is a coefficient for the detection signal level b set in accordance with the incident angle of the light beam from the point light source PB on the object surface 71 to be restored at the position Pa on the image sensor 11.
- ⁇ 1 is a coefficient for the detection signal level c set in accordance with the incident angle of the light beam from the point light source PC on the object surface 71 to be restored at the position Pa on the image sensor 11.
- ( ⁇ 1 ⁇ a) in the detection signal level DA is a value indicating the detection signal level due to the light beam from the point light source PA at the position Pc.
- ( ⁇ 1 ⁇ b) of the detection signal level DA is a value indicating the detection signal level due to the light beam from the point light source PB at the position Pc.
- ( ⁇ 1 ⁇ c) of the detection signal level DA is a value indicating the detection signal level due to the light beam from the point light source PC at the position Pc.
- the detection signal level DA is expressed as a composite value obtained by multiplying each component of the point light sources PA, PB, PC at the position Pa by the respective coefficients ⁇ 1, ⁇ 1, ⁇ 1.
- the coefficients ⁇ 1, ⁇ 1, and ⁇ 1 are collectively referred to as a coefficient set.
- the coefficient sets ⁇ 2, ⁇ 2, and ⁇ 2 correspond to the coefficient sets ⁇ 1, ⁇ 1, and ⁇ 1 for the detection signal level DA in the point light source PA, respectively.
- the coefficient sets ⁇ 3, ⁇ 3, and ⁇ 3 correspond to the coefficient sets ⁇ 1, ⁇ 1, and ⁇ 1 for the detection signal level DA in the point light source PA, respectively.
- the detection signal levels of the pixels at the positions Pa, Pb, and Pc are values expressed by the product sum of the light intensities a, b, and c of the light beams emitted from the point light sources PA, PB, and PC, respectively. It is. For this reason, these detection signal levels are a mixture of the light intensities a, b, and c of the light beams emitted from the point light sources PA, PB, and PC, respectively, so that the image of the subject is formed. Is different.
- the coefficient sets ⁇ 1, ⁇ 1, ⁇ 1, the coefficient sets ⁇ 2, ⁇ 2, ⁇ 2, the coefficient sets ⁇ 3, ⁇ 3, ⁇ 3 and the simultaneous equations using the detection signal levels DA, DB, DC are constructed, and the light intensities a, b , C, the pixel values at the respective positions Pa, Pb, Pc are obtained as shown in the lower right part of FIG.
- a restored image (final image) that is a set of pixel values is reconstructed and restored.
- the coefficient set ⁇ 1, ⁇ 1, ⁇ 1, coefficient set ⁇ 2, ⁇ 2, ⁇ 2, coefficient set ⁇ 3, ⁇ 3, ⁇ 3 is each of these changes, but by changing this coefficient set, it is possible to reconstruct restored images (final images) of subject surfaces at various distances.
- the detection signal level shown in the upper right part of FIG. 2 is not a pixel value because it is not a detection signal level corresponding to an image on which an image of the subject is formed.
- the detection signal level shown in the lower right part of FIG. 2 is a signal value for each pixel corresponding to the image on which the subject image is formed, that is, the value of each pixel of the restored image (final image). Become.
- Such a configuration makes it possible to realize a so-called lensless camera that does not require an imaging lens or a pinhole.
- an imaging lens, a pinhole, or the like is not an essential configuration, it is possible to reduce the height of the imaging apparatus, that is, to reduce the thickness with respect to the incident direction of light in a configuration that realizes an imaging function.
- by changing the coefficient set in various ways it is possible to reconstruct and restore the restored image (final image) on the subject plane at various distances.
- an image taken by the image sensor and before reconstruction is simply referred to as an observation image, and an image that is reconstructed and restored by signal processing of the observation image is a restored image (final image). ). Accordingly, by changing the coefficient set described above from one observation image, images on the subject surface 71 at various distances can be reconstructed as the final image.
- FIG. 3 is a diagram illustrating a configuration example of an image sensor in a lensless camera.
- the upper part is a top view of the mask 51
- the lower part is a perspective view of the mask 51 and the image sensor (solid-state imaging device) 11 as seen from above the side surface.
- the image sensor of a general lensless camera has a unit size of an opening 51a in a mask 51 that is set uniformly over the entire region.
- One image is captured as a whole from the light transmitted through 51.
- FIG. 4 is a diagram showing a schematic configuration of the lensless camera 80.
- the lensless camera 80 has a configuration in which a mask 82 is disposed in front of the image sensor 81.
- the mask 82 is a mask in which a light transmission region and a light transmission region are set as a two-dimensional pattern. Light through this mask 82 is input to the image sensor.
- FIG. 4 shows a configuration example in which the subject 85 is photographed and a restored image (final image) 87 in which the subject image is restored is output.
- the pre-reconstructed image captured by the image sensor (solid-state imaging device) 81 is the observation image 86, and is reconstructed and restored by performing signal processing on the observation image 86 by the signal processing unit 83.
- the image to be processed is a restored image (final image) 87.
- the restored image (final image) 87 is an image including the subject of the shooting scene, as in a normal lens-mounted camera.
- the image (observation image 86) is taken by the image sensor 81 through the mask 82.
- the imaging data through the mask 82 that is, the observation image 86 on the image sensor 1 is input to the signal processing unit 83.
- the signal processing unit 83 performs predetermined signal processing on the observation image 86 on the image sensor 81, so that a restored image (final image) as a two-dimensional image corresponding to a shooting scene similar to a general camera is obtained. 87 is generated.
- N scene observation vector y Mx It can be expressed using the above relational expression.
- M is a matrix representing the transmission function of the mask 82.
- x satisfying the relationship of this equation may be obtained from the sensor observation value y.
- the signal processing unit 83 multiplies the sensor observation value y input from the image sensor 81 by a matrix constituted by an inverse matrix of the matrix representing the transmission function of the mask 82 to calculate the scene radiation light vector x, A process of calculating pixel values constituting the restored image (final image) 87 including the subject 85 is performed.
- a plurality of sets of sensor observation values projected onto the image sensor 81 through the mask 82 are obtained by simulation or the like, and a mask matrix expressing the characteristics (transmission function) of the mask 82 is calculated in advance from these sets. Keep it.
- the signal processing unit 83 applies an inverse matrix of this matrix, and based on the sensor observation value y input from the image sensor 81, a restored image (final image) 87 in which the luminance value for each sampling point of the imaging target region is restored. Is generated.
- x is constituted by a radiation light vector for each sampling point. That is, it is the radiant light of the point unit which comprises a photography scene, and the value which expand
- the resolution of the scene reproduced as the restored image (final image) 87 can be improved by increasing the number P of three-dimensional sampling points constituting the scene. However, if the sampling point number P is increased, the time for estimating the scene radiation light vector x becomes longer, and it takes time to reconstruct the image, that is, to generate the restored image (final image) 87.
- FIG. 5 As an example of image shooting by a lensless camera (lensless imaging device) 80, (A) Photographed image example set with wide angle of view (b) Photographed image example set with narrowed field angle These two image photographed examples are shown. As shown in FIG. 5B, the user (image photographer) may want to shoot an image in which only a specific subject, for example, a person's area is limited as a shooting range. Thus, there are cases where it is desired to take images of various regions by adjusting the angle of view (FOV) of the lensless camera 80.
- FOV angle of view
- FOV angle of view
- FIG. 6 As another method for the angle of view (FOV), as shown in FIG. 6, there is a method of limiting the light incident on the image sensor 81 by changing the distance between the image sensor 81 and the mask 82 in terms of hardware. .
- FIG. 6A shows a setting example in which the distance (L1) between the image sensor 81 and the mask 82 is set small to increase the angle of view.
- FIG. 6B shows a setting example in which the distance (L2) between the image sensor 81 and the mask 82 is set large and the angle of view is reduced.
- Patent Document 1 discloses a method of changing the FOV by arranging a MEMS array filter in front of a sensor and switching between transmission and non-transmission of light.
- each of these methods requires additional hardware, and the increase in size and cost cannot be avoided.
- an optical filter is used as a mask, no countermeasures other than the transmission wavelength region are shown, and for example, an appropriate filter corresponding to the far infrared region has not been mentioned.
- FIG. 7 is a diagram illustrating a configuration example of the image processing apparatus 100 according to the present disclosure.
- the image processing apparatus 100 receives a captured image of a lensless camera (lensless imaging apparatus) 102, generates a restored image set at a predetermined angle of view (FOV: Field Of View), and outputs the restored image 101.
- FOV Field Of View
- the signal processing unit 101 inputs an observation image signal that is an output of the image sensor of the lensless camera 102, and generates a restored image of a restored image region that is a part of the captured image region of the lensless camera 101.
- the lensless camera 102 is a camera configured by the image sensor 81 and the mask 82 described with reference to FIGS. 4 and 6.
- the distance between the image sensor 81 and the mask 82 is not a configuration that can control the distance between the image sensor 81 and the mask 82 as described with reference to FIG. 6, but the distance between the image sensor 81 and the mask 82 is fixed.
- the signal processing unit 101 inputs a captured image (observed value y all ) that is an output of the lensless camera 102.
- the captured image (observed value y all ) is a pixel value on the image sensor corresponding to the amount of light received through the mask of the lensless camera 102.
- the signal processing unit 101 performs signal processing on this input image (captured image (observed value y all )), and outputs a restored image (x ⁇ roi ) set to a predetermined angle of view (FOV: Field Of View). Output.
- (x ⁇ ) means a character in which ( ⁇ ) is set above x.
- (y ⁇ ) means a character in which ( ⁇ ) is set above y.
- the angle of view (FOV) can be freely set by the user.
- a captured image (observed value y all ) 110 that is an output of the lensless camera 102 is a captured image with one fixed angle of view that is unrelated to the angle of view set by the user.
- the signal processing unit 101 (Input 1) A captured image (observed value y all ) 110 which is an output of the lensless camera 102, (Input 2) “Restored Image Region Corresponding ROI (Region Of Interest) Information” R roi , corresponding to the angle-of-view setting information of the restored image (x ⁇ roi ) to be output Enter this information, (Output 1) A restored image (x ⁇ roi ) set to a predetermined angle of view (FOV), This output information is generated and output.
- the data restored image (x ⁇ roi) (x ⁇ roi) corresponds to radiation sampling point x, each contained in the photographic scene within a predetermined angle (ROI). That is, the restored image (x ⁇ roi ) is an image that reproduces the subject image of the shooting scene, and is the same image as the image shot by a normal camera with a lens.
- the signal processing unit 101 ROI information (R all ) 104 corresponding to the captured image area, Mask information (I M ) 105, Camera configuration information (I C ) 106, These pieces of information are held in the storage unit.
- the storage unit storing these pieces of information is shown inside the signal processing unit 101, but these storage units may be set outside the signal processing unit 101.
- Captured image area corresponding mask matrix (M all ) calculation unit 107 A restored image region corresponding mast matrix (M roi ) calculation unit 108;
- An image estimation unit 109 is included.
- the captured image area corresponding mask matrix (M all ) calculating unit 107 calculates a mask matrix (M all ) corresponding to the entire captured image (all ROIs) captured by the image sensor of the lens camera 102.
- the mask matrix (M all ) is a matrix representing the transmission function of the mask described above.
- the light emitted from P sampling points on the three-dimensional area of the imaging target region is expressed as a scene radiation light vector x having a length P, and the observation value of the image sensor having the number of pixels N that receives the light is represented by a long length.
- a relational expression when expressed as a scene observation value vector y of N, y Mx It is a matrix showing the transmission function of the mask which satisfy
- the restored image region corresponding mast matrix (M roi ) calculation unit 108 corresponds to the restored image (x ⁇ roi ) that is output data, not the entire captured image (all ROIs) captured by the image sensor of the lens camera 102.
- a mask matrix (M roi ) is calculated. That is, a restored image area corresponding mask matrix to be applied to generate a restored image of the restored image area formed of a part of the captured image area of the lensless camera 102 is calculated.
- the lensless camera 102 captures an image of the captured image region (total ROI) 121 at a fixed angle of view.
- the image output from the signal processing unit 101 is an image of a limited area shown in the restored image area (restored ROI) 122.
- Each region shown in FIG. 8 is a three-dimensional region.
- the scene radiation light vector x of this relational expression corresponds to a sampling point setting area in which measurement is performed.
- a mask matrix (M all ) representing a mask transmission function applicable to the above relational expression is calculated.
- the captured image region corresponding mask matrix (M all ) calculating unit 107 calculates the mask matrix (M all ) corresponding to the captured image region (all ROIs) 121.
- the captured image area corresponding ROI information (R all ) 104 is, for example, setting range information of the captured image area (total ROI) 121 shown in FIG. Further, the number of sampling points (P) and sampling point setting position (x) information in this setting range are also recorded.
- the mask information (I M ) 105 is two-dimensional pattern information including a light transmission region and a non-transmission region of the mask.
- the camera configuration information (I C ) 106 is information related to the mask and the image sensor, and is, for example, mask size, image sensor size, number of image sensor pixels (N), distance information between the mask and sensor, and the like. Further, the number of sampling points (P) and sampling point setting position (x) information set in the photographed image area are also recorded.
- the captured image area corresponding mask matrix (M all ) calculating unit 107 inputs these pieces of information and calculates a mask matrix (M all ) corresponding to the captured image area (all ROIs) 121.
- the restored image area corresponding mast matrix (M roi ) calculation unit 108 calculates a mask matrix (M roi ) corresponding to the restored image area (restored ROI) 122.
- the restored image region corresponding mast matrix (M roi ) calculation unit 108 Restored image area corresponding ROI information (R roi ) 103, Mask information (I M ) 105, Camera configuration information (I C ) 106, By inputting these pieces of information, a mask matrix (M roi ) corresponding to the restored image region (restored ROI) 122 is calculated.
- the restored image area corresponding ROI information (R roi ) 103 is, for example, setting range information of the restored image area (restored ROI) 122 shown in FIG. Further, the number of sampling points (P) and sampling point setting position (x) information in this setting range are also recorded.
- the restored image area corresponding ROI information (R roi ) 103 is information relating to the restored image area that can be freely set by the user. The user can restore the restored image area corresponding ROI information (R roi ) via an input unit (not shown). 103 can be written or updated.
- the mask information (I M ) 105 is two-dimensional pattern information including a light transmission region and a non-transmission region of the mask.
- the camera configuration information (I C ) 106 is a distance between the mask and the image sensor, information on the number of pixels (N) of the image sensor, and the like.
- the restored image area corresponding mast matrix (M roi ) calculation unit 108 inputs these pieces of information, and calculates a mask matrix (M all ) corresponding to the restored image area (restored ROI) 122.
- Captured image area corresponding mask matrix (M all ) calculation unit 107 A restored image region corresponding mast matrix (M roi ) calculation unit 108;
- M all Captured image area corresponding mask matrix
- M roi A restored image region corresponding mast matrix
- the image estimation unit 109 inputs the following information.
- A a captured image (observed value y all ) that is an output of the lensless camera 102;
- B Mask information (I M ) 105,
- C Camera configuration information (I C ) 106,
- D Captured image area corresponding ROI information (R all ) 104,
- E Restored image area corresponding ROI information (R roi ) 103,
- F the captured image area corresponding mask matrix (M all) the captured image area corresponding mask matrix calculated in the calculation section 107 (M all),
- G the restored image region corresponding mast matrix (M roi) was calculated in the calculating unit 108 restores the image area corresponding mast matrix (M roi),
- the image estimation unit 109 inputs these pieces of information, and outputs a restored image (x ⁇ roi ) set to a predetermined angle of view (FOV: Field Of View).
- An output data shown in the restored image (x ⁇ roi) (x ⁇ roi) , the sampling points included in a predetermined photographing scene within the angle (ROI), for example, restoring an image area (restoration ROI) shown in FIG. 8 122 x means each emitted light.
- the image estimation unit 109 subtracts the observation image signal outside the restored image area that is not included in the restoration image area from the observation image signal that is the output of the image sensor of the lensless camera 102 to obtain the observation image signal within the restoration area.
- a restored image of the restored image area which is a part of the captured image area of the lensless camera, is generated by an arithmetic process of the observed image signal in the restored area and the pseudo inverse matrix or inverse matrix of the restored image area corresponding mask matrix.
- the captured image region corresponding mask matrix (M all ) calculating unit 107 calculates a mask matrix (M all ) corresponding to the captured image region (all ROIs) 121 shown in FIG.
- the restored image region corresponding mast matrix (M roi ) calculating unit 108 calculates a mask matrix (M all ) corresponding to the restored image region (restored ROI) 122 shown in FIG.
- Each has only a different corresponding area, and the basic processing sequence is the same. In the ROI information acquisition process in step S103 shown in FIG. 9, only the information to be acquired is different. Details will be described in the description of each step below. Hereinafter, the process of each step of the flowchart shown in FIG. 9 will be sequentially described.
- Step S101 A captured image region corresponding mask matrix (M all ) calculation unit 107 of the signal processing unit 101; A restored image region corresponding mast matrix (M roi ) calculation unit 108; First, in step S101, the mask information IM is acquired. In the following, Captured image area corresponding mask matrix (M all ) calculation unit 107, A restored image region corresponding mast matrix (M roi ) calculation unit 108; These two mask matrix calculators will be described simply as mask matrix calculators.
- Step S102 the mask matrix calculator, in step S102, acquires the camera configuration information I C.
- Camera configuration information I C is information about the mask and the image sensor, for example, the mask size, image sensor size, image sensor pixel number (N), the distance information or the like between the mask and the sensor.
- Step S103 a mask matrix calculation part acquires ROI information in step S103.
- the process of step S103 is Captured image area corresponding mask matrix (M all ) calculation unit 107, A restored image region corresponding mast matrix (M roi ) calculation unit 108; Different processing is executed in these two mask matrix calculation units.
- the captured image region corresponding mask matrix (M all ) calculating unit 107 acquires the captured image region corresponding ROI information (R all ) 104 shown in FIG.
- the image area corresponding ROI information (R all ) 104 is, for example, setting range information, the number of sampling points (P), setting position (x) information, and the like of the captured image area (all ROIs) 121 shown in FIG. That is, the captured image region corresponding ROI information (R all ) that is ROI information when it is assumed that the image sensor of the lensless camera 102 has captured the radiated light at the sampling point in the captured image region (total ROI) 121 shown in FIG. 104 is acquired.
- the restored image region corresponding mast matrix (M roi ) calculating unit 108 acquires the restored image region corresponding ROI information (R roi ) 103 shown in FIG.
- the restored image area corresponding ROI information (R roi ) 103 is, for example, setting range information, the number of sampling points (P), setting position (x) information, etc. of the restored image area (restored ROI) 122 shown in FIG. That is, the restored image area corresponding ROI information that is ROI information when it is assumed that the image sensor of the lensless camera 102 has captured the radiation light of the sampling point in the restored image area (restored ROI) 122 shown in FIG. 8 shown in FIG. (R roi ) 103 is acquired.
- the number of sampling points (P) and set position (x) information can also be acquired from the camera configuration information Ic106.
- step S104 the mask matrix calculation unit prepares and initializes a P ⁇ N matrix M using the sensor pixel number N, the sampling point position x, and the sampling point number P. That is, The number of sensor pixels (N), A matrix (matrix) composed of P ⁇ N elements (matrix elements) defined by the number of sampling points (P) is generated. The initial value of each element is 0, for example.
- a captured image area corresponding mask matrix (M all ) calculating unit 107 The matrix generated by the restored image region corresponding mast matrix (M roi ) calculation unit 108 is a different matrix.
- the captured image area corresponding mask matrix (M all ) calculating unit 107 calculates the mask matrix (M all ) corresponding to the captured image area (total ROI) 121 illustrated in FIG. Assuming that sampling points are set in (all ROIs) 121, a matrix (matrix) including the number of sampling points P and P ⁇ N elements (matrix elements) of the number of sensor pixels N is generated.
- the restored image region corresponding mast matrix (M roi ) calculating unit 108 is shown in FIG. 8 in order to calculate a mask matrix (M roi ) corresponding to the restored image region (restored ROI) 122 shown in FIG. Assuming that sampling points are set in the restored image region (restored ROI) 122, a matrix (matrix) including the number of sampling points P and P ⁇ N elements (matrix elements) of the number of sensor pixels N is generated.
- a captured image area corresponding mask matrix (M all ) calculating unit 107 In a matrix composed of P ⁇ N elements generated by the restored image region corresponding mast matrix (M roi ) calculation unit 108, The sensor pixel number N is the same as the pixel number (N) of the image sensor of the lensless camera 102.
- the number of sampling points P can be set freely.
- the sampling point number P of a matrix composed of P ⁇ N elements generated by the captured image region corresponding mask matrix (M all ) calculating unit 107 and the restored image region corresponding mast matrix (M roi ) calculating unit 108 is, for example, 8 may be set in proportion to the size of the captured image area (total ROI) 121 and the restored image area (restored ROI) 122 shown in FIG. 8, or both may have the same sampling point number P.
- the restored image in the restored image region (restored ROI) 122 is a higher resolution image than when the sampling point number P is set in proportion to the size of the region. Can do.
- the resolution of the restored image can be improved by increasing the number of sampling points P. That is, the resolution of the restored image can be improved by setting many high-density sampling points in the restored image region (restored ROI) 122 shown in FIG.
- Step S105 to S106 The process after step S105 is a process for setting the value of each element of the matrix generated in step S104.
- a matrix element for which a value is to be set is selected.
- P and n are element identification indexes of a P ⁇ N matrix.
- step S107 the mask matrix calculation unit obtains the sensor pixel value (y) of the nth pixel when the light at the p-th sampling point x (p) is projected onto the sensor through the mask.
- This pixel value calculation processing can be performed by simulation processing or actual measurement processing.
- This set value represents the relational expression explained above, that is, the light emitted from P sampling points on the three-dimensional area of the imaging target region as a scene radiation light vector x of length P, and this is received.
- a relational expression when an observation value of an image sensor having N pixels is a scene observation value vector y of length N, y Mx It is a set value according to this relational expression.
- Steps S109 to S112 are a process of updating a matrix element (matrix element) whose value is to be set and a process end determination process.
- the matrix element index n is incremented by 1,
- step S110 n ⁇ N And n ⁇ N If, For the new matrix element (p, n), the processing of steps S107 to S108 is executed to determine the value of the new matrix element (p, n).
- step S111 the matrix element index p is incremented by 1, In step S112, p ⁇ P And p ⁇ P If, For the new matrix element (p, n), the processing of steps S107 to S108 is executed to determine the value of the new matrix element (p, n).
- step S112 p ⁇ P If it is determined that the above equation is not satisfied, the values of all the elements of the P ⁇ N matrix are determined, and the matrix is completed.
- the mask matrix generated by the captured image region corresponding mask matrix (M all ) calculating unit 107 according to this flow is the captured image region corresponding mask matrix (M all ).
- y Mx A captured image region corresponding mask matrix (M all ) that satisfies this relational expression.
- the mask matrix generated by the restored image area corresponding mast matrix (M roi ) calculation unit 108 according to this flow is the restored image area corresponding mast matrix (M roi ), and is, for example, the restored image area (restored) shown in FIG. ROI)
- the relational expression with the sensor pixel value (y) when it is assumed that the image sensor of the lensless camera 102 has received the radiated light of P sampling points set to 122, y Mx A restored image region corresponding mast matrix (M roi ) that satisfies this relational expression.
- the image estimation unit 109 (A) a captured image (observed value y all ) that is an output of the lensless camera 102; (B) Mask information (I M ) 105, (C) Camera configuration information (I C ) 106, (D) Captured image area corresponding ROI information (R all ) 104, (E) Restored image area corresponding ROI information (R roi ) 103, (F) the captured image area corresponding mask matrix (M all) the captured image area corresponding mask matrix calculated in the calculation section 107 (M all), (G) the restored image region corresponding mast matrix (M roi) was calculated in the calculating unit 108 restores the image area corresponding mast matrix (M roi), The image estimation unit 109 inputs these pieces of information, and outputs a restored image (x ⁇ roi ) set to a predetermined angle of view (FOV: Field Of View).
- FOV Field Of View
- An output data shown in the restored image (x ⁇ roi) (x ⁇ roi) , the sampling points included in a predetermined photographing scene within the angle (ROI), for example, restoring an image area (restoration ROI) shown in FIG. 8 122 x means each emitted light.
- the image estimation unit 109 performs, for example, the processing of the observation image signal in the restoration area and the pseudo inverse matrix or the inverse matrix of the restoration image area correspondence mask matrix in the captured image area of the lensless camera. A restored image of a restored image area consisting of a part is generated.
- Step S201 Image estimating unit 109 of the signal processing unit 101, first, in step S201, acquires the mask information I M.
- the mask information I M acquired in step S201 is two-dimensional pattern information including a light transmission region and a non-transmission region of the mask.
- Step S202 Next, the image estimation unit 109, at step S202, acquires the camera configuration information I C.
- Camera configuration information I C is information about the mask and the image sensor, for example, the mask size, image sensor size, image sensor pixel number (N), the distance information or the like between the mask and the sensor.
- Step S203 the image estimation unit 109 acquires ROI information in step S203.
- the image estimation unit 109 acquires the captured image area corresponding ROI information (R all ) 104 and the restored image area corresponding ROI information (R roi ) 103 shown in FIG.
- the image area-corresponding ROI information (R all ) 104 is, for example, sampling point setting position (x) information in the captured image area (total ROI) 121 shown in FIG. That is, it is ROI information when it is assumed that the image sensor of the lensless camera 102 has picked up the radiated light at the sampling point in the captured image region (total ROI) 121 shown in FIG.
- the ROI information is information indicating a range of which region to reproduce in the three-dimensional region to be reproduced.
- the restored image area corresponding ROI information (R roi ) 103 is, for example, the setting position (x) information of the sampling point in the restored image area (restored ROI) 122 shown in FIG. That is, it is ROI information when it is assumed that the image sensor of the lensless camera 102 has picked up the radiated light at the sampling point in the restored image region (restored ROI) 122 shown in FIG.
- the image estimation unit 109 performs step S203.
- the captured image area corresponding ROI information (R all ) 104 and the restored image area corresponding ROI information (R roi ) 103 shown in FIG. 7 are acquired.
- Step S204 the image estimation unit 109 acquires the sensor pixel number N in step S204. That is, the sensor pixel number (N) of the image sensor of the lensless camera 102 is acquired. This information is acquired from, for example, camera configuration information I C 106 shown in FIG.
- Step S205 the image estimation unit 109 acquires the sampling point position x and the number P of points. That is, The number of sampling points (P), The position of each sampling point (x), To get.
- these information is, for example, Camera configuration information (Ic) 106, ROI information (R all ) 104 corresponding to the captured image area, Restored image area corresponding ROI information (R roi ) 103, Obtain from each of these.
- the number of sampling points (P) in the captured image area and the position (x) of each sampling point are acquired. Specifically, for example, the number (P) and the position (x) of the sampling points set in the captured image region (all ROIs) 121 shown in FIG.
- the restored image area corresponding ROI information (R roi ) 103 the number of sampling points (P) in the restored image area and the position (x) of each sampling point are acquired. Specifically, for example, the number (P) of sampling points and the position (x) set in the restored image area (restored ROI) 122 shown in FIG. 8 are acquired.
- Step S206 calculates in step S206, the pseudo-inverse matrix of the calculated captured image area corresponding mask matrix of the captured image area corresponding mask matrix (M all) calculation section 107 (M all) the (M + all) To do. Further, in step S207, the estimated radiated light value (x ⁇ all ) of the sampling point is calculated using the pseudo inverse matrix (M + all ) obtained in step S206.
- the radiated light estimated value (x ⁇ all ) of the sampling point means the radiated light of each sampling point x included in the photographic scene, for example, the photographic image area (total ROI) 121 shown in FIG.
- FIG. (A) a captured image region ROI (R all ) 201 expressed as two-dimensional plane data; (B) Radiation light (x ⁇ all ) 204 at the sampling point set in the captured image region ROI (R all ) 201, (C) a mask having a mask matrix (M all ) 202 corresponding to the photographed image area; (D) Sensor observation value (pixel value) (y all ) 203 when the image sensor receives the radiated light (x ⁇ all ) 204 at the sampling point set in the photographed image region ROI (R all ) 201, These are shown.
- a mask having a photographic image region corresponding mask matrix (M all ) 202 is set by using the radiated light (x ⁇ all ) 204 at the sampling point set in the photographic image region ROI (R all ) 201 expressed as two-dimensional plane data.
- a sensor observation value (pixel value) (y all ) 203 is shown when light is received by the image sensor. Note that the captured image region ROI (R all ) is originally set as a three-dimensional region as described with reference to FIG. 8, but the light in the three-dimensional region is a two-dimensional plane parallel to the image sensor. Is input to the image sensor.
- the photographed image area ROI (R all ) configured as a three-dimensional area can be converted into a photographed image area ROI (R all ) 201 represented as two-dimensional plane data as shown in FIG. It is.
- Sampling points for outputting radiated light can also be set and expressed in the captured image region ROI (R all ) 201 expressed as the two-dimensional plane data.
- the sensor observation value (pixel value) (y all ) 203 shown in FIG. 11 is obtained from each position (x all ) of the sampling point set in the captured image region ROI (R all ) 201 expressed as two-dimensional plane data.
- the light that is, the value of the sampling point emitted light (x ⁇ all ) 204 mapped through the mask. Therefore, A captured image region corresponding mask matrix (M all ) 202; Sensor observation value (pixel value) (y all ) 203, If these values are present, the estimated value of the radiated light (x ⁇ all ) 204 at the sampling point can be obtained by the following calculation processing (processing a and b).
- M + all is a pseudo inverse matrix of the captured image region corresponding mask matrix (M all )
- M T all indicates a transposed matrix of the captured image region corresponding mask matrix (M all ).
- (M T all M all ) ⁇ 1 means the inverse matrix of (M T all M all ).
- This relational expression is equivalent to an expression expressed using a pseudo inverse matrix (M + ) of the matrix M.
- Step S208 the image estimation unit 109 extracts the sampling point radiated light (x ⁇ all ) 204 that is not included in the restored image region ROI (R roi ), and extracts them as the restored image region.
- the sampling point radiation light estimated value (x ⁇ out ) outside ROI ( Rroi ) Further, in step S209, the observation value corresponding to the estimated sampling point radiation light value (x ⁇ out ) outside the restored image area ROI ( Rroi ). Find (y ⁇ out ).
- FIG. 12 shows a setting example of the restored image area ROI (R roi ) 211.
- the restored image area ROI (R roi ) 211 can be freely set within the captured image area ROI (R all ).
- the restored image region ROI (R roi ) 211 is also shown as two-dimensional data, like the captured image region ROI (R all ).
- step S208 among the above-described (Equation 2), that is, the sampling point radiated light estimated value (x ⁇ all ) calculated according to the sampling point radiated light estimated value (x ⁇ all ) calculation formula, FIG. Sampling points that are not included in the restored image area ROI (R roi ) 211 are extracted, and these are set as sampling point radiation light estimated values (x ⁇ out ) outside the restored image area ROI (R roi ).
- step S209 the observed value (y out ) corresponding to the estimated sampling point radiation light value (x out ) outside the restored image region ROI (R roi ) is calculated using the following (formula 3). .
- the above expression expresses the relational expression described above, that is, light emitted from P sampling points on the three-dimensional area of the imaging target region as a scene radiation light vector x of length P and receives it.
- a relational expression when the observation value of the image sensor having the number of pixels N is a scene observation value vector y of length N; y Mx It is a formula corresponding to this relational expression.
- FIG. 13 is a diagram illustrating an observed value (y out ) corresponding to the estimated sampling point radiated light value (x out ) outside the restored image region ROI (R roi ) calculated in step S209.
- sampling point radiation (x ⁇ out ) 212 outside the restored image region ROI (R roi ) obtained by removing the restored image region ROI (R roi ) 211 from the captured image region ROI (R all ) 201 is shown. Yes.
- These restored image region ROI (R roi) outside the sampling point synchrotron radiation (x ⁇ out) corresponding observations in 212 (y ⁇ out) is restored image region ROI shown in FIG. 13 (R roi) outer estimating sensor observations (Y ⁇ out ) 213.
- Step S210 the image estimation part 109 calculates
- an estimated value of the radiated light (x ⁇ roi ) at the sampling point in the restored image region ROI (R roi ) is calculated according to the following (formula 4).
- FIG. 14 is a diagram for describing processing for calculating a radiated light (x ⁇ roi ) estimated value of a sampling point in the restored image region ROI (R roi ).
- the emitted light of the sampling point in the restored image area ROI (R roi ) 211 set in the captured image area ROI (R all ) 201 that is, the sampling point emission in the restored image area ROI (R roi )
- estimating sensor observations (y ⁇ roi y all -y ⁇ out) 223, which shows these.
- the image estimation unit 109 obtains an estimated value of the radiated light (x ⁇ roi ) at the sampling point in the restored image region ROI (R roi ) according to the above (Equation 4).
- This estimated value corresponds to a pixel value of an image (restored image) showing a subject in the restored image region ROI (R roi ).
- the image estimation unit 109 generates a restored image of the restored image area that is a part of the captured image area of the lensless camera 102 by the following process.
- (S206) Calculate a pseudo inverse matrix of the mask matrix corresponding to the captured image area to be applied to generate a restored image of the entire imaging range of the lensless camera 102;
- (S207) Calculate a radiated light estimation value of a sampling point in the captured image region from the pseudo inverse matrix of the captured image region corresponding mask matrix and the observed image signal,
- An observation image signal outside the restored image area that is not included in the restored image area is subtracted from the observed image signal that is the output of the image sensor of the lensless camera 102 to calculate an observed image signal within the restored area
- a restored image of the restored image area which is a part of the captured image area of the lensless camera 102, is generated by a calculation process of the observed image signal in the restored area and the pseudo inverse matrix of the restored image area corresponding mask matrix.
- the pseudo-inverse matrix used in these processes may be an inverse matrix.
- FIG. 15 is a diagram illustrating an example of a method for reconstructing a two-dimensional image from luminance values of three-dimensional sampling points.
- a virtual pinhole lens 301 and a virtual sensor surface 302 are prepared, and light from sampling points 305, 306, and 307, that is, x ⁇ all (p 1 ), x ⁇ all (p 2 ), x ⁇ all (p 3 ), These lights cross the virtual sensor surface 302 through the virtual pinhole lens 301.
- Each of the virtual sensor pixels 303, 304, and 305 on the virtual sensor surface 302 has an observation value (pixel value) corresponding to incident light, that is, Virtual sensor pixel y (p 1 ) 303, Virtual sensor pixel y (p 2 ) 304, Virtual sensor pixel y (p 3 ) 305, These observation values (pixel values) are obtained. In this case, an image that is in focus at all is reproduced regardless of the distance between the sampling points.
- FIG. 16 shows an example of a method for reconstructing an image that causes lens blur in the depth direction.
- FIG. 16 shows a virtual lens 311, a virtual sensor surface 313, and a virtual plane 312 where the image is focused on the virtual sensor surface 313.
- the light from each sampling point 316, 317, ie, x ⁇ all (p 1 ), x ⁇ all (p 2 ), These lights are mapped onto the virtual sensor surface 313 through the virtual lens 311.
- FIG. 17 shows a diagram of the ROI region set in three dimensions. Since the ROI region can be set at an arbitrary position in three dimensions, sampling points can be partially reproduced. For example, in a three-dimensional space as shown in FIG. Captured image area ROI (R all ) 321, Restored image area ROI (R roi ) 322, ROI (R out ) 323 outside the restored image area, These areas are set, and sampling points can be freely set in each area.
- the radiated light from each sampling point is incident on the image sensor through a mask having a conversion characteristic (transmission function) according to, for example, a captured image region corresponding mask matrix (M all ) 331 shown in FIG.
- the value (y all ) 332 can be observed.
- a background-removed image including only a person and removing the background region can be generated as a restored image. Is possible.
- the pixel pitch on the screen is constant, and the resolution on one image is constant in any region of the image.
- the sampling point is not uniform, and the density can be changed for each region, whereby the resolution can be changed in units of regions.
- the density of sampling points corresponding to the high resolution region 402 may be set higher than that of other regions.
- Fig. 18 (b) shows an example in which the density of sampling points is changed.
- sampling points 412 are denser than other areas.
- the sampling point corresponds to the pixel value calculation position in the restored image. If the density of the sampling point is increased, the pixel value density is increased, and as a result, a high-resolution image can be generated.
- FIG. 19 shows an example of an image whose resolution is locally changed.
- the example shown in FIG. 19 is a processing example for generating an image with an increased resolution only in an area where people are present.
- the sampling point radiation light (x ⁇ all ) of the entire scene that is, the captured image area sampling point radiation light (x ⁇ all ) 421
- the captured image area sampling point radiation light (x ⁇ all ) 421 is estimated to generate an image of the entire captured image area.
- a region where a person is present is detected from this image, and this detection region is defined as a high resolution region (R roi ) 422.
- a mask matrix (M roi ) in which only the high resolution region (R roi ) 422 has a higher sampling point density than other regions is calculated by simulation.
- Sampling point radiation is calculated when a mask having this mask matrix (M roi ) as a characteristic (transmission function) is used.
- a partial area high-resolution image 431 in which the resolution is increased only in the area where people are present is generated.
- the signal processing unit 109 performs processing by setting the density of the sampling points in the restored image area to be higher than the density of the sampling points in the other areas of the image captured by the lensless camera 102. It is possible to generate a partial-area high-resolution image in which only the restored image area is high-resolution.
- FIG. 20 is a schematic diagram when the radiation light from the sampling point is expanded.
- the emitted light from the P sampling points 471 is separated into L wavelengths
- the emitted light of the l (el) th wavelength emitted from the pth sampling point is x col (pL + 1) (formula a) It can be expressed as.
- M col is Number of pixels (N) of the image sensor 473, The number of separated wavelengths of the emitted light from the sampling point (L), Number of sampling points (P), When This is an NL ⁇ PL matrix (mask matrix of the mask 472). This matrix can be obtained by simulating observed values of radiation at different wavelengths from one sampling point.
- the observed value y col on the image sensor 473 it is possible to reproduce a luminance separated synchrotron radiation (x col) for each wavelength of the sampling points 501. For example, it is possible to acquire output values of RGB colors and reproduce a color image. Similar extension to polarization is possible as well as wavelength.
- the signal processing unit 109 can generate a restored image of a plurality of different wavelength light units by processing by dividing the wavelength of the radiated light at the sampling point in the restored image region. Further, by dividing the polarization component of the emitted light at the sampling point in the restored image region and performing the processing, it is possible to generate a restored image of a plurality of different polarization component units.
- FIG. 21 is an example of a hardware configuration of an image processing apparatus that executes the processing of the signal processing unit 101 described with reference to FIG.
- a CPU (Central Processing Unit) 501 functions as a control unit or a data processing unit that executes various processes according to a program stored in a ROM (Read Only Memory) 502 or a storage unit 508. For example, processing according to the sequence described in the above-described embodiment is executed.
- a RAM (Random Access Memory) 503 stores programs executed by the CPU 501 and data.
- the CPU 501, ROM 502, and RAM 503 are connected to each other by a bus 504.
- the CPU 501 is connected to an input / output interface 505 via a bus 504.
- An input unit 506 including various switches, a keyboard, a mouse, a microphone, and a sensor, and an output unit 507 including a display and a speaker are connected to the input / output interface 505.
- the CPU 501 executes various processes in response to a command input from the input unit 506 and outputs a processing result to the output unit 507, for example.
- the storage unit 508 connected to the input / output interface 505 includes, for example, a hard disk and stores programs executed by the CPU 501 and various data.
- a communication unit 509 functions as a transmission / reception unit for Wi-Fi communication, Bluetooth (BT) communication, and other data communication via a network such as the Internet or a local area network, and communicates with an external device.
- BT Bluetooth
- the drive 510 connected to the input / output interface 505 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and executes data recording or reading.
- a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
- a signal processing unit that inputs an observation image signal that is an output of an image sensor of a lensless camera and generates a restored image of a restored image region that is a part of a captured image region of the lensless camera;
- the signal processing unit An observed image signal in a restored region generated by subtracting an observed image signal not included in the restored image region from the observed image signal, and an inverse matrix or a pseudo inverse matrix of a matrix applied to the generation of the restored image;
- An image processing apparatus that generates the restored image by the arithmetic processing.
- the signal processing unit A restored image region correspondence matrix calculation unit that generates a matrix to be applied to the generation of the restored image based on correspondence information between the emitted light from the sampling point in the restored image region and the observation value of the image sensor ( The image processing apparatus according to 1).
- the signal processing unit Reconstructed image region corresponding matrix calculation for generating a matrix applied to the generation of the P ⁇ N restored image defined by the number of sampling points (P) in the restored image region and the number of pixels (N) of the lensless camera
- the signal processing unit includes: From the estimated value of the sampling point within the captured image area calculated based on the inverse matrix of the matrix applied to the generation of the restored image of the entire imaging range of the lensless camera and the observed image signal, the restored image By the processing of the observed image signal in the restored area calculated by subtracting the observed image signal not included in the area, and the inverse matrix of the matrix applied to generate the restored image of the entire imaging range of the lensless camera.
- the image processing apparatus according to any one of (1) to (3), further including an image estimation unit that generates the restored image.
- the signal processing unit further includes: A captured image region corresponding mask matrix calculating unit that generates a matrix to be applied to the captured image region based on correspondence information between the emitted light from the sampling point in the captured image region and the observation value of the image sensor (1) ) To (4).
- the signal processing unit includes: The density of sampling points in the restored image area is set to be higher than the density of sampling points in other areas of the captured image, and the restored image with high resolution is generated (1) to (5) An image processing apparatus according to 1.
- the signal processing unit includes: The image processing device according to any one of (1) to (6), wherein the wavelength of the emitted light at the sampling point in the restored image region is divided to generate a restored image of a plurality of different wavelength light units.
- the signal processing unit The image processing apparatus according to any one of (1) to (7), wherein the polarization component of the emitted light at the sampling point in the restored image region is divided to generate a restored image of a plurality of different polarization component units.
- (9) a mask in which a light transmission region and a light transmission region are set as a two-dimensional pattern;
- An imaging unit comprising an image sensor that receives light through the mask;
- a signal processing unit that inputs an observation image signal that is an output of the image sensor and generates a restored image of a restored image region that is a part of a captured image region of the imaging unit;
- the signal processing unit An observed image signal in a restored area generated by subtracting an observed image signal not included in the restored image area from the observed image signal and an inverse matrix or a pseudo inverse matrix of a matrix applied to the generation of the restored image Generating the restored image by arithmetic processing;
- Imaging device comprising an image sensor that receives light through the mask;
- a signal processing unit that inputs an observation image signal that is an output of the image sensor and generates a restored image of a restored image region that is a part of a captured image region of the imaging unit;
- the signal processing unit An observed image signal in a restored area generated by subtract
- the image processing apparatus includes a signal processing unit that receives an observation image signal that is an output of an image sensor of a lensless camera and generates a restored image of a restored image area that is a part of a captured image area of the lensless camera.
- the signal processing unit is An observed image signal in a restored area generated by subtracting an observed image signal not included in the restored image area from the observed image signal and an inverse matrix or a pseudo inverse matrix of a matrix applied to the generation of the restored image
- the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
- the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
- the program can be recorded in advance on a recording medium.
- the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
- the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
- the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
- Lensless Camera 81 Image Sensor 82 Mask 83 Signal Processing Unit 100 Image Processing Device 101 Signal Processing Unit 102 Lensless Camera 103 Restored Image Region Corresponding ROI Information 104 Captured Image Region Corresponding ROI Information 105 Mask Information 106 Camera Configuration Information 107 Captured Image Region Corresponding mask matrix calculation unit 108 Restored image area corresponding mask matrix calculation unit 109 Image estimation unit 501 CPU 502 ROM 503 RAM 504 Bus 505 I / O interface 506 Input unit 507 Output unit 508 Storage unit 509 Communication unit 510 Drive 511 Removable media
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
レンズレスカメラの撮影画像の画角制御を可能とし、撮影領域の一部からなる復元画像を生成する構成を実現する。レンズレスカメラの画像センサの出力である観測画像信号を入力して、レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有する。信号処理部は、復元画像の生成に適用する復元画像領域対応マスクマトリックスを計算する復元画像領域対応マスクマトリックス計算部と、観測画像信号から、復元画像領域に含まれない復元画像領域外観測画像信号を減算して、復元領域内観測画像信号を算出し、復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列または逆行列との演算処理により復元画像を生成する画像推定部を有する。
Description
本開示は、画像処理装置、および撮像装置、並びに画像処理方法に関する。特に、レンズレスカメラ(レンズレス撮像装置)の撮影画像の画角制御を可能とし、撮影領域の一部からなる復元画像を生成する画像処理装置、および撮像装置、並びに画像処理方法に関する。
近年、レンズを利用せずに画像を撮影可能としたレンズレスカメラの開発が進んでいる。従来の一般的なカメラは、レンズを介した光を撮像素子である画像センサに入力して画像を撮影するが、レンズレスカメラは、レンズの代わりに光の透過領域と不透過領域を2次元パターンとして設定したマスクを用い、マスクを介した光を画像センサに入力する。画像センサにはマスクを介した像が撮影される。このマスクを介した撮像データに対して、所定の信号処理を行うことで、一般的なカメラと同様の撮影シーンに対応する2次元画像を生成することができる。レンズレスカメラは、レンズが不要であるため、撮像装置の小型化、軽量化が実現される。
上述したように、レンズレスカメラは、マスクを介した光を画像センサに入力する。シーン(撮影シーン)からの放射光が、マスクを通してどのようにセンサ上に投影されるかの情報を、あらかじめマトリックスとして定義しておき、そのマトリックスとセンサ上に投影された画像(観測画像)から、実際のシーンを再現した画像(復元画像)を生成するものである。
なお、レンズレスカメラについては、例えば、以下の文献に記載がある。
特許文献1(国際公開WO2012/040192号公報)。
特許文献1(国際公開WO2012/040192号公報)。
レンズレスカメラの画像センサ上に投影された画像(観測画像)から、実際のシーンを再現した画像(復元画像)を生成する撮影画像の再構成処理としては、例えば以下の処理が行われる。撮影シーンの放射光を3次元上の複数のサンプリングポイントの輝度値で表現し、マスクを介して画像センサ上に投影されるセンサ観測値の組を、シミュレーションなどで複数組、予め求める。
さらに、それらの組からマスクを表現するマスクマトリックスを計算する。このマスクマトリックスの逆行列を求め、この逆行列を、観測値、すなわちレンズレスカメラの画像センサの画素値に適用して、撮影シーンを構成するサンプリングポイント毎の輝度値を復元する。サンプリングポイント毎の輝度値は、撮影シーンの画像を示す輝度値となる。
3次元上のP個のサンプリングポイントから放射される光を、長さPのシーン放射光ベクトルxとして表記し、それを受光する画素数Nの2次元センサの観測値を、長さNのシーン観測値ベクトルyとして表現すると、その関係は、
y=Mx
と表す事ができる。ここで、Mはマスクの透過関数を表すマトリックス、すなわちマスクマトリックス(マスク行列)である。
y=Mx
と表す事ができる。ここで、Mはマスクの透過関数を表すマトリックス、すなわちマスクマトリックス(マスク行列)である。
シーンの放射光を再現するには、この式の関係を満たすxを、レンズレスカメラのセンサ観測値yから求めれば良い。再現されるシーンの解像度は、シーンを構成する3次元上のサンプリングポイントの数Pを大きくすることで向上させることができる。ただし、シーン放射光ベクトルxを推定する時間が長くなり、画像の再構成に時間を要することになる
上記式、y=Mxは、レンズレスカメラのセンサに入射する全ての光がセンサ上に重畳されることを示しており、復元される画像の画角(FOV:Field Of View)は、非常に広いものとなる。
レンズレスカメラの画角(FOV)は広いため、シーン全体を表現するサンプリングポイント数Pが多くなる。しかし、カメラとして使用する場合、ある程度、FOVを狭めて、撮影範囲を限定したいといった場合も多い。撮影画像の一部のみを切り出すことも可能であるが、その場合、解像度が低下してしまうという問題が発生する。
また、上述したように、撮影画像として再現可能な3次元上のサンプリングポイント数Pを増やすことで解像度を上げるという方法もあるが、画像の再構成時間が増大するため、実用的ではないという問題がある。
本開示は、例えば、上記の問題点に鑑みてなされたものであり、解像度の低下や計算量の増大を発生させることなく、レンズレスカメラによる撮影画像の画角(FOV)を変更可能とした画像処理装置、および撮像装置、並びに画像処理方法を提供することを目的とする。
本開示の第1の側面は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、前記信号処理部は、前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と、前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理装置にある。
さらに、本開示の第2の側面は、光の透過領域と不透過領域を2次元パターンとして設定したマスクと、前記マスクを介した光を受光する画像センサとからなる撮像部と、前記画像センサの出力である観測画像信号を入力して、前記撮像部の撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、前記信号処理部は、前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する撮像装置にある。
さらに、本開示の第3の側面は、画像処理装置において実行する画像処理方法であり、前記画像処理装置は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、前記信号処理部が、前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理方法にある。
なお、本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、レンズレスカメラの撮影画像の画角制御を可能とし、撮影領域の一部からなる復元画像を生成する構成が実現される。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
以下、図面を参照しながら本開示の画像処理装置、および撮像装置、並びに画像処理方法の詳細について説明する。なお、説明は以下の項目に従って行う。
1.レンズレスカメラの概要と原理について
2.レンズレスカメラにおける画角設定について
3.本開示の画像処理装置の構成と処理について
4.マスクマトリックス計算部におけるマスクマトリックス計算処理の詳細シーケンスについて
5.画像推定部における画像推定処理の詳細シーケンスについて
6.サンプリングポイント設定例と画像生成例について
7.部分的に解像度を向上させた画像の生成処理例について
8.サンプリングポイントからの放射光を波長方向に分光する処理例について
9.本開示の画像処理の効果について
10.画像処理装置のハードウェア構成例について
11.本開示の構成のまとめ
1.レンズレスカメラの概要と原理について
2.レンズレスカメラにおける画角設定について
3.本開示の画像処理装置の構成と処理について
4.マスクマトリックス計算部におけるマスクマトリックス計算処理の詳細シーケンスについて
5.画像推定部における画像推定処理の詳細シーケンスについて
6.サンプリングポイント設定例と画像生成例について
7.部分的に解像度を向上させた画像の生成処理例について
8.サンプリングポイントからの放射光を波長方向に分光する処理例について
9.本開示の画像処理の効果について
10.画像処理装置のハードウェア構成例について
11.本開示の構成のまとめ
[1.レンズレスカメラの概要と原理について]
まず、レンズレスカメラの概要と原理について説明する。
図1、図2を参照して、一般的なカメラ(撮像装置)の構成との比較により、レンズレスカメラ(レンズレス撮像装置)の概要について説明する。
図1には、
(a)レンズレスカメラ
(b)レンズありカメラ
(c)ピンホールカメラ
これらの3種類のカメラの撮像原理を示している。
まず、レンズレスカメラの概要と原理について説明する。
図1、図2を参照して、一般的なカメラ(撮像装置)の構成との比較により、レンズレスカメラ(レンズレス撮像装置)の概要について説明する。
図1には、
(a)レンズレスカメラ
(b)レンズありカメラ
(c)ピンホールカメラ
これらの3種類のカメラの撮像原理を示している。
(c)ピンホールカメラは、遮光膜12に対して穴部として設けられたピンホール21と画像センサ(個体撮像素子)11から構成される。ピンホールからなる撮像装置の場合、図1右下部の(c)ピンホールカメラの図に示すように、被写体面上のそれぞれ異なる光源から発せられる光線L1乃至L3が、それぞれピンホール21を透過して画像センサ(個体撮像素子)11上の画素I1乃至I3に像として撮像される。
ピンホールカメラからなる撮像装置の場合、画像センサ(個体撮像素子)11においては、光源のそれぞれから発せられた光線L1乃至L3のうちの1画素分の光線のみにより、像が結像されて画像センサ(個体撮像素子)11上の各画素に入射されることになるので暗い画像として撮像される。
図1右上部の(b)レンズありカメラは、遮光膜31の中央に撮像レンズ32を設け、撮像レンズ32が、光線L1乃至L3を、光線I11乃至I13で示されるように集光し、画像センサ(個体撮像素子)11上にそれぞれの像を結像し、これが画像センサ(個体撮像素子)11により撮像される設定としている。
図1右上部の(b)レンズありカメラの場合、画像センサ(個体撮像素子)11は、光線L1乃至L3の全ての光強度の合計である光強度の光からなる像が結像されて画像センサ(個体撮像素子)11に入射されるので、画像センサ(個体撮像素子)11の各画素において十分な光量の画像が撮像される。
図1右上部の(b)レンズありカメラの図に示すように、撮像レンズ32を用いることにより、点光源のそれぞれの集合が被写体を構成することになる。従って、被写体の撮像は、被写体面上の複数の点光源から発せられる光線が集光されて結像される被写体を撮像することになる。
図1右上部の(b)レンズありカメラを参照して説明したように、撮像レンズ32の役割は点光源のそれぞれから出射される各光線、即ち拡散光を、画像センサ(個体撮像素子)11上に導くことにある。そのため、画像センサ(個体撮像素子)11上には最終画像相当の像が結像されることとなり、画像センサ(個体撮像素子)11上の各画素において検出される検出信号からなる画像が、像が結像された観測画像となる。
しかしながら、撮像レンズと撮像レンズの焦点距離によって撮像装置(撮像素子)のサイズが決定されるため、小型化には限界があった。
これに対して、図1左側に示す(a)レンズレスカメラは、撮像レンズやピンホールを設けることなく、画像センサ(個体撮像素子)11とマスク51を用いて、被写体面上の被写体を撮像する。
図1左側に示す(a)レンズレスカメラは、画像センサ11の前段に複数のサイズの開口部51aを備えたマスク51が設けられており、光源のそれぞれからの光線L1乃至L3が変調されて画像センサ11の撮像面に入射し、画像センサ(個体撮像素子)11上の各画素により受光される。
ここで、マスク51は、開口部51aと遮光部51bとが、図1(a)レンズレスカメラの下部に示すように、単位サイズΔの単位で水平方向および垂直方向について、大きさがランダムに設定されたマスクパターンを持つマスクである。単位サイズΔは、少なくとも画素サイズよりも大きいサイズである。また、画像センサ11とマスク51との間には、微小な距離dの隙間が設けられている。図に示す例では、画像センサ11上の画素間のピッチがwとされている。
このような構成により、単位サイズΔと距離dとのサイズにより光線L1乃至L3は、画像センサ11上に変調されて入射する。
このような構成により、単位サイズΔと距離dとのサイズにより光線L1乃至L3は、画像センサ11上に変調されて入射する。
より詳細には、図1(a)レンズレスカメラの上図における光線L1乃至L3の光源を、例えば、図2の左上部に示すように、点光源PA,PB,PCとし、マスク51を透過して入射する画像センサ11上の位置Pa,Pb,Pcのそれぞれに光強度a,b,cの光線が入射するものとする。
レンズレスカメラの場合、図2左上部に示すように、各画素の検出感度は、マスク51に、ランダムに設定される開口部51aより入射光が変調されることにより、入射角に応じた指向性を持つことになる。ここでいう各画素の検出感度に入射角指向性を持たせるとは、画像センサ11上の領域に応じて入射光の入射角度に応じた受光感度特性を異なるものとなるように持たせることである。
すなわち、被写体面71を構成する光源が点光源であることを前提とした場合、画像センサ11においては、同一の点光源より発せられた同一の光強度の光線が、入射されることになるが、マスク51により変調されることにより、画像センサ11の撮像面上の領域毎に入射角度が変化する。そして、マスク51により画像センサ11上の領域に応じて入射光の入射角度が変化することにより受光感度特性、すなわち、入射角指向性を有しているので、同一の光強度の光線であっても、画像センサ11の撮像面の前段に設けられたマスク51により画像センサ11上の領域毎に異なる感度で検出されることになり、領域毎に異なる検出信号レベルの検出信号が検出される。
より具体的には、図2の右上部で示されるように、画像センサ11上の位置Pa,Pb,Pcにおける画素の検出信号レベルDA,DB,DCは、それぞれ以下の式(1)乃至式(3)で表される。
DA=α1×a+β1×b+γ1×c ・・・(1)
DB=α2×a+β2×b+γ2×c ・・・(2)
DC=α3×a+β3×b+γ3×c ・・・(3)
DB=α2×a+β2×b+γ2×c ・・・(2)
DC=α3×a+β3×b+γ3×c ・・・(3)
ここで、α1は、画像センサ11上の位置Paにおける復元する被写体面71上の点光源PAからの光線の入射角度に応じて設定される検出信号レベルaに対する係数である。また、β1は、画像センサ11上の位置Paにおける復元する被写体面71上の点光源PBからの光線の入射角度に応じて設定される検出信号レベルbに対する係数である。さらに、γ1は、画像センサ11上の位置Paにおける復元する被写体面71上の点光源PCからの光線の入射角度に応じて設定される検出信号レベルcに対する係数である。
従って、検出信号レベルDAのうちの(α1×a)は、位置Pcにおける点光源PAからの光線による検出信号レベルを示す値となる。また、検出信号レベルDAのうちの(β1×b)は、位置Pcにおける点光源PBからの光線による検出信号レベルを示す値となる。さらに、検出信号レベルDAのうちの(γ1×c)は、位置Pcにおける点光源PCからの光線による検出信号レベルを示す値となる。
従って、検出信号レベルDAは、位置Paにおける点光源PA,PB,PCの各成分に、それぞれの係数α1,β1,γ1を掛けたものの合成値として表現される。
以降、係数α1、β1、γ1を合わせて係数セットと呼ぶこととする。
以降、係数α1、β1、γ1を合わせて係数セットと呼ぶこととする。
同様に、点光源PBにおける検出信号レベルDBについて、係数セットα2,β2,γ2は、それぞれ点光源PAにおける検出信号レベルDAについての、係数セットα1,β1,γ1に対応するものである。また、点光源PCにおける検出信号レベルDCについて、係数セットα3,β3,γ3は、それぞれ点光源PAにおける検出信号レベルDAについての、係数セットα1,β1,γ1に対応するものである。
ただし、位置Pa,Pb,Pcの画素の検出信号レベルについては、点光源PA,PB,PCのそれぞれより発せられた光線の光強度a,b,cと係数との積和により表現される値である。このため、これらの検出信号レベルは、点光源PA,PB,PCのそれぞれより発せられた光線の光強度a,b,cが入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。
すなわち、この係数セットα1,β1,γ1,係数セットα2,β2,γ2,係数セットα3,β3,γ3と、検出信号レベルDA,DB,DCを用いた連立方程式を構成し、光強度a,b,cを解くことで、図1の右下部で示されるように各位置Pa,Pb,Pcの画素値を求める。これにより画素値の集合である復元画像(最終画像)が再構成されて復元される。
また、図2の左上部で示される画像センサ11と被写体面71との距離が変化する場合、係数セットα1,β1,γ1,係数セットα2,β2,γ2,係数セットα3,β3,γ3は、それぞれ変化することになるが、この係数セットを変化させることで、様々な距離の被写体面の復元画像(最終画像)を再構成させることができる。
このため、1回の撮像により、係数セットを様々な距離に対応するものに変化させることで、撮像位置から様々な距離の被写体面の画像を再構成することができる。
結果として、レンズレスカメラを用いた撮像においては、レンズを用いた撮像装置での撮像において合焦点がずれた状態で撮像される、いわゆる、ピンぼけといった現象を意識する必要がなく、画角内に撮像したい被写体が含まれるように撮像されていれば、距離に応じた係数セットを変化させることで様々な距離の被写体面の画像を、撮像後に再構成することができる。
なお、図2の右上部に示す検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、画素値ではない。また、図2の右下部に示す検出信号レベルは、被写体の像が結像された画像に対応する画素毎の信号値、すなわち、復元画像(最終画像)の各画素の値なので、画素値となる。
このような構成により、撮像レンズや、ピンホールを必要としない、いわゆるレンズレスカメラを実現することが可能となる。結果として、撮像レンズや、ピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。また、係数セットを様々に変化させることにより、様々な距離の被写体面における復元画像(最終画像)を再構成して復元することが可能となる。
なお、以降においては、画像センサにより撮像された、再構成される前の画像を単に観測画像と称し、観測画像が信号処理されることにより再構成されて復元される画像を復元画像(最終画像)と称する。従って、1枚の観測画像からは、上述した係数セットを様々に変化させることにより、様々な距離の被写体面71上の画像を最終画像として再構成させることができる。
図3は、レンズレスカメラにおける撮像素子の構成例を示す図である。上部がマスク51の上面図であり、下部がマスク51と画像センサ(固体撮像素子)11とを側面上方からみた斜視図である。
一般的なレンズレスカメラの撮像素子は、例えば、図3に示すように、マスク51における開口部51aの単位サイズが、全領域に対して一様に設定されて、画像センサ11においては、マスク51を透過した光より全体として1枚の画像が撮像される。
[2.レンズレスカメラにおける画角設定について]
次に、レンズレスカメラにおける画角設定について説明する。図4は、レンズレスカメラ80の概略構成を示す図である。図4に示すようにレンズレスカメラ80は、画像センサ81の前にマスク82を配置した構成を持つ。マスク82は、光の透過領域と不透過領域を2次元パターンとして設定したマスクである。このマスク82を介した光を画像センサに入力する。
次に、レンズレスカメラにおける画角設定について説明する。図4は、レンズレスカメラ80の概略構成を示す図である。図4に示すようにレンズレスカメラ80は、画像センサ81の前にマスク82を配置した構成を持つ。マスク82は、光の透過領域と不透過領域を2次元パターンとして設定したマスクである。このマスク82を介した光を画像センサに入力する。
図4では、被写体85の撮影を行い、被写体画像が復元された復元画像(最終画像)87を出力する構成例を示している。なお、画像センサ(固体撮像素子)81により撮像された再構成される前の画像が観測画像86であり、信号処理部83が観測画像86に対して信号処理を行うことで再構成されて復元される画像が復元画像(最終画像)87である。復元画像(最終画像)87は、通常のレンズ装着カメラと同様、撮影シーンの被写体を含む画像となる。
画像センサ81にはマスク82を介した像(観測画像86)が撮影される。マスク82を介した撮像データ、すなわち画像センサ1上の観測画像86が信号処理部83に入力される。信号処理部83は、画像センサ81上の観測画像86に対して、所定の信号処理を行うことで、一般的なカメラと同様の撮影シーンに対応する2次元画像としての復元画像(最終画像)87を生成する。
撮影対象領域の3次元上のP個のサンプリングポイントから放射される光を、長さPのシーン放射光ベクトルxとして表記し、それを受光する画素数Nの画像センサ81の観測値を長さNのシーン観測値ベクトルyとして表現すると、その関係は、
y=Mx
上記関係式を用いて表すことができる。ここで、Mはマスク82の透過関数を表すマトリックスである。
y=Mx
上記関係式を用いて表すことができる。ここで、Mはマスク82の透過関数を表すマトリックスである。
被写体の撮影画像(=シーンの放射光)を再現するには、この式の関係を満たすxを、センサ観測値yから求めれば良い。信号処理部83は、画像センサ81から入力するセンサ観測値yに対して、マスク82の透過関数を表すマトリックスの逆行列によって構成されるマトリックスを乗算して、シーン放射光ベクトルxを算出し、被写体85を含む復元画像(最終画像)87を構成する画素値を算出する処理を行う。
なお、マスク82を通して画像センサ81上に投影されるセンサ観測値の組を、シミュレーションなどで複数組求めておき、それらの組からマスク82の特性(透過関数)を表現するマスクマトリックスを予め計算しておく。信号処理部83は、このマトリックスの逆行列を適用して、画像センサ81から入力するセンサ観測値yに基づいて、撮影対象領域のサンプリングポイント毎の輝度値を復元した復元画像(最終画像)87を生成する。
シーンの放射光を再現するには、上記式、すなわち、
y=Mx
この関係を満たすxを、センサ観測値yから求めれば良い。xは、サンプリングポイント毎の放射光ベクトルによって構成される。すなわち撮影シーンを構成するポイント単位の放射光であり、このサンプリングポイント毎の放射光ベクトルを2次元平面に展開した値が復元画像(最終画像)87の構成画素値に対応する。
y=Mx
この関係を満たすxを、センサ観測値yから求めれば良い。xは、サンプリングポイント毎の放射光ベクトルによって構成される。すなわち撮影シーンを構成するポイント単位の放射光であり、このサンプリングポイント毎の放射光ベクトルを2次元平面に展開した値が復元画像(最終画像)87の構成画素値に対応する。
復元画像(最終画像)87として再現されるシーンの解像度は、シーンを構成する3次元上のサンプリングポイントの数Pを大きくすることで向上させることができる。ただし、サンプリングポイント数Pを大きくすると、シーン放射光ベクトルxを推定する時間が長くなり、画像の再構成、すなわち復元画像(最終画像)87にの生成処理に時間を要することになる
上記式、y=Mxは、センサに入射する全ての光がセンサ上に重畳されることを示しており、復元される画像の画角(FOV:Field Of View)は、非常に広いものとなる。
レンズレスカメラの画角(FOV)は広いため、シーン全体を表現するサンプリングポイント数が多くなる。しかし、カメラとして使用する場合、ある程度、FOVを狭めて、撮影範囲を限定したいといった場合も多い。
具体例について図5を参照して説明する。図5には、レンスズレスカメラ(レンズレス撮像装置)80による画像撮影例として、
(a)画角を広くした設定の撮影画像例
(b)画角を狭くした設定の撮影画像例
これらの2つの画像撮影例を示している。ユーザ(画像撮影者)は、図5(b)に示すように、特定の被写体、例えば人の領域のみを撮影範囲として限定した画像を撮影したい場合がある。このようにレンズレスカメラ80の画角(FOV)を調整して様々な領域の画像を撮影したい場合がある。
(a)画角を広くした設定の撮影画像例
(b)画角を狭くした設定の撮影画像例
これらの2つの画像撮影例を示している。ユーザ(画像撮影者)は、図5(b)に示すように、特定の被写体、例えば人の領域のみを撮影範囲として限定した画像を撮影したい場合がある。このようにレンズレスカメラ80の画角(FOV)を調整して様々な領域の画像を撮影したい場合がある。
このための処理としては、撮影画像の一部のみを切り出すことも可能であるが、その場合、解像度が低下してしまうという問題が発生する。
また、上述したように、撮影画像として再現可能な3次元上のサンプリングポイント数Pを増やすことで解像度を上げるという方法もあるが、画像の再構成時間が増大するため、実用的ではないという問題がある。
画角(FOV)のための別の方法としては、図6に示すように、画像センサ81とマスク82の距離を変えて、画像センサ81に入射する光をハードウェア的に制限する方法もある。
図6(a)は、画像センサ81とマスク82の距離(L1)を小さく設定して、画角を大きくした設定例である。一方、図6(b)は、画像センサ81とマスク82の距離(L2)を大きく設定して、画角を小さくした設定例である。
画像センサ81とマスク82の距離(L1)を小さくした図6(a)の設定に対して、画像センサ81とマスク82の距離(L2)を大きくした図6(b)の設定では、画像センサ81に入射する光の角度が狭くなるため、撮影画像の画角が小さくなる。すなわち狭い領域の画像を撮影することができる。図6に示す制御は、望遠カメラと同じ効果を発生させるものである。
この図6に示す例では、サンプリングポイントの位置をハードウェア的に制限されたものに限定する事で、解像度を保ったまま画角(FOV)を狭めることが可能である。しかし、この方法はあらかじめ決められた画角を設定する事はできるが、ズームレンズを実現するためには、マスクを動かすためのハードウェアが必要となり、マスクの位置の分だけ、カメラモジュールの高さが高くなってしまうという課題がある。
なお、複数枚のLCDをセンサ前に配置する事で、任意の方向から光の透過/不透過を制御することは可能である。複数レイヤのLCDを制御する事で、パンティルトや、複数のROIだけを画面上に投影させることも可能である。特許文献1には、センサ前にMEMSアレイフィルタを配置し、光の透過/不透過を切り替える事で、FOVを変える手法が示されている。しかしこれらの方法はいずれも、付加的なハードウェアを必要としており、サイズやコストの増加がまぬがれない。また、マスクとして光学的なフィルタを用いているが、透過波長域以外の対策は示されておらず、例えば、遠赤外線域に対応する適切なフィルタについては言及されていなかった。
[3.本開示の画像処理装置の構成と処理について]
次に、図7以下を参照して、本開示の画像処理装置の構成と処理について説明する。
次に、図7以下を参照して、本開示の画像処理装置の構成と処理について説明する。
図7は、本開示の画像処理装置100の一構成例を示す図である。画像処理装置100は、レンズレスカメラ(レンズレス撮像装置)102の撮影画像を入力して、所定の画角(FOV:Field Of View)に設定された復元画像を生成して出力する信号処理部101を有する。
例えば、信号処理部101は、レンズレスカメラ102の画像センサの出力である観測画像信号を入力して、レンズレスカメラ101の撮影画像領域の一部からなる復元画像領域の復元画像を生成する。
レンズレスカメラ102は、図4や図6を参照して説明した画像センサ81とマスク82によって構成されるカメラである。なお、図6を参照して説明したような画像センサ81とマスク82との距離を制御可能な構成ではなく、画像センサ81とマスク82との距離は固定されている。
信号処理部101は、レンズレスカメラ102の出力である撮影画像(観測値yall)を入力する。撮影画像(観測値yall)は、レンズレスカメラ102のマスクを介して受光する受光量に応じた画像センサ上の画素値である。
信号処理部101は、この入力画像(撮影画像(観測値yall))に対する信号処理を実行して、所定の画角(FOV:Field Of View)に設定された復元画像(x^roi)を出力する。なお、(x^)は、xの上部に(^)が設定された文字を意味する。以下の説明においても同様である。他の文字でも同様であり、例えば(y^)は、yの上部に(^)が設定された文字を意味する。
画角(FOV)は、ユーザが自由に設定可能である。レンズレスカメラ102の出力である撮影画像(観測値yall)110は、ユーザの設定する画角とは無関係の1つの固定された画角での撮影画像である。
信号処理部101は、
(入力1)レンズレスカメラ102の出力である撮影画像(観測値yall)110、
(入力2)出力する復元画像(x^roi)の画角設定情報に相当する「復元画像領域対応ROI(Region Of Interest)情報」Rroi、
これらの情報を入力して、
(出力1)所定の画角(FOV)に設定された復元画像(x^roi)、
この出力情報を生成して出力する。
(入力1)レンズレスカメラ102の出力である撮影画像(観測値yall)110、
(入力2)出力する復元画像(x^roi)の画角設定情報に相当する「復元画像領域対応ROI(Region Of Interest)情報」Rroi、
これらの情報を入力して、
(出力1)所定の画角(FOV)に設定された復元画像(x^roi)、
この出力情報を生成して出力する。
出力データである復元画像(x^roi)に示す(x^roi)は、所定の画角内の撮影シーン(ROI)に含まれるサンプリングポイントx各々の放射光に相当する。すなわち復元画像(x^roi)は、撮影シーンの被写体像を再現した画像であり、通常のレンズありカメラによって撮影された画像と同様の画像である。
信号処理部101は、
撮影画像領域対応ROI情報(Rall)104、
マスク情報(IM)105、
カメラ構成情報(IC)106、
これらの情報を記憶部に保持している。なお、図7では、これらの情報を格納した記憶部を信号処理部101内部に示しているが、これらの記憶部は信号処理部101の外部に設定してもよい。
撮影画像領域対応ROI情報(Rall)104、
マスク情報(IM)105、
カメラ構成情報(IC)106、
これらの情報を記憶部に保持している。なお、図7では、これらの情報を格納した記憶部を信号処理部101内部に示しているが、これらの記憶部は信号処理部101の外部に設定してもよい。
さらに、データ処理部として、
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
画像推定部109を有する。
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
画像推定部109を有する。
撮影画像領域対応マスクマトリックス(Mall)計算部107は、レンズカメラ102の画像センサに撮影される撮影画像全体(全ROI)に対応するマスクマトリックス(Mall)を計算する。マスクマトリックス(Mall)は、先に説明したマスクの透過関数を表すマトリックスである。
すなわち、撮影対象領域の3次元上のP個のサンプリングポイントから放射される光を、長さPのシーン放射光ベクトルxとして表記し、それを受光する画素数Nの画像センサの観測値を長さNのシーン観測値ベクトルyとして表現した場合の関係式、
y=Mx
この関係式を満たすマスクの透過関数を表すマトリックスである。
y=Mx
この関係式を満たすマスクの透過関数を表すマトリックスである。
一方、復元画像領域対応マストマトリックス(Mroi)計算部108は、レンズカメラ102の画像センサに撮影される撮影画像全体(全ROI)ではなく、出力データである復元画像(x^roi)に対応するマスクマトリックス(Mroi)を計算する。すなわち、レンズレスカメラ102の撮影画像領域の一部からなる復元画像領域の復元画像を生成するために適用する復元画像領域対応マスクマトリックスを計算する。
例えば、図8に示すように、レンズレスカメラ102は、固定された画角で撮影画像領域(全ROI)121の画像を撮影する。ここで、信号処理部101の出力する画像は、復元画像領域(復元ROI)122に示す限定された領域の画像であるとする。なお、図8に示す各領域は、3次元領域である。
この3次元領域は、上記の関係式、
y=Mx
この関係式のシーン放射光ベクトルxが計測されるサンプリングポイントの設定領域に相当する。撮影画像領域対応マスクマトリックス(Mall)計算部107は、例えば、図8に示す撮影画像領域(全ROI)121にサンプリングポイントを配置したと仮定した場合の、
y=Mx
上記関係式に適用可能なマスクの透過関数を表すマスクマトリックス(Mall)を算出する。このように、撮影画像領域対応マスクマトリックス(Mall)計算部107は、撮影画像領域(全ROI)121に対応するマスクマトリックス(Mall)を計算する。
y=Mx
この関係式のシーン放射光ベクトルxが計測されるサンプリングポイントの設定領域に相当する。撮影画像領域対応マスクマトリックス(Mall)計算部107は、例えば、図8に示す撮影画像領域(全ROI)121にサンプリングポイントを配置したと仮定した場合の、
y=Mx
上記関係式に適用可能なマスクの透過関数を表すマスクマトリックス(Mall)を算出する。このように、撮影画像領域対応マスクマトリックス(Mall)計算部107は、撮影画像領域(全ROI)121に対応するマスクマトリックス(Mall)を計算する。
一方、復元画像領域対応マストマトリックス(Mroi)計算部108は、復元画像領域(復元ROI)122に対応するマスクマトリックス(Mroi)を計算する。すなわち、、例えば、図8に示す復元画像領域(復元ROI)122にサンプリングポイントを配置したと仮定した場合の、
y=Mx
上記関係式に適用可能なマスクの透過関数を表すマスクマトリックス(Mroi)を算出する。すなわち、レンズレスカメラ102の撮影画像領域の一部からなる復元画像領域の復元画像を生成するために適用する復元画像領域対応マスクマトリックスを計算する。
y=Mx
上記関係式に適用可能なマスクの透過関数を表すマスクマトリックス(Mroi)を算出する。すなわち、レンズレスカメラ102の撮影画像領域の一部からなる復元画像領域の復元画像を生成するために適用する復元画像領域対応マスクマトリックスを計算する。
撮影画像領域対応マスクマトリックス(Mall)計算部107は、
撮影画像領域対応ROI情報(Rall)104、
マスク情報(IM)105、
カメラ構成情報(IC)106、
これらの情報を入力して、撮影画像領域(全ROI)121に対応するマスクマトリックス(Mall)を計算する。
撮影画像領域対応ROI情報(Rall)104、
マスク情報(IM)105、
カメラ構成情報(IC)106、
これらの情報を入力して、撮影画像領域(全ROI)121に対応するマスクマトリックス(Mall)を計算する。
撮影画像領域対応ROI情報(Rall)104は、例えば、図8に示す撮影画像領域(全ROI)121の設定範囲情報である。さらに、この設定範囲におけるサンプリングポイントの数(P)やサンプリングポイント設定位置(x)情報も記録される。マスク情報(IM)105は、マスクの光の透過領域と不透過領域からなる2次元パターン情報等である。
カメラ構成情報(IC)106は、マスクと画像センサに関する情報であり、例えば、マスクサイズ、画像センササイズ、画像センサ画素数(N)、マスクとセンサ間の距離情報等である。さらに、撮影画像領域内に設定されるサンプリングポイントの数(P)やサンプリングポイント設定位置(x)情報についても記録される。
撮影画像領域対応マスクマトリックス(Mall)計算部107は、これらの情報を入力して、撮影画像領域(全ROI)121に対応するマスクマトリックス(Mall)を計算する。
一方、復元画像領域対応マストマトリックス(Mroi)計算部108は、復元画像領域(復元ROI)122に対応するマスクマトリックス(Mroi)を計算する。復元画像領域対応マストマトリックス(Mroi)計算部108は、
復元画像領域対応ROI情報(Rroi)103、
マスク情報(IM)105、
カメラ構成情報(IC)106、
これらの情報を入力して、復元画像領域(復元ROI)122に対応するマスクマトリックス(Mroi)を計算する。
復元画像領域対応ROI情報(Rroi)103、
マスク情報(IM)105、
カメラ構成情報(IC)106、
これらの情報を入力して、復元画像領域(復元ROI)122に対応するマスクマトリックス(Mroi)を計算する。
復元画像領域対応ROI情報(Rroi)103は、例えば、図8に示す復元画像領域(復元ROI)122の設定範囲情報である。さらに、この設定範囲におけるサンプリングポイントの数(P)やサンプリングポイント設定位置(x)情報も記録される。この復元画像領域対応ROI情報(Rroi)103は、ユーザが自由に設定可能な復元画像領域に関する情報であり、ユーザは、図示しない入力部を介して、復元画像領域対応ROI情報(Rroi)103の書き込みや更新を行うことが可能である。
マスク情報(IM)105は、マスクの光の透過領域と不透過領域からなる2次元パターン情報等である。カメラ構成情報(IC)106は、マスクと画像センサの距離、画像センサの画素数(N)情報等である。復元画像領域対応マストマトリックス(Mroi)計算部108は、これらの情報を入力して、復元画像領域(復元ROI)122に対応するマスクマトリックス(Mall)を計算する。
なお、
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これらのマスクマトリックス計算部の実行するマスクマトリックス計算処理の詳細シーケンスについては、図9に示すフローチャートを参照して後段において詳細に説明する。
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これらのマスクマトリックス計算部の実行するマスクマトリックス計算処理の詳細シーケンスについては、図9に示すフローチャートを参照して後段において詳細に説明する。
画像推定部109は、以下の各情報を入力する。(a)レンズレスカメラ102の出力である撮影画像(観測値yall)、
(b)マスク情報(IM)105、
(c)カメラ構成情報(IC)106、
(d)撮影画像領域対応ROI情報(Rall)104、
(e)復元画像領域対応ROI情報(Rroi)103、
(f)撮影画像領域対応マスクマトリックス(Mall)計算部107の算出した撮影画像領域対応マスクマトリックス(Mall)、
(g)復元画像領域対応マストマトリックス(Mroi)計算部108の算出した復元画像領域対応マストマトリックス(Mroi)、
(b)マスク情報(IM)105、
(c)カメラ構成情報(IC)106、
(d)撮影画像領域対応ROI情報(Rall)104、
(e)復元画像領域対応ROI情報(Rroi)103、
(f)撮影画像領域対応マスクマトリックス(Mall)計算部107の算出した撮影画像領域対応マスクマトリックス(Mall)、
(g)復元画像領域対応マストマトリックス(Mroi)計算部108の算出した復元画像領域対応マストマトリックス(Mroi)、
画像推定部109は、これらの各情報を入力して、所定の画角(FOV:Field Of View)に設定された復元画像(x^roi)を出力する。出力データである復元画像(x^roi)に示す(x^roi)は、所定の画角内の撮影シーン(ROI)、例えば図8に示す復元画像領域(復元ROI)122に含まれるサンプリングポイントx各々の放射光を意味する。
画像推定部109は、例えば、レンズレスカメラ102の画像センサの出力である観測画像信号から、復元画像領域に含まれない復元画像領域外観測画像信号を減算して、復元領域内観測画像信号を算出し、
復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列または逆行列との演算処理により、レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する。画像推定部109の実行する復元画像生成処理の詳細シーケンスについては、図10に示すフローチャートを参照して後段において詳細に説明する。
復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列または逆行列との演算処理により、レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する。画像推定部109の実行する復元画像生成処理の詳細シーケンスについては、図10に示すフローチャートを参照して後段において詳細に説明する。
[4.マスクマトリックス計算部におけるマスクマトリックス計算処理の詳細シーケンスについて]
次に、図9に示すフローチャートを参照して、
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これらのマスクマトリックス計算部の実行するマスクマトリックス計算処理の詳細シーケンスについて説明する。
次に、図9に示すフローチャートを参照して、
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これらのマスクマトリックス計算部の実行するマスクマトリックス計算処理の詳細シーケンスについて説明する。
なお、先に説明したように、
撮影画像領域対応マスクマトリックス(Mall)計算部107は、例えば図8に示す撮影画像領域(全ROI)121に対応するマスクマトリックス(Mall)を計算する。復元画像領域対応マストマトリックス(Mroi)計算部108は、例えば図8に示す復元画像領域(復元ROI)122に対応するマスクマトリックス(Mall)を計算する。それぞれ、対応領域が異なるのみであり、基本的な処理シーケンスは同じである。図9に示すステップS103のROI情報の取得処理において、取得する情報が異なるのみである。詳細は、以下の各ステップの説明中で説明する。以下、図9に示すフローチャートの各ステップの処理について、順次、説明する。
撮影画像領域対応マスクマトリックス(Mall)計算部107は、例えば図8に示す撮影画像領域(全ROI)121に対応するマスクマトリックス(Mall)を計算する。復元画像領域対応マストマトリックス(Mroi)計算部108は、例えば図8に示す復元画像領域(復元ROI)122に対応するマスクマトリックス(Mall)を計算する。それぞれ、対応領域が異なるのみであり、基本的な処理シーケンスは同じである。図9に示すステップS103のROI情報の取得処理において、取得する情報が異なるのみである。詳細は、以下の各ステップの説明中で説明する。以下、図9に示すフローチャートの各ステップの処理について、順次、説明する。
(ステップS101)
信号処理部101の
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これらは、まず、ステップS101において、マスク情報IMを取得する。なお、以下では、
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これら2つのマスクマトリックス計算部を単にマスクマトリックス計算部として説明する。
信号処理部101の
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これらは、まず、ステップS101において、マスク情報IMを取得する。なお、以下では、
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これら2つのマスクマトリックス計算部を単にマスクマトリックス計算部として説明する。
ステップS101において取得するマスク情報IMは、先に説明したように、マスクの光の透過領域と不透過領域からなる2次元パターン情報等である。
(ステップS102)
次に、マスクマトリックス計算部は、ステップS102において、カメラ構成情報ICを取得する。カメラ構成情報ICは、マスクと画像センサに関する情報であり、例えば、マスクサイズ、画像センササイズ、画像センサ画素数(N)、マスクとセンサ間の距離情報等である。
次に、マスクマトリックス計算部は、ステップS102において、カメラ構成情報ICを取得する。カメラ構成情報ICは、マスクと画像センサに関する情報であり、例えば、マスクサイズ、画像センササイズ、画像センサ画素数(N)、マスクとセンサ間の距離情報等である。
(ステップS103)
次に、マスクマトリックス計算部は、ステップS103において、ROI情報を取得する。このステップS103の処理は、
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これらの2つのマスクマトリックス計算部において異なる処理を実行することになる。
次に、マスクマトリックス計算部は、ステップS103において、ROI情報を取得する。このステップS103の処理は、
撮影画像領域対応マスクマトリックス(Mall)計算部107、
復元画像領域対応マストマトリックス(Mroi)計算部108、
これらの2つのマスクマトリックス計算部において異なる処理を実行することになる。
撮影画像領域対応マスクマトリックス(Mall)計算部107は、図7に示す撮影画像領域対応ROI情報(Rall)104を取得する。画像領域対応ROI情報(Rall)104は、例えば、図8に示す撮影画像領域(全ROI)121の設定範囲情報、サンプリングポイントの数(P)、設定位置(x)情報等である。すなわち、レンズレスカメラ102の画像センサが図8に示す撮影画像領域(全ROI)121におけるサンプリングポイントの放射光を撮像したと仮定した場合のROI情報である撮影画像領域対応ROI情報(Rall)104を取得する。
一方、復元画像領域対応マストマトリックス(Mroi)計算部108は、図7に示す復元画像領域対応ROI情報(Rroi)103を取得する。復元画像領域対応ROI情報(Rroi)103は、例えば、図8に示す復元画像領域(復元ROI)122の設定範囲情報、サンプリングポイントの数(P)、設定位置(x)情報等である。すなわち、レンズレスカメラ102の画像センサが図8に示す図8に示す復元画像領域(復元ROI)122におけるサンプリングポイントの放射光を撮像したと仮定した場合のROI情報である復元画像領域対応ROI情報(Rroi)103を取得する。
なお、サンプリングポイントの数(P)、設定位置(x)情報は、カメラ構成情報Ic106から取得することも可能である。
(ステップS104)
次に、マスクマトリックス計算部は、ステップS104において、センサ画素数Nと、サンプリングポイントの位置xと、サンプリングポイント数Pを利用して、P×NのマトリックスMを用意し、初期化する。すなわち、
センサ画素数(N)と、
サンプリングポイント数(P)によって規定される
P×Nの要素(行列要素)からなるマトリックス(行列)を生成する。なお、各要素の初期値は例えば0とする。
次に、マスクマトリックス計算部は、ステップS104において、センサ画素数Nと、サンプリングポイントの位置xと、サンプリングポイント数Pを利用して、P×NのマトリックスMを用意し、初期化する。すなわち、
センサ画素数(N)と、
サンプリングポイント数(P)によって規定される
P×Nの要素(行列要素)からなるマトリックス(行列)を生成する。なお、各要素の初期値は例えば0とする。
なお、ここで、
撮影画像領域対応マスクマトリックス(Mall)計算部107と、
復元画像領域対応マストマトリックス(Mroi)計算部108との生成するマトリックスは異なるマトリックスである。
撮影画像領域対応マスクマトリックス(Mall)計算部107と、
復元画像領域対応マストマトリックス(Mroi)計算部108との生成するマトリックスは異なるマトリックスである。
撮影画像領域対応マスクマトリックス(Mall)計算部107は、例えば図8に示す撮影画像領域(全ROI)121に対応するマスクマトリックス(Mall)を計算するために、図8に示す撮影画像領域(全ROI)121にサンプリングポイントを設定したと仮定して、そのサンプリングポイント数Pと、センサ画素数NのP×Nの要素(行列要素)からなるマトリックス(行列)を生成する。
一方、復元画像領域対応マストマトリックス(Mroi)計算部108は、例えば、図8に示す復元画像領域(復元ROI)122に対応するマスクマトリックス(Mroi)を計算するために、図8に示す復元画像領域(復元ROI)122にサンプリングポイントを設定したと仮定して、そのサンプリングポイント数Pと、センサ画素数NのP×Nの要素(行列要素)からなるマトリックス(行列)を生成する。
なお、
撮影画像領域対応マスクマトリックス(Mall)計算部107と、
復元画像領域対応マストマトリックス(Mroi)計算部108との生成するP×Nの要素からなるマトリックスにおいて、
センサ画素数Nは、レンズレスカメラ102の画像センサの画素数(N)であり同一である。
撮影画像領域対応マスクマトリックス(Mall)計算部107と、
復元画像領域対応マストマトリックス(Mroi)計算部108との生成するP×Nの要素からなるマトリックスにおいて、
センサ画素数Nは、レンズレスカメラ102の画像センサの画素数(N)であり同一である。
一方、サンプリングポイント数Pは、それぞれ自由に設定可能である。例えば、撮影画像領域対応マスクマトリックス(Mall)計算部107と、復元画像領域対応マストマトリックス(Mroi)計算部108との生成するP×Nの要素からなるマトリックスのサンプリングポイント数Pを、例えば、図8に示す撮影画像領域(全ROI)121と、復元画像領域(復元ROI)122の領域の大きさに比例した設定としてもよいし、いずれも同一のサンプリングポイント数Pとしてもよい。
同一のサンプリングポイント数Pとした場合、復元画像領域(復元ROI)122の復元画像は、サンプリングポイント数Pを領域の大きさに比例した設定とした場合に比較して高解像度の画像とすることができる。前述したように、復元画像の解像度はサンプリングポイント数Pを増加させることで向上させることができる。すなわち、図8に示す復元画像領域(復元ROI)122内に高密度な多くのサンプリングポイントを設定することで、復元画像の解像度を向上させることができる。
(ステップS105~S106)
ステップS105以下の処理は、ステップS104において生成したマトリックスの各要素の値の設定処理である。
ステップS105以下の処理は、ステップS104において生成したマトリックスの各要素の値の設定処理である。
まず、ステップS105~S106において、値の設定対象とするマトリックスの要素(行列要素)を選択する。最初は、ステップS105~S106において、P×Nのマトリックスの左上端の要素(p=0,n=0)を選択する。なお、p,nは、P×Nのマトリックスの要素識別インデックスである。
(ステップS107)
次に、マスクマトリックス計算部は、ステップS107おいて、p番目のサンプリングポイントx(p)の光が、マスクを通してセンサ上に投影される時のn画素目のセンサ画素値(y)を求める。この画素値算出処理は、シミュレーション処理、あるいは実測処理によって行うことが可能である。
次に、マスクマトリックス計算部は、ステップS107おいて、p番目のサンプリングポイントx(p)の光が、マスクを通してセンサ上に投影される時のn画素目のセンサ画素値(y)を求める。この画素値算出処理は、シミュレーション処理、あるいは実測処理によって行うことが可能である。
(ステップS108)
次に、マスクマトリックス計算部は、ステップS108おいて、ステップの処理S107で算出したセンサ画素値(y)、
すなわち、p番目のサンプリングポイントx(p)の光が、マスクを通してセンサ上に投影される時のn画素目のセンサ画素値(y)の値を適用して、
P×Nのマスクマトリックスの選択要素(p=0,n=0)の値として、
y/x(p)
を設定する。
次に、マスクマトリックス計算部は、ステップS108おいて、ステップの処理S107で算出したセンサ画素値(y)、
すなわち、p番目のサンプリングポイントx(p)の光が、マスクを通してセンサ上に投影される時のn画素目のセンサ画素値(y)の値を適用して、
P×Nのマスクマトリックスの選択要素(p=0,n=0)の値として、
y/x(p)
を設定する。
この設定値は、先に説明した関係式、すなわち、撮影対象領域の3次元上のP個のサンプリングポイントから放射される光を、長さPのシーン放射光ベクトルxとして表記し、それを受光する画素数Nの画像センサの観測値を長さNのシーン観測値ベクトルyとした場合の関係式、
y=Mx
この関係式に従った設定値である。
y=Mx
この関係式に従った設定値である。
(ステップS109~S112)
ステップS109~S114は、値の設定対象とするマトリックスの要素(行列要素)の更新処理と、処理終了判定処理である。ステップS109で、行列要素インデックスnを1つインクリメントして、
ステップS110で、
n<N
を判定し、
n<N
であれば、
新たな行列要素(p,n)について、ステップS107~S108の処理を実行して、新たな行列要素(p,n)の値を決定する。
ステップS109~S114は、値の設定対象とするマトリックスの要素(行列要素)の更新処理と、処理終了判定処理である。ステップS109で、行列要素インデックスnを1つインクリメントして、
ステップS110で、
n<N
を判定し、
n<N
であれば、
新たな行列要素(p,n)について、ステップS107~S108の処理を実行して、新たな行列要素(p,n)の値を決定する。
さらに、
ステップS111で、行列要素インデックスpを1つインクリメントして、
ステップS112で、
p<P
を判定し、
p<P
であれば、
新たな行列要素(p,n)について、ステップS107~S108の処理を実行して、新たな行列要素(p,n)の値を決定する。
ステップS111で、行列要素インデックスpを1つインクリメントして、
ステップS112で、
p<P
を判定し、
p<P
であれば、
新たな行列要素(p,n)について、ステップS107~S108の処理を実行して、新たな行列要素(p,n)の値を決定する。
最終的にステップS112において、
p<P
上記式を満足しないと判定されると、P×Nのマトリックスのすべての要素の値が決定され、マトリックスが完成する。
p<P
上記式を満足しないと判定されると、P×Nのマトリックスのすべての要素の値が決定され、マトリックスが完成する。
このフローによって生成されるマスクマトリックスは、
先に説明した関係式、すなわち、撮影対象領域の3次元上のP個のサンプリングポイントから放射される光を、長さPのシーン放射光ベクトルxとして表記し、それを受光する画素数Nの画像センサの観測値を長さNのシーン観測値ベクトルyとした場合の関係式、
y=Mx
この関係式に従ったマスクマトリックスである。
先に説明した関係式、すなわち、撮影対象領域の3次元上のP個のサンプリングポイントから放射される光を、長さPのシーン放射光ベクトルxとして表記し、それを受光する画素数Nの画像センサの観測値を長さNのシーン観測値ベクトルyとした場合の関係式、
y=Mx
この関係式に従ったマスクマトリックスである。
なお、撮影画像領域対応マスクマトリックス(Mall)計算部107が、このフローに従って生成するマスクマトリックスは、撮影画像領域対応マスクマトリックス(Mall)であり、例えば、図8に示す撮影画像領域(全ROI)121に設定したP個のサンプリングポイントの放射光をレンズレスカメラ102の画像センサが受光したと仮定した場合のセンサ画素値(y)との関係式、
y=Mx
この関係式を満たす撮影画像領域対応マスクマトリックス(Mall)である。
y=Mx
この関係式を満たす撮影画像領域対応マスクマトリックス(Mall)である。
一方、復元画像領域対応マストマトリックス(Mroi)計算部108が、このフローに従って生成するマスクマトリックスは、復元画像領域対応マストマトリックス(Mroi)であり、例えば、図8に示す復元画像領域(復元ROI)122に設定したP個のサンプリングポイントの放射光をレンズレスカメラ102の画像センサが受光したと仮定した場合のセンサ画素値(y)との関係式、
y=Mx
この関係式を満たす復元画像領域対応マストマトリックス(Mroi)である。
y=Mx
この関係式を満たす復元画像領域対応マストマトリックス(Mroi)である。
[5.画像推定部における画像推定処理の詳細シーケンスについて]
次に、図10に示すフローチャートを参照して、
画像推定部109における画像推定処理の詳細シーケンスについて説明する。
次に、図10に示すフローチャートを参照して、
画像推定部109における画像推定処理の詳細シーケンスについて説明する。
先に図7を参照して説明したように、画像推定部109は、
(a)レンズレスカメラ102の出力である撮影画像(観測値yall)、
(b)マスク情報(IM)105、
(c)カメラ構成情報(IC)106、
(d)撮影画像領域対応ROI情報(Rall)104、
(e)復元画像領域対応ROI情報(Rroi)103、
(f)撮影画像領域対応マスクマトリックス(Mall)計算部107の算出した撮影画像領域対応マスクマトリックス(Mall)、
(g)復元画像領域対応マストマトリックス(Mroi)計算部108の算出した復元画像領域対応マストマトリックス(Mroi)、
画像推定部109は、これらの各情報を入力して、所定の画角(FOV:Field Of View)に設定された復元画像(x^roi)を出力する。出力データである復元画像(x^roi)に示す(x^roi)は、所定の画角内の撮影シーン(ROI)、例えば図8に示す復元画像領域(復元ROI)122に含まれるサンプリングポイントx各々の放射光を意味する。
(a)レンズレスカメラ102の出力である撮影画像(観測値yall)、
(b)マスク情報(IM)105、
(c)カメラ構成情報(IC)106、
(d)撮影画像領域対応ROI情報(Rall)104、
(e)復元画像領域対応ROI情報(Rroi)103、
(f)撮影画像領域対応マスクマトリックス(Mall)計算部107の算出した撮影画像領域対応マスクマトリックス(Mall)、
(g)復元画像領域対応マストマトリックス(Mroi)計算部108の算出した復元画像領域対応マストマトリックス(Mroi)、
画像推定部109は、これらの各情報を入力して、所定の画角(FOV:Field Of View)に設定された復元画像(x^roi)を出力する。出力データである復元画像(x^roi)に示す(x^roi)は、所定の画角内の撮影シーン(ROI)、例えば図8に示す復元画像領域(復元ROI)122に含まれるサンプリングポイントx各々の放射光を意味する。
先に説明したように、画像推定部109は、例えば、復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列または逆行列との演算処理により、レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する。
以下、図10に示すフローチャートの各ステップの処理について、順次、説明する。
(ステップS201)
信号処理部101の画像推定部109は、まず、ステップS201において、マスク情報IMを取得する。ステップS201において取得するマスク情報IMは、先に説明したように、マスクの光の透過領域と不透過領域からなる2次元パターン情報等である。
(ステップS201)
信号処理部101の画像推定部109は、まず、ステップS201において、マスク情報IMを取得する。ステップS201において取得するマスク情報IMは、先に説明したように、マスクの光の透過領域と不透過領域からなる2次元パターン情報等である。
(ステップS202)
次に、画像推定部109は、ステップS202において、カメラ構成情報ICを取得する。カメラ構成情報ICは、マスクと画像センサに関する情報であり、例えば、マスクサイズ、画像センササイズ、画像センサ画素数(N)、マスクとセンサ間の距離情報等である。
次に、画像推定部109は、ステップS202において、カメラ構成情報ICを取得する。カメラ構成情報ICは、マスクと画像センサに関する情報であり、例えば、マスクサイズ、画像センササイズ、画像センサ画素数(N)、マスクとセンサ間の距離情報等である。
(ステップS203)
次に、画像推定部109は、ステップS203において、ROI情報を取得する。このステップS203において、画像推定部109は、図7に示す撮影画像領域対応ROI情報(Rall)104と、復元画像領域対応ROI情報(Rroi)103を取得する。画像領域対応ROI情報(Rall)104は、例えば、図8に示す撮影画像領域(全ROI)121におけるサンプリングポイントの設定位置(x)情報である。
すなわち、レンズレスカメラ102の画像センサが図8に示す撮影画像領域(全ROI)121におけるサンプリングポイントの放射光を撮像したと仮定した場合のROI情報である。ROI情報は、再現する3次元領域の内、どの領域を再現するかの範囲を示した情報である。
次に、画像推定部109は、ステップS203において、ROI情報を取得する。このステップS203において、画像推定部109は、図7に示す撮影画像領域対応ROI情報(Rall)104と、復元画像領域対応ROI情報(Rroi)103を取得する。画像領域対応ROI情報(Rall)104は、例えば、図8に示す撮影画像領域(全ROI)121におけるサンプリングポイントの設定位置(x)情報である。
すなわち、レンズレスカメラ102の画像センサが図8に示す撮影画像領域(全ROI)121におけるサンプリングポイントの放射光を撮像したと仮定した場合のROI情報である。ROI情報は、再現する3次元領域の内、どの領域を再現するかの範囲を示した情報である。
一方、復元画像領域対応ROI情報(Rroi)103は、例えば、図8に示す復元画像領域(復元ROI)122におけるサンプリングポイントの設定位置(x)情報である。すなわち、レンズレスカメラ102の画像センサが図8に示す復元画像領域(復元ROI)122におけるサンプリングポイントの放射光を撮像したと仮定した場合のROI情報である。
このように、画像推定部109は、ステップS203において、
図7に示す撮影画像領域対応ROI情報(Rall)104と、復元画像領域対応ROI情報(Rroi)103を取得する。
図7に示す撮影画像領域対応ROI情報(Rall)104と、復元画像領域対応ROI情報(Rroi)103を取得する。
(ステップS204)
次に、画像推定部109は、ステップS204において、センサ画素数Nを取得する。すなわち、レンズレスカメラ102の画像センサのセンサ画素数(N)を取得する。この情報は、例えば、図7に示すカメラ構成情報IC106から取得する。
次に、画像推定部109は、ステップS204において、センサ画素数Nを取得する。すなわち、レンズレスカメラ102の画像センサのセンサ画素数(N)を取得する。この情報は、例えば、図7に示すカメラ構成情報IC106から取得する。
(ステップS205)
次に、画像推定部109は、ステップS205において、サンプリングポイントの位置xと、ポイント数Pを取得する。
すなわち、
サンプリングポイント数(P)と、
各サンプリングポイントの位置(x)、
を取得する。
次に、画像推定部109は、ステップS205において、サンプリングポイントの位置xと、ポイント数Pを取得する。
すなわち、
サンプリングポイント数(P)と、
各サンプリングポイントの位置(x)、
を取得する。
なお、これらの情報は、例えば、
カメラ構成情報(Ic)106、
撮影画像領域対応ROI情報(Rall)104、
復元画像領域対応ROI情報(Rroi)103、
これらのいずれから各々取得する。
カメラ構成情報(Ic)106、
撮影画像領域対応ROI情報(Rall)104、
復元画像領域対応ROI情報(Rroi)103、
これらのいずれから各々取得する。
撮影画像領域対応ROI情報(Rall)104からは、撮影画像領域内のサンプリングポイント数(P)と、各サンプリングポイントの位置(x)を取得する。具体的には、例えば、図8に示す撮影画像領域(全ROI)121に設定されたサンプリングポイントの数(P)と、位置(x)を取得する。また、復元画像領域対応ROI情報(Rroi)103からは、復元画像領域内のサンプリングポイント数(P)と、各サンプリングポイントの位置(x)を取得する。具体的には、例えば、図8に示す復元画像領域(復元ROI)122に設定されたサンプリングポイントの数(P)と、位置(x)を取得する。
(ステップS206~S207)
次に、画像推定部109は、ステップS206において、撮影画像領域対応マスクマトリックス(Mall)計算部107の算出した撮影画像領域対応マスクマトリックス(Mall)の疑似逆行列(M+ all)を算出する。さらに、ステップS207において、ステップS206で求めた疑似逆行列(M+ all)を利用して、サンプリングポイントの放射光推定値(x^all)を算出する。サンプリングポイントの放射光推定値(x^all)は、撮影シーン、例えば図8に示す撮影画像領域(全ROI)121に含まれるサンプリングポイントx各々の放射光を意味する。
次に、画像推定部109は、ステップS206において、撮影画像領域対応マスクマトリックス(Mall)計算部107の算出した撮影画像領域対応マスクマトリックス(Mall)の疑似逆行列(M+ all)を算出する。さらに、ステップS207において、ステップS206で求めた疑似逆行列(M+ all)を利用して、サンプリングポイントの放射光推定値(x^all)を算出する。サンプリングポイントの放射光推定値(x^all)は、撮影シーン、例えば図8に示す撮影画像領域(全ROI)121に含まれるサンプリングポイントx各々の放射光を意味する。
サンプリングポイントの放射光推定値(x^all)の算出処理の具体例について、図11を参照して説明する。
図11には、
(a)2次元平面データとして表現した撮影画像領域ROI(Rall)201、
(b)撮影画像領域ROI(Rall)201に設定されたサンプリングポイントの放射光(x^all)204、
(c)撮影画像領域対応マスクマトリックス(Mall)202を持つマスク、
(d)撮影画像領域ROI(Rall)201に設定されたサンプリングポイントの放射光(x^all)204を画像センサによって受光した場合のセンサ観測値(画素値)(yall)203、
これらを示している。
(a)2次元平面データとして表現した撮影画像領域ROI(Rall)201、
(b)撮影画像領域ROI(Rall)201に設定されたサンプリングポイントの放射光(x^all)204、
(c)撮影画像領域対応マスクマトリックス(Mall)202を持つマスク、
(d)撮影画像領域ROI(Rall)201に設定されたサンプリングポイントの放射光(x^all)204を画像センサによって受光した場合のセンサ観測値(画素値)(yall)203、
これらを示している。
すなわち、2次元平面データとして表現した撮影画像領域ROI(Rall)201に設定されたサンプリングポイントの放射光(x^all)204を、撮影画像領域対応マスクマトリックス(Mall)202を持つマスクを介して画像センサによって受光した場合のセンサ観測値(画素値)(yall)203を示している。なお、撮影画像領域ROI(Rall)は、本来、図8を参照して説明したように、3次元領域として設定されるが、3次元領域内の光は、画像センサに平行な2次元平面を通過して、画像センサに入力する。従って、3次元領域として構成される撮影画像領域ROI(Rall)は、図11に示すような2次元平面データとして表現した撮影画像領域ROI(Rall)201に変換して表現することが可能である。放射光を出力するサンプリングポイントも、この2次元平面データとして表現した撮影画像領域ROI(Rall)201内に設定して表現できる。
図11に示すセンサ観測値(画素値)(yall)203は、2次元平面データとして表現した撮影画像領域ROI(Rall)201内に設定されるサンプリングポイントの各位置(xall)からの光、すなわちサンプリングポイントの放射光(x^all)204がマスクを通って写像された値である。従って、
撮影画像領域対応マスクマトリックス(Mall)202と、
センサ観測値(画素値)(yall)203、
これらの値があれば、サンプリングポイントの放射光(x^all)204の推定値を以下に示す算出処理(処理a,b)によって求めることができる。
撮影画像領域対応マスクマトリックス(Mall)202と、
センサ観測値(画素値)(yall)203、
これらの値があれば、サンプリングポイントの放射光(x^all)204の推定値を以下に示す算出処理(処理a,b)によって求めることができる。
(処理a)
撮影画像領域対応マスクマトリックス(Mall)計算部107の算出した撮影画像領域対応マスクマトリックス(Mall)の疑似逆行列(M+ all)を、以下の(式1)に従って算出する。
撮影画像領域対応マスクマトリックス(Mall)計算部107の算出した撮影画像領域対応マスクマトリックス(Mall)の疑似逆行列(M+ all)を、以下の(式1)に従って算出する。
なお、
M+ allは、撮影画像領域対応マスクマトリックス(Mall)の疑似逆行列、
MT allは、撮影画像領域対応マスクマトリックス(Mall)の転置行列を示す。また、
(MT allMall)-1は、(MT allMall)の逆行列を意味する。
M+ allは、撮影画像領域対応マスクマトリックス(Mall)の疑似逆行列、
MT allは、撮影画像領域対応マスクマトリックス(Mall)の転置行列を示す。また、
(MT allMall)-1は、(MT allMall)の逆行列を意味する。
(処理b)
撮影画像領域対応マスクマトリックス(Mall)の疑似逆行列(M+ all)と、
センサ観測値(画素値)(yall)203、
これらの値から、サンプリングポイントの放射光(x^all)204の推定値を以下の(式2)を用いて算出する。
撮影画像領域対応マスクマトリックス(Mall)の疑似逆行列(M+ all)と、
センサ観測値(画素値)(yall)203、
これらの値から、サンプリングポイントの放射光(x^all)204の推定値を以下の(式2)を用いて算出する。
上記(式2)は、先に説明した関係式、すなわち、撮影対象領域の3次元上のP個のサンプリングポイントから放射される光を、長さPのシーン放射光ベクトルxとして表記し、それを受光する画素数Nの画像センサの観測値を長さNのシーン観測値ベクトルyとした場合の関係式、
y=Mx
この関係式を、行列Mの疑似逆行列(M+)を用いて表現した式に相当する。
y=Mx
この関係式を、行列Mの疑似逆行列(M+)を用いて表現した式に相当する。
(ステップS208~S209)
次に、画像推定部109は、ステップS208において、サンプリングポイントの放射光(x^all)204のうち、復元画像領域ROI(Rroi)に含まれないものを抽出し、これらを、復元画像領域ROI(Rroi)外サンプリングポイント放射光推定値(x^out)とする
さらに、ステップS209において、復元画像領域ROI(Rroi)外サンプリングポイント放射光推定値(x^out)に対応する観測値(y^out)を求める。
次に、画像推定部109は、ステップS208において、サンプリングポイントの放射光(x^all)204のうち、復元画像領域ROI(Rroi)に含まれないものを抽出し、これらを、復元画像領域ROI(Rroi)外サンプリングポイント放射光推定値(x^out)とする
さらに、ステップS209において、復元画像領域ROI(Rroi)外サンプリングポイント放射光推定値(x^out)に対応する観測値(y^out)を求める。
図12に復元画像領域ROI(Rroi)211の設定例を示す。復元画像領域ROI(Rroi)211は、撮影画像領域ROI(Rall)内に自由に設定可能である。なお、図12では、復元画像領域ROI(Rroi)211も、撮影画像領域ROI(Rall)と同様、2次元データとして示している。
ステップS208~S209の処理の詳細について説明する。ステップS208では、先に説明した(式2)、すなわち、サンプリングポイント放射光推定値(x^all)の算出式に従って算出したサンプリングポイント放射光推定値(x^all)のうち、図12に示す復元画像領域ROI(Rroi)211に含まれないサンプリングポイントを抽出し、これらを、復元画像領域ROI(Rroi)外サンプリングポイント放射光推定値(x^out)とする。
次に、ステップS209において、復元画像領域ROI(Rroi)外サンプリングポイント放射光推定値(x^out)に対応する観測値(y^out)を、以下の(式3)を用いて算出する。
上記式は、先に説明した関係式、すなわち、撮影対象領域の3次元上のP個のサンプリングポイントから放射される光を、長さPのシーン放射光ベクトルxとして表記し、それを受光する画素数Nの画像センサの観測値を長さNのシーン観測値ベクトルyとした場合の関係式、
y=Mx
この関係式に対応する式である。
y=Mx
この関係式に対応する式である。
図13は、ステップS209において算出される復元画像領域ROI(Rroi)外サンプリングポイント放射光推定値(x^out)に対応する観測値(y^out)を示す図である。
図13には、撮影画像領域ROI(Rall)201から、復元画像領域ROI(Rroi)211を除いた復元画像領域ROI(Rroi)外サンプリングポイント放射光(x^out)212を示している。これらの復元画像領域ROI(Rroi)外サンプリングポイント放射光(x^out)212に対応する観測値(y^out)が、図13に示す復元画像領域ROI(Rroi)外推定センサ観測値(y^out)213となる。
(ステップS210)
次に、画像推定部109は、ステップS210において、復元画像領域ROI(Rroi)内のサンプリングポイントの放射光(x^roi)推定値を求める。
次に、画像推定部109は、ステップS210において、復元画像領域ROI(Rroi)内のサンプリングポイントの放射光(x^roi)推定値を求める。
まず、
(a)図11を参照して説明したセンサ観測値、すなわち、撮影画像領域ROI(Rall)201に設定されたサンプリングポイントの放射光(x^all)204を画像センサによって受光した場合のセンサ観測値(画素値)(yall)203から、
(b)ステップS209において算出した復元画像領域ROI(Rroi)外サンプリングポイント放射光推定値(x^out)に対応する観測値(y^out)を、
差し引く。すなわち、
(yall)-(y^out)
この減算処理によって、復元画像領域ROI(Rroi)内のサンプリングポイントからの光を観測した場合の観測値(y^roi)が得られる。
(a)図11を参照して説明したセンサ観測値、すなわち、撮影画像領域ROI(Rall)201に設定されたサンプリングポイントの放射光(x^all)204を画像センサによって受光した場合のセンサ観測値(画素値)(yall)203から、
(b)ステップS209において算出した復元画像領域ROI(Rroi)外サンプリングポイント放射光推定値(x^out)に対応する観測値(y^out)を、
差し引く。すなわち、
(yall)-(y^out)
この減算処理によって、復元画像領域ROI(Rroi)内のサンプリングポイントからの光を観測した場合の観測値(y^roi)が得られる。
次に、復元画像領域ROI(Rroi)内のサンプリングポイントの放射光(x^roi)推定値を以下の(式4)に従って算出する。
図14は、復元画像領域ROI(Rroi)内のサンプリングポイントの放射光(x^roi)推定値を算出する処理について説明する図である。図14には、撮影画像領域ROI(Rall)201内に設定された復元画像領域ROI(Rroi)211内のサンプリングポイントの放射光、すなわち、復元画像領域ROI(Rroi)内サンプリングポイント放射光(x^roi)221と、この放射光を復元画像領域対応マスクマトリックス(Mroi)222によって規定されるマスクを介して受光する画像センサの観測値、すなわち、復元画像領域ROI(Rroi)推定センサ観測値(y^roi=yall-y^out)223、これらを示している。
このように、画像推定部109は、上記(式4)に従って、復元画像領域ROI(Rroi)内のサンプリングポイントの放射光(x^roi)推定値を求める。この推定値は、すなわち、復元画像領域ROI(Rroi)内の被写体を示す画像(復元画像)の画素値に相当する。
上述したように、画像推定部109は、以下の処理によってレンズレスカメラ102の撮影画像領域の一部からなる復元画像領域の復元画像を生成する。
(S206)レンズレスカメラ102の撮像範囲全体の復元画像の生成に適用する撮影画像領域対応マスクマトリックスの疑似逆行列を算出し、
(S207)撮影画像領域対応マスクマトリックスの疑似逆行列と、観測画像信号から、撮影画像領域内のサンプリングポイントの放射光推定値を算出し、
(S206)レンズレスカメラ102の撮像範囲全体の復元画像の生成に適用する撮影画像領域対応マスクマトリックスの疑似逆行列を算出し、
(S207)撮影画像領域対応マスクマトリックスの疑似逆行列と、観測画像信号から、撮影画像領域内のサンプリングポイントの放射光推定値を算出し、
(S208~S210)レンズレスカメラ102の画像センサの出力である観測画像信号から、復元画像領域に含まれない復元画像領域外観測画像信号を減算して、復元領域内観測画像信号を算出し、復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列との演算処理により、レンズレスカメラ102の撮影画像領域の一部からなる復元画像領域の復元画像を生成する。
なお、これらの処理において利用する疑似逆行列は、逆行列であってもよい。
なお、これらの処理において利用する疑似逆行列は、逆行列であってもよい。
[6.サンプリングポイント設定例と画像生成例について]
先に説明した図11~図14では、説明を理解し易くするため、撮影画像領域ROI(Rall)や復元画像領域ROI(Rroi)を2次元平面データとして示して説明した。先に説明したようにこれらの領域は実際の3次元空間として表現してもよい。一般的には、サンプリングポイントは任意の3次元位置に配置する事ができる。図15は、3次元上のサンプリングポイントの輝度値から2次元画像を再構成する方法の一例を示す図である。
先に説明した図11~図14では、説明を理解し易くするため、撮影画像領域ROI(Rall)や復元画像領域ROI(Rroi)を2次元平面データとして示して説明した。先に説明したようにこれらの領域は実際の3次元空間として表現してもよい。一般的には、サンプリングポイントは任意の3次元位置に配置する事ができる。図15は、3次元上のサンプリングポイントの輝度値から2次元画像を再構成する方法の一例を示す図である。
仮想ピンホールレンズ301と、仮想センサ面302を用意し、サンプリングポイント305,306,307からの光、すなわち、
x^all(p1)、
x^all(p2)、
x^all(p3)、
これらの光が仮想ピンホールレンズ301を通って仮想センサ面302と交差する。
x^all(p1)、
x^all(p2)、
x^all(p3)、
これらの光が仮想ピンホールレンズ301を通って仮想センサ面302と交差する。
仮想センサ面302上の仮想センサ画素303,304,305それぞれには、入射光に応じた観測値(画素値)、すなわち、
仮想センサ画素y(p1)303、
仮想センサ画素y(p2)304、
仮想センサ画素y(p3)305、
これらの観測値(画素値)が得られる。この場合、サンプリングポイントの距離によらず全てにピントの合った画像が再現される。
仮想センサ画素y(p1)303、
仮想センサ画素y(p2)304、
仮想センサ画素y(p3)305、
これらの観測値(画素値)が得られる。この場合、サンプリングポイントの距離によらず全てにピントの合った画像が再現される。
また、奥行き方向にレンズぼけが発生するような画像を再構成する方法の一例を、図16に示す。図16には、仮想レンズ311、仮想センサ面313と、仮想センサ面313で像が焦点を結ぶ仮想平面312を示している。この構成で、各サンプリングポイント316,317からの光、すなわち、
x^all(p1)、
x^all(p2)、
これらの光が仮想レンズ311を通して仮想センサ面313に写像される。この仮想センサ313上の画素値、すなわち、
仮想センサ画素y(p1)314、
仮想センサ画素y(p2)315、
これらの値を仮想センサ面313上で合成することで、奥行き方向のレンズボケを持つ画像を再現できる。
x^all(p1)、
x^all(p2)、
これらの光が仮想レンズ311を通して仮想センサ面313に写像される。この仮想センサ313上の画素値、すなわち、
仮想センサ画素y(p1)314、
仮想センサ画素y(p2)315、
これらの値を仮想センサ面313上で合成することで、奥行き方向のレンズボケを持つ画像を再現できる。
図17に、3次元設定としたROI領域の図を示す。ROI領域は、3次元上の任意の位置に設定できるため、サンプリングポイントを部分的に再現することができる。例えば、図17に示すような3次元空間に、
撮影画像領域ROI(Rall)321、
復元画像領域ROI(Rroi)322、
復元画像領域外ROI(Rout)323、
これらの領域を設定し、各領域に自由にサンプリングポイントを設定することができる。
撮影画像領域ROI(Rall)321、
復元画像領域ROI(Rroi)322、
復元画像領域外ROI(Rout)323、
これらの領域を設定し、各領域に自由にサンプリングポイントを設定することができる。
各サンプリングポイントからの放射光は、例えば図17に示す撮影画像領域対応マスクマトリックス(Mall)331に従った変換特性(透過関数)を持つマスクを介して、画像センサに入射して、センサ観測値(yall)332を観測することができる。
例えば、図17に示すように、復元画像領域ROI(Rroi)322を、人のいる領域と設定する事で、人だけを含み背景領域を除去した背景除去画像を復元画像として生成することが可能である。
[7.部分的に解像度を向上させた画像の生成処理例について]
本開示の処理を行うことで、部分的に解像度を向上させた画像を生成することが可能となる。図18を参照して、部分的に解像度を向上させた画像の生成処理について説明する。
本開示の処理を行うことで、部分的に解像度を向上させた画像を生成することが可能となる。図18を参照して、部分的に解像度を向上させた画像の生成処理について説明する。
通常のカメラ撮影画像は、画面上のピクセルピッチが一定であり、1枚の画像上の解像度は画像のどの領域でも一定となる。本開示の処理において、例えば、サンプリングポイントを一様ではなく領域毎に密度を変えることで、領域単位で解像度を変更することが可能となる。
例えば、図18(a)に示す復元画像401のように、画像の一部を高解像度領域402に設定するといった処理が可能となる。このような画像を生成するためには、高解像度領域402に対応するサンプリングポイントの密度を、他の領域より高く設定すればよい。
図18(b)にサンプリングポイントの密度を変えた例を示す。高密度ROI411は他の領域に比べてサンプリングポイント412が密集している。サンプリングポイントは、復元画像における画素値算出位置に対応し、サンプリングポイントの密度を高くすれば、画素値密度が高くなり、結果として高解像度の画像を生成することが可能となる。
図19に、局所的に解像度を変更した画像の例を示す。図19に示す例は、人のいる領域のみ解像度を上げた画像を生成する処理例である。最初にシーン全体のサンプリングポイント放射光(x^all)、すなわち、撮影画像領域サンプリングポイント放射光(x^all)421を推定して、撮影画像領域全体の画像を生成する。さらに、この画像から人のいる領域を検出し、この検出領域を、高解像度化領域(Rroi)422とする。
次に、この高解像度化領域(Rroi)422のみ、他の領域よりサンプリングポイントの密度を上げた状態のマスクマトリックス(Mroi)をシミュレーションで算出する。このマスクマトリックス(Mroi)を特性(透過関数)として持つマスクを用いた場合の、サンプリングポイント放射光を算出する。この処理によって、人のいる領域のみ高解像度化した一部領域高解像度化画像431が生成される。
このように、信号処理部109は、復元画像領域内のサンプリングポイントの密度を、レンズレスカメラ102による撮影画像のその他の領域のサンプリングポイントの密度より高密度に設定して処理を行うことで、復元画像領域のみを高解像度化した一部領域高解像度化画像を生成することができる。
[8.サンプリングポイントからの放射光を波長方向に分光する処理例について]
次に、サンプリングポイントからの放射光を、波長方向に分光する処理例について説明する。具体的には、例えば各サンプリングポイントの放射光をRGBの各色対応の波長光に分離して観測する処理である。この処理を行うことで、カラー画像を生成することが可能となる。
次に、サンプリングポイントからの放射光を、波長方向に分光する処理例について説明する。具体的には、例えば各サンプリングポイントの放射光をRGBの各色対応の波長光に分離して観測する処理である。この処理を行うことで、カラー画像を生成することが可能となる。
図20に、サンプリングポイントからの放射光を拡張する際の模式図を示す。P個のサンプリングポイント471からの放射光をL個の波長に分離する際、p番目のサンプリングポイントから放射されるl(エル)番目の波長の放射光は、
xcol(pL+l)・・・(式a)
と表すことができる。なお、例えばサンプリングポイントからの放射光を3個の波長(R,G,B)に分離する際にはL=3、l=0~2となる。
xcol(pL+l)・・・(式a)
と表すことができる。なお、例えばサンプリングポイントからの放射光を3個の波長(R,G,B)に分離する際にはL=3、l=0~2となる。
この放射光が、マスク472を介して画像センサ473のN個の構成画素のn番目の画素に入射して観測される観測値は、
ycol(nL+l)・・・(式b)
と表現できる。
ycol(nL+l)・・・(式b)
と表現できる。
(式a)と(式b)の関係は、
ycol=Mcol×xcol・・・(式c)
と表すことができる。
ycol=Mcol×xcol・・・(式c)
と表すことができる。
上記(式c)において、Mcolは、
画像センサ473の画素数(N)、
サンプリングポイントからの放射光の分離波長光数(L)、
サンプリングポイント数(P)、
としたとき、
NL×PLのマトリックス(マスク472のマスクマトリックス)である。このマトリックスは、一つのサンプリングポイントからの異なる波長の放射光の観測値をシミュレートすることで求めることができる。
画像センサ473の画素数(N)、
サンプリングポイントからの放射光の分離波長光数(L)、
サンプリングポイント数(P)、
としたとき、
NL×PLのマトリックス(マスク472のマスクマトリックス)である。このマトリックスは、一つのサンプリングポイントからの異なる波長の放射光の観測値をシミュレートすることで求めることができる。
これにより、画像センサ473上の観測値ycolから、サンプリングポイント501の放射光(xcol)波長毎に分離した輝度を再現することができる。例えばRGB各色の出力値を取得して、カラー画像を再現することが可能となる。なお、波長と同様に、偏光に対しても同様の拡張が可能である。
このように、信号処理部109は、復元画像領域内のサンプリングポイントの放射光の波長を区分して処理を行うことで、複数の異なる波長光単位の復元画像を生成することができる。また、復元画像領域内のサンプリングポイントの放射光の偏光成分を区分して処理を行うことで、複数の異なる偏光成分単位の復元画像を生成することができる。
[9.本開示の画像処理の効果について]
本開示の画像処理装置による処理を行うことで、以下のような効果を奏することができる。レンズレスカメラにハードウェアを付加することなく、高画質かつ低計算量で、メカレスズーム、メカレスパン、背景除去などの機能を実現することができる。さらに、重要でない領域の解像度を下げることで、重要領域の解像度を変えることなく、計算量の削減や、逆に計算量を維持した状態での重要領域の解像度向上などを実現できる。本開示の処理は、遠赤外線画像など、可視光以外の波長を利用した画像に対しても有効である。
本開示の画像処理装置による処理を行うことで、以下のような効果を奏することができる。レンズレスカメラにハードウェアを付加することなく、高画質かつ低計算量で、メカレスズーム、メカレスパン、背景除去などの機能を実現することができる。さらに、重要でない領域の解像度を下げることで、重要領域の解像度を変えることなく、計算量の削減や、逆に計算量を維持した状態での重要領域の解像度向上などを実現できる。本開示の処理は、遠赤外線画像など、可視光以外の波長を利用した画像に対しても有効である。
[10.画像処理装置のハードウェア構成例について]
次に、図21を参照して、画像処理装置のハードウェア構成例について説明する。図21を参照して説明するハードウェアは、先に図7を参照して説明した信号処理部101の処理を実行する画像処理装置のハードウェア構成の一例である。
次に、図21を参照して、画像処理装置のハードウェア構成例について説明する。図21を参照して説明するハードウェアは、先に図7を参照して説明した信号処理部101の処理を実行する画像処理装置のハードウェア構成の一例である。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、マウス、マイクロホン、センサなどからなる入力部506、ディスプレイ、スピーカーなどからなる出力部507が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部507に出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、Wi-Fi通信、ブルートゥース(登録商標)(BT)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
[11.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部は、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と、前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理装置。
(1) レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部は、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と、前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理装置。
(2) 前記信号処理部は、
前記復元画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する(1)に記載の画像処理装置。
前記復元画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する(1)に記載の画像処理装置。
(3) 前記信号処理部は、
前記復元画像領域内のサンプリングポイント数(P)と、前記レンズレスカメラの画素数(N)によって規定されるP×Nの前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する(1)または(2)に記載の画像処理装置。
前記復元画像領域内のサンプリングポイント数(P)と、前記レンズレスカメラの画素数(N)によって規定されるP×Nの前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する(1)または(2)に記載の画像処理装置。
(4) 前記信号処理部は、
前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列と前記観測画像信号とに基づいて算出される前記撮影画像領域内のサンプリングポイントの放射光推定値から、前記復元画像領域に含まれない観測画像信号を減算して算出される前記復元領域内の観測画像信号と、前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列との演算処理により、前記復元画像を生成する画像推定部を備える(1)~(3)いずれかに記載の画像処理装置。
前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列と前記観測画像信号とに基づいて算出される前記撮影画像領域内のサンプリングポイントの放射光推定値から、前記復元画像領域に含まれない観測画像信号を減算して算出される前記復元領域内の観測画像信号と、前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列との演算処理により、前記復元画像を生成する画像推定部を備える(1)~(3)いずれかに記載の画像処理装置。
(5) 前記信号処理部は、さらに、
前記撮影画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて撮影画像領域に適用するマトリックスを生成する撮影画像領域対応マスクマトリックス計算部を有する(1)~(4)いずれかに記載の画像処理装置。
前記撮影画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて撮影画像領域に適用するマトリックスを生成する撮影画像領域対応マスクマトリックス計算部を有する(1)~(4)いずれかに記載の画像処理装置。
(6) 前記信号処理部は、
前記復元画像領域内のサンプリングポイントの密度を、前記撮影画像のその他の領域のサンプリングポイントの密度より高密度に設定して、解像度の高い前記復元画像を生成する(1)~(5)いずれかに記載の画像処理装置。
前記復元画像領域内のサンプリングポイントの密度を、前記撮影画像のその他の領域のサンプリングポイントの密度より高密度に設定して、解像度の高い前記復元画像を生成する(1)~(5)いずれかに記載の画像処理装置。
(7) 前記信号処理部は、
前記復元画像領域内のサンプリングポイントの放射光の波長を区分して、複数の異なる波長光単位の復元画像を生成する(1)~(6)いずれかに記載の画像処理装置。
前記復元画像領域内のサンプリングポイントの放射光の波長を区分して、複数の異なる波長光単位の復元画像を生成する(1)~(6)いずれかに記載の画像処理装置。
(8) 前記信号処理部は、
前記復元画像領域内のサンプリングポイントの放射光の偏光成分を区分して、複数の異なる偏光成分単位の復元画像を生成する(1)~(7)いずれかに記載の画像処理装置。
前記復元画像領域内のサンプリングポイントの放射光の偏光成分を区分して、複数の異なる偏光成分単位の復元画像を生成する(1)~(7)いずれかに記載の画像処理装置。
(9) 光の透過領域と不透過領域を2次元パターンとして設定したマスクと、
前記マスクを介した光を受光する画像センサとからなる撮像部と、
前記画像センサの出力である観測画像信号を入力して、前記撮像部の撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部は、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する、
撮像装置。
前記マスクを介した光を受光する画像センサとからなる撮像部と、
前記画像センサの出力である観測画像信号を入力して、前記撮像部の撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部は、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する、
撮像装置。
(10) 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部が、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理方法。
前記画像処理装置は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部が、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理方法。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、レンズレスカメラの撮影画像の画角制御を可能とし、撮影領域の一部からなる復元画像を生成する構成が実現される。
80 レンズレスカメラ
81 画像センサ
82 マスク
83 信号処理部
100 画像処理装置
101 信号処理部
102 レンズレスカメラ
103 復元画像領域対応ROI情報
104 撮影画像領域対応ROI情報
105 マスク情報
106 カメラ構成情報
107 撮影画像領域対応マスクマトリックス計算部
108 復元画像領域対応マスクマトリックス計算部
109 画像推定部
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
81 画像センサ
82 マスク
83 信号処理部
100 画像処理装置
101 信号処理部
102 レンズレスカメラ
103 復元画像領域対応ROI情報
104 撮影画像領域対応ROI情報
105 マスク情報
106 カメラ構成情報
107 撮影画像領域対応マスクマトリックス計算部
108 復元画像領域対応マスクマトリックス計算部
109 画像推定部
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
Claims (10)
- レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部は、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と、前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理装置。 - 前記信号処理部は、
前記復元画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する請求項1に記載の画像処理装置。 - 前記信号処理部は、
前記復元画像領域内のサンプリングポイント数(P)と、前記レンズレスカメラの画素数(N)によって規定されるP×Nの前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する請求項1に記載の画像処理装置。 - 前記信号処理部は、
前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列と前記観測画像信号とに基づいて算出される前記撮影画像領域内のサンプリングポイントの放射光推定値から、前記復元画像領域に含まれない観測画像信号を減算して算出される前記復元領域内の観測画像信号と、前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列との演算処理により、前記復元画像を生成する画像推定部を備える請求項1に記載の画像処理装置。 - 前記信号処理部は、さらに、
前記撮影画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて撮影画像領域に適用するマトリックスを生成する撮影画像領域対応マスクマトリックス計算部を有する請求項1に記載の画像処理装置。 - 前記信号処理部は、
前記復元画像領域内のサンプリングポイントの密度を、前記撮影画像のその他の領域のサンプリングポイントの密度より高密度に設定して、解像度の高い前記復元画像を生成する請求項1に記載の画像処理装置。 - 前記信号処理部は、
前記復元画像領域内のサンプリングポイントの放射光の波長を区分して、複数の異なる波長光単位の復元画像を生成する請求項1に記載の画像処理装置。 - 前記信号処理部は、
前記復元画像領域内のサンプリングポイントの放射光の偏光成分を区分して、複数の異なる偏光成分単位の復元画像を生成する請求項1に記載の画像処理装置。 - 光の透過領域と不透過領域を2次元パターンとして設定したマスクと、
前記マスクを介した光を受光する画像センサとからなる撮像部と、
前記画像センサの出力である観測画像信号を入力して、前記撮像部の撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部は、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する、
撮像装置。 - 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部が、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020504791A JP7363765B2 (ja) | 2018-03-06 | 2018-12-06 | 画像処理装置、および撮像装置、並びに画像処理方法 |
CN201880090500.5A CN111788824B (zh) | 2018-03-06 | 2018-12-06 | 图像处理设备、成像设备以及图像处理方法 |
US16/976,742 US11663708B2 (en) | 2018-03-06 | 2018-12-06 | Image processing apparatus, imaging apparatus, and image processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-039315 | 2018-03-06 | ||
JP2018039315 | 2018-03-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019171691A1 true WO2019171691A1 (ja) | 2019-09-12 |
Family
ID=67847073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/045005 WO2019171691A1 (ja) | 2018-03-06 | 2018-12-06 | 画像処理装置、および撮像装置、並びに画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11663708B2 (ja) |
JP (1) | JP7363765B2 (ja) |
CN (1) | CN111788824B (ja) |
WO (1) | WO2019171691A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022080121A1 (ja) * | 2020-10-16 | 2022-04-21 | ソニーグループ株式会社 | 偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法 |
EP4131925A4 (en) * | 2020-03-31 | 2023-09-06 | Sony Group Corporation | IMAGE PROCESSING DEVICE AND METHOD, PROGRAM, AND IMAGE PROCESSING SYSTEM |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008542863A (ja) * | 2005-05-23 | 2008-11-27 | キネテイツク・リミテツド | 符号化開口画像システム |
JP2009171191A (ja) * | 2008-01-16 | 2009-07-30 | Sanyo Electric Co Ltd | 撮像装置及び撮像方法 |
JP2016134732A (ja) * | 2015-01-19 | 2016-07-25 | 株式会社リコー | 撮像装置及び撮像方法 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200615605A (en) * | 2004-07-20 | 2006-05-16 | Asahi Glass Co Ltd | Liquid crystal lens element and optical head device |
US7767949B2 (en) * | 2005-01-18 | 2010-08-03 | Rearden, Llc | Apparatus and method for capturing still images and video using coded aperture techniques |
US8558182B2 (en) * | 2009-10-09 | 2013-10-15 | University Of Rochester | Optical element, device, method, and applications |
US20120069209A1 (en) | 2010-09-22 | 2012-03-22 | Qualcomm Mems Technologies, Inc. | Lensless camera controlled via mems array |
JP5709040B2 (ja) * | 2010-10-27 | 2015-04-30 | 株式会社リコー | 分光画像撮像装置 |
JP2012124832A (ja) * | 2010-12-10 | 2012-06-28 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
KR20120080845A (ko) * | 2011-01-10 | 2012-07-18 | 삼성전자주식회사 | 광 감지 기능을 구비한 oled 디스플레이 장치 |
GB2489675A (en) * | 2011-03-29 | 2012-10-10 | Sony Corp | Generating and viewing video highlights with field of view (FOV) information |
JP2013090059A (ja) * | 2011-10-14 | 2013-05-13 | Sony Corp | 撮像装置、画像生成システム、サーバおよび電子機器 |
JP6138222B2 (ja) * | 2012-02-20 | 2017-05-31 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
WO2014010726A1 (ja) * | 2012-07-12 | 2014-01-16 | 株式会社ニコン | 画像処理装置及び画像処理プログラム |
JP5988790B2 (ja) * | 2012-09-12 | 2016-09-07 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム |
JP5574031B2 (ja) * | 2012-12-14 | 2014-08-20 | フリュー株式会社 | 画像処理装置および方法、並びにプログラム |
JP6230239B2 (ja) * | 2013-02-14 | 2017-11-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
US9359170B2 (en) * | 2013-10-14 | 2016-06-07 | Cedes Ag | Coding device and position-determining device and position-determining method |
JP6482012B2 (ja) * | 2014-07-12 | 2019-03-13 | レイセオン カンパニー | 一体化された圧縮センシングを有する読み出し集積回路 |
JP6385241B2 (ja) * | 2014-10-27 | 2018-09-05 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6598473B2 (ja) * | 2015-02-27 | 2019-10-30 | キヤノン株式会社 | 撮像装置および画像処理装置 |
US20170118489A1 (en) * | 2015-10-23 | 2017-04-27 | Broadcom Corporation | High Dynamic Range Non-Constant Luminance Video Encoding and Decoding Method and Apparatus |
US10274652B2 (en) * | 2016-02-05 | 2019-04-30 | Rambus Inc. | Systems and methods for improving resolution in lensless imaging |
WO2017145348A1 (ja) * | 2016-02-26 | 2017-08-31 | 株式会社日立製作所 | 撮像装置 |
JP6672070B2 (ja) * | 2016-05-17 | 2020-03-25 | キヤノン株式会社 | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム |
JP6688716B2 (ja) * | 2016-10-04 | 2020-04-28 | 株式会社日立製作所 | 撮像装置および撮像方法 |
CN110140348B (zh) * | 2016-12-27 | 2020-12-25 | 富士胶片株式会社 | 摄像装置及摄像模块 |
EP3633968A4 (en) * | 2017-06-01 | 2020-06-03 | FUJIFILM Corporation | IMAGING DEVICE, IMAGE PROCESSING DEVICE, IMAGING SYSTEM, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM |
EP3633973B1 (en) * | 2017-06-01 | 2020-11-11 | FUJIFILM Corporation | Image processing device, imaging system, image processing method, and recording medium |
CN107290846B (zh) * | 2017-08-04 | 2019-06-21 | 南京理工大学 | 基于环状可编程led照明的定量相位显微成像方法 |
WO2019131382A1 (ja) * | 2017-12-26 | 2019-07-04 | 富士フイルム株式会社 | 撮像装置 |
CN111869195B (zh) * | 2018-03-14 | 2022-07-08 | 索尼公司 | 图像处理装置、成像装置及图像处理方法 |
-
2018
- 2018-12-06 US US16/976,742 patent/US11663708B2/en active Active
- 2018-12-06 CN CN201880090500.5A patent/CN111788824B/zh active Active
- 2018-12-06 JP JP2020504791A patent/JP7363765B2/ja active Active
- 2018-12-06 WO PCT/JP2018/045005 patent/WO2019171691A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008542863A (ja) * | 2005-05-23 | 2008-11-27 | キネテイツク・リミテツド | 符号化開口画像システム |
JP2009171191A (ja) * | 2008-01-16 | 2009-07-30 | Sanyo Electric Co Ltd | 撮像装置及び撮像方法 |
JP2016134732A (ja) * | 2015-01-19 | 2016-07-25 | 株式会社リコー | 撮像装置及び撮像方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4131925A4 (en) * | 2020-03-31 | 2023-09-06 | Sony Group Corporation | IMAGE PROCESSING DEVICE AND METHOD, PROGRAM, AND IMAGE PROCESSING SYSTEM |
WO2022080121A1 (ja) * | 2020-10-16 | 2022-04-21 | ソニーグループ株式会社 | 偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200410654A1 (en) | 2020-12-31 |
CN111788824B (zh) | 2022-07-08 |
JPWO2019171691A1 (ja) | 2021-03-04 |
JP7363765B2 (ja) | 2023-10-18 |
US11663708B2 (en) | 2023-05-30 |
CN111788824A (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tseng et al. | Differentiable compound optics and processing pipeline optimization for end-to-end camera design | |
Lee et al. | Deep chain hdri: Reconstructing a high dynamic range image from a single low dynamic range image | |
US11368617B2 (en) | Image restoration for through-display imaging | |
US7767949B2 (en) | Apparatus and method for capturing still images and video using coded aperture techniques | |
JP6214562B2 (ja) | 適応型多次元データ分解 | |
JP2022509034A (ja) | ニューラルネットワークを使用した輝点除去 | |
JP6672070B2 (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
JP3191928B2 (ja) | 画像入出力装置 | |
JP2022501982A (ja) | ニューラルネットワークを使用した写真の露出不足補正 | |
JP5968073B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
JP2013093754A (ja) | 撮像装置 | |
JP2007503605A (ja) | 画像処理のための画像プロセッサ及び方法 | |
WO2019171691A1 (ja) | 画像処理装置、および撮像装置、並びに画像処理方法 | |
JP2017208642A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
Kinoshita et al. | Deep inverse tone mapping using LDR based learning for estimating HDR images with absolute luminance | |
CN115699073A (zh) | 神经网络支持的相机图像或视频处理流水线 | |
RU2785988C1 (ru) | Система формирования изображений и способ обработки изображений | |
LU102214B1 (en) | Method for digital image processing | |
US20230419446A1 (en) | Method for digital image processing | |
RU2470366C1 (ru) | Способ получения цифрового изображения с большим динамическим диапазоном | |
Lim et al. | Image resolution and performance analysis of webcams for ground-based astronomy | |
Kosar et al. | The methods for evaluating the quality of images with different types of noise | |
Estrada et al. | Multi-frame GAN-based machine learning image restoration for degraded visual environments | |
JP2017034595A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
Zhang | Coded Illumination for Lensless Imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18909121 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020504791 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18909121 Country of ref document: EP Kind code of ref document: A1 |