WO2019171691A1 - 画像処理装置、および撮像装置、並びに画像処理方法 - Google Patents

画像処理装置、および撮像装置、並びに画像処理方法 Download PDF

Info

Publication number
WO2019171691A1
WO2019171691A1 PCT/JP2018/045005 JP2018045005W WO2019171691A1 WO 2019171691 A1 WO2019171691 A1 WO 2019171691A1 JP 2018045005 W JP2018045005 W JP 2018045005W WO 2019171691 A1 WO2019171691 A1 WO 2019171691A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
restored
matrix
roi
area
Prior art date
Application number
PCT/JP2018/045005
Other languages
English (en)
French (fr)
Inventor
小柳津　秀紀
イリヤ レシェトウスキ
厚史 伊藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2020504791A priority Critical patent/JP7363765B2/ja
Priority to CN201880090500.5A priority patent/CN111788824B/zh
Priority to US16/976,742 priority patent/US11663708B2/en
Publication of WO2019171691A1 publication Critical patent/WO2019171691A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/129—Coded aperture imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Definitions

  • the present disclosure relates to an image processing device, an imaging device, and an image processing method.
  • the present invention relates to an image processing apparatus, an imaging apparatus, and an image processing method that can control the angle of view of a captured image of a lensless camera (lensless imaging apparatus) and generate a restored image including a part of the imaging area.
  • a lensless camera uses a two-dimensional light transmission area and non-transmission area instead of a lens.
  • a mask set as a pattern light through the mask is input to the image sensor.
  • the image sensor takes an image through a mask.
  • predetermined signal processing on the imaging data through the mask, it is possible to generate a two-dimensional image corresponding to a shooting scene similar to a general camera. Since the lensless camera does not require a lens, the image pickup apparatus can be reduced in size and weight.
  • the lensless camera inputs light through the mask to the image sensor.
  • Information on how the emitted light from the scene (shooting scene) is projected onto the sensor through the mask is defined in advance as a matrix, and from the matrix and the image (observation image) projected onto the sensor An image (reconstructed image) reproducing an actual scene is generated.
  • Patent Document 1 International Publication WO2012 / 040192.
  • the following processing is performed as reconstruction processing of a captured image that generates an image (restored image) that reproduces an actual scene from an image (observed image) projected on an image sensor of a lensless camera.
  • the radiated light of the photographic scene is expressed by the luminance values of a plurality of sampling points in three dimensions, and a plurality of sets of sensor observation values projected onto the image sensor through a mask are obtained in advance by simulation or the like.
  • a mask matrix expressing the mask is calculated from the set.
  • An inverse matrix of this mask matrix is obtained, and this inverse matrix is applied to the observed value, that is, the pixel value of the image sensor of the lensless camera, to restore the luminance value for each sampling point constituting the shooting scene.
  • the luminance value for each sampling point is a luminance value indicating an image of the shooting scene.
  • the light emitted from P sampling points in three dimensions is expressed as a scene radiation light vector x having a length P, and an observation value of a two-dimensional sensor having N pixels that receives the light is represented as a scene having a length N.
  • an observation vector y Mx Can be expressed.
  • M is a matrix representing the transmission function of the mask, that is, a mask matrix (mask matrix).
  • x satisfying the relationship of this equation may be obtained from the sensor observation value y of the lensless camera.
  • the resolution of the scene to be reproduced can be improved by increasing the number P of three-dimensional sampling points constituting the scene. However, it takes a long time to estimate the scene radiation light vector x, and it takes time to reconstruct the image.
  • An object is to provide an image processing device, an imaging device, and an image processing method.
  • a first aspect of the present disclosure is a signal that inputs an observation image signal that is an output of an image sensor of a lensless camera and generates a restored image of a restored image region that is a part of a captured image region of the lensless camera.
  • a processing unit wherein the signal processing unit generates an observation image signal in a restoration region generated by subtracting an observation image signal not included in the restoration image region from the observation image signal, and generation of the restoration image
  • the image processing apparatus generates the restored image by an arithmetic process with an inverse matrix or a pseudo inverse matrix of a matrix applied to.
  • a second aspect of the present disclosure is directed to an imaging unit including a mask in which a light transmission region and a non-transmission region are set as a two-dimensional pattern, and an image sensor that receives light through the mask, and the image sensor. And a signal processing unit that generates a restored image of a restored image region including a part of the captured image region of the imaging unit, and the signal processing unit includes the observed image signal The observed image signal in the restored area generated by subtracting the observed image signal not included in the restored image area from the matrix and the inverse matrix of the matrix applied to generate the restored image or the pseudo inverse matrix An imaging apparatus that generates a restored image.
  • a third aspect of the present disclosure is an image processing method executed in an image processing apparatus, and the image processing apparatus inputs an observation image signal that is an output of an image sensor of a lensless camera, and the lensless A signal processing unit configured to generate a restored image of a restored image region including a part of a captured image region of the camera, wherein the signal processing unit subtracts an observed image signal not included in the restored image region from the observed image signal;
  • the restored image is generated by the arithmetic processing of the observed image signal in the restored area generated by performing the inverse matrix or the pseudo inverse matrix of the matrix applied to the restored image.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • FIG. 1 and FIG. 2 an outline of a lensless camera (lensless imaging device) will be described by comparison with the configuration of a general camera (imaging device).
  • FIG. 1 Lensless camera
  • FIG. 2 Camera with lens
  • c) Pinhole camera The imaging principle of these three types of cameras is shown.
  • the pinhole camera includes a pinhole 21 provided as a hole with respect to the light shielding film 12 and an image sensor (individual imaging device) 11.
  • an imaging device including a pinhole as shown in the figure of (c) pinhole camera in the lower right part of FIG. 1, light beams L1 to L3 emitted from different light sources on the subject surface pass through the pinhole 21 respectively.
  • images are captured as images on the pixels I1 to I3 on the image sensor (individual image sensor) 11.
  • an image is formed by the image sensor (individual image pickup device) 11 by only one pixel of the light rays L1 to L3 emitted from each of the light sources. Since the light is incident on each pixel on the sensor (individual image pickup device) 11, it is picked up as a dark image.
  • the camera with a lens (b) in the upper right part of FIG. 1 is provided with an imaging lens 32 in the center of the light shielding film 31, and the imaging lens 32 collects the light beams L1 to L3 as indicated by the light beams I11 to I13, and displays an image.
  • Each image is formed on a sensor (individual imaging device) 11 and is set to be imaged by the image sensor (individual imaging device) 11.
  • the image sensor (individual imaging device) 11 is formed by forming an image formed of light having a light intensity that is the sum of all the light intensities of the light beams L1 to L3. Since the light is incident on the sensor (individual image sensor) 11, an image having a sufficient amount of light is captured in each pixel of the image sensor (individual image sensor) 11.
  • each set of point light sources constitutes a subject. Accordingly, the subject is imaged by imaging the subject formed by converging light rays emitted from a plurality of point light sources on the subject surface.
  • the role of the imaging lens 32 is that each light beam emitted from each of the point light sources, that is, diffused light is converted into an image sensor (individual imaging device) 11. It is to lead up. Therefore, an image corresponding to the final image is formed on the image sensor (individual image sensor) 11, and an image composed of detection signals detected in each pixel on the image sensor (individual image sensor) 11 is an image. Becomes an observation image formed.
  • the size of the imaging device (imaging device) is determined by the focal length of the imaging lens and the imaging lens, there is a limit to downsizing.
  • the (a) lensless camera shown on the left side of FIG. 1 images the subject on the subject surface using the image sensor (individual imaging device) 11 and the mask 51 without providing an imaging lens or a pinhole. To do.
  • a mask 51 having a plurality of sizes of openings 51 a is provided in front of the image sensor 11, and light rays L1 to L3 from each of the light sources are modulated. The light enters the imaging surface of the image sensor 11 and is received by each pixel on the image sensor (individual imaging device) 11.
  • the size of the mask 51 is random in the horizontal direction and the vertical direction in units of unit size ⁇ as shown in the lower part of the lensless camera in FIG. A mask having a set mask pattern.
  • the unit size ⁇ is at least larger than the pixel size.
  • a gap of a minute distance d is provided between the image sensor 11 and the mask 51.
  • the pitch between pixels on the image sensor 11 is w.
  • the light sources L1 to L3 in the upper diagram of FIG. 1A are point light sources PA, PB, and PC as shown in the upper left part of FIG. It is assumed that the light beams having the light intensities a, b, and c are incident on the positions Pa, Pb, and Pc on the image sensor 11 that is incident.
  • the detection sensitivity of each pixel is directed according to the incident angle by modulating the incident light from the openings 51a that are randomly set on the mask 51. Will have sex.
  • providing the detection sensitivity of each pixel with the incident angle directivity means that the light receiving sensitivity characteristic according to the incident angle of the incident light differs depending on the region on the image sensor 11. is there.
  • the light source constituting the subject surface 71 is a point light source
  • the image sensor 11 When it is assumed that the light source constituting the subject surface 71 is a point light source, in the image sensor 11, light beams having the same light intensity emitted from the same point light source are incident.
  • the incident angle changes for each region on the imaging surface of the image sensor 11. Since the incident angle of incident light is changed according to the area on the image sensor 11 by the mask 51, the light receiving sensitivity characteristic, that is, the incident angle directivity is obtained.
  • detection is performed with different sensitivities for each region on the image sensor 11 by the mask 51 provided in the previous stage of the imaging surface of the image sensor 11, and detection signals having different detection signal levels are detected for each region.
  • pixel detection signal levels DA, DB, and DC at positions Pa, Pb, and Pc on the image sensor 11 are expressed by the following equations (1) to (1), respectively. It is represented by (3).
  • DA ⁇ 1 ⁇ a + ⁇ 1 ⁇ b + ⁇ 1 ⁇ c
  • DB ⁇ 2 ⁇ a + ⁇ 2 ⁇ b + ⁇ 2 ⁇ c
  • DC ⁇ 3 ⁇ a + ⁇ 3 ⁇ b + ⁇ 3 ⁇ c
  • ⁇ 1 is a coefficient for the detection signal level a set in accordance with the incident angle of the light beam from the point light source PA on the object surface 71 to be restored at the position Pa on the image sensor 11.
  • ⁇ 1 is a coefficient for the detection signal level b set in accordance with the incident angle of the light beam from the point light source PB on the object surface 71 to be restored at the position Pa on the image sensor 11.
  • ⁇ 1 is a coefficient for the detection signal level c set in accordance with the incident angle of the light beam from the point light source PC on the object surface 71 to be restored at the position Pa on the image sensor 11.
  • ( ⁇ 1 ⁇ a) in the detection signal level DA is a value indicating the detection signal level due to the light beam from the point light source PA at the position Pc.
  • ( ⁇ 1 ⁇ b) of the detection signal level DA is a value indicating the detection signal level due to the light beam from the point light source PB at the position Pc.
  • ( ⁇ 1 ⁇ c) of the detection signal level DA is a value indicating the detection signal level due to the light beam from the point light source PC at the position Pc.
  • the detection signal level DA is expressed as a composite value obtained by multiplying each component of the point light sources PA, PB, PC at the position Pa by the respective coefficients ⁇ 1, ⁇ 1, ⁇ 1.
  • the coefficients ⁇ 1, ⁇ 1, and ⁇ 1 are collectively referred to as a coefficient set.
  • the coefficient sets ⁇ 2, ⁇ 2, and ⁇ 2 correspond to the coefficient sets ⁇ 1, ⁇ 1, and ⁇ 1 for the detection signal level DA in the point light source PA, respectively.
  • the coefficient sets ⁇ 3, ⁇ 3, and ⁇ 3 correspond to the coefficient sets ⁇ 1, ⁇ 1, and ⁇ 1 for the detection signal level DA in the point light source PA, respectively.
  • the detection signal levels of the pixels at the positions Pa, Pb, and Pc are values expressed by the product sum of the light intensities a, b, and c of the light beams emitted from the point light sources PA, PB, and PC, respectively. It is. For this reason, these detection signal levels are a mixture of the light intensities a, b, and c of the light beams emitted from the point light sources PA, PB, and PC, respectively, so that the image of the subject is formed. Is different.
  • the coefficient sets ⁇ 1, ⁇ 1, ⁇ 1, the coefficient sets ⁇ 2, ⁇ 2, ⁇ 2, the coefficient sets ⁇ 3, ⁇ 3, ⁇ 3 and the simultaneous equations using the detection signal levels DA, DB, DC are constructed, and the light intensities a, b , C, the pixel values at the respective positions Pa, Pb, Pc are obtained as shown in the lower right part of FIG.
  • a restored image (final image) that is a set of pixel values is reconstructed and restored.
  • the coefficient set ⁇ 1, ⁇ 1, ⁇ 1, coefficient set ⁇ 2, ⁇ 2, ⁇ 2, coefficient set ⁇ 3, ⁇ 3, ⁇ 3 is each of these changes, but by changing this coefficient set, it is possible to reconstruct restored images (final images) of subject surfaces at various distances.
  • the detection signal level shown in the upper right part of FIG. 2 is not a pixel value because it is not a detection signal level corresponding to an image on which an image of the subject is formed.
  • the detection signal level shown in the lower right part of FIG. 2 is a signal value for each pixel corresponding to the image on which the subject image is formed, that is, the value of each pixel of the restored image (final image). Become.
  • Such a configuration makes it possible to realize a so-called lensless camera that does not require an imaging lens or a pinhole.
  • an imaging lens, a pinhole, or the like is not an essential configuration, it is possible to reduce the height of the imaging apparatus, that is, to reduce the thickness with respect to the incident direction of light in a configuration that realizes an imaging function.
  • by changing the coefficient set in various ways it is possible to reconstruct and restore the restored image (final image) on the subject plane at various distances.
  • an image taken by the image sensor and before reconstruction is simply referred to as an observation image, and an image that is reconstructed and restored by signal processing of the observation image is a restored image (final image). ). Accordingly, by changing the coefficient set described above from one observation image, images on the subject surface 71 at various distances can be reconstructed as the final image.
  • FIG. 3 is a diagram illustrating a configuration example of an image sensor in a lensless camera.
  • the upper part is a top view of the mask 51
  • the lower part is a perspective view of the mask 51 and the image sensor (solid-state imaging device) 11 as seen from above the side surface.
  • the image sensor of a general lensless camera has a unit size of an opening 51a in a mask 51 that is set uniformly over the entire region.
  • One image is captured as a whole from the light transmitted through 51.
  • FIG. 4 is a diagram showing a schematic configuration of the lensless camera 80.
  • the lensless camera 80 has a configuration in which a mask 82 is disposed in front of the image sensor 81.
  • the mask 82 is a mask in which a light transmission region and a light transmission region are set as a two-dimensional pattern. Light through this mask 82 is input to the image sensor.
  • FIG. 4 shows a configuration example in which the subject 85 is photographed and a restored image (final image) 87 in which the subject image is restored is output.
  • the pre-reconstructed image captured by the image sensor (solid-state imaging device) 81 is the observation image 86, and is reconstructed and restored by performing signal processing on the observation image 86 by the signal processing unit 83.
  • the image to be processed is a restored image (final image) 87.
  • the restored image (final image) 87 is an image including the subject of the shooting scene, as in a normal lens-mounted camera.
  • the image (observation image 86) is taken by the image sensor 81 through the mask 82.
  • the imaging data through the mask 82 that is, the observation image 86 on the image sensor 1 is input to the signal processing unit 83.
  • the signal processing unit 83 performs predetermined signal processing on the observation image 86 on the image sensor 81, so that a restored image (final image) as a two-dimensional image corresponding to a shooting scene similar to a general camera is obtained. 87 is generated.
  • N scene observation vector y Mx It can be expressed using the above relational expression.
  • M is a matrix representing the transmission function of the mask 82.
  • x satisfying the relationship of this equation may be obtained from the sensor observation value y.
  • the signal processing unit 83 multiplies the sensor observation value y input from the image sensor 81 by a matrix constituted by an inverse matrix of the matrix representing the transmission function of the mask 82 to calculate the scene radiation light vector x, A process of calculating pixel values constituting the restored image (final image) 87 including the subject 85 is performed.
  • a plurality of sets of sensor observation values projected onto the image sensor 81 through the mask 82 are obtained by simulation or the like, and a mask matrix expressing the characteristics (transmission function) of the mask 82 is calculated in advance from these sets. Keep it.
  • the signal processing unit 83 applies an inverse matrix of this matrix, and based on the sensor observation value y input from the image sensor 81, a restored image (final image) 87 in which the luminance value for each sampling point of the imaging target region is restored. Is generated.
  • x is constituted by a radiation light vector for each sampling point. That is, it is the radiant light of the point unit which comprises a photography scene, and the value which expand
  • the resolution of the scene reproduced as the restored image (final image) 87 can be improved by increasing the number P of three-dimensional sampling points constituting the scene. However, if the sampling point number P is increased, the time for estimating the scene radiation light vector x becomes longer, and it takes time to reconstruct the image, that is, to generate the restored image (final image) 87.
  • FIG. 5 As an example of image shooting by a lensless camera (lensless imaging device) 80, (A) Photographed image example set with wide angle of view (b) Photographed image example set with narrowed field angle These two image photographed examples are shown. As shown in FIG. 5B, the user (image photographer) may want to shoot an image in which only a specific subject, for example, a person's area is limited as a shooting range. Thus, there are cases where it is desired to take images of various regions by adjusting the angle of view (FOV) of the lensless camera 80.
  • FOV angle of view
  • FOV angle of view
  • FIG. 6 As another method for the angle of view (FOV), as shown in FIG. 6, there is a method of limiting the light incident on the image sensor 81 by changing the distance between the image sensor 81 and the mask 82 in terms of hardware. .
  • FIG. 6A shows a setting example in which the distance (L1) between the image sensor 81 and the mask 82 is set small to increase the angle of view.
  • FIG. 6B shows a setting example in which the distance (L2) between the image sensor 81 and the mask 82 is set large and the angle of view is reduced.
  • Patent Document 1 discloses a method of changing the FOV by arranging a MEMS array filter in front of a sensor and switching between transmission and non-transmission of light.
  • each of these methods requires additional hardware, and the increase in size and cost cannot be avoided.
  • an optical filter is used as a mask, no countermeasures other than the transmission wavelength region are shown, and for example, an appropriate filter corresponding to the far infrared region has not been mentioned.
  • FIG. 7 is a diagram illustrating a configuration example of the image processing apparatus 100 according to the present disclosure.
  • the image processing apparatus 100 receives a captured image of a lensless camera (lensless imaging apparatus) 102, generates a restored image set at a predetermined angle of view (FOV: Field Of View), and outputs the restored image 101.
  • FOV Field Of View
  • the signal processing unit 101 inputs an observation image signal that is an output of the image sensor of the lensless camera 102, and generates a restored image of a restored image region that is a part of the captured image region of the lensless camera 101.
  • the lensless camera 102 is a camera configured by the image sensor 81 and the mask 82 described with reference to FIGS. 4 and 6.
  • the distance between the image sensor 81 and the mask 82 is not a configuration that can control the distance between the image sensor 81 and the mask 82 as described with reference to FIG. 6, but the distance between the image sensor 81 and the mask 82 is fixed.
  • the signal processing unit 101 inputs a captured image (observed value y all ) that is an output of the lensless camera 102.
  • the captured image (observed value y all ) is a pixel value on the image sensor corresponding to the amount of light received through the mask of the lensless camera 102.
  • the signal processing unit 101 performs signal processing on this input image (captured image (observed value y all )), and outputs a restored image (x ⁇ roi ) set to a predetermined angle of view (FOV: Field Of View). Output.
  • (x ⁇ ) means a character in which ( ⁇ ) is set above x.
  • (y ⁇ ) means a character in which ( ⁇ ) is set above y.
  • the angle of view (FOV) can be freely set by the user.
  • a captured image (observed value y all ) 110 that is an output of the lensless camera 102 is a captured image with one fixed angle of view that is unrelated to the angle of view set by the user.
  • the signal processing unit 101 (Input 1) A captured image (observed value y all ) 110 which is an output of the lensless camera 102, (Input 2) “Restored Image Region Corresponding ROI (Region Of Interest) Information” R roi , corresponding to the angle-of-view setting information of the restored image (x ⁇ roi ) to be output Enter this information, (Output 1) A restored image (x ⁇ roi ) set to a predetermined angle of view (FOV), This output information is generated and output.
  • the data restored image (x ⁇ roi) (x ⁇ roi) corresponds to radiation sampling point x, each contained in the photographic scene within a predetermined angle (ROI). That is, the restored image (x ⁇ roi ) is an image that reproduces the subject image of the shooting scene, and is the same image as the image shot by a normal camera with a lens.
  • the signal processing unit 101 ROI information (R all ) 104 corresponding to the captured image area, Mask information (I M ) 105, Camera configuration information (I C ) 106, These pieces of information are held in the storage unit.
  • the storage unit storing these pieces of information is shown inside the signal processing unit 101, but these storage units may be set outside the signal processing unit 101.
  • Captured image area corresponding mask matrix (M all ) calculation unit 107 A restored image region corresponding mast matrix (M roi ) calculation unit 108;
  • An image estimation unit 109 is included.
  • the captured image area corresponding mask matrix (M all ) calculating unit 107 calculates a mask matrix (M all ) corresponding to the entire captured image (all ROIs) captured by the image sensor of the lens camera 102.
  • the mask matrix (M all ) is a matrix representing the transmission function of the mask described above.
  • the light emitted from P sampling points on the three-dimensional area of the imaging target region is expressed as a scene radiation light vector x having a length P, and the observation value of the image sensor having the number of pixels N that receives the light is represented by a long length.
  • a relational expression when expressed as a scene observation value vector y of N, y Mx It is a matrix showing the transmission function of the mask which satisfy
  • the restored image region corresponding mast matrix (M roi ) calculation unit 108 corresponds to the restored image (x ⁇ roi ) that is output data, not the entire captured image (all ROIs) captured by the image sensor of the lens camera 102.
  • a mask matrix (M roi ) is calculated. That is, a restored image area corresponding mask matrix to be applied to generate a restored image of the restored image area formed of a part of the captured image area of the lensless camera 102 is calculated.
  • the lensless camera 102 captures an image of the captured image region (total ROI) 121 at a fixed angle of view.
  • the image output from the signal processing unit 101 is an image of a limited area shown in the restored image area (restored ROI) 122.
  • Each region shown in FIG. 8 is a three-dimensional region.
  • the scene radiation light vector x of this relational expression corresponds to a sampling point setting area in which measurement is performed.
  • a mask matrix (M all ) representing a mask transmission function applicable to the above relational expression is calculated.
  • the captured image region corresponding mask matrix (M all ) calculating unit 107 calculates the mask matrix (M all ) corresponding to the captured image region (all ROIs) 121.
  • the captured image area corresponding ROI information (R all ) 104 is, for example, setting range information of the captured image area (total ROI) 121 shown in FIG. Further, the number of sampling points (P) and sampling point setting position (x) information in this setting range are also recorded.
  • the mask information (I M ) 105 is two-dimensional pattern information including a light transmission region and a non-transmission region of the mask.
  • the camera configuration information (I C ) 106 is information related to the mask and the image sensor, and is, for example, mask size, image sensor size, number of image sensor pixels (N), distance information between the mask and sensor, and the like. Further, the number of sampling points (P) and sampling point setting position (x) information set in the photographed image area are also recorded.
  • the captured image area corresponding mask matrix (M all ) calculating unit 107 inputs these pieces of information and calculates a mask matrix (M all ) corresponding to the captured image area (all ROIs) 121.
  • the restored image area corresponding mast matrix (M roi ) calculation unit 108 calculates a mask matrix (M roi ) corresponding to the restored image area (restored ROI) 122.
  • the restored image region corresponding mast matrix (M roi ) calculation unit 108 Restored image area corresponding ROI information (R roi ) 103, Mask information (I M ) 105, Camera configuration information (I C ) 106, By inputting these pieces of information, a mask matrix (M roi ) corresponding to the restored image region (restored ROI) 122 is calculated.
  • the restored image area corresponding ROI information (R roi ) 103 is, for example, setting range information of the restored image area (restored ROI) 122 shown in FIG. Further, the number of sampling points (P) and sampling point setting position (x) information in this setting range are also recorded.
  • the restored image area corresponding ROI information (R roi ) 103 is information relating to the restored image area that can be freely set by the user. The user can restore the restored image area corresponding ROI information (R roi ) via an input unit (not shown). 103 can be written or updated.
  • the mask information (I M ) 105 is two-dimensional pattern information including a light transmission region and a non-transmission region of the mask.
  • the camera configuration information (I C ) 106 is a distance between the mask and the image sensor, information on the number of pixels (N) of the image sensor, and the like.
  • the restored image area corresponding mast matrix (M roi ) calculation unit 108 inputs these pieces of information, and calculates a mask matrix (M all ) corresponding to the restored image area (restored ROI) 122.
  • Captured image area corresponding mask matrix (M all ) calculation unit 107 A restored image region corresponding mast matrix (M roi ) calculation unit 108;
  • M all Captured image area corresponding mask matrix
  • M roi A restored image region corresponding mast matrix
  • the image estimation unit 109 inputs the following information.
  • A a captured image (observed value y all ) that is an output of the lensless camera 102;
  • B Mask information (I M ) 105,
  • C Camera configuration information (I C ) 106,
  • D Captured image area corresponding ROI information (R all ) 104,
  • E Restored image area corresponding ROI information (R roi ) 103,
  • F the captured image area corresponding mask matrix (M all) the captured image area corresponding mask matrix calculated in the calculation section 107 (M all),
  • G the restored image region corresponding mast matrix (M roi) was calculated in the calculating unit 108 restores the image area corresponding mast matrix (M roi),
  • the image estimation unit 109 inputs these pieces of information, and outputs a restored image (x ⁇ roi ) set to a predetermined angle of view (FOV: Field Of View).
  • An output data shown in the restored image (x ⁇ roi) (x ⁇ roi) , the sampling points included in a predetermined photographing scene within the angle (ROI), for example, restoring an image area (restoration ROI) shown in FIG. 8 122 x means each emitted light.
  • the image estimation unit 109 subtracts the observation image signal outside the restored image area that is not included in the restoration image area from the observation image signal that is the output of the image sensor of the lensless camera 102 to obtain the observation image signal within the restoration area.
  • a restored image of the restored image area which is a part of the captured image area of the lensless camera, is generated by an arithmetic process of the observed image signal in the restored area and the pseudo inverse matrix or inverse matrix of the restored image area corresponding mask matrix.
  • the captured image region corresponding mask matrix (M all ) calculating unit 107 calculates a mask matrix (M all ) corresponding to the captured image region (all ROIs) 121 shown in FIG.
  • the restored image region corresponding mast matrix (M roi ) calculating unit 108 calculates a mask matrix (M all ) corresponding to the restored image region (restored ROI) 122 shown in FIG.
  • Each has only a different corresponding area, and the basic processing sequence is the same. In the ROI information acquisition process in step S103 shown in FIG. 9, only the information to be acquired is different. Details will be described in the description of each step below. Hereinafter, the process of each step of the flowchart shown in FIG. 9 will be sequentially described.
  • Step S101 A captured image region corresponding mask matrix (M all ) calculation unit 107 of the signal processing unit 101; A restored image region corresponding mast matrix (M roi ) calculation unit 108; First, in step S101, the mask information IM is acquired. In the following, Captured image area corresponding mask matrix (M all ) calculation unit 107, A restored image region corresponding mast matrix (M roi ) calculation unit 108; These two mask matrix calculators will be described simply as mask matrix calculators.
  • Step S102 the mask matrix calculator, in step S102, acquires the camera configuration information I C.
  • Camera configuration information I C is information about the mask and the image sensor, for example, the mask size, image sensor size, image sensor pixel number (N), the distance information or the like between the mask and the sensor.
  • Step S103 a mask matrix calculation part acquires ROI information in step S103.
  • the process of step S103 is Captured image area corresponding mask matrix (M all ) calculation unit 107, A restored image region corresponding mast matrix (M roi ) calculation unit 108; Different processing is executed in these two mask matrix calculation units.
  • the captured image region corresponding mask matrix (M all ) calculating unit 107 acquires the captured image region corresponding ROI information (R all ) 104 shown in FIG.
  • the image area corresponding ROI information (R all ) 104 is, for example, setting range information, the number of sampling points (P), setting position (x) information, and the like of the captured image area (all ROIs) 121 shown in FIG. That is, the captured image region corresponding ROI information (R all ) that is ROI information when it is assumed that the image sensor of the lensless camera 102 has captured the radiated light at the sampling point in the captured image region (total ROI) 121 shown in FIG. 104 is acquired.
  • the restored image region corresponding mast matrix (M roi ) calculating unit 108 acquires the restored image region corresponding ROI information (R roi ) 103 shown in FIG.
  • the restored image area corresponding ROI information (R roi ) 103 is, for example, setting range information, the number of sampling points (P), setting position (x) information, etc. of the restored image area (restored ROI) 122 shown in FIG. That is, the restored image area corresponding ROI information that is ROI information when it is assumed that the image sensor of the lensless camera 102 has captured the radiation light of the sampling point in the restored image area (restored ROI) 122 shown in FIG. 8 shown in FIG. (R roi ) 103 is acquired.
  • the number of sampling points (P) and set position (x) information can also be acquired from the camera configuration information Ic106.
  • step S104 the mask matrix calculation unit prepares and initializes a P ⁇ N matrix M using the sensor pixel number N, the sampling point position x, and the sampling point number P. That is, The number of sensor pixels (N), A matrix (matrix) composed of P ⁇ N elements (matrix elements) defined by the number of sampling points (P) is generated. The initial value of each element is 0, for example.
  • a captured image area corresponding mask matrix (M all ) calculating unit 107 The matrix generated by the restored image region corresponding mast matrix (M roi ) calculation unit 108 is a different matrix.
  • the captured image area corresponding mask matrix (M all ) calculating unit 107 calculates the mask matrix (M all ) corresponding to the captured image area (total ROI) 121 illustrated in FIG. Assuming that sampling points are set in (all ROIs) 121, a matrix (matrix) including the number of sampling points P and P ⁇ N elements (matrix elements) of the number of sensor pixels N is generated.
  • the restored image region corresponding mast matrix (M roi ) calculating unit 108 is shown in FIG. 8 in order to calculate a mask matrix (M roi ) corresponding to the restored image region (restored ROI) 122 shown in FIG. Assuming that sampling points are set in the restored image region (restored ROI) 122, a matrix (matrix) including the number of sampling points P and P ⁇ N elements (matrix elements) of the number of sensor pixels N is generated.
  • a captured image area corresponding mask matrix (M all ) calculating unit 107 In a matrix composed of P ⁇ N elements generated by the restored image region corresponding mast matrix (M roi ) calculation unit 108, The sensor pixel number N is the same as the pixel number (N) of the image sensor of the lensless camera 102.
  • the number of sampling points P can be set freely.
  • the sampling point number P of a matrix composed of P ⁇ N elements generated by the captured image region corresponding mask matrix (M all ) calculating unit 107 and the restored image region corresponding mast matrix (M roi ) calculating unit 108 is, for example, 8 may be set in proportion to the size of the captured image area (total ROI) 121 and the restored image area (restored ROI) 122 shown in FIG. 8, or both may have the same sampling point number P.
  • the restored image in the restored image region (restored ROI) 122 is a higher resolution image than when the sampling point number P is set in proportion to the size of the region. Can do.
  • the resolution of the restored image can be improved by increasing the number of sampling points P. That is, the resolution of the restored image can be improved by setting many high-density sampling points in the restored image region (restored ROI) 122 shown in FIG.
  • Step S105 to S106 The process after step S105 is a process for setting the value of each element of the matrix generated in step S104.
  • a matrix element for which a value is to be set is selected.
  • P and n are element identification indexes of a P ⁇ N matrix.
  • step S107 the mask matrix calculation unit obtains the sensor pixel value (y) of the nth pixel when the light at the p-th sampling point x (p) is projected onto the sensor through the mask.
  • This pixel value calculation processing can be performed by simulation processing or actual measurement processing.
  • This set value represents the relational expression explained above, that is, the light emitted from P sampling points on the three-dimensional area of the imaging target region as a scene radiation light vector x of length P, and this is received.
  • a relational expression when an observation value of an image sensor having N pixels is a scene observation value vector y of length N, y Mx It is a set value according to this relational expression.
  • Steps S109 to S112 are a process of updating a matrix element (matrix element) whose value is to be set and a process end determination process.
  • the matrix element index n is incremented by 1,
  • step S110 n ⁇ N And n ⁇ N If, For the new matrix element (p, n), the processing of steps S107 to S108 is executed to determine the value of the new matrix element (p, n).
  • step S111 the matrix element index p is incremented by 1, In step S112, p ⁇ P And p ⁇ P If, For the new matrix element (p, n), the processing of steps S107 to S108 is executed to determine the value of the new matrix element (p, n).
  • step S112 p ⁇ P If it is determined that the above equation is not satisfied, the values of all the elements of the P ⁇ N matrix are determined, and the matrix is completed.
  • the mask matrix generated by the captured image region corresponding mask matrix (M all ) calculating unit 107 according to this flow is the captured image region corresponding mask matrix (M all ).
  • y Mx A captured image region corresponding mask matrix (M all ) that satisfies this relational expression.
  • the mask matrix generated by the restored image area corresponding mast matrix (M roi ) calculation unit 108 according to this flow is the restored image area corresponding mast matrix (M roi ), and is, for example, the restored image area (restored) shown in FIG. ROI)
  • the relational expression with the sensor pixel value (y) when it is assumed that the image sensor of the lensless camera 102 has received the radiated light of P sampling points set to 122, y Mx A restored image region corresponding mast matrix (M roi ) that satisfies this relational expression.
  • the image estimation unit 109 (A) a captured image (observed value y all ) that is an output of the lensless camera 102; (B) Mask information (I M ) 105, (C) Camera configuration information (I C ) 106, (D) Captured image area corresponding ROI information (R all ) 104, (E) Restored image area corresponding ROI information (R roi ) 103, (F) the captured image area corresponding mask matrix (M all) the captured image area corresponding mask matrix calculated in the calculation section 107 (M all), (G) the restored image region corresponding mast matrix (M roi) was calculated in the calculating unit 108 restores the image area corresponding mast matrix (M roi), The image estimation unit 109 inputs these pieces of information, and outputs a restored image (x ⁇ roi ) set to a predetermined angle of view (FOV: Field Of View).
  • FOV Field Of View
  • An output data shown in the restored image (x ⁇ roi) (x ⁇ roi) , the sampling points included in a predetermined photographing scene within the angle (ROI), for example, restoring an image area (restoration ROI) shown in FIG. 8 122 x means each emitted light.
  • the image estimation unit 109 performs, for example, the processing of the observation image signal in the restoration area and the pseudo inverse matrix or the inverse matrix of the restoration image area correspondence mask matrix in the captured image area of the lensless camera. A restored image of a restored image area consisting of a part is generated.
  • Step S201 Image estimating unit 109 of the signal processing unit 101, first, in step S201, acquires the mask information I M.
  • the mask information I M acquired in step S201 is two-dimensional pattern information including a light transmission region and a non-transmission region of the mask.
  • Step S202 Next, the image estimation unit 109, at step S202, acquires the camera configuration information I C.
  • Camera configuration information I C is information about the mask and the image sensor, for example, the mask size, image sensor size, image sensor pixel number (N), the distance information or the like between the mask and the sensor.
  • Step S203 the image estimation unit 109 acquires ROI information in step S203.
  • the image estimation unit 109 acquires the captured image area corresponding ROI information (R all ) 104 and the restored image area corresponding ROI information (R roi ) 103 shown in FIG.
  • the image area-corresponding ROI information (R all ) 104 is, for example, sampling point setting position (x) information in the captured image area (total ROI) 121 shown in FIG. That is, it is ROI information when it is assumed that the image sensor of the lensless camera 102 has picked up the radiated light at the sampling point in the captured image region (total ROI) 121 shown in FIG.
  • the ROI information is information indicating a range of which region to reproduce in the three-dimensional region to be reproduced.
  • the restored image area corresponding ROI information (R roi ) 103 is, for example, the setting position (x) information of the sampling point in the restored image area (restored ROI) 122 shown in FIG. That is, it is ROI information when it is assumed that the image sensor of the lensless camera 102 has picked up the radiated light at the sampling point in the restored image region (restored ROI) 122 shown in FIG.
  • the image estimation unit 109 performs step S203.
  • the captured image area corresponding ROI information (R all ) 104 and the restored image area corresponding ROI information (R roi ) 103 shown in FIG. 7 are acquired.
  • Step S204 the image estimation unit 109 acquires the sensor pixel number N in step S204. That is, the sensor pixel number (N) of the image sensor of the lensless camera 102 is acquired. This information is acquired from, for example, camera configuration information I C 106 shown in FIG.
  • Step S205 the image estimation unit 109 acquires the sampling point position x and the number P of points. That is, The number of sampling points (P), The position of each sampling point (x), To get.
  • these information is, for example, Camera configuration information (Ic) 106, ROI information (R all ) 104 corresponding to the captured image area, Restored image area corresponding ROI information (R roi ) 103, Obtain from each of these.
  • the number of sampling points (P) in the captured image area and the position (x) of each sampling point are acquired. Specifically, for example, the number (P) and the position (x) of the sampling points set in the captured image region (all ROIs) 121 shown in FIG.
  • the restored image area corresponding ROI information (R roi ) 103 the number of sampling points (P) in the restored image area and the position (x) of each sampling point are acquired. Specifically, for example, the number (P) of sampling points and the position (x) set in the restored image area (restored ROI) 122 shown in FIG. 8 are acquired.
  • Step S206 calculates in step S206, the pseudo-inverse matrix of the calculated captured image area corresponding mask matrix of the captured image area corresponding mask matrix (M all) calculation section 107 (M all) the (M + all) To do. Further, in step S207, the estimated radiated light value (x ⁇ all ) of the sampling point is calculated using the pseudo inverse matrix (M + all ) obtained in step S206.
  • the radiated light estimated value (x ⁇ all ) of the sampling point means the radiated light of each sampling point x included in the photographic scene, for example, the photographic image area (total ROI) 121 shown in FIG.
  • FIG. (A) a captured image region ROI (R all ) 201 expressed as two-dimensional plane data; (B) Radiation light (x ⁇ all ) 204 at the sampling point set in the captured image region ROI (R all ) 201, (C) a mask having a mask matrix (M all ) 202 corresponding to the photographed image area; (D) Sensor observation value (pixel value) (y all ) 203 when the image sensor receives the radiated light (x ⁇ all ) 204 at the sampling point set in the photographed image region ROI (R all ) 201, These are shown.
  • a mask having a photographic image region corresponding mask matrix (M all ) 202 is set by using the radiated light (x ⁇ all ) 204 at the sampling point set in the photographic image region ROI (R all ) 201 expressed as two-dimensional plane data.
  • a sensor observation value (pixel value) (y all ) 203 is shown when light is received by the image sensor. Note that the captured image region ROI (R all ) is originally set as a three-dimensional region as described with reference to FIG. 8, but the light in the three-dimensional region is a two-dimensional plane parallel to the image sensor. Is input to the image sensor.
  • the photographed image area ROI (R all ) configured as a three-dimensional area can be converted into a photographed image area ROI (R all ) 201 represented as two-dimensional plane data as shown in FIG. It is.
  • Sampling points for outputting radiated light can also be set and expressed in the captured image region ROI (R all ) 201 expressed as the two-dimensional plane data.
  • the sensor observation value (pixel value) (y all ) 203 shown in FIG. 11 is obtained from each position (x all ) of the sampling point set in the captured image region ROI (R all ) 201 expressed as two-dimensional plane data.
  • the light that is, the value of the sampling point emitted light (x ⁇ all ) 204 mapped through the mask. Therefore, A captured image region corresponding mask matrix (M all ) 202; Sensor observation value (pixel value) (y all ) 203, If these values are present, the estimated value of the radiated light (x ⁇ all ) 204 at the sampling point can be obtained by the following calculation processing (processing a and b).
  • M + all is a pseudo inverse matrix of the captured image region corresponding mask matrix (M all )
  • M T all indicates a transposed matrix of the captured image region corresponding mask matrix (M all ).
  • (M T all M all ) ⁇ 1 means the inverse matrix of (M T all M all ).
  • This relational expression is equivalent to an expression expressed using a pseudo inverse matrix (M + ) of the matrix M.
  • Step S208 the image estimation unit 109 extracts the sampling point radiated light (x ⁇ all ) 204 that is not included in the restored image region ROI (R roi ), and extracts them as the restored image region.
  • the sampling point radiation light estimated value (x ⁇ out ) outside ROI ( Rroi ) Further, in step S209, the observation value corresponding to the estimated sampling point radiation light value (x ⁇ out ) outside the restored image area ROI ( Rroi ). Find (y ⁇ out ).
  • FIG. 12 shows a setting example of the restored image area ROI (R roi ) 211.
  • the restored image area ROI (R roi ) 211 can be freely set within the captured image area ROI (R all ).
  • the restored image region ROI (R roi ) 211 is also shown as two-dimensional data, like the captured image region ROI (R all ).
  • step S208 among the above-described (Equation 2), that is, the sampling point radiated light estimated value (x ⁇ all ) calculated according to the sampling point radiated light estimated value (x ⁇ all ) calculation formula, FIG. Sampling points that are not included in the restored image area ROI (R roi ) 211 are extracted, and these are set as sampling point radiation light estimated values (x ⁇ out ) outside the restored image area ROI (R roi ).
  • step S209 the observed value (y out ) corresponding to the estimated sampling point radiation light value (x out ) outside the restored image region ROI (R roi ) is calculated using the following (formula 3). .
  • the above expression expresses the relational expression described above, that is, light emitted from P sampling points on the three-dimensional area of the imaging target region as a scene radiation light vector x of length P and receives it.
  • a relational expression when the observation value of the image sensor having the number of pixels N is a scene observation value vector y of length N; y Mx It is a formula corresponding to this relational expression.
  • FIG. 13 is a diagram illustrating an observed value (y out ) corresponding to the estimated sampling point radiated light value (x out ) outside the restored image region ROI (R roi ) calculated in step S209.
  • sampling point radiation (x ⁇ out ) 212 outside the restored image region ROI (R roi ) obtained by removing the restored image region ROI (R roi ) 211 from the captured image region ROI (R all ) 201 is shown. Yes.
  • These restored image region ROI (R roi) outside the sampling point synchrotron radiation (x ⁇ out) corresponding observations in 212 (y ⁇ out) is restored image region ROI shown in FIG. 13 (R roi) outer estimating sensor observations (Y ⁇ out ) 213.
  • Step S210 the image estimation part 109 calculates
  • an estimated value of the radiated light (x ⁇ roi ) at the sampling point in the restored image region ROI (R roi ) is calculated according to the following (formula 4).
  • FIG. 14 is a diagram for describing processing for calculating a radiated light (x ⁇ roi ) estimated value of a sampling point in the restored image region ROI (R roi ).
  • the emitted light of the sampling point in the restored image area ROI (R roi ) 211 set in the captured image area ROI (R all ) 201 that is, the sampling point emission in the restored image area ROI (R roi )
  • estimating sensor observations (y ⁇ roi y all -y ⁇ out) 223, which shows these.
  • the image estimation unit 109 obtains an estimated value of the radiated light (x ⁇ roi ) at the sampling point in the restored image region ROI (R roi ) according to the above (Equation 4).
  • This estimated value corresponds to a pixel value of an image (restored image) showing a subject in the restored image region ROI (R roi ).
  • the image estimation unit 109 generates a restored image of the restored image area that is a part of the captured image area of the lensless camera 102 by the following process.
  • (S206) Calculate a pseudo inverse matrix of the mask matrix corresponding to the captured image area to be applied to generate a restored image of the entire imaging range of the lensless camera 102;
  • (S207) Calculate a radiated light estimation value of a sampling point in the captured image region from the pseudo inverse matrix of the captured image region corresponding mask matrix and the observed image signal,
  • An observation image signal outside the restored image area that is not included in the restored image area is subtracted from the observed image signal that is the output of the image sensor of the lensless camera 102 to calculate an observed image signal within the restored area
  • a restored image of the restored image area which is a part of the captured image area of the lensless camera 102, is generated by a calculation process of the observed image signal in the restored area and the pseudo inverse matrix of the restored image area corresponding mask matrix.
  • the pseudo-inverse matrix used in these processes may be an inverse matrix.
  • FIG. 15 is a diagram illustrating an example of a method for reconstructing a two-dimensional image from luminance values of three-dimensional sampling points.
  • a virtual pinhole lens 301 and a virtual sensor surface 302 are prepared, and light from sampling points 305, 306, and 307, that is, x ⁇ all (p 1 ), x ⁇ all (p 2 ), x ⁇ all (p 3 ), These lights cross the virtual sensor surface 302 through the virtual pinhole lens 301.
  • Each of the virtual sensor pixels 303, 304, and 305 on the virtual sensor surface 302 has an observation value (pixel value) corresponding to incident light, that is, Virtual sensor pixel y (p 1 ) 303, Virtual sensor pixel y (p 2 ) 304, Virtual sensor pixel y (p 3 ) 305, These observation values (pixel values) are obtained. In this case, an image that is in focus at all is reproduced regardless of the distance between the sampling points.
  • FIG. 16 shows an example of a method for reconstructing an image that causes lens blur in the depth direction.
  • FIG. 16 shows a virtual lens 311, a virtual sensor surface 313, and a virtual plane 312 where the image is focused on the virtual sensor surface 313.
  • the light from each sampling point 316, 317, ie, x ⁇ all (p 1 ), x ⁇ all (p 2 ), These lights are mapped onto the virtual sensor surface 313 through the virtual lens 311.
  • FIG. 17 shows a diagram of the ROI region set in three dimensions. Since the ROI region can be set at an arbitrary position in three dimensions, sampling points can be partially reproduced. For example, in a three-dimensional space as shown in FIG. Captured image area ROI (R all ) 321, Restored image area ROI (R roi ) 322, ROI (R out ) 323 outside the restored image area, These areas are set, and sampling points can be freely set in each area.
  • the radiated light from each sampling point is incident on the image sensor through a mask having a conversion characteristic (transmission function) according to, for example, a captured image region corresponding mask matrix (M all ) 331 shown in FIG.
  • the value (y all ) 332 can be observed.
  • a background-removed image including only a person and removing the background region can be generated as a restored image. Is possible.
  • the pixel pitch on the screen is constant, and the resolution on one image is constant in any region of the image.
  • the sampling point is not uniform, and the density can be changed for each region, whereby the resolution can be changed in units of regions.
  • the density of sampling points corresponding to the high resolution region 402 may be set higher than that of other regions.
  • Fig. 18 (b) shows an example in which the density of sampling points is changed.
  • sampling points 412 are denser than other areas.
  • the sampling point corresponds to the pixel value calculation position in the restored image. If the density of the sampling point is increased, the pixel value density is increased, and as a result, a high-resolution image can be generated.
  • FIG. 19 shows an example of an image whose resolution is locally changed.
  • the example shown in FIG. 19 is a processing example for generating an image with an increased resolution only in an area where people are present.
  • the sampling point radiation light (x ⁇ all ) of the entire scene that is, the captured image area sampling point radiation light (x ⁇ all ) 421
  • the captured image area sampling point radiation light (x ⁇ all ) 421 is estimated to generate an image of the entire captured image area.
  • a region where a person is present is detected from this image, and this detection region is defined as a high resolution region (R roi ) 422.
  • a mask matrix (M roi ) in which only the high resolution region (R roi ) 422 has a higher sampling point density than other regions is calculated by simulation.
  • Sampling point radiation is calculated when a mask having this mask matrix (M roi ) as a characteristic (transmission function) is used.
  • a partial area high-resolution image 431 in which the resolution is increased only in the area where people are present is generated.
  • the signal processing unit 109 performs processing by setting the density of the sampling points in the restored image area to be higher than the density of the sampling points in the other areas of the image captured by the lensless camera 102. It is possible to generate a partial-area high-resolution image in which only the restored image area is high-resolution.
  • FIG. 20 is a schematic diagram when the radiation light from the sampling point is expanded.
  • the emitted light from the P sampling points 471 is separated into L wavelengths
  • the emitted light of the l (el) th wavelength emitted from the pth sampling point is x col (pL + 1) (formula a) It can be expressed as.
  • M col is Number of pixels (N) of the image sensor 473, The number of separated wavelengths of the emitted light from the sampling point (L), Number of sampling points (P), When This is an NL ⁇ PL matrix (mask matrix of the mask 472). This matrix can be obtained by simulating observed values of radiation at different wavelengths from one sampling point.
  • the observed value y col on the image sensor 473 it is possible to reproduce a luminance separated synchrotron radiation (x col) for each wavelength of the sampling points 501. For example, it is possible to acquire output values of RGB colors and reproduce a color image. Similar extension to polarization is possible as well as wavelength.
  • the signal processing unit 109 can generate a restored image of a plurality of different wavelength light units by processing by dividing the wavelength of the radiated light at the sampling point in the restored image region. Further, by dividing the polarization component of the emitted light at the sampling point in the restored image region and performing the processing, it is possible to generate a restored image of a plurality of different polarization component units.
  • FIG. 21 is an example of a hardware configuration of an image processing apparatus that executes the processing of the signal processing unit 101 described with reference to FIG.
  • a CPU (Central Processing Unit) 501 functions as a control unit or a data processing unit that executes various processes according to a program stored in a ROM (Read Only Memory) 502 or a storage unit 508. For example, processing according to the sequence described in the above-described embodiment is executed.
  • a RAM (Random Access Memory) 503 stores programs executed by the CPU 501 and data.
  • the CPU 501, ROM 502, and RAM 503 are connected to each other by a bus 504.
  • the CPU 501 is connected to an input / output interface 505 via a bus 504.
  • An input unit 506 including various switches, a keyboard, a mouse, a microphone, and a sensor, and an output unit 507 including a display and a speaker are connected to the input / output interface 505.
  • the CPU 501 executes various processes in response to a command input from the input unit 506 and outputs a processing result to the output unit 507, for example.
  • the storage unit 508 connected to the input / output interface 505 includes, for example, a hard disk and stores programs executed by the CPU 501 and various data.
  • a communication unit 509 functions as a transmission / reception unit for Wi-Fi communication, Bluetooth (BT) communication, and other data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • BT Bluetooth
  • the drive 510 connected to the input / output interface 505 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and executes data recording or reading.
  • a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • a signal processing unit that inputs an observation image signal that is an output of an image sensor of a lensless camera and generates a restored image of a restored image region that is a part of a captured image region of the lensless camera;
  • the signal processing unit An observed image signal in a restored region generated by subtracting an observed image signal not included in the restored image region from the observed image signal, and an inverse matrix or a pseudo inverse matrix of a matrix applied to the generation of the restored image;
  • An image processing apparatus that generates the restored image by the arithmetic processing.
  • the signal processing unit A restored image region correspondence matrix calculation unit that generates a matrix to be applied to the generation of the restored image based on correspondence information between the emitted light from the sampling point in the restored image region and the observation value of the image sensor ( The image processing apparatus according to 1).
  • the signal processing unit Reconstructed image region corresponding matrix calculation for generating a matrix applied to the generation of the P ⁇ N restored image defined by the number of sampling points (P) in the restored image region and the number of pixels (N) of the lensless camera
  • the signal processing unit includes: From the estimated value of the sampling point within the captured image area calculated based on the inverse matrix of the matrix applied to the generation of the restored image of the entire imaging range of the lensless camera and the observed image signal, the restored image By the processing of the observed image signal in the restored area calculated by subtracting the observed image signal not included in the area, and the inverse matrix of the matrix applied to generate the restored image of the entire imaging range of the lensless camera.
  • the image processing apparatus according to any one of (1) to (3), further including an image estimation unit that generates the restored image.
  • the signal processing unit further includes: A captured image region corresponding mask matrix calculating unit that generates a matrix to be applied to the captured image region based on correspondence information between the emitted light from the sampling point in the captured image region and the observation value of the image sensor (1) ) To (4).
  • the signal processing unit includes: The density of sampling points in the restored image area is set to be higher than the density of sampling points in other areas of the captured image, and the restored image with high resolution is generated (1) to (5) An image processing apparatus according to 1.
  • the signal processing unit includes: The image processing device according to any one of (1) to (6), wherein the wavelength of the emitted light at the sampling point in the restored image region is divided to generate a restored image of a plurality of different wavelength light units.
  • the signal processing unit The image processing apparatus according to any one of (1) to (7), wherein the polarization component of the emitted light at the sampling point in the restored image region is divided to generate a restored image of a plurality of different polarization component units.
  • (9) a mask in which a light transmission region and a light transmission region are set as a two-dimensional pattern;
  • An imaging unit comprising an image sensor that receives light through the mask;
  • a signal processing unit that inputs an observation image signal that is an output of the image sensor and generates a restored image of a restored image region that is a part of a captured image region of the imaging unit;
  • the signal processing unit An observed image signal in a restored area generated by subtracting an observed image signal not included in the restored image area from the observed image signal and an inverse matrix or a pseudo inverse matrix of a matrix applied to the generation of the restored image Generating the restored image by arithmetic processing;
  • Imaging device comprising an image sensor that receives light through the mask;
  • a signal processing unit that inputs an observation image signal that is an output of the image sensor and generates a restored image of a restored image region that is a part of a captured image region of the imaging unit;
  • the signal processing unit An observed image signal in a restored area generated by subtract
  • the image processing apparatus includes a signal processing unit that receives an observation image signal that is an output of an image sensor of a lensless camera and generates a restored image of a restored image area that is a part of a captured image area of the lensless camera.
  • the signal processing unit is An observed image signal in a restored area generated by subtracting an observed image signal not included in the restored image area from the observed image signal and an inverse matrix or a pseudo inverse matrix of a matrix applied to the generation of the restored image
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • Lensless Camera 81 Image Sensor 82 Mask 83 Signal Processing Unit 100 Image Processing Device 101 Signal Processing Unit 102 Lensless Camera 103 Restored Image Region Corresponding ROI Information 104 Captured Image Region Corresponding ROI Information 105 Mask Information 106 Camera Configuration Information 107 Captured Image Region Corresponding mask matrix calculation unit 108 Restored image area corresponding mask matrix calculation unit 109 Image estimation unit 501 CPU 502 ROM 503 RAM 504 Bus 505 I / O interface 506 Input unit 507 Output unit 508 Storage unit 509 Communication unit 510 Drive 511 Removable media

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

レンズレスカメラの撮影画像の画角制御を可能とし、撮影領域の一部からなる復元画像を生成する構成を実現する。レンズレスカメラの画像センサの出力である観測画像信号を入力して、レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有する。信号処理部は、復元画像の生成に適用する復元画像領域対応マスクマトリックスを計算する復元画像領域対応マスクマトリックス計算部と、観測画像信号から、復元画像領域に含まれない復元画像領域外観測画像信号を減算して、復元領域内観測画像信号を算出し、復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列または逆行列との演算処理により復元画像を生成する画像推定部を有する。

Description

画像処理装置、および撮像装置、並びに画像処理方法
　本開示は、画像処理装置、および撮像装置、並びに画像処理方法に関する。特に、レンズレスカメラ（レンズレス撮像装置）の撮影画像の画角制御を可能とし、撮影領域の一部からなる復元画像を生成する画像処理装置、および撮像装置、並びに画像処理方法に関する。
　近年、レンズを利用せずに画像を撮影可能としたレンズレスカメラの開発が進んでいる。従来の一般的なカメラは、レンズを介した光を撮像素子である画像センサに入力して画像を撮影するが、レンズレスカメラは、レンズの代わりに光の透過領域と不透過領域を２次元パターンとして設定したマスクを用い、マスクを介した光を画像センサに入力する。画像センサにはマスクを介した像が撮影される。このマスクを介した撮像データに対して、所定の信号処理を行うことで、一般的なカメラと同様の撮影シーンに対応する２次元画像を生成することができる。レンズレスカメラは、レンズが不要であるため、撮像装置の小型化、軽量化が実現される。
　上述したように、レンズレスカメラは、マスクを介した光を画像センサに入力する。シーン（撮影シーン）からの放射光が、マスクを通してどのようにセンサ上に投影されるかの情報を、あらかじめマトリックスとして定義しておき、そのマトリックスとセンサ上に投影された画像（観測画像）から、実際のシーンを再現した画像（復元画像）を生成するものである。
　なお、レンズレスカメラについては、例えば、以下の文献に記載がある。
　特許文献１（国際公開ＷＯ２０１２／０４０１９２号公報）。
　レンズレスカメラの画像センサ上に投影された画像（観測画像）から、実際のシーンを再現した画像（復元画像）を生成する撮影画像の再構成処理としては、例えば以下の処理が行われる。撮影シーンの放射光を３次元上の複数のサンプリングポイントの輝度値で表現し、マスクを介して画像センサ上に投影されるセンサ観測値の組を、シミュレーションなどで複数組、予め求める。
　さらに、それらの組からマスクを表現するマスクマトリックスを計算する。このマスクマトリックスの逆行列を求め、この逆行列を、観測値、すなわちレンズレスカメラの画像センサの画素値に適用して、撮影シーンを構成するサンプリングポイント毎の輝度値を復元する。サンプリングポイント毎の輝度値は、撮影シーンの画像を示す輝度値となる。
　３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの２次元センサの観測値を、長さＮのシーン観測値ベクトルｙとして表現すると、その関係は、
　ｙ＝Ｍｘ
　と表す事ができる。ここで、Ｍはマスクの透過関数を表すマトリックス、すなわちマスクマトリックス（マスク行列）である。
　シーンの放射光を再現するには、この式の関係を満たすｘを、レンズレスカメラのセンサ観測値ｙから求めれば良い。再現されるシーンの解像度は、シーンを構成する３次元上のサンプリングポイントの数Ｐを大きくすることで向上させることができる。ただし、シーン放射光ベクトルｘを推定する時間が長くなり、画像の再構成に時間を要することになる
　上記式、ｙ＝Ｍｘは、レンズレスカメラのセンサに入射する全ての光がセンサ上に重畳されることを示しており、復元される画像の画角（ＦＯＶ：Ｆｉｅｌｄ　Ｏｆ　Ｖｉｅｗ）は、非常に広いものとなる。
国際公開ＷＯ２０１２／０４０１９２号公報
　レンズレスカメラの画角（ＦＯＶ）は広いため、シーン全体を表現するサンプリングポイント数Ｐが多くなる。しかし、カメラとして使用する場合、ある程度、ＦＯＶを狭めて、撮影範囲を限定したいといった場合も多い。撮影画像の一部のみを切り出すことも可能であるが、その場合、解像度が低下してしまうという問題が発生する。
　また、上述したように、撮影画像として再現可能な３次元上のサンプリングポイント数Ｐを増やすことで解像度を上げるという方法もあるが、画像の再構成時間が増大するため、実用的ではないという問題がある。
　本開示は、例えば、上記の問題点に鑑みてなされたものであり、解像度の低下や計算量の増大を発生させることなく、レンズレスカメラによる撮影画像の画角（ＦＯＶ）を変更可能とした画像処理装置、および撮像装置、並びに画像処理方法を提供することを目的とする。
　本開示の第１の側面は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、前記信号処理部は、前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と、前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理装置にある。
　さらに、本開示の第２の側面は、光の透過領域と不透過領域を２次元パターンとして設定したマスクと、前記マスクを介した光を受光する画像センサとからなる撮像部と、前記画像センサの出力である観測画像信号を入力して、前記撮像部の撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、前記信号処理部は、前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する撮像装置にある。
　さらに、本開示の第３の側面は、画像処理装置において実行する画像処理方法であり、前記画像処理装置は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、前記信号処理部が、前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理方法にある。
　なお、本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、レンズレスカメラの撮影画像の画角制御を可能とし、撮影領域の一部からなる復元画像を生成する構成が実現される。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
レンズレスカメラの撮影原理について説明する図である。 レンズレスカメラの撮影原理について説明する図である。 レンズレスカメラのマスクの一例について説明する図である。 レンズレスカメラの撮影処理例について説明する図である。 レンズレスカメラの画角設定例について説明する図である。 レンズレスカメラの画角設定例について説明する図である。 レンズレスカメラの撮影画像に対する信号処理を行う画像処理装置の構成と処理について説明する図である。 レンズレスカメラの撮影画像に対する信号処理の一例について説明する図である。 信号処理部のマスクマトリックス計算部の実行する処理シーケンスについて説明するフローチャートを示す図である。 信号処理部の画像推定部の実行する処理シーケンスについて説明するフローチャートを示す図である。 画像推定部の実行する処理の一例について説明する図である。 画像推定部の実行する処理の一例について説明する図である。 画像推定部の実行する処理の一例について説明する図である。 画像推定部の実行する処理の一例について説明する図である。 サンプリングポイントの設定と撮影画像について説明する図である。 サンプリングポイントの設定と撮影画像について説明する図である。 サンプリングポイントの設定と撮影画像について説明する図である。 局所的解像度変更画像を取得するためのサンプリングポイントの設定と撮影画像について説明する図である。 局所的解像度変更画像を取得するためのサンプリングポイントの設定と撮影画像について説明する図である。 各波長単位の画像を取得するための処理例について説明する図である。 画像処理装置のハードウェア構成例について説明する図である。
　以下、図面を参照しながら本開示の画像処理装置、および撮像装置、並びに画像処理方法の詳細について説明する。なお、説明は以下の項目に従って行う。
　１．レンズレスカメラの概要と原理について
　２．レンズレスカメラにおける画角設定について
　３．本開示の画像処理装置の構成と処理について
　４．マスクマトリックス計算部におけるマスクマトリックス計算処理の詳細シーケンスについて
　５．画像推定部における画像推定処理の詳細シーケンスについて
　６．サンプリングポイント設定例と画像生成例について
　７．部分的に解像度を向上させた画像の生成処理例について
　８．サンプリングポイントからの放射光を波長方向に分光する処理例について
　９．本開示の画像処理の効果について
　１０．画像処理装置のハードウェア構成例について
　１１．本開示の構成のまとめ
　　［１．レンズレスカメラの概要と原理について］
　まず、レンズレスカメラの概要と原理について説明する。
　図１、図２を参照して、一般的なカメラ（撮像装置）の構成との比較により、レンズレスカメラ（レンズレス撮像装置）の概要について説明する。
　図１には、
　（ａ）レンズレスカメラ
　（ｂ）レンズありカメラ
　（ｃ）ピンホールカメラ
　これらの３種類のカメラの撮像原理を示している。
　（ｃ）ピンホールカメラは、遮光膜１２に対して穴部として設けられたピンホール２１と画像センサ（個体撮像素子）１１から構成される。ピンホールからなる撮像装置の場合、図１右下部の（ｃ）ピンホールカメラの図に示すように、被写体面上のそれぞれ異なる光源から発せられる光線Ｌ１乃至Ｌ３が、それぞれピンホール２１を透過して画像センサ（個体撮像素子）１１上の画素Ｉ１乃至Ｉ３に像として撮像される。
　ピンホールカメラからなる撮像装置の場合、画像センサ（個体撮像素子）１１においては、光源のそれぞれから発せられた光線Ｌ１乃至Ｌ３のうちの１画素分の光線のみにより、像が結像されて画像センサ（個体撮像素子）１１上の各画素に入射されることになるので暗い画像として撮像される。
　図１右上部の（ｂ）レンズありカメラは、遮光膜３１の中央に撮像レンズ３２を設け、撮像レンズ３２が、光線Ｌ１乃至Ｌ３を、光線Ｉ１１乃至Ｉ１３で示されるように集光し、画像センサ（個体撮像素子）１１上にそれぞれの像を結像し、これが画像センサ（個体撮像素子）１１により撮像される設定としている。
　図１右上部の（ｂ）レンズありカメラの場合、画像センサ（個体撮像素子）１１は、光線Ｌ１乃至Ｌ３の全ての光強度の合計である光強度の光からなる像が結像されて画像センサ（個体撮像素子）１１に入射されるので、画像センサ（個体撮像素子）１１の各画素において十分な光量の画像が撮像される。
　図１右上部の（ｂ）レンズありカメラの図に示すように、撮像レンズ３２を用いることにより、点光源のそれぞれの集合が被写体を構成することになる。従って、被写体の撮像は、被写体面上の複数の点光源から発せられる光線が集光されて結像される被写体を撮像することになる。
　図１右上部の（ｂ）レンズありカメラを参照して説明したように、撮像レンズ３２の役割は点光源のそれぞれから出射される各光線、即ち拡散光を、画像センサ（個体撮像素子）１１上に導くことにある。そのため、画像センサ（個体撮像素子）１１上には最終画像相当の像が結像されることとなり、画像センサ（個体撮像素子）１１上の各画素において検出される検出信号からなる画像が、像が結像された観測画像となる。
　しかしながら、撮像レンズと撮像レンズの焦点距離によって撮像装置（撮像素子）のサイズが決定されるため、小型化には限界があった。
　これに対して、図１左側に示す（ａ）レンズレスカメラは、撮像レンズやピンホールを設けることなく、画像センサ（個体撮像素子）１１とマスク５１を用いて、被写体面上の被写体を撮像する。
　図１左側に示す（ａ）レンズレスカメラは、画像センサ１１の前段に複数のサイズの開口部５１ａを備えたマスク５１が設けられており、光源のそれぞれからの光線Ｌ１乃至Ｌ３が変調されて画像センサ１１の撮像面に入射し、画像センサ（個体撮像素子）１１上の各画素により受光される。
　ここで、マスク５１は、開口部５１ａと遮光部５１ｂとが、図１（ａ）レンズレスカメラの下部に示すように、単位サイズΔの単位で水平方向および垂直方向について、大きさがランダムに設定されたマスクパターンを持つマスクである。単位サイズΔは、少なくとも画素サイズよりも大きいサイズである。また、画像センサ１１とマスク５１との間には、微小な距離ｄの隙間が設けられている。図に示す例では、画像センサ１１上の画素間のピッチがｗとされている。
このような構成により、単位サイズΔと距離ｄとのサイズにより光線Ｌ１乃至Ｌ３は、画像センサ１１上に変調されて入射する。
　より詳細には、図１（ａ）レンズレスカメラの上図における光線Ｌ１乃至Ｌ３の光源を、例えば、図２の左上部に示すように、点光源ＰＡ，ＰＢ，ＰＣとし、マスク５１を透過して入射する画像センサ１１上の位置Ｐａ，Ｐｂ，Ｐｃのそれぞれに光強度ａ，ｂ，ｃの光線が入射するものとする。
　レンズレスカメラの場合、図２左上部に示すように、各画素の検出感度は、マスク５１に、ランダムに設定される開口部５１ａより入射光が変調されることにより、入射角に応じた指向性を持つことになる。ここでいう各画素の検出感度に入射角指向性を持たせるとは、画像センサ１１上の領域に応じて入射光の入射角度に応じた受光感度特性を異なるものとなるように持たせることである。
　すなわち、被写体面７１を構成する光源が点光源であることを前提とした場合、画像センサ１１においては、同一の点光源より発せられた同一の光強度の光線が、入射されることになるが、マスク５１により変調されることにより、画像センサ１１の撮像面上の領域毎に入射角度が変化する。そして、マスク５１により画像センサ１１上の領域に応じて入射光の入射角度が変化することにより受光感度特性、すなわち、入射角指向性を有しているので、同一の光強度の光線であっても、画像センサ１１の撮像面の前段に設けられたマスク５１により画像センサ１１上の領域毎に異なる感度で検出されることになり、領域毎に異なる検出信号レベルの検出信号が検出される。
　より具体的には、図２の右上部で示されるように、画像センサ１１上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。
　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ　　　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ　　　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ　　　・・・（３）
　ここで、α１は、画像センサ１１上の位置Ｐａにおける復元する被写体面７１上の点光源ＰＡからの光線の入射角度に応じて設定される検出信号レベルａに対する係数である。また、β１は、画像センサ１１上の位置Ｐａにおける復元する被写体面７１上の点光源ＰＢからの光線の入射角度に応じて設定される検出信号レベルｂに対する係数である。さらに、γ１は、画像センサ１１上の位置Ｐａにおける復元する被写体面７１上の点光源ＰＣからの光線の入射角度に応じて設定される検出信号レベルｃに対する係数である。
　従って、検出信号レベルＤＡのうちの（α１×ａ）は、位置Ｐｃにおける点光源ＰＡからの光線による検出信号レベルを示す値となる。また、検出信号レベルＤＡのうちの（β１×ｂ）は、位置Ｐｃにおける点光源ＰＢからの光線による検出信号レベルを示す値となる。さらに、検出信号レベルＤＡのうちの（γ１×ｃ）は、位置Ｐｃにおける点光源ＰＣからの光線による検出信号レベルを示す値となる。
　従って、検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣの各成分に、それぞれの係数α１，β１，γ１を掛けたものの合成値として表現される。
以降、係数α１、β１、γ１を合わせて係数セットと呼ぶこととする。
　同様に、点光源ＰＢにおける検出信号レベルＤＢについて、係数セットα２，β２，γ２は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。また、点光源ＰＣにおける検出信号レベルＤＣについて、係数セットα３，β３，γ３は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。
　ただし、位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルについては、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。
　すなわち、この係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、光強度ａ，ｂ，ｃを解くことで、図１の右下部で示されるように各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求める。これにより画素値の集合である復元画像（最終画像）が再構成されて復元される。
　また、図２の左上部で示される画像センサ１１と被写体面７１との距離が変化する場合、係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３は、それぞれ変化することになるが、この係数セットを変化させることで、様々な距離の被写体面の復元画像（最終画像）を再構成させることができる。
　このため、１回の撮像により、係数セットを様々な距離に対応するものに変化させることで、撮像位置から様々な距離の被写体面の画像を再構成することができる。
　結果として、レンズレスカメラを用いた撮像においては、レンズを用いた撮像装置での撮像において合焦点がずれた状態で撮像される、いわゆる、ピンぼけといった現象を意識する必要がなく、画角内に撮像したい被写体が含まれるように撮像されていれば、距離に応じた係数セットを変化させることで様々な距離の被写体面の画像を、撮像後に再構成することができる。
　なお、図２の右上部に示す検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、画素値ではない。また、図２の右下部に示す検出信号レベルは、被写体の像が結像された画像に対応する画素毎の信号値、すなわち、復元画像（最終画像）の各画素の値なので、画素値となる。
　このような構成により、撮像レンズや、ピンホールを必要としない、いわゆるレンズレスカメラを実現することが可能となる。結果として、撮像レンズや、ピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。また、係数セットを様々に変化させることにより、様々な距離の被写体面における復元画像（最終画像）を再構成して復元することが可能となる。
　なお、以降においては、画像センサにより撮像された、再構成される前の画像を単に観測画像と称し、観測画像が信号処理されることにより再構成されて復元される画像を復元画像（最終画像）と称する。従って、１枚の観測画像からは、上述した係数セットを様々に変化させることにより、様々な距離の被写体面７１上の画像を最終画像として再構成させることができる。
　図３は、レンズレスカメラにおける撮像素子の構成例を示す図である。上部がマスク５１の上面図であり、下部がマスク５１と画像センサ（固体撮像素子）１１とを側面上方からみた斜視図である。
　一般的なレンズレスカメラの撮像素子は、例えば、図３に示すように、マスク５１における開口部５１ａの単位サイズが、全領域に対して一様に設定されて、画像センサ１１においては、マスク５１を透過した光より全体として１枚の画像が撮像される。
　　［２．レンズレスカメラにおける画角設定について］
　次に、レンズレスカメラにおける画角設定について説明する。図４は、レンズレスカメラ８０の概略構成を示す図である。図４に示すようにレンズレスカメラ８０は、画像センサ８１の前にマスク８２を配置した構成を持つ。マスク８２は、光の透過領域と不透過領域を２次元パターンとして設定したマスクである。このマスク８２を介した光を画像センサに入力する。
　図４では、被写体８５の撮影を行い、被写体画像が復元された復元画像（最終画像）８７を出力する構成例を示している。なお、画像センサ（固体撮像素子）８１により撮像された再構成される前の画像が観測画像８６であり、信号処理部８３が観測画像８６に対して信号処理を行うことで再構成されて復元される画像が復元画像（最終画像）８７である。復元画像（最終画像）８７は、通常のレンズ装着カメラと同様、撮影シーンの被写体を含む画像となる。
　画像センサ８１にはマスク８２を介した像（観測画像８６）が撮影される。マスク８２を介した撮像データ、すなわち画像センサ１上の観測画像８６が信号処理部８３に入力される。信号処理部８３は、画像センサ８１上の観測画像８６に対して、所定の信号処理を行うことで、一般的なカメラと同様の撮影シーンに対応する２次元画像としての復元画像（最終画像）８７を生成する。
　撮影対象領域の３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの画像センサ８１の観測値を長さＮのシーン観測値ベクトルｙとして表現すると、その関係は、
　ｙ＝Ｍｘ
　上記関係式を用いて表すことができる。ここで、Ｍはマスク８２の透過関数を表すマトリックスである。
　被写体の撮影画像（＝シーンの放射光）を再現するには、この式の関係を満たすｘを、センサ観測値ｙから求めれば良い。信号処理部８３は、画像センサ８１から入力するセンサ観測値ｙに対して、マスク８２の透過関数を表すマトリックスの逆行列によって構成されるマトリックスを乗算して、シーン放射光ベクトルｘを算出し、被写体８５を含む復元画像（最終画像）８７を構成する画素値を算出する処理を行う。
　なお、マスク８２を通して画像センサ８１上に投影されるセンサ観測値の組を、シミュレーションなどで複数組求めておき、それらの組からマスク８２の特性（透過関数）を表現するマスクマトリックスを予め計算しておく。信号処理部８３は、このマトリックスの逆行列を適用して、画像センサ８１から入力するセンサ観測値ｙに基づいて、撮影対象領域のサンプリングポイント毎の輝度値を復元した復元画像（最終画像）８７を生成する。
　シーンの放射光を再現するには、上記式、すなわち、
　ｙ＝Ｍｘ
　この関係を満たすｘを、センサ観測値ｙから求めれば良い。ｘは、サンプリングポイント毎の放射光ベクトルによって構成される。すなわち撮影シーンを構成するポイント単位の放射光であり、このサンプリングポイント毎の放射光ベクトルを２次元平面に展開した値が復元画像（最終画像）８７の構成画素値に対応する。
　復元画像（最終画像）８７として再現されるシーンの解像度は、シーンを構成する３次元上のサンプリングポイントの数Ｐを大きくすることで向上させることができる。ただし、サンプリングポイント数Ｐを大きくすると、シーン放射光ベクトルｘを推定する時間が長くなり、画像の再構成、すなわち復元画像（最終画像）８７にの生成処理に時間を要することになる
　上記式、ｙ＝Ｍｘは、センサに入射する全ての光がセンサ上に重畳されることを示しており、復元される画像の画角（ＦＯＶ：Ｆｉｅｌｄ　Ｏｆ　Ｖｉｅｗ）は、非常に広いものとなる。
　レンズレスカメラの画角（ＦＯＶ）は広いため、シーン全体を表現するサンプリングポイント数が多くなる。しかし、カメラとして使用する場合、ある程度、ＦＯＶを狭めて、撮影範囲を限定したいといった場合も多い。
　具体例について図５を参照して説明する。図５には、レンスズレスカメラ（レンズレス撮像装置）８０による画像撮影例として、
　（ａ）画角を広くした設定の撮影画像例
　（ｂ）画角を狭くした設定の撮影画像例
　これらの２つの画像撮影例を示している。ユーザ（画像撮影者）は、図５（ｂ）に示すように、特定の被写体、例えば人の領域のみを撮影範囲として限定した画像を撮影したい場合がある。このようにレンズレスカメラ８０の画角（ＦＯＶ）を調整して様々な領域の画像を撮影したい場合がある。
　このための処理としては、撮影画像の一部のみを切り出すことも可能であるが、その場合、解像度が低下してしまうという問題が発生する。
　また、上述したように、撮影画像として再現可能な３次元上のサンプリングポイント数Ｐを増やすことで解像度を上げるという方法もあるが、画像の再構成時間が増大するため、実用的ではないという問題がある。
　画角（ＦＯＶ）のための別の方法としては、図６に示すように、画像センサ８１とマスク８２の距離を変えて、画像センサ８１に入射する光をハードウェア的に制限する方法もある。
　図６（ａ）は、画像センサ８１とマスク８２の距離（Ｌ１）を小さく設定して、画角を大きくした設定例である。一方、図６（ｂ）は、画像センサ８１とマスク８２の距離（Ｌ２）を大きく設定して、画角を小さくした設定例である。
　画像センサ８１とマスク８２の距離（Ｌ１）を小さくした図６（ａ）の設定に対して、画像センサ８１とマスク８２の距離（Ｌ２）を大きくした図６（ｂ）の設定では、画像センサ８１に入射する光の角度が狭くなるため、撮影画像の画角が小さくなる。すなわち狭い領域の画像を撮影することができる。図６に示す制御は、望遠カメラと同じ効果を発生させるものである。
　この図６に示す例では、サンプリングポイントの位置をハードウェア的に制限されたものに限定する事で、解像度を保ったまま画角（ＦＯＶ）を狭めることが可能である。しかし、この方法はあらかじめ決められた画角を設定する事はできるが、ズームレンズを実現するためには、マスクを動かすためのハードウェアが必要となり、マスクの位置の分だけ、カメラモジュールの高さが高くなってしまうという課題がある。
　なお、複数枚のＬＣＤをセンサ前に配置する事で、任意の方向から光の透過／不透過を制御することは可能である。複数レイヤのＬＣＤを制御する事で、パンティルトや、複数のＲＯＩだけを画面上に投影させることも可能である。特許文献１には、センサ前にＭＥＭＳアレイフィルタを配置し、光の透過／不透過を切り替える事で、ＦＯＶを変える手法が示されている。しかしこれらの方法はいずれも、付加的なハードウェアを必要としており、サイズやコストの増加がまぬがれない。また、マスクとして光学的なフィルタを用いているが、透過波長域以外の対策は示されておらず、例えば、遠赤外線域に対応する適切なフィルタについては言及されていなかった。
　　［３．本開示の画像処理装置の構成と処理について］
　次に、図７以下を参照して、本開示の画像処理装置の構成と処理について説明する。
　図７は、本開示の画像処理装置１００の一構成例を示す図である。画像処理装置１００は、レンズレスカメラ（レンズレス撮像装置）１０２の撮影画像を入力して、所定の画角（ＦＯＶ：Ｆｉｅｌｄ　Ｏｆ　Ｖｉｅｗ）に設定された復元画像を生成して出力する信号処理部１０１を有する。
　例えば、信号処理部１０１は、レンズレスカメラ１０２の画像センサの出力である観測画像信号を入力して、レンズレスカメラ１０１の撮影画像領域の一部からなる復元画像領域の復元画像を生成する。
　レンズレスカメラ１０２は、図４や図６を参照して説明した画像センサ８１とマスク８２によって構成されるカメラである。なお、図６を参照して説明したような画像センサ８１とマスク８２との距離を制御可能な構成ではなく、画像センサ８１とマスク８２との距離は固定されている。
　信号処理部１０１は、レンズレスカメラ１０２の出力である撮影画像（観測値ｙａｌｌ）を入力する。撮影画像（観測値ｙａｌｌ）は、レンズレスカメラ１０２のマスクを介して受光する受光量に応じた画像センサ上の画素値である。
　信号処理部１０１は、この入力画像（撮影画像（観測値ｙａｌｌ））に対する信号処理を実行して、所定の画角（ＦＯＶ：Ｆｉｅｌｄ　Ｏｆ　Ｖｉｅｗ）に設定された復元画像（ｘ＾ｒｏｉ）を出力する。なお、（ｘ＾）は、ｘの上部に（＾）が設定された文字を意味する。以下の説明においても同様である。他の文字でも同様であり、例えば（ｙ＾）は、ｙの上部に（＾）が設定された文字を意味する。
　画角（ＦＯＶ）は、ユーザが自由に設定可能である。レンズレスカメラ１０２の出力である撮影画像（観測値ｙａｌｌ）１１０は、ユーザの設定する画角とは無関係の１つの固定された画角での撮影画像である。
　信号処理部１０１は、
　（入力１）レンズレスカメラ１０２の出力である撮影画像（観測値ｙａｌｌ）１１０、
　（入力２）出力する復元画像（ｘ＾ｒｏｉ）の画角設定情報に相当する「復元画像領域対応ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）情報」Ｒｒｏｉ、
　これらの情報を入力して、
　（出力１）所定の画角（ＦＯＶ）に設定された復元画像（ｘ＾ｒｏｉ）、
　この出力情報を生成して出力する。
　出力データである復元画像（ｘ＾ｒｏｉ）に示す（ｘ＾ｒｏｉ）は、所定の画角内の撮影シーン（ＲＯＩ）に含まれるサンプリングポイントｘ各々の放射光に相当する。すなわち復元画像（ｘ＾ｒｏｉ）は、撮影シーンの被写体像を再現した画像であり、通常のレンズありカメラによって撮影された画像と同様の画像である。
　信号処理部１０１は、
　撮影画像領域対応ＲＯＩ情報（Ｒａｌｌ）１０４、
　マスク情報（ＩＭ）１０５、
　カメラ構成情報（ＩＣ）１０６、
　これらの情報を記憶部に保持している。なお、図７では、これらの情報を格納した記憶部を信号処理部１０１内部に示しているが、これらの記憶部は信号処理部１０１の外部に設定してもよい。
　さらに、データ処理部として、
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７、
　復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８、
　画像推定部１０９を有する。
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７は、レンズカメラ１０２の画像センサに撮影される撮影画像全体（全ＲＯＩ）に対応するマスクマトリックス（Ｍａｌｌ）を計算する。マスクマトリックス（Ｍａｌｌ）は、先に説明したマスクの透過関数を表すマトリックスである。
　すなわち、撮影対象領域の３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの画像センサの観測値を長さＮのシーン観測値ベクトルｙとして表現した場合の関係式、
　ｙ＝Ｍｘ
　この関係式を満たすマスクの透過関数を表すマトリックスである。
　一方、復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８は、レンズカメラ１０２の画像センサに撮影される撮影画像全体（全ＲＯＩ）ではなく、出力データである復元画像（ｘ＾ｒｏｉ）に対応するマスクマトリックス（Ｍｒｏｉ）を計算する。すなわち、レンズレスカメラ１０２の撮影画像領域の一部からなる復元画像領域の復元画像を生成するために適用する復元画像領域対応マスクマトリックスを計算する。
　例えば、図８に示すように、レンズレスカメラ１０２は、固定された画角で撮影画像領域（全ＲＯＩ）１２１の画像を撮影する。ここで、信号処理部１０１の出力する画像は、復元画像領域（復元ＲＯＩ）１２２に示す限定された領域の画像であるとする。なお、図８に示す各領域は、３次元領域である。
　この３次元領域は、上記の関係式、
　ｙ＝Ｍｘ
　この関係式のシーン放射光ベクトルｘが計測されるサンプリングポイントの設定領域に相当する。撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７は、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１にサンプリングポイントを配置したと仮定した場合の、
　ｙ＝Ｍｘ
　上記関係式に適用可能なマスクの透過関数を表すマスクマトリックス（Ｍａｌｌ）を算出する。このように、撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７は、撮影画像領域（全ＲＯＩ）１２１に対応するマスクマトリックス（Ｍａｌｌ）を計算する。
　一方、復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８は、復元画像領域（復元ＲＯＩ）１２２に対応するマスクマトリックス（Ｍｒｏｉ）を計算する。すなわち、、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２にサンプリングポイントを配置したと仮定した場合の、
　ｙ＝Ｍｘ
　上記関係式に適用可能なマスクの透過関数を表すマスクマトリックス（Ｍｒｏｉ）を算出する。すなわち、レンズレスカメラ１０２の撮影画像領域の一部からなる復元画像領域の復元画像を生成するために適用する復元画像領域対応マスクマトリックスを計算する。
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７は、
　撮影画像領域対応ＲＯＩ情報（Ｒａｌｌ）１０４、
　マスク情報（ＩＭ）１０５、
　カメラ構成情報（ＩＣ）１０６、
　これらの情報を入力して、撮影画像領域（全ＲＯＩ）１２１に対応するマスクマトリックス（Ｍａｌｌ）を計算する。
　撮影画像領域対応ＲＯＩ情報（Ｒａｌｌ）１０４は、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１の設定範囲情報である。さらに、この設定範囲におけるサンプリングポイントの数（Ｐ）やサンプリングポイント設定位置（ｘ）情報も記録される。マスク情報（ＩＭ）１０５は、マスクの光の透過領域と不透過領域からなる２次元パターン情報等である。
　カメラ構成情報（ＩＣ）１０６は、マスクと画像センサに関する情報であり、例えば、マスクサイズ、画像センササイズ、画像センサ画素数（Ｎ）、マスクとセンサ間の距離情報等である。さらに、撮影画像領域内に設定されるサンプリングポイントの数（Ｐ）やサンプリングポイント設定位置（ｘ）情報についても記録される。
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７は、これらの情報を入力して、撮影画像領域（全ＲＯＩ）１２１に対応するマスクマトリックス（Ｍａｌｌ）を計算する。
　一方、復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８は、復元画像領域（復元ＲＯＩ）１２２に対応するマスクマトリックス（Ｍｒｏｉ）を計算する。復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８は、
　復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３、
　マスク情報（ＩＭ）１０５、
　カメラ構成情報（ＩＣ）１０６、
　これらの情報を入力して、復元画像領域（復元ＲＯＩ）１２２に対応するマスクマトリックス（Ｍｒｏｉ）を計算する。
　復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３は、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２の設定範囲情報である。さらに、この設定範囲におけるサンプリングポイントの数（Ｐ）やサンプリングポイント設定位置（ｘ）情報も記録される。この復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３は、ユーザが自由に設定可能な復元画像領域に関する情報であり、ユーザは、図示しない入力部を介して、復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３の書き込みや更新を行うことが可能である。
　マスク情報（ＩＭ）１０５は、マスクの光の透過領域と不透過領域からなる２次元パターン情報等である。カメラ構成情報（ＩＣ）１０６は、マスクと画像センサの距離、画像センサの画素数（Ｎ）情報等である。復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８は、これらの情報を入力して、復元画像領域（復元ＲＯＩ）１２２に対応するマスクマトリックス（Ｍａｌｌ）を計算する。
　なお、
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７、
　復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８、
　これらのマスクマトリックス計算部の実行するマスクマトリックス計算処理の詳細シーケンスについては、図９に示すフローチャートを参照して後段において詳細に説明する。
　画像推定部１０９は、以下の各情報を入力する。（ａ）レンズレスカメラ１０２の出力である撮影画像（観測値ｙａｌｌ）、
　（ｂ）マスク情報（ＩＭ）１０５、
　（ｃ）カメラ構成情報（ＩＣ）１０６、
　（ｄ）撮影画像領域対応ＲＯＩ情報（Ｒａｌｌ）１０４、
　（ｅ）復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３、
　（ｆ）撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７の算出した撮影画像領域対応マスクマトリックス（Ｍａｌｌ）、
　（ｇ）復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８の算出した復元画像領域対応マストマトリックス（Ｍｒｏｉ）、
　画像推定部１０９は、これらの各情報を入力して、所定の画角（ＦＯＶ：Ｆｉｅｌｄ　Ｏｆ　Ｖｉｅｗ）に設定された復元画像（ｘ＾ｒｏｉ）を出力する。出力データである復元画像（ｘ＾ｒｏｉ）に示す（ｘ＾ｒｏｉ）は、所定の画角内の撮影シーン（ＲＯＩ）、例えば図８に示す復元画像領域（復元ＲＯＩ）１２２に含まれるサンプリングポイントｘ各々の放射光を意味する。
　画像推定部１０９は、例えば、レンズレスカメラ１０２の画像センサの出力である観測画像信号から、復元画像領域に含まれない復元画像領域外観測画像信号を減算して、復元領域内観測画像信号を算出し、
　復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列または逆行列との演算処理により、レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する。画像推定部１０９の実行する復元画像生成処理の詳細シーケンスについては、図１０に示すフローチャートを参照して後段において詳細に説明する。
　　［４．マスクマトリックス計算部におけるマスクマトリックス計算処理の詳細シーケンスについて］
　次に、図９に示すフローチャートを参照して、
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７、
　復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８、
　これらのマスクマトリックス計算部の実行するマスクマトリックス計算処理の詳細シーケンスについて説明する。
　なお、先に説明したように、
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７は、例えば図８に示す撮影画像領域（全ＲＯＩ）１２１に対応するマスクマトリックス（Ｍａｌｌ）を計算する。復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８は、例えば図８に示す復元画像領域（復元ＲＯＩ）１２２に対応するマスクマトリックス（Ｍａｌｌ）を計算する。それぞれ、対応領域が異なるのみであり、基本的な処理シーケンスは同じである。図９に示すステップＳ１０３のＲＯＩ情報の取得処理において、取得する情報が異なるのみである。詳細は、以下の各ステップの説明中で説明する。以下、図９に示すフローチャートの各ステップの処理について、順次、説明する。
　　（ステップＳ１０１）
　信号処理部１０１の
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７、
　復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８、
　これらは、まず、ステップＳ１０１において、マスク情報ＩＭを取得する。なお、以下では、
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７、
　復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８、
　これら２つのマスクマトリックス計算部を単にマスクマトリックス計算部として説明する。
　ステップＳ１０１において取得するマスク情報ＩＭは、先に説明したように、マスクの光の透過領域と不透過領域からなる２次元パターン情報等である。
　　（ステップＳ１０２）
　次に、マスクマトリックス計算部は、ステップＳ１０２において、カメラ構成情報ＩＣを取得する。カメラ構成情報ＩＣは、マスクと画像センサに関する情報であり、例えば、マスクサイズ、画像センササイズ、画像センサ画素数（Ｎ）、マスクとセンサ間の距離情報等である。
　　（ステップＳ１０３）
　次に、マスクマトリックス計算部は、ステップＳ１０３において、ＲＯＩ情報を取得する。このステップＳ１０３の処理は、
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７、
　復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８、
　これらの２つのマスクマトリックス計算部において異なる処理を実行することになる。
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７は、図７に示す撮影画像領域対応ＲＯＩ情報（Ｒａｌｌ）１０４を取得する。画像領域対応ＲＯＩ情報（Ｒａｌｌ）１０４は、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１の設定範囲情報、サンプリングポイントの数（Ｐ）、設定位置（ｘ）情報等である。すなわち、レンズレスカメラ１０２の画像センサが図８に示す撮影画像領域（全ＲＯＩ）１２１におけるサンプリングポイントの放射光を撮像したと仮定した場合のＲＯＩ情報である撮影画像領域対応ＲＯＩ情報（Ｒａｌｌ）１０４を取得する。
　一方、復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８は、図７に示す復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３を取得する。復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３は、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２の設定範囲情報、サンプリングポイントの数（Ｐ）、設定位置（ｘ）情報等である。すなわち、レンズレスカメラ１０２の画像センサが図８に示す図８に示す復元画像領域（復元ＲＯＩ）１２２におけるサンプリングポイントの放射光を撮像したと仮定した場合のＲＯＩ情報である復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３を取得する。
　なお、サンプリングポイントの数（Ｐ）、設定位置（ｘ）情報は、カメラ構成情報Ｉｃ１０６から取得することも可能である。
　　（ステップＳ１０４）
　次に、マスクマトリックス計算部は、ステップＳ１０４において、センサ画素数Ｎと、サンプリングポイントの位置ｘと、サンプリングポイント数Ｐを利用して、Ｐ×ＮのマトリックスＭを用意し、初期化する。すなわち、
　センサ画素数（Ｎ）と、
　サンプリングポイント数（Ｐ）によって規定される
　Ｐ×Ｎの要素（行列要素）からなるマトリックス（行列）を生成する。なお、各要素の初期値は例えば０とする。
　なお、ここで、
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７と、
　復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８との生成するマトリックスは異なるマトリックスである。
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７は、例えば図８に示す撮影画像領域（全ＲＯＩ）１２１に対応するマスクマトリックス（Ｍａｌｌ）を計算するために、図８に示す撮影画像領域（全ＲＯＩ）１２１にサンプリングポイントを設定したと仮定して、そのサンプリングポイント数Ｐと、センサ画素数ＮのＰ×Ｎの要素（行列要素）からなるマトリックス（行列）を生成する。
　一方、復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８は、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２に対応するマスクマトリックス（Ｍｒｏｉ）を計算するために、図８に示す復元画像領域（復元ＲＯＩ）１２２にサンプリングポイントを設定したと仮定して、そのサンプリングポイント数Ｐと、センサ画素数ＮのＰ×Ｎの要素（行列要素）からなるマトリックス（行列）を生成する。
　なお、
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７と、
　復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８との生成するＰ×Ｎの要素からなるマトリックスにおいて、
　センサ画素数Ｎは、レンズレスカメラ１０２の画像センサの画素数（Ｎ）であり同一である。
　一方、サンプリングポイント数Ｐは、それぞれ自由に設定可能である。例えば、撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７と、復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８との生成するＰ×Ｎの要素からなるマトリックスのサンプリングポイント数Ｐを、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１と、復元画像領域（復元ＲＯＩ）１２２の領域の大きさに比例した設定としてもよいし、いずれも同一のサンプリングポイント数Ｐとしてもよい。
　同一のサンプリングポイント数Ｐとした場合、復元画像領域（復元ＲＯＩ）１２２の復元画像は、サンプリングポイント数Ｐを領域の大きさに比例した設定とした場合に比較して高解像度の画像とすることができる。前述したように、復元画像の解像度はサンプリングポイント数Ｐを増加させることで向上させることができる。すなわち、図８に示す復元画像領域（復元ＲＯＩ）１２２内に高密度な多くのサンプリングポイントを設定することで、復元画像の解像度を向上させることができる。
　　（ステップＳ１０５～Ｓ１０６）
　ステップＳ１０５以下の処理は、ステップＳ１０４において生成したマトリックスの各要素の値の設定処理である。
　まず、ステップＳ１０５～Ｓ１０６において、値の設定対象とするマトリックスの要素（行列要素）を選択する。最初は、ステップＳ１０５～Ｓ１０６において、Ｐ×Ｎのマトリックスの左上端の要素（ｐ＝０，ｎ＝０）を選択する。なお、ｐ，ｎは、Ｐ×Ｎのマトリックスの要素識別インデックスである。
　　（ステップＳ１０７）
　次に、マスクマトリックス計算部は、ステップＳ１０７おいて、ｐ番目のサンプリングポイントｘ（ｐ）の光が、マスクを通してセンサ上に投影される時のｎ画素目のセンサ画素値（ｙ）を求める。この画素値算出処理は、シミュレーション処理、あるいは実測処理によって行うことが可能である。
　　（ステップＳ１０８）
　次に、マスクマトリックス計算部は、ステップＳ１０８おいて、ステップの処理Ｓ１０７で算出したセンサ画素値（ｙ）、
　すなわち、ｐ番目のサンプリングポイントｘ（ｐ）の光が、マスクを通してセンサ上に投影される時のｎ画素目のセンサ画素値（ｙ）の値を適用して、
　Ｐ×Ｎのマスクマトリックスの選択要素（ｐ＝０，ｎ＝０）の値として、
　ｙ／ｘ（ｐ）
　を設定する。
　この設定値は、先に説明した関係式、すなわち、撮影対象領域の３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの画像センサの観測値を長さＮのシーン観測値ベクトルｙとした場合の関係式、
　ｙ＝Ｍｘ
　この関係式に従った設定値である。
　　（ステップＳ１０９～Ｓ１１２）
　ステップＳ１０９～Ｓ１１４は、値の設定対象とするマトリックスの要素（行列要素）の更新処理と、処理終了判定処理である。ステップＳ１０９で、行列要素インデックスｎを１つインクリメントして、
　ステップＳ１１０で、
　ｎ＜Ｎ
　を判定し、
　ｎ＜Ｎ
　であれば、
　新たな行列要素（ｐ，ｎ）について、ステップＳ１０７～Ｓ１０８の処理を実行して、新たな行列要素（ｐ，ｎ）の値を決定する。
　さらに、
　ステップＳ１１１で、行列要素インデックスｐを１つインクリメントして、
　ステップＳ１１２で、
　ｐ＜Ｐ
　を判定し、
　ｐ＜Ｐ
　であれば、
　新たな行列要素（ｐ，ｎ）について、ステップＳ１０７～Ｓ１０８の処理を実行して、新たな行列要素（ｐ，ｎ）の値を決定する。
　最終的にステップＳ１１２において、
　ｐ＜Ｐ
　上記式を満足しないと判定されると、Ｐ×Ｎのマトリックスのすべての要素の値が決定され、マトリックスが完成する。
　このフローによって生成されるマスクマトリックスは、
　先に説明した関係式、すなわち、撮影対象領域の３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの画像センサの観測値を長さＮのシーン観測値ベクトルｙとした場合の関係式、
　ｙ＝Ｍｘ
　この関係式に従ったマスクマトリックスである。
　なお、撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７が、このフローに従って生成するマスクマトリックスは、撮影画像領域対応マスクマトリックス（Ｍａｌｌ）であり、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１に設定したＰ個のサンプリングポイントの放射光をレンズレスカメラ１０２の画像センサが受光したと仮定した場合のセンサ画素値（ｙ）との関係式、
　ｙ＝Ｍｘ
　この関係式を満たす撮影画像領域対応マスクマトリックス（Ｍａｌｌ）である。
　一方、復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８が、このフローに従って生成するマスクマトリックスは、復元画像領域対応マストマトリックス（Ｍｒｏｉ）であり、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２に設定したＰ個のサンプリングポイントの放射光をレンズレスカメラ１０２の画像センサが受光したと仮定した場合のセンサ画素値（ｙ）との関係式、
　ｙ＝Ｍｘ
　この関係式を満たす復元画像領域対応マストマトリックス（Ｍｒｏｉ）である。
　　［５．画像推定部における画像推定処理の詳細シーケンスについて］
　次に、図１０に示すフローチャートを参照して、
　画像推定部１０９における画像推定処理の詳細シーケンスについて説明する。
　先に図７を参照して説明したように、画像推定部１０９は、
　（ａ）レンズレスカメラ１０２の出力である撮影画像（観測値ｙａｌｌ）、
　（ｂ）マスク情報（ＩＭ）１０５、
　（ｃ）カメラ構成情報（ＩＣ）１０６、
　（ｄ）撮影画像領域対応ＲＯＩ情報（Ｒａｌｌ）１０４、
　（ｅ）復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３、
　（ｆ）撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７の算出した撮影画像領域対応マスクマトリックス（Ｍａｌｌ）、
　（ｇ）復元画像領域対応マストマトリックス（Ｍｒｏｉ）計算部１０８の算出した復元画像領域対応マストマトリックス（Ｍｒｏｉ）、
　画像推定部１０９は、これらの各情報を入力して、所定の画角（ＦＯＶ：Ｆｉｅｌｄ　Ｏｆ　Ｖｉｅｗ）に設定された復元画像（ｘ＾ｒｏｉ）を出力する。出力データである復元画像（ｘ＾ｒｏｉ）に示す（ｘ＾ｒｏｉ）は、所定の画角内の撮影シーン（ＲＯＩ）、例えば図８に示す復元画像領域（復元ＲＯＩ）１２２に含まれるサンプリングポイントｘ各々の放射光を意味する。
　先に説明したように、画像推定部１０９は、例えば、復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列または逆行列との演算処理により、レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する。
　以下、図１０に示すフローチャートの各ステップの処理について、順次、説明する。
　　（ステップＳ２０１）
　信号処理部１０１の画像推定部１０９は、まず、ステップＳ２０１において、マスク情報ＩＭを取得する。ステップＳ２０１において取得するマスク情報ＩＭは、先に説明したように、マスクの光の透過領域と不透過領域からなる２次元パターン情報等である。
　　（ステップＳ２０２）
　次に、画像推定部１０９は、ステップＳ２０２において、カメラ構成情報ＩＣを取得する。カメラ構成情報ＩＣは、マスクと画像センサに関する情報であり、例えば、マスクサイズ、画像センササイズ、画像センサ画素数（Ｎ）、マスクとセンサ間の距離情報等である。
　　（ステップＳ２０３）
　次に、画像推定部１０９は、ステップＳ２０３において、ＲＯＩ情報を取得する。このステップＳ２０３において、画像推定部１０９は、図７に示す撮影画像領域対応ＲＯＩ情報（Ｒａｌｌ）１０４と、復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３を取得する。画像領域対応ＲＯＩ情報（Ｒａｌｌ）１０４は、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１におけるサンプリングポイントの設定位置（ｘ）情報である。
　すなわち、レンズレスカメラ１０２の画像センサが図８に示す撮影画像領域（全ＲＯＩ）１２１におけるサンプリングポイントの放射光を撮像したと仮定した場合のＲＯＩ情報である。ＲＯＩ情報は、再現する３次元領域の内、どの領域を再現するかの範囲を示した情報である。
　一方、復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３は、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２におけるサンプリングポイントの設定位置（ｘ）情報である。すなわち、レンズレスカメラ１０２の画像センサが図８に示す復元画像領域（復元ＲＯＩ）１２２におけるサンプリングポイントの放射光を撮像したと仮定した場合のＲＯＩ情報である。
　このように、画像推定部１０９は、ステップＳ２０３において、
　図７に示す撮影画像領域対応ＲＯＩ情報（Ｒａｌｌ）１０４と、復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３を取得する。
　　（ステップＳ２０４）
　次に、画像推定部１０９は、ステップＳ２０４において、センサ画素数Ｎを取得する。すなわち、レンズレスカメラ１０２の画像センサのセンサ画素数（Ｎ）を取得する。この情報は、例えば、図７に示すカメラ構成情報ＩＣ１０６から取得する。
　　（ステップＳ２０５）
　次に、画像推定部１０９は、ステップＳ２０５において、サンプリングポイントの位置ｘと、ポイント数Ｐを取得する。
　すなわち、
　サンプリングポイント数（Ｐ）と、
　各サンプリングポイントの位置（ｘ）、
　を取得する。
　なお、これらの情報は、例えば、
　カメラ構成情報（Ｉｃ）１０６、
　撮影画像領域対応ＲＯＩ情報（Ｒａｌｌ）１０４、
　復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３、
　これらのいずれから各々取得する。
　撮影画像領域対応ＲＯＩ情報（Ｒａｌｌ）１０４からは、撮影画像領域内のサンプリングポイント数（Ｐ）と、各サンプリングポイントの位置（ｘ）を取得する。具体的には、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１に設定されたサンプリングポイントの数（Ｐ）と、位置（ｘ）を取得する。また、復元画像領域対応ＲＯＩ情報（Ｒｒｏｉ）１０３からは、復元画像領域内のサンプリングポイント数（Ｐ）と、各サンプリングポイントの位置（ｘ）を取得する。具体的には、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２に設定されたサンプリングポイントの数（Ｐ）と、位置（ｘ）を取得する。
　　（ステップＳ２０６～Ｓ２０７）
　次に、画像推定部１０９は、ステップＳ２０６において、撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７の算出した撮影画像領域対応マスクマトリックス（Ｍａｌｌ）の疑似逆行列（Ｍ＋ ａｌｌ）を算出する。さらに、ステップＳ２０７において、ステップＳ２０６で求めた疑似逆行列（Ｍ＋ ａｌｌ）を利用して、サンプリングポイントの放射光推定値（ｘ＾ａｌｌ）を算出する。サンプリングポイントの放射光推定値（ｘ＾ａｌｌ）は、撮影シーン、例えば図８に示す撮影画像領域（全ＲＯＩ）１２１に含まれるサンプリングポイントｘ各々の放射光を意味する。
　サンプリングポイントの放射光推定値（ｘ＾ａｌｌ）の算出処理の具体例について、図１１を参照して説明する。
　図１１には、
　（ａ）２次元平面データとして表現した撮影画像領域ＲＯＩ（Ｒａｌｌ）２０１、
　（ｂ）撮影画像領域ＲＯＩ（Ｒａｌｌ）２０１に設定されたサンプリングポイントの放射光（ｘ＾ａｌｌ）２０４、
　（ｃ）撮影画像領域対応マスクマトリックス（Ｍａｌｌ）２０２を持つマスク、
　（ｄ）撮影画像領域ＲＯＩ（Ｒａｌｌ）２０１に設定されたサンプリングポイントの放射光（ｘ＾ａｌｌ）２０４を画像センサによって受光した場合のセンサ観測値（画素値）（ｙａｌｌ）２０３、
　これらを示している。
　すなわち、２次元平面データとして表現した撮影画像領域ＲＯＩ（Ｒａｌｌ）２０１に設定されたサンプリングポイントの放射光（ｘ＾ａｌｌ）２０４を、撮影画像領域対応マスクマトリックス（Ｍａｌｌ）２０２を持つマスクを介して画像センサによって受光した場合のセンサ観測値（画素値）（ｙａｌｌ）２０３を示している。なお、撮影画像領域ＲＯＩ（Ｒａｌｌ）は、本来、図８を参照して説明したように、３次元領域として設定されるが、３次元領域内の光は、画像センサに平行な２次元平面を通過して、画像センサに入力する。従って、３次元領域として構成される撮影画像領域ＲＯＩ（Ｒａｌｌ）は、図１１に示すような２次元平面データとして表現した撮影画像領域ＲＯＩ（Ｒａｌｌ）２０１に変換して表現することが可能である。放射光を出力するサンプリングポイントも、この２次元平面データとして表現した撮影画像領域ＲＯＩ（Ｒａｌｌ）２０１内に設定して表現できる。
　図１１に示すセンサ観測値（画素値）（ｙａｌｌ）２０３は、２次元平面データとして表現した撮影画像領域ＲＯＩ（Ｒａｌｌ）２０１内に設定されるサンプリングポイントの各位置（ｘａｌｌ）からの光、すなわちサンプリングポイントの放射光（ｘ＾ａｌｌ）２０４がマスクを通って写像された値である。従って、
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）２０２と、
　センサ観測値（画素値）（ｙａｌｌ）２０３、
　これらの値があれば、サンプリングポイントの放射光（ｘ＾ａｌｌ）２０４の推定値を以下に示す算出処理（処理ａ，ｂ）によって求めることができる。
　（処理ａ）
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）計算部１０７の算出した撮影画像領域対応マスクマトリックス（Ｍａｌｌ）の疑似逆行列（Ｍ＋ ａｌｌ）を、以下の（式１）に従って算出する。
Figure JPOXMLDOC01-appb-M000001
　なお、
　Ｍ＋ ａｌｌは、撮影画像領域対応マスクマトリックス（Ｍａｌｌ）の疑似逆行列、
　ＭＴ ａｌｌは、撮影画像領域対応マスクマトリックス（Ｍａｌｌ）の転置行列を示す。また、
　（ＭＴ ａｌｌＭａｌｌ）－１は、（ＭＴ ａｌｌＭａｌｌ）の逆行列を意味する。
　　（処理ｂ）
　撮影画像領域対応マスクマトリックス（Ｍａｌｌ）の疑似逆行列（Ｍ＋ ａｌｌ）と、
　センサ観測値（画素値）（ｙａｌｌ）２０３、
　これらの値から、サンプリングポイントの放射光（ｘ＾ａｌｌ）２０４の推定値を以下の（式２）を用いて算出する。
Figure JPOXMLDOC01-appb-M000002
　上記（式２）は、先に説明した関係式、すなわち、撮影対象領域の３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの画像センサの観測値を長さＮのシーン観測値ベクトルｙとした場合の関係式、
　ｙ＝Ｍｘ
　この関係式を、行列Ｍの疑似逆行列（Ｍ＋）を用いて表現した式に相当する。
　　（ステップＳ２０８～Ｓ２０９）
　次に、画像推定部１０９は、ステップＳ２０８において、サンプリングポイントの放射光（ｘ＾ａｌｌ）２０４のうち、復元画像領域ＲＯＩ（Ｒｒｏｉ）に含まれないものを抽出し、これらを、復元画像領域ＲＯＩ（Ｒｒｏｉ）外サンプリングポイント放射光推定値（ｘ＾ｏｕｔ）とする
　さらに、ステップＳ２０９において、復元画像領域ＲＯＩ（Ｒｒｏｉ）外サンプリングポイント放射光推定値（ｘ＾ｏｕｔ）に対応する観測値（ｙ＾ｏｕｔ）を求める。
　図１２に復元画像領域ＲＯＩ（Ｒｒｏｉ）２１１の設定例を示す。復元画像領域ＲＯＩ（Ｒｒｏｉ）２１１は、撮影画像領域ＲＯＩ（Ｒａｌｌ）内に自由に設定可能である。なお、図１２では、復元画像領域ＲＯＩ（Ｒｒｏｉ）２１１も、撮影画像領域ＲＯＩ（Ｒａｌｌ）と同様、２次元データとして示している。
　ステップＳ２０８～Ｓ２０９の処理の詳細について説明する。ステップＳ２０８では、先に説明した（式２）、すなわち、サンプリングポイント放射光推定値（ｘ＾ａｌｌ）の算出式に従って算出したサンプリングポイント放射光推定値（ｘ＾ａｌｌ）のうち、図１２に示す復元画像領域ＲＯＩ（Ｒｒｏｉ）２１１に含まれないサンプリングポイントを抽出し、これらを、復元画像領域ＲＯＩ（Ｒｒｏｉ）外サンプリングポイント放射光推定値（ｘ＾ｏｕｔ）とする。
　次に、ステップＳ２０９において、復元画像領域ＲＯＩ（Ｒｒｏｉ）外サンプリングポイント放射光推定値（ｘ＾ｏｕｔ）に対応する観測値（ｙ＾ｏｕｔ）を、以下の（式３）を用いて算出する。
Figure JPOXMLDOC01-appb-M000003
　上記式は、先に説明した関係式、すなわち、撮影対象領域の３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの画像センサの観測値を長さＮのシーン観測値ベクトルｙとした場合の関係式、
　ｙ＝Ｍｘ
　この関係式に対応する式である。
　図１３は、ステップＳ２０９において算出される復元画像領域ＲＯＩ（Ｒｒｏｉ）外サンプリングポイント放射光推定値（ｘ＾ｏｕｔ）に対応する観測値（ｙ＾ｏｕｔ）を示す図である。
　図１３には、撮影画像領域ＲＯＩ（Ｒａｌｌ）２０１から、復元画像領域ＲＯＩ（Ｒｒｏｉ）２１１を除いた復元画像領域ＲＯＩ（Ｒｒｏｉ）外サンプリングポイント放射光（ｘ＾ｏｕｔ）２１２を示している。これらの復元画像領域ＲＯＩ（Ｒｒｏｉ）外サンプリングポイント放射光（ｘ＾ｏｕｔ）２１２に対応する観測値（ｙ＾ｏｕｔ）が、図１３に示す復元画像領域ＲＯＩ（Ｒｒｏｉ）外推定センサ観測値（ｙ＾ｏｕｔ）２１３となる。
　　（ステップＳ２１０）
　次に、画像推定部１０９は、ステップＳ２１０において、復元画像領域ＲＯＩ（Ｒｒｏｉ）内のサンプリングポイントの放射光（ｘ＾ｒｏｉ）推定値を求める。
　まず、
　（ａ）図１１を参照して説明したセンサ観測値、すなわち、撮影画像領域ＲＯＩ（Ｒａｌｌ）２０１に設定されたサンプリングポイントの放射光（ｘ＾ａｌｌ）２０４を画像センサによって受光した場合のセンサ観測値（画素値）（ｙａｌｌ）２０３から、
　（ｂ）ステップＳ２０９において算出した復元画像領域ＲＯＩ（Ｒｒｏｉ）外サンプリングポイント放射光推定値（ｘ＾ｏｕｔ）に対応する観測値（ｙ＾ｏｕｔ）を、
　差し引く。すなわち、
　（ｙａｌｌ）－（ｙ＾ｏｕｔ）
　この減算処理によって、復元画像領域ＲＯＩ（Ｒｒｏｉ）内のサンプリングポイントからの光を観測した場合の観測値（ｙ＾ｒｏｉ）が得られる。
　次に、復元画像領域ＲＯＩ（Ｒｒｏｉ）内のサンプリングポイントの放射光（ｘ＾ｒｏｉ）推定値を以下の（式４）に従って算出する。
Figure JPOXMLDOC01-appb-M000004
　図１４は、復元画像領域ＲＯＩ（Ｒｒｏｉ）内のサンプリングポイントの放射光（ｘ＾ｒｏｉ）推定値を算出する処理について説明する図である。図１４には、撮影画像領域ＲＯＩ（Ｒａｌｌ）２０１内に設定された復元画像領域ＲＯＩ（Ｒｒｏｉ）２１１内のサンプリングポイントの放射光、すなわち、復元画像領域ＲＯＩ（Ｒｒｏｉ）内サンプリングポイント放射光（ｘ＾ｒｏｉ）２２１と、この放射光を復元画像領域対応マスクマトリックス（Ｍｒｏｉ）２２２によって規定されるマスクを介して受光する画像センサの観測値、すなわち、復元画像領域ＲＯＩ（Ｒｒｏｉ）推定センサ観測値（ｙ＾ｒｏｉ＝ｙａｌｌ－ｙ＾ｏｕｔ）２２３、これらを示している。
　このように、画像推定部１０９は、上記（式４）に従って、復元画像領域ＲＯＩ（Ｒｒｏｉ）内のサンプリングポイントの放射光（ｘ＾ｒｏｉ）推定値を求める。この推定値は、すなわち、復元画像領域ＲＯＩ（Ｒｒｏｉ）内の被写体を示す画像（復元画像）の画素値に相当する。
　上述したように、画像推定部１０９は、以下の処理によってレンズレスカメラ１０２の撮影画像領域の一部からなる復元画像領域の復元画像を生成する。
　（Ｓ２０６）レンズレスカメラ１０２の撮像範囲全体の復元画像の生成に適用する撮影画像領域対応マスクマトリックスの疑似逆行列を算出し、
　（Ｓ２０７）撮影画像領域対応マスクマトリックスの疑似逆行列と、観測画像信号から、撮影画像領域内のサンプリングポイントの放射光推定値を算出し、
　（Ｓ２０８～Ｓ２１０）レンズレスカメラ１０２の画像センサの出力である観測画像信号から、復元画像領域に含まれない復元画像領域外観測画像信号を減算して、復元領域内観測画像信号を算出し、復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列との演算処理により、レンズレスカメラ１０２の撮影画像領域の一部からなる復元画像領域の復元画像を生成する。
　なお、これらの処理において利用する疑似逆行列は、逆行列であってもよい。
　　［６．サンプリングポイント設定例と画像生成例について］
　先に説明した図１１～図１４では、説明を理解し易くするため、撮影画像領域ＲＯＩ（Ｒａｌｌ）や復元画像領域ＲＯＩ（Ｒｒｏｉ）を２次元平面データとして示して説明した。先に説明したようにこれらの領域は実際の３次元空間として表現してもよい。一般的には、サンプリングポイントは任意の３次元位置に配置する事ができる。図１５は、３次元上のサンプリングポイントの輝度値から２次元画像を再構成する方法の一例を示す図である。
　仮想ピンホールレンズ３０１と、仮想センサ面３０２を用意し、サンプリングポイント３０５，３０６，３０７からの光、すなわち、
　ｘ＾ａｌｌ（ｐ１）、
　ｘ＾ａｌｌ（ｐ２）、
　ｘ＾ａｌｌ（ｐ３）、
　これらの光が仮想ピンホールレンズ３０１を通って仮想センサ面３０２と交差する。
　仮想センサ面３０２上の仮想センサ画素３０３，３０４，３０５それぞれには、入射光に応じた観測値（画素値）、すなわち、
　仮想センサ画素ｙ（ｐ１）３０３、
　仮想センサ画素ｙ（ｐ２）３０４、
　仮想センサ画素ｙ（ｐ３）３０５、
　これらの観測値（画素値）が得られる。この場合、サンプリングポイントの距離によらず全てにピントの合った画像が再現される。
　また、奥行き方向にレンズぼけが発生するような画像を再構成する方法の一例を、図１６に示す。図１６には、仮想レンズ３１１、仮想センサ面３１３と、仮想センサ面３１３で像が焦点を結ぶ仮想平面３１２を示している。この構成で、各サンプリングポイント３１６，３１７からの光、すなわち、
　ｘ＾ａｌｌ（ｐ１）、
　ｘ＾ａｌｌ（ｐ２）、
　これらの光が仮想レンズ３１１を通して仮想センサ面３１３に写像される。この仮想センサ３１３上の画素値、すなわち、
　仮想センサ画素ｙ（ｐ１）３１４、
　仮想センサ画素ｙ（ｐ２）３１５、
　これらの値を仮想センサ面３１３上で合成することで、奥行き方向のレンズボケを持つ画像を再現できる。
　図１７に、３次元設定としたＲＯＩ領域の図を示す。ＲＯＩ領域は、３次元上の任意の位置に設定できるため、サンプリングポイントを部分的に再現することができる。例えば、図１７に示すような３次元空間に、
　撮影画像領域ＲＯＩ（Ｒａｌｌ）３２１、
　復元画像領域ＲＯＩ（Ｒｒｏｉ）３２２、
　復元画像領域外ＲＯＩ（Ｒｏｕｔ）３２３、
　これらの領域を設定し、各領域に自由にサンプリングポイントを設定することができる。
　各サンプリングポイントからの放射光は、例えば図１７に示す撮影画像領域対応マスクマトリックス（Ｍａｌｌ）３３１に従った変換特性（透過関数）を持つマスクを介して、画像センサに入射して、センサ観測値（ｙａｌｌ）３３２を観測することができる。
　例えば、図１７に示すように、復元画像領域ＲＯＩ（Ｒｒｏｉ）３２２を、人のいる領域と設定する事で、人だけを含み背景領域を除去した背景除去画像を復元画像として生成することが可能である。
　　［７．部分的に解像度を向上させた画像の生成処理例について］
　本開示の処理を行うことで、部分的に解像度を向上させた画像を生成することが可能となる。図１８を参照して、部分的に解像度を向上させた画像の生成処理について説明する。
　通常のカメラ撮影画像は、画面上のピクセルピッチが一定であり、１枚の画像上の解像度は画像のどの領域でも一定となる。本開示の処理において、例えば、サンプリングポイントを一様ではなく領域毎に密度を変えることで、領域単位で解像度を変更することが可能となる。
　例えば、図１８（ａ）に示す復元画像４０１のように、画像の一部を高解像度領域４０２に設定するといった処理が可能となる。このような画像を生成するためには、高解像度領域４０２に対応するサンプリングポイントの密度を、他の領域より高く設定すればよい。
　図１８（ｂ）にサンプリングポイントの密度を変えた例を示す。高密度ＲＯＩ４１１は他の領域に比べてサンプリングポイント４１２が密集している。サンプリングポイントは、復元画像における画素値算出位置に対応し、サンプリングポイントの密度を高くすれば、画素値密度が高くなり、結果として高解像度の画像を生成することが可能となる。
　図１９に、局所的に解像度を変更した画像の例を示す。図１９に示す例は、人のいる領域のみ解像度を上げた画像を生成する処理例である。最初にシーン全体のサンプリングポイント放射光（ｘ＾ａｌｌ）、すなわち、撮影画像領域サンプリングポイント放射光（ｘ＾ａｌｌ）４２１を推定して、撮影画像領域全体の画像を生成する。さらに、この画像から人のいる領域を検出し、この検出領域を、高解像度化領域（Ｒｒｏｉ）４２２とする。
　次に、この高解像度化領域（Ｒｒｏｉ）４２２のみ、他の領域よりサンプリングポイントの密度を上げた状態のマスクマトリックス（Ｍｒｏｉ）をシミュレーションで算出する。このマスクマトリックス（Ｍｒｏｉ）を特性（透過関数）として持つマスクを用いた場合の、サンプリングポイント放射光を算出する。この処理によって、人のいる領域のみ高解像度化した一部領域高解像度化画像４３１が生成される。
　このように、信号処理部１０９は、復元画像領域内のサンプリングポイントの密度を、レンズレスカメラ１０２による撮影画像のその他の領域のサンプリングポイントの密度より高密度に設定して処理を行うことで、復元画像領域のみを高解像度化した一部領域高解像度化画像を生成することができる。
　　［８．サンプリングポイントからの放射光を波長方向に分光する処理例について］
　次に、サンプリングポイントからの放射光を、波長方向に分光する処理例について説明する。具体的には、例えば各サンプリングポイントの放射光をＲＧＢの各色対応の波長光に分離して観測する処理である。この処理を行うことで、カラー画像を生成することが可能となる。
　図２０に、サンプリングポイントからの放射光を拡張する際の模式図を示す。Ｐ個のサンプリングポイント４７１からの放射光をＬ個の波長に分離する際、ｐ番目のサンプリングポイントから放射されるｌ（エル）番目の波長の放射光は、
　ｘｃｏｌ（ｐＬ＋ｌ）・・・（式ａ）
　と表すことができる。なお、例えばサンプリングポイントからの放射光を３個の波長（Ｒ，Ｇ，Ｂ）に分離する際にはＬ＝３、ｌ＝０～２となる。
　この放射光が、マスク４７２を介して画像センサ４７３のＮ個の構成画素のｎ番目の画素に入射して観測される観測値は、
　ｙｃｏｌ（ｎＬ＋ｌ）・・・（式ｂ）
　と表現できる。
　（式ａ）と（式ｂ）の関係は、
　ｙｃｏｌ＝Ｍｃｏｌ×ｘｃｏｌ・・・（式ｃ）
　と表すことができる。
　上記（式ｃ）において、Ｍｃｏｌは、
　画像センサ４７３の画素数（Ｎ）、
　サンプリングポイントからの放射光の分離波長光数（Ｌ）、
　サンプリングポイント数（Ｐ）、
　としたとき、
　ＮＬ×ＰＬのマトリックス（マスク４７２のマスクマトリックス）である。このマトリックスは、一つのサンプリングポイントからの異なる波長の放射光の観測値をシミュレートすることで求めることができる。
　これにより、画像センサ４７３上の観測値ｙｃｏｌから、サンプリングポイント５０１の放射光（ｘｃｏｌ）波長毎に分離した輝度を再現することができる。例えばＲＧＢ各色の出力値を取得して、カラー画像を再現することが可能となる。なお、波長と同様に、偏光に対しても同様の拡張が可能である。
　このように、信号処理部１０９は、復元画像領域内のサンプリングポイントの放射光の波長を区分して処理を行うことで、複数の異なる波長光単位の復元画像を生成することができる。また、復元画像領域内のサンプリングポイントの放射光の偏光成分を区分して処理を行うことで、複数の異なる偏光成分単位の復元画像を生成することができる。
　　［９．本開示の画像処理の効果について］
　本開示の画像処理装置による処理を行うことで、以下のような効果を奏することができる。レンズレスカメラにハードウェアを付加することなく、高画質かつ低計算量で、メカレスズーム、メカレスパン、背景除去などの機能を実現することができる。さらに、重要でない領域の解像度を下げることで、重要領域の解像度を変えることなく、計算量の削減や、逆に計算量を維持した状態での重要領域の解像度向上などを実現できる。本開示の処理は、遠赤外線画像など、可視光以外の波長を利用した画像に対しても有効である。
　　［１０．画像処理装置のハードウェア構成例について］
　次に、図２１を参照して、画像処理装置のハードウェア構成例について説明する。図２１を参照して説明するハードウェアは、先に図７を参照して説明した信号処理部１０１の処理を実行する画像処理装置のハードウェア構成の一例である。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。
　ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサなどからなる入力部５０６、ディスプレイ、スピーカーなどからなる出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。
　入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
　入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。
　　［１１．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
　前記信号処理部は、
　前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と、前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理装置。
　（２）　前記信号処理部は、
　前記復元画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する（１）に記載の画像処理装置。
　（３）　前記信号処理部は、
　前記復元画像領域内のサンプリングポイント数（Ｐ）と、前記レンズレスカメラの画素数（Ｎ）によって規定されるＰ×Ｎの前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する（１）または（２）に記載の画像処理装置。
　（４）　前記信号処理部は、
　前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列と前記観測画像信号とに基づいて算出される前記撮影画像領域内のサンプリングポイントの放射光推定値から、前記復元画像領域に含まれない観測画像信号を減算して算出される前記復元領域内の観測画像信号と、前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列との演算処理により、前記復元画像を生成する画像推定部を備える（１）～（３）いずれかに記載の画像処理装置。
　（５）　前記信号処理部は、さらに、
　前記撮影画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて撮影画像領域に適用するマトリックスを生成する撮影画像領域対応マスクマトリックス計算部を有する（１）～（４）いずれかに記載の画像処理装置。
　（６）　前記信号処理部は、
　前記復元画像領域内のサンプリングポイントの密度を、前記撮影画像のその他の領域のサンプリングポイントの密度より高密度に設定して、解像度の高い前記復元画像を生成する（１）～（５）いずれかに記載の画像処理装置。
　（７）　前記信号処理部は、
　前記復元画像領域内のサンプリングポイントの放射光の波長を区分して、複数の異なる波長光単位の復元画像を生成する（１）～（６）いずれかに記載の画像処理装置。
　（８）　前記信号処理部は、
　前記復元画像領域内のサンプリングポイントの放射光の偏光成分を区分して、複数の異なる偏光成分単位の復元画像を生成する（１）～（７）いずれかに記載の画像処理装置。
　（９）　光の透過領域と不透過領域を２次元パターンとして設定したマスクと、
　前記マスクを介した光を受光する画像センサとからなる撮像部と、
　前記画像センサの出力である観測画像信号を入力して、前記撮像部の撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
　前記信号処理部は、
　前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する、
　撮像装置。
　（１０）　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
　前記信号処理部が、
　前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理方法。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、レンズレスカメラの撮影画像の画角制御を可能とし、撮影領域の一部からなる復元画像を生成する構成が実現される。
　　８０　レンズレスカメラ
　　８１　画像センサ
　　８２　マスク
　　８３　信号処理部
　１００　画像処理装置
　１０１　信号処理部
　１０２　レンズレスカメラ
　１０３　復元画像領域対応ＲＯＩ情報
　１０４　撮影画像領域対応ＲＯＩ情報
　１０５　マスク情報
　１０６　カメラ構成情報
　１０７　撮影画像領域対応マスクマトリックス計算部
　１０８　復元画像領域対応マスクマトリックス計算部
　１０９　画像推定部
　５０１　ＣＰＵ
　５０２　ＲＯＭ
　５０３　ＲＡＭ
　５０４　バス
　５０５　入出力インタフェース
　５０６　入力部
　５０７　出力部
　５０８　記憶部
　５０９　通信部
　５１０　ドライブ
　５１１　リムーバブルメディア

Claims (10)

  1. 　レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
    　前記信号処理部は、
    　前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と、前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理装置。
  2. 　前記信号処理部は、
    　前記復元画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する請求項１に記載の画像処理装置。
  3. 　前記信号処理部は、
    　前記復元画像領域内のサンプリングポイント数（Ｐ）と、前記レンズレスカメラの画素数（Ｎ）によって規定されるＰ×Ｎの前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する請求項１に記載の画像処理装置。
  4. 　前記信号処理部は、
    　前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列と前記観測画像信号とに基づいて算出される前記撮影画像領域内のサンプリングポイントの放射光推定値から、前記復元画像領域に含まれない観測画像信号を減算して算出される前記復元領域内の観測画像信号と、前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列との演算処理により、前記復元画像を生成する画像推定部を備える請求項１に記載の画像処理装置。
  5. 　前記信号処理部は、さらに、
    　前記撮影画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて撮影画像領域に適用するマトリックスを生成する撮影画像領域対応マスクマトリックス計算部を有する請求項１に記載の画像処理装置。
  6. 　前記信号処理部は、
    　前記復元画像領域内のサンプリングポイントの密度を、前記撮影画像のその他の領域のサンプリングポイントの密度より高密度に設定して、解像度の高い前記復元画像を生成する請求項１に記載の画像処理装置。
  7. 　前記信号処理部は、
    　前記復元画像領域内のサンプリングポイントの放射光の波長を区分して、複数の異なる波長光単位の復元画像を生成する請求項１に記載の画像処理装置。
  8. 　前記信号処理部は、
    　前記復元画像領域内のサンプリングポイントの放射光の偏光成分を区分して、複数の異なる偏光成分単位の復元画像を生成する請求項１に記載の画像処理装置。
  9. 　光の透過領域と不透過領域を２次元パターンとして設定したマスクと、
    　前記マスクを介した光を受光する画像センサとからなる撮像部と、
    　前記画像センサの出力である観測画像信号を入力して、前記撮像部の撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
    　前記信号処理部は、
    　前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する、
    　撮像装置。
  10. 　画像処理装置において実行する画像処理方法であり、
    　前記画像処理装置は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
    　前記信号処理部が、
    　前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理方法。
PCT/JP2018/045005 2018-03-06 2018-12-06 画像処理装置、および撮像装置、並びに画像処理方法 WO2019171691A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020504791A JP7363765B2 (ja) 2018-03-06 2018-12-06 画像処理装置、および撮像装置、並びに画像処理方法
CN201880090500.5A CN111788824B (zh) 2018-03-06 2018-12-06 图像处理设备、成像设备以及图像处理方法
US16/976,742 US11663708B2 (en) 2018-03-06 2018-12-06 Image processing apparatus, imaging apparatus, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-039315 2018-03-06
JP2018039315 2018-03-06

Publications (1)

Publication Number Publication Date
WO2019171691A1 true WO2019171691A1 (ja) 2019-09-12

Family

ID=67847073

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045005 WO2019171691A1 (ja) 2018-03-06 2018-12-06 画像処理装置、および撮像装置、並びに画像処理方法

Country Status (4)

Country Link
US (1) US11663708B2 (ja)
JP (1) JP7363765B2 (ja)
CN (1) CN111788824B (ja)
WO (1) WO2019171691A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022080121A1 (ja) * 2020-10-16 2022-04-21 ソニーグループ株式会社 偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法
EP4131925A4 (en) * 2020-03-31 2023-09-06 Sony Group Corporation IMAGE PROCESSING DEVICE AND METHOD, PROGRAM, AND IMAGE PROCESSING SYSTEM

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008542863A (ja) * 2005-05-23 2008-11-27 キネテイツク・リミテツド 符号化開口画像システム
JP2009171191A (ja) * 2008-01-16 2009-07-30 Sanyo Electric Co Ltd 撮像装置及び撮像方法
JP2016134732A (ja) * 2015-01-19 2016-07-25 株式会社リコー 撮像装置及び撮像方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200615605A (en) * 2004-07-20 2006-05-16 Asahi Glass Co Ltd Liquid crystal lens element and optical head device
US7767949B2 (en) * 2005-01-18 2010-08-03 Rearden, Llc Apparatus and method for capturing still images and video using coded aperture techniques
US8558182B2 (en) * 2009-10-09 2013-10-15 University Of Rochester Optical element, device, method, and applications
US20120069209A1 (en) 2010-09-22 2012-03-22 Qualcomm Mems Technologies, Inc. Lensless camera controlled via mems array
JP5709040B2 (ja) * 2010-10-27 2015-04-30 株式会社リコー 分光画像撮像装置
JP2012124832A (ja) * 2010-12-10 2012-06-28 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
KR20120080845A (ko) * 2011-01-10 2012-07-18 삼성전자주식회사 광 감지 기능을 구비한 ｏｌｅｄ 디스플레이 장치
GB2489675A (en) * 2011-03-29 2012-10-10 Sony Corp Generating and viewing video highlights with field of view (FOV) information
JP2013090059A (ja) * 2011-10-14 2013-05-13 Sony Corp 撮像装置、画像生成システム、サーバおよび電子機器
JP6138222B2 (ja) * 2012-02-20 2017-05-31 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
WO2014010726A1 (ja) * 2012-07-12 2014-01-16 株式会社ニコン 画像処理装置及び画像処理プログラム
JP5988790B2 (ja) * 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP5574031B2 (ja) * 2012-12-14 2014-08-20 フリュー株式会社 画像処理装置および方法、並びにプログラム
JP6230239B2 (ja) * 2013-02-14 2017-11-15 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US9359170B2 (en) * 2013-10-14 2016-06-07 Cedes Ag Coding device and position-determining device and position-determining method
JP6482012B2 (ja) * 2014-07-12 2019-03-13 レイセオン カンパニー 一体化された圧縮センシングを有する読み出し集積回路
JP6385241B2 (ja) * 2014-10-27 2018-09-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6598473B2 (ja) * 2015-02-27 2019-10-30 キヤノン株式会社 撮像装置および画像処理装置
US20170118489A1 (en) * 2015-10-23 2017-04-27 Broadcom Corporation High Dynamic Range Non-Constant Luminance Video Encoding and Decoding Method and Apparatus
US10274652B2 (en) * 2016-02-05 2019-04-30 Rambus Inc. Systems and methods for improving resolution in lensless imaging
WO2017145348A1 (ja) * 2016-02-26 2017-08-31 株式会社日立製作所 撮像装置
JP6672070B2 (ja) * 2016-05-17 2020-03-25 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP6688716B2 (ja) * 2016-10-04 2020-04-28 株式会社日立製作所 撮像装置および撮像方法
CN110140348B (zh) * 2016-12-27 2020-12-25 富士胶片株式会社 摄像装置及摄像模块
EP3633968A4 (en) * 2017-06-01 2020-06-03 FUJIFILM Corporation IMAGING DEVICE, IMAGE PROCESSING DEVICE, IMAGING SYSTEM, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM
EP3633973B1 (en) * 2017-06-01 2020-11-11 FUJIFILM Corporation Image processing device, imaging system, image processing method, and recording medium
CN107290846B (zh) * 2017-08-04 2019-06-21 南京理工大学 基于环状可编程led照明的定量相位显微成像方法
WO2019131382A1 (ja) * 2017-12-26 2019-07-04 富士フイルム株式会社 撮像装置
CN111869195B (zh) * 2018-03-14 2022-07-08 索尼公司 图像处理装置、成像装置及图像处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008542863A (ja) * 2005-05-23 2008-11-27 キネテイツク・リミテツド 符号化開口画像システム
JP2009171191A (ja) * 2008-01-16 2009-07-30 Sanyo Electric Co Ltd 撮像装置及び撮像方法
JP2016134732A (ja) * 2015-01-19 2016-07-25 株式会社リコー 撮像装置及び撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4131925A4 (en) * 2020-03-31 2023-09-06 Sony Group Corporation IMAGE PROCESSING DEVICE AND METHOD, PROGRAM, AND IMAGE PROCESSING SYSTEM
WO2022080121A1 (ja) * 2020-10-16 2022-04-21 ソニーグループ株式会社 偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法

Also Published As

Publication number Publication date
US20200410654A1 (en) 2020-12-31
CN111788824B (zh) 2022-07-08
JPWO2019171691A1 (ja) 2021-03-04
JP7363765B2 (ja) 2023-10-18
US11663708B2 (en) 2023-05-30
CN111788824A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
Tseng et al. Differentiable compound optics and processing pipeline optimization for end-to-end camera design
Lee et al. Deep chain hdri: Reconstructing a high dynamic range image from a single low dynamic range image
US11368617B2 (en) Image restoration for through-display imaging
US7767949B2 (en) Apparatus and method for capturing still images and video using coded aperture techniques
JP6214562B2 (ja) 適応型多次元データ分解
JP2022509034A (ja) ニューラルネットワークを使用した輝点除去
JP6672070B2 (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP3191928B2 (ja) 画像入出力装置
JP2022501982A (ja) ニューラルネットワークを使用した写真の露出不足補正
JP5968073B2 (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
JP2013093754A (ja) 撮像装置
JP2007503605A (ja) 画像処理のための画像プロセッサ及び方法
WO2019171691A1 (ja) 画像処理装置、および撮像装置、並びに画像処理方法
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
Kinoshita et al. Deep inverse tone mapping using LDR based learning for estimating HDR images with absolute luminance
CN115699073A (zh) 神经网络支持的相机图像或视频处理流水线
RU2785988C1 (ru) Система формирования изображений и способ обработки изображений
LU102214B1 (en) Method for digital image processing
US20230419446A1 (en) Method for digital image processing
RU2470366C1 (ru) Способ получения цифрового изображения с большим динамическим диапазоном
Lim et al. Image resolution and performance analysis of webcams for ground-based astronomy
Kosar et al. The methods for evaluating the quality of images with different types of noise
Estrada et al. Multi-frame GAN-based machine learning image restoration for degraded visual environments
JP2017034595A (ja) 画像処理装置、撮像装置および画像処理プログラム
Zhang Coded Illumination for Lensless Imaging

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18909121

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020504791

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18909121

Country of ref document: EP

Kind code of ref document: A1