WO2015152423A1 - 撮像素子、撮像装置および画像処理装置 - Google Patents
撮像素子、撮像装置および画像処理装置 Download PDFInfo
- Publication number
- WO2015152423A1 WO2015152423A1 PCT/JP2015/060715 JP2015060715W WO2015152423A1 WO 2015152423 A1 WO2015152423 A1 WO 2015152423A1 JP 2015060715 W JP2015060715 W JP 2015060715W WO 2015152423 A1 WO2015152423 A1 WO 2015152423A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- parallax
- visible
- invisible
- pixel value
- image data
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 114
- 238000006243 chemical reaction Methods 0.000 claims abstract description 68
- 230000004907 flux Effects 0.000 claims abstract description 30
- 230000036961 partial effect Effects 0.000 claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims description 81
- 230000003287 optical effect Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 description 88
- 238000000034 method Methods 0.000 description 62
- 230000000875 corresponding effect Effects 0.000 description 41
- 238000012937 correction Methods 0.000 description 30
- 230000004304 visual acuity Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 16
- 238000011161 development Methods 0.000 description 15
- 210000001747 pupil Anatomy 0.000 description 12
- 239000003086 colorant Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 8
- 238000013213 extrapolation Methods 0.000 description 7
- 230000004075 alteration Effects 0.000 description 6
- 238000002156 mixing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14623—Optical shielding
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
Definitions
- the present invention relates to an imaging device, an imaging apparatus, and an image processing apparatus.
- Patent Literature Japanese Patent Application Laid-Open No. 2003-7994
- the imaging device includes a plurality of types of aperture masks each having openings positioned so as to allow different partial light beams to pass through the photoelectric conversion device with respect to an incident light beam in a visible light wavelength band.
- Any of the visible parallax pixels associated with photoelectric conversion pixels that receive light in the visible range and the photoelectric conversion elements are positioned to pass different partial light beams with respect to incident light beams in the wavelength band of invisible light.
- Any of a plurality of types of opening masks each having an opening includes a non-visible parallax pixel associated with a photoelectric conversion pixel that receives a non-visible light region.
- the imaging apparatus includes an optical system that guides an incident light beam, and includes a control unit that performs an autofocus control on a main subject whose visible light captures the in-focus position of the optical system. It is an imaging device incorporating the imaging element.
- An imaging device generates a plurality of visible parallax image data having a parallax and a plurality of invisible parallax image data having a parallax from each other from the imaging device and the output of the imaging device.
- An image processing unit An image processing unit.
- An image processing apparatus includes an input unit that inputs visible image data and non-visible image data generated from a pixel signal output from the same surface of an image sensor by one imaging, and visible image data And an image processing unit that newly calculates one of the invisible image data and the other.
- An image processing apparatus includes an image without visible parallax in a reference direction viewpoint in a wavelength band of visible light of a subject image, and a first viewpoint different from the reference direction viewpoint in a wavelength band of visible light.
- the invisible first parallax image and the invisible second parallax image of the second viewpoint are input, and the newly calculated pixel value of the visible first parallax image is changed to the newly calculated pixel value of the visible first parallax image.
- a difference between the pixel values of the non-parallax image is calculated so as to maintain a correlation with at least the difference between the pixel value of the invisible first parallax image and the pixel value of the invisible second parallax image; A new visible first parallax image is output.
- An image processing apparatus includes an image having no visible parallax in a reference direction viewpoint in a wavelength band of visible light of a subject image, and a first viewpoint different from the reference direction viewpoint in a wavelength band of visible light.
- the invisible first parallax image and the invisible second parallax image of the second viewpoint are inputted, and the newly calculated pixel value of the invisible first parallax image is newly calculated as the pixel value of the invisible first parallax image.
- the image processing apparatus includes an image having no visible parallax at the viewpoint in the reference direction of the wavelength band of visible light of the subject image, and a first viewpoint different from the viewpoint in the reference direction of the wavelength band of visible light.
- the invisible first parallax image and the invisible second parallax image of the second viewpoint are input, and the newly calculated pixel value of the visible first parallax image is changed to the newly calculated pixel value of the visible first parallax image.
- the ratio defined between the pixel values of the non-parallax image is at least correlated with the ratio defined between the pixel value of the invisible first parallax image and the pixel value of the invisible second parallax image. It calculates so that it may maintain, and a new visible 1st parallax image is output.
- An image processing apparatus includes an image having no visible parallax at a viewpoint in a reference direction of a wavelength band of visible light of a subject image, and a first viewpoint different from a viewpoint in a reference direction of a wavelength band of visible light.
- a visible first parallax image and a visible second parallax image of a second viewpoint an image of a non-visible parallax in a reference direction of a wavelength band of invisible light of a subject image, and a first viewpoint of a wavelength band of invisible light
- the invisible first parallax image and the invisible second parallax image of the second viewpoint are inputted, and the newly calculated pixel value of the invisible first parallax image is newly calculated as the pixel value of the invisible first parallax image.
- An image processing apparatus includes an input unit that inputs visible image data and non-visible image data generated from a pixel signal output from the same surface of an imaging element by one imaging, and visible image data And an image processing unit that superimposes a parallax component included in at least one of the invisible image data on the other.
- the digital camera according to the present embodiment which is one form of the imaging device, can generate an image corresponding to the wavelength band of visible light and an image corresponding to the wavelength band of invisible light for one scene by one shooting. It is configured.
- an image having a plurality of viewpoints can be generated for one scene by one shooting.
- Each image having a different viewpoint is called a parallax image.
- a parallax image with two viewpoints corresponding to the right eye and the left eye will be described.
- the digital camera according to the present embodiment can generate a parallax-free image with no parallax from the central viewpoint as the viewpoint in the reference direction along with the parallax image.
- the parallax pixel at the left viewpoint may be referred to as the parallax Lt pixel or the left parallax pixel
- the parallax pixel at the right viewpoint may be referred to as the parallax Rt pixel or the right parallax pixel
- the non-parallax pixel may be referred to as the N pixel.
- the parallax image of the left viewpoint may be referred to as a parallax Lt image or a left parallax image
- the parallax image of the right viewpoint may be referred to as a parallax Rt image or a right parallax image
- an image without parallax may be referred to as an N image.
- a pixel that photoelectrically converts the wavelength band of visible light in the incident light beam may be referred to as a visible pixel
- a pixel that photoelectrically converts the wavelength band of invisible light may be referred to as a non-visible pixel.
- FIG. 1 is a diagram illustrating a configuration of a digital camera 10 according to the present embodiment.
- the digital camera 10 includes a photographic lens 20 as a photographic optical system and an image sensor 100.
- the taking lens 20 guides the subject luminous flux incident along the optical axis 21 to the image sensor 100.
- an infrared cut filter is not disposed at a position corresponding to at least a non-visible pixel in the image sensor 100 in the previous stage of the image sensor 100.
- the digital camera 10 includes a control unit 201, an A / D conversion circuit 202, a memory 203, a drive unit 204, an image processing unit 205, a memory card IF 207, an operation unit 208, a display unit 209, in addition to the photographing lens 20 and the image sensor 100. And an LCD drive circuit 210.
- the direction parallel to the optical axis 21 toward the image sensor 100 is defined as the + Z-axis direction
- the direction toward the back of the paper surface on the plane orthogonal to the Z-axis is the + X-axis direction
- the direction toward the paper surface is + Y. It is defined as the axial direction.
- the X axis is the horizontal direction
- the Y axis is the vertical direction.
- the photographing lens 20 is composed of a plurality of optical lens groups, and forms an image of a subject light flux from the scene in the vicinity of its focal plane.
- the photographing lens 20 may be an interchangeable lens that can be attached to and detached from the digital camera 10.
- the photographic lens 20 is represented by a single virtual lens arranged in the vicinity of the pupil.
- the image sensor 100 is disposed in the vicinity of the focal plane of the photographing lens 20.
- the image sensor 100 is an image sensor such as a CCD or CMOS in which a plurality of pixels are two-dimensionally arranged.
- the image sensor 100 is controlled in timing by the drive unit 204, converts the subject image formed on the light receiving surface into an image signal, and outputs the image signal to the A / D conversion circuit 202.
- the image signal output to the A / D conversion circuit 202 includes an image signal corresponding to the wavelength band of visible light and an image signal corresponding to the wavelength band of invisible light.
- the A / D conversion circuit 202 converts the image signal output from the image sensor 100 into a digital image signal and outputs the digital image signal to the memory 203.
- the image processing unit 205 performs various image processing using the memory 203 as a work space, and generates image data.
- the image processing unit 205 also has general image processing functions such as adjusting image data in accordance with the selected image format.
- the generated image data is converted into a display signal by the LCD drive circuit 210 and displayed on the display unit 209.
- the data is recorded on the memory card 220 attached to the memory card IF 207.
- a series of shooting sequences is started when the operation unit 208 receives a user operation and outputs an operation signal to the control unit 201.
- Various operations such as AF and AE accompanying the imaging sequence are executed under the control of the control unit 201.
- FIG. 2 is a schematic diagram illustrating a cross section of the image sensor 100.
- the imaging element 100 is configured by arranging a micro lens 101, an optical filter 102, an aperture mask 103, a wiring layer 105, and a photoelectric conversion element 108 in order from the subject side.
- the photoelectric conversion element 108 is configured by a photodiode that converts incident light into an electrical signal.
- a plurality of photoelectric conversion elements 108 are two-dimensionally arranged on the surface of the substrate 109.
- the image signal converted by the photoelectric conversion element 108, the control signal for controlling the photoelectric conversion element 108, and the like are transmitted / received via the wiring 106 provided in the wiring layer 105.
- an opening mask 103 provided with one-to-one correspondence with each photoelectric conversion element 108 and having openings 104 arranged repeatedly two-dimensionally is provided in contact with the wiring layer 105.
- the opening 104 is shifted for each corresponding photoelectric conversion element 108 so that the relative position is precisely determined.
- parallax occurs in the subject light beam received by the photoelectric conversion element 108 by the action of the opening mask 103 including the opening 104.
- the aperture mask 103 does not exist on the photoelectric conversion element 108 that does not generate parallax.
- an aperture mask 103 having an aperture 104 that does not limit the subject luminous flux incident on the corresponding photoelectric conversion element 108, that is, allows the entire incident luminous flux to pass therethrough is provided.
- the aperture 107 formed by the wiring 106 defines the incident light flux that is incident, so the wiring 106 is regarded as an aperture mask that allows the entire incident light flux that does not cause parallax to pass.
- the opening mask 103 may be arranged separately and independently corresponding to each photoelectric conversion element 108, or may be formed collectively for a plurality of photoelectric conversion elements 108 in the same manner as the manufacturing process of the optical filter 102. .
- the optical filter 102 is provided on the opening mask 103.
- a visible pixel that receives the wavelength region of visible light is provided with a color filter as the optical filter 102.
- the color filter is a filter provided in a one-to-one correspondence with each photoelectric conversion element 108, which is colored so as to transmit a specific wavelength band to each photoelectric conversion element 108.
- at least two types of color filters that are different from each other may be arranged, but in order to obtain a color image with higher image quality, it is preferable to arrange three or more types of color filters.
- a red filter (R filter) that transmits the red wavelength band, a green filter (G filter) that transmits the green wavelength band, and a blue filter (B filter) that transmits the blue wavelength band may be arranged in a grid pattern.
- the color filter may be not only a combination of primary colors RGB but also a combination of YCM complementary color filters. Note that a color filter is not provided when a monochrome image signal has only to be output.
- a non-visible pixel that receives a wavelength region of invisible light is provided with a near-infrared band-pass filter as the optical filter 102. As will be described in detail later, it is preferable that at least two types of band-pass filters different from each other are arranged.
- the microlens 101 is provided on the optical filter 102.
- the microlens 101 is a condensing lens for guiding more incident subject light flux to the photoelectric conversion element 108.
- the microlenses 101 are provided in a one-to-one correspondence with the photoelectric conversion elements 108.
- the optical axis of the microlens 101 is shifted so that more subject light flux is guided to the photoelectric conversion element 108. It is preferable.
- the arrangement position may be adjusted so that more specific subject light beam, which will be described later, is incident along with the position of the opening 104 of the opening mask 103.
- one unit of the aperture mask 103, the optical filter 102, and the microlens 101 provided in one-to-one correspondence with each photoelectric conversion element 108 is referred to as a pixel.
- a pixel provided with the opening mask 103 that generates parallax is referred to as a parallax pixel
- a pixel that is not provided with the opening mask 103 that generates parallax is referred to as a non-parallax pixel.
- the microlens 101 may not be provided.
- the wiring layer 105 is provided on the side opposite to the photoelectric conversion element 108. Further, if the opening 104 of the opening mask 103 has a color component or a band component, the optical filter 102 and the opening mask 103 can be integrally formed.
- the opening mask 103 and the wiring 106 are provided separately, but the wiring 106 may serve the function of the opening mask 103 in the parallax pixels. That is, a prescribed opening shape may be formed by the wiring 106, and the incident light beam may be limited by the opening shape to guide only a specific partial light beam to the photoelectric conversion element 108. In this case, the wiring 106 that forms the opening shape is preferably closest to the photoelectric conversion element 108 in the wiring layer 105.
- the opening mask 103 may be formed of a permeation blocking film that is provided over the photoelectric conversion element 108.
- the opening mask 103 is formed, for example, by sequentially laminating a SiN film and a SiO 2 film to form a permeation blocking film and removing a region corresponding to the opening 104 by etching.
- the photoelectric conversion element 108 itself may be formed so as to correspond to the opening 104 of the opening mask 103.
- FIG. 3 is a diagram for explaining the concept of defocus in a pixel without parallax. As shown in FIG. 3A, when an object point that is a subject exists at the focal position, the subject luminous flux that reaches the image sensor light receiving surface through the lens pupil is steep with the pixel at the corresponding image point as the center. The light intensity distribution is shown.
- the subject luminous flux is received by the image sensor compared to the case where the object point exists at the focus position. It shows a gentle light intensity distribution on the surface. That is, the output value at the pixel of the corresponding image point is lowered, and a distribution having output values up to the peripheral pixels is shown.
- the subject luminous flux exhibits a gentler light intensity distribution on the image sensor light receiving surface.
- the output value at the pixel of the corresponding image point further decreases, and a distribution having output values up to the surrounding pixels is shown.
- FIG. 4 is a diagram for explaining the concept of defocusing in a parallax pixel.
- the parallax Lt pixel and the parallax Rt pixel receive the subject luminous flux that arrives from one of the two parallax virtual pupils set as the optical axis target as a partial region of the lens pupil.
- a method of capturing a parallax image by receiving subject light fluxes that arrive from different virtual pupils in a single lens pupil is referred to as a monocular pupil division imaging method.
- the light intensity indicated by the parallax Lt pixel is greater than when the object point exists at the focal position.
- the distribution peak appears at a position away from the pixel corresponding to the image point in one direction, and its output value decreases.
- the width of the pixel having the output value is increased. That is, since the point image spreads in the horizontal direction of the light receiving surface of the image sensor, the amount of blur increases.
- the peak of the light intensity distribution indicated by the parallax Rt pixel appears at a position away from the pixel corresponding to the image point in the opposite direction to the one direction in the parallax Lt pixel and at an equal distance, and the output value similarly decreases. Similarly, the width of the pixel having the output value is increased. That is, the same light intensity distribution that is gentler than that in the case where the object point exists at the focal position appears at an equal distance from each other.
- the shift amount between the peaks of the light intensity distribution indicated by the parallax Lt pixel and the parallax Rt pixel corresponds to the parallax amount.
- the light intensity indicated by the parallax Rt pixel is opposite to the state of FIG.
- the distribution peak appears at a position away from the pixel corresponding to the image point in the one direction.
- the peak of the light intensity distribution indicated by the parallax Lt pixel appears at a position away from the one direction in the parallax Rt pixel. That is, it is determined in which direction the peak of the light intensity distribution indicated by the parallax Lt pixel and the parallax Rt pixel appears in the direction away from the pixel corresponding to the image point according to the direction of deviation of the object point.
- FIG. 5 is a graph showing the change in the light intensity distribution explained in FIG. 3 and the change in the light intensity distribution explained in FIG.
- FIG. 5 is a diagram illustrating the light intensity distribution of the non-parallax pixel and the parallax pixel.
- the horizontal axis represents the pixel position, and the center position is the pixel position corresponding to the image point.
- the vertical axis represents the output value of each pixel. Since this output value is substantially proportional to the light intensity, it is shown as the light intensity in the figure.
- FIG. 5A is a graph showing changes in the light intensity distribution described in FIG.
- a distribution curve 1801 represents the light intensity distribution corresponding to FIG. 3A and shows the steepest state.
- the distribution curve 1802 represents the light intensity distribution corresponding to FIG. 3B, and the distribution curve 1803 represents the light intensity distribution corresponding to FIG.
- the peak value gradually decreases and has a broadening.
- FIG. 5B is a graph showing changes in the light intensity distribution described in FIG.
- a distribution curve 1804 and a distribution curve 1805 represent the light intensity distribution of the parallax Lt pixel and the light intensity distribution of the parallax Rt pixel in FIG. 4B, respectively. As can be seen from the figure, these distributions have a line-symmetric shape with respect to the center position. Further, a combined distribution curve 1806 obtained by adding them shows a similar shape to the distribution curve 1802 of FIG. 3B which is in a defocus state equivalent to that of FIG.
- the distribution curve 1807 and the distribution curve 1808 respectively represent the light intensity distribution of the parallax Lt pixel and the light intensity distribution of the parallax Rt pixel in FIG. As can be seen from the figure, these distributions are also symmetrical with respect to the center position. Further, a combined distribution curve 1809 obtained by adding them shows a similar shape to the distribution curve 1803 in FIG. 3C which is in a defocus state equivalent to that in FIG. Note that the light intensity distribution of the parallax Lt pixel and the light intensity distribution of the parallax Rt pixel in FIG. 4D are interchanged with the positions of the light intensity distribution of the parallax Lt pixel and the light intensity distribution of the parallax Rt pixel in FIG. Therefore, they correspond to the distribution curve 1808 and the distribution curve 1807, respectively.
- FIG. 6 is a diagram illustrating the opening shape of the opening 104 when there are two types of parallax pixels.
- the shape of the opening 104l of the parallax Lt pixel and the shape of the opening 104r of the parallax Rt pixel are respectively obtained by dividing the shape of the opening 104n of the non-parallax pixel by the center line 322. The example which is the same is shown. That is, in FIG. 6A, the area of the opening 104n of the non-parallax pixel is the sum of the area of the opening 104l of the parallax Lt pixel and the area of the opening 104r of the parallax Rt pixel.
- the opening 104n of the non-parallax pixel is referred to as a full-opening opening, and the opening 104l and the opening 104r are referred to as half-opening openings.
- the opening is said to be in the reference direction.
- the opening 104l of the parallax Lt pixel and the opening 104r of the parallax Rt pixel are displaced in opposite directions with respect to a virtual center line 322 passing through the center (pixel center) of the corresponding photoelectric conversion element 108. Yes.
- the opening 104l of the parallax Lt pixel and the opening 104r of the parallax Rt pixel each generate parallax in one direction with respect to the center line 322 and in the other direction opposite to the one direction.
- FIG. 6B shows a light intensity distribution when the object point is deviated from the focal position in the direction away from the light receiving surface of the image sensor in the pixel having each opening shown in FIG.
- the horizontal axis represents the pixel position
- the center position is the pixel position corresponding to the image point.
- the vertical axis represents the light intensity.
- the curve Lt corresponds to the distribution curve 1804 in FIG. 5B
- the curve Rt corresponds to the distribution curve 1805 in FIG.
- a curve N corresponds to a pixel without parallax, and shows a similar shape to the combined distribution curve 1806 in FIG.
- Each of the openings 104n, 104l, and 104r functions as an aperture stop.
- the blur width of the non-parallax pixel having the opening 104n having an area double the opening 104l (opening 104r) is the parallax Lt pixel and the parallax Rt pixel indicated by the combined distribution curve 1806 in FIG. Is the same as the blur width of the curve.
- FIG. 6C shows the light intensity distribution when the object point deviates from the focal position in the direction approaching the image sensor light receiving surface in the pixel having each opening shown in FIG. 6A.
- the horizontal axis represents the pixel position
- the center position is the pixel position corresponding to the image point.
- the vertical axis represents the light intensity.
- the curves Lt and Rt in FIG. 6C maintain the relationship that the blur width of the non-parallax pixel having the opening 104n is approximately the same as the blur width of the curve obtained by adding the parallax Lt pixel and the parallax Rt pixel. However, the positional relationship is reversed with respect to the curves Lt and Rt in FIG.
- FIG. 6D shows an example in which the shape of the opening 104l of the parallax Lt pixel, the shape of the eyelid opening 104r of the parallax Rt pixel, and the shape of the opening 104c are all the same shape.
- the pixel having the opening 104c is a pixel without an eccentricity having an opening corresponding to the reference direction, although only the subject light beam having the central portion of the pupil as a partial region is guided to the photoelectric conversion element 108. Therefore, it can be regarded as a pixel without parallax (C pixel).
- the opening 104l, the opening 104r, and the opening 104c are half the area of the opening 104n illustrated in FIG. As in the case of FIG. 6A, each of the openings 104 l and 104 r is in contact with a virtual center line 322 that passes through the center (pixel center) of the photoelectric conversion element 108.
- FIG. 6E shows a light intensity distribution when an object point is deviated from the focal position in a direction away from the light receiving surface of the image sensor in the pixel having each opening shown in FIG. 6D.
- the horizontal axis represents the pixel position
- the center position is the pixel position corresponding to the image point.
- the vertical axis represents the light intensity.
- the curve Lt corresponds to the distribution curve 1804 in FIG. 5B
- the curve Rt corresponds to the distribution curve 1805 in FIG.
- Each of the openings 104c, 104l, and 104r has a function of an aperture stop.
- the blur width of the non-parallax pixel having the opening 104c having the same shape and the same area as the opening 104l and the opening 104r is approximately the same as the blur width of the parallax Lt pixel and the parallax Rt pixel.
- FIG. 6F shows the light intensity distribution when the object point is deviated from the focal position in the direction approaching the light receiving surface of the image sensor in the pixel having each opening shown in FIG.
- the horizontal axis represents the pixel position
- the center position is the pixel position corresponding to the image point.
- the vertical axis represents the light intensity.
- FIG. 7 is a schematic diagram showing the wavelength dependence of the imaging position.
- the horizontal axis indicates the wavelength [nm]
- the vertical axis indicates the focus position [ ⁇ m].
- the near-infrared region range of about 900 nm to 1700 nm
- a conventional monocular optical system in the visible region 400 nm to 700 nm
- the refraction angle of the short wavelength is generally larger than the refraction angle of the long wavelength, as shown in the figure, when the optical system is focused on the subject image of the visible light, the subject image of the near infrared light is a slightly blurred image. It becomes.
- a commercially available lens group is designed so that the focal planes match as much as possible in the visible light region when averaged over the wavelength bands of the three colors R, G, and B.
- the property that the focus position of visible light is different from the focus position of near-infrared has the potential as a means that can be effectively used newly when developing to monocular stereoscopic imaging.
- the point image distribution at the left viewpoint and the point image distribution at the right viewpoint are the same for the subject at the in-focus position.
- the point image distribution of the reference viewpoint is a point image distribution obtained by summing the point image distribution of the left viewpoint and the point image distribution of the right viewpoint.
- the N pixel captures the subject image in the viewpoint direction at the center of gravity of the subject image captured by each of the left and right parallax pixels.
- Such a property of the monocular pupil division imaging method appears in the wavelength region of visible light.
- visible pixels that photoelectrically convert the visible region and non-visible pixels that photoelectrically convert the near-infrared region are arranged on the same plane in the single-plate image sensor. More specifically, the photoelectric conversion elements corresponding to each pixel are arranged on the same image plane with respect to the optical axis direction. Then, even if the subject image in the visible light region is in focus, the subject image in the near-infrared light region is slightly blurred. That is, even if there is no parallax in the subject image in the visible light region, some parallax occurs in the subject image in the near-infrared light region.
- the depth of the photoelectric conversion element that is the light receiving portion of the pixel may be changed so as to match the imaging position in all wavelength regions. Does not dare to do so, but utilizes the property that the focus position of visible light and the focus position of near-infrared are slightly different.
- the second embodiment described later is used instead of the first embodiment described later, the characteristics can be utilized particularly.
- FIG. 8 and FIG. 9 are diagrams showing a real space array and a k space as an example of a pixel array.
- An example using periodically arranged image pickup elements using the upper array diagram of each figure as a basic lattice is shown.
- the frequency resolution region of the reciprocal lattice space is also shown for each color and each parallax combination.
- the solid rectangle indicates a visible parallax pixel
- the broken rectangle indicates an invisible parallax pixel.
- Solid squares indicate pixels without visible parallax.
- both 2D and 3D can be developed with high resolution.
- the monocular stereoscopic imaging system uses the property that parallax occurs only in a blurred area, lowers the density of parallax pixels, maintains the reference resolution by N pixels, and captures N images (2D captured by N pixels).
- N pixels 2D captured by N pixels.
- the high-resolution information of the image is reflected in the parallax Lt image and the parallax Rt image (3D image).
- An image that can be viewed simultaneously by a viewer wearing 3D glasses and a viewer not wearing 3D glasses is called a 2D-3D seamless image.
- a non-visible pixel a non-parallax pixel is not adopted and only a parallax pixel is added.
- a non-parallax non-visible light image is reflected on the information of a non-parallax image of visible light. Make resolution. After that, a non-visible high-resolution stereoscopic image is generated using the information of the non-visible parallax pixel. Therefore, the non-parallax pixel may not be provided as the invisible pixel.
- the array shown in the upper part of FIG. 8 has the frequency resolution shown in the lower part of FIG. 8 at the time of sampling.
- the frequency resolution of other components can be extended to that extent by using the information of the component showing the highest resolution to the outermost side.
- the density of the visible parallax pixels and the non-visible parallax pixels may be reduced, and the pixels may be arranged apart from each other so as to minimize the damage to the pixels without visible parallax.
- the basic structure of the color arrangement is premised on maintaining a Bayer arrangement.
- the basic rule of arrangement is that each component is isotropically arranged and one parallax pixel of a certain wavelength band component is isotropically arranged so as to be arranged in a non-uniform manner with respect to visible N pixels. Therefore, it is arranged so as to be farthest from the other parallax pixel in the wavelength band.
- the parallax pixels of the same viewpoint are arranged so as to be farthest from each other, and the non-visible parallax pixels are arranged as far as possible from each other.
- the visible parallax pixels are arranged so as to be farthest from each other.
- the arrangement shown in FIG. 8 or the arrangement shown in FIG. FIG. 8 shows an arrangement giving priority to separating non-parallax pixels.
- FIG. 9 shows an arrangement in which parallax pixels at the same viewpoint are prioritized to be the most separated.
- FIGS. 11 and 12 an example of an arrangement in which a monochrome stereoscopic imaging device is expanded to a two-band stereoscopic imaging device of visible and near infrared is shown in FIGS.
- the pixel arrangements shown in FIGS. 11 and 12 also follow the above-described arrangement rule.
- the imaging information is only sampled with extremely low resolution.
- the subject image at the invisible wavelength may be pseudo, there is a demand to view it as an image with high spatial resolution.
- 2D development in the invisible wavelength band after reflecting 2D resolution in the visible wavelength band, sampling information that is insufficient with only invisible parallax pixel information in stereoscopic development is also obtained. This makes it possible to perform invisible three-dimensional development with high resolution.
- Document A1 PCT / JP2013 / 001811
- Document A2 JP2013-229765A
- Document A3 PCT / JP2013 / 001745
- Example 1> Visible + non-visible 6-band sparse parallax pixel array --- The example using the image pick-up element periodically arrange
- FIG. 10 is a diagram for explaining the relationship between wavelength and minute sensitivity.
- the horizontal axis indicates the wavelength [nm], and the vertical axis indicates the minute sensitivity.
- a commonly used color filter having spectral characteristics is used as the RGB color filter for visible light.
- the I 1 , I 2 , and I 3 bandpass filters for near-infrared light as shown in FIG. 10A, a bandpass filter with a wide half-value width may be used, or FIG. ), A band pass filter having a narrow half-value width and transmitting a specific wavelength may be used. Three different band-pass filters can be used as the near-infrared band-pass filter.
- the three colors of visible light and the three bands of the near infrared may be collectively referred to as six bands for convenience.
- the visible light color component and the near-infrared band component may be collectively referred to as a color band component.
- B, G, R, I B, I G also symbols of I R is used.
- the non-parallax pixel is distinguished by adding N, the left parallax pixel is subtracted by Lt, and the right parallax pixel is subscripted by Rt.
- the average value of the entire pixel value of the pixel value of the non-parallax pixel the average value of the entire pixel value of the pixel value of the left parallax pixel, and the entire image of the pixel value of the right parallax pixel
- the average value of is calculated.
- gain correction is performed so that the signal level matches the average value. This is because even if there is parallax, the left and right parallax pixels capture the subject image of the same area, so the signal necessary for level adjustment from the subject image itself without shooting a uniform plane Based on the assumption that information can be obtained.
- gain correction is performed so that the signal level matches the average value.
- arithmetic mean and geometric mean.
- a geometrical average is taken between the signal level averaged on the left and right and the signal level of the pixel without parallax, and gain correction is performed so as to match the signal level with the average value.
- the procedure carried out R, G, B, I R , I G, the color band components of each I B. The average value corresponding to each It expresses.
- an arithmetic average type method is adopted.
- the geometric average method is adopted when all the pixels without parallax have a half-aperture mask. Therefore, the arithmetic average type is adopted in the present embodiment.
- the signal plane of the left parallax pixel of the visible R component is denoted by R Lt_mosaic (x, y), R Rt_mosaic (x, y), the signal surface of the right parallax pixel of the visible R component
- the signal plane of the left parallax pixel of the visible G component is denoted by GN_mosaic (x, y)
- G Lt_mosaic (x, y) be the signal surface of the non-parallax pixel of the visible G component
- the signal plane of the right parallax pixel of the visible G component is denoted by GRt_mosaic (x, y)
- the signal plane of the non-parallax pixel of the visible B component is represented by B N_mosaic (x, y),
- a mosaic image in which a non-parallax pixel is corrected with one gain coefficient, a left parallax pixel with one gain coefficient, and a right parallax pixel with one gain coefficient is output as M ′ (x, y). To do.
- Temporary left parallax images and temporary right parallax images with low spatial frequency resolution are generated for each of the six color bands of the visible band and the near-infrared band. For example, simple average interpolation is performed in the visible G color plane in which only the left parallax pixels in a single color band are collected. For example, linear interpolation is performed according to the distance ratio using pixel values that are close to each other. Similarly, simple average interpolation is performed in the G color plane in which only right parallax pixels in a single color band are collected. Similar processes performed R, G, B, I R , I G, the 6-band I B.
- a temporary visible R component non-parallax image is represented by R N (x, y).
- a temporary non-parallax image of the visible G component is represented by G N (x, y).
- a temporary non-parallax image of the visible B component is represented by B N (x, y).
- the left parallax image of the temporary visible R component is represented by R Lt (x, y).
- the left parallax image of the temporary visible G component is represented by G Lt (x, y).
- the left parallax image of the temporary visible B component is represented by B Lt (x, y).
- the right parallax image of the temporary visible R component is represented by R Rt (x, y).
- a right parallax image of a temporary visible G component is represented by G Rt (x, y).
- the right parallax image of the temporary visible B component is represented by B Rt (x, y).
- the left parallax images of the near-infrared I R component of the temporary represented by I R Lt (x, y) .
- the left parallax images of the near-infrared I G component of the temporary expressed by I G Lt (x, y) .
- step 2) Generation of color mosaic images without visible parallax by correcting left and right illumination distribution (local gain balance correction)
- step 2) by performing local gain correction in units of pixels only for the RGB 3 bands of the visible image, first the left parallax pixel in the screen and the in-screen Adjust the illuminance of the right parallax pixel. This operation eliminates the parallax between the left and right. Then, the illuminance is further adjusted between the signal plane obtained by taking the left-right average and the imaging signal plane of the non-parallax pixel.
- a new Bayer surface in which gain matching is achieved for all pixels is created. This is equivalent to replacing with an average value, and a Bayer surface in which parallax disappears is completed. This is written as M N (x, y).
- the pixel value obtained by taking the average value of the left viewpoint image and the right viewpoint image and the reference viewpoint image without parallax as a new pixel value without parallax The data on the Bayer plane is rewritten, and an image M N (x, y) on the Bayer plane without parallax is output. Note that data in which the original imaging pixel is a near-infrared pixel is also replaced with the data obtained here in accordance with the color rules of the Bayer array.
- the RGB color image without parallax obtained as described above is represented by R N (x, y), G N (x, y), and B N (x, y). These are RGB data expressed in linear gradation.
- the factor of 1 ⁇ 4 power, 1 ⁇ 2 power, 1 ⁇ 4 times, or 1 ⁇ 2 times is a coefficient of reliability in accordance with the height of pixel density of each color component of the image sensor, that is, a weighting factor. .
- a near-logarithmic space is once obtained by gamma conversion, and a near-infrared high-resolution 2D image is generated while correcting the difference, and then the inverse is performed.
- a procedure for returning to a linear gradation space by gamma conversion is performed.
- the characteristics of the gamma conversion are not limited to logarithm and can be set arbitrarily, and the following gradation characteristics are excellent.
- x represents an input signal
- y represents an output signal
- X: [0, 1] and y: [0, 1] are standardized.
- the value of ⁇ is set to a value close to zero for a low-sensitivity image, and is set to increase as the imaging sensitivity increases. See USP 7,957,588, the same inventor as the present application.
- (X, y) and color images R N (x, y), G N (x, y), and B N (x, y) with high resolution generated as intermediate processing in step 5) are used.
- left parallax color images R ′ Lt (x, y), G ′ Lt (x, y), and B ′ Lt (x, y) with high resolving power that are actually output are generated.
- R N (x, y), G N (x, y), and B N (x, y) that are generated as follows: R ′ Rt (x, y), G ′ Rt (x, y), and B ′ Rt (x, y) are generated.
- the temporary left-parallax color images I R Lt (x, y), I G Lt (x, y), and I B Lt (x, y) generated in step 3) are low.
- 3-band image without high resolution produced as intermediate processing parallax in step 6) I R N (x, y), I G N (x, y), using the I B N (x, y) , the actual Left-parallax three-band images I ′ R Lt (x, y), I ′ G Lt (x, y), and I ′ B Lt (x, y) are generated.
- I ′ R Rt (x, y), I ′ G Rt (x, y), and I ′ B Rt (x, y) with high resolving power is generated.
- the visible image is closed independently between visible images
- the near-infrared image is closed independently within the near-infrared image.
- multicolor parallax modulation is performed by mixing between wavelength bands.
- near infrared wavelengths multiband parallax modulation is performed by mixing between wavelength bands. This is a different concept from the second embodiment.
- parallax modulation methods There are two possible parallax modulation methods: a method of keeping the ratio constant and a method of keeping the difference constant. Further, when the ratio is constant, two methods are conceivable: a method using an arithmetic average as a reference point and a method using a geometric average as a reference point. Both can obtain a parallax modulation effect, but when the aperture mask of pixels without parallax of the image sensor is full aperture, a method using an arithmetic average as a reference point is adopted, and the aperture mask of pixels without parallax is a pixel with parallax. A method using the geometric mean as the reference point for the same half aperture is adopted. Therefore, in this embodiment, a method using an arithmetic mean as a reference point is used.
- parallax modulation with a constant ratio is performed in a linear gradation space
- parallax modulation with a constant difference is performed in a gamma space.
- the conversion to gamma space and the inverse conversion are the same as those defined in step 6).
- the logarithm is taken with respect to the formula of the geometric mean of the method with the constant ratio, it is in agreement with the formula when the difference is constant.
- the IR cut filter is provided corresponding to the visible pixel, but is not provided for the non-visible pixel.
- a high-resolution 2D image and a 3D image are generated as two types of “color” images including three visible colors and three near-infrared bands.
- axial chromatic aberration also includes a mixture of large and small blur color components
- parallax modulation is performed with an average blur of three colors.
- blur and parallax amount are in a corresponding relationship, and therefore, on-axis chromatic aberration of a lens usually causes a color floating / sinking phenomenon.
- performing multicolor parallax modulation also has the effect of averaging the difference in the degree of blur that exists between the color components and eliminating the color floating / sinking phenomenon.
- the 2D image generation has an effect of preventing the influence of lateral chromatic aberration
- the 3D image generation has an effect of preventing the influence of axial chromatic aberration.
- multicolor is the same as “using a plurality of color components”.
- the same can be said even if the visible multi-color components are replaced with many invisible band components.
- the images of different bands change in the same way and satisfy the precondition that the difference is constant or the ratio is constant. Is called.
- this assumption is broken, an unnatural false image is generated around the boundary between the broken area and the area.
- the other band is often collapsed in a different state, and if the modulation process is performed with multiple bands, the assumption collapse is canceled, It is possible to construct an environment in which an assumption is established in the image area.
- the edge component of the near-infrared non-parallax image plane generated as an average of the near-infrared left and right parallax images extracted as the correction term has a low sampling density. For this reason, the image area generated by the interpolation is not extracted because it changes gradually, and the unevenness information in the vicinity of the sampling position is extracted. Therefore, the imaging information sampled by the near-infrared pixel is reflected in the Bayer interpolation result of visible light.
- step 3) of the near-infrared image using the high-resolution parallax-free color images R N (x, y), G N (x, y), and B N (x, y) generated as Temporary left-parallax color images I R Rt (x, y), I G Rt (x, y), I B Rt (x, y) with low resolving power and high resolving power generated as an intermediate process in step 6) 3-band image I R N without parallax (x, y), I G N (x, y), I B N (x, y) be used, actually a color image R of high right disparity of the output to resolution ' Rt (x, y), G ′ Rt (x, y)
- the temporary left-parallax color images I R Lt (x, y), I G Lt (x, y), and I B Lt (x, y) generated in step 3) are low.
- 3-band image without high resolution produced as intermediate processing parallax in step 6) I R N (x, y), I G N (x, y), using the I B N (x, y) , further, A temporary left-parallax color image R Lt (x, y), G Lt (x, y), B Lt (x, y) generated in step 3) of the visible image and intermediate processing in step 5)
- Rt (x, y), I ′ G Rt (x, y), and I ′ B Rt (x, y)
- the visible image is mixed with the visible image and the near-infrared image, and the near-infrared image is subjected to parallax modulation in which the near-infrared image and the visible image are mixed with each other.
- multicolor parallax modulation is also performed by mixing between wavelength bands in the visible wavelength.
- Multiband parallax modulation is also performed by mixing between wavelength bands even in the near infrared wavelength range.
- the generated stereoscopic image reflects sampling information at the time of all imaging, and becomes a high-resolution visible and near-infrared stereoscopic image.
- parallax modulation with a constant difference
- the parallax modulation terms are all zero in the region of the subject image focused on the visible image.
- the near-infrared parallax modulation term is not zero, a parallax modulation effect is produced.
- FIG. 11 and FIG. 12 are diagrams showing an arrangement of real space and k space as an example of a pixel arrangement.
- An example using periodically arranged image pickup elements using the upper array diagram of each figure as a basic lattice is shown.
- the frequency resolution region of the reciprocal lattice space is also shown for each color and each parallax combination.
- visible light is imaged in monochrome, and near-infrared light is imaged in only one band.
- This arrangement captures the property that parallax occurs only in the blurred subject area of the monocular pupil division method, arranges the density of visible and invisible parallax pixels sparsely, and sets the remaining pixels to pixels without visible parallax.
- This is a visible + invisible mono-band imaging device having a structure assigned as much as possible.
- sequence of FIG. 12 is mentioned as an example, and is demonstrated.
- the mosaic image M (x, y)
- W N_mosaic (x, y) be the signal plane of the pixel without visible parallax
- the signal plane of the visible left parallax pixel is denoted by W Lt_mosaic (x, y)
- the signal surface of the visible right parallax pixel is denoted by W Rt_mosaic (x, y)
- the signal surface of the non-visible left parallax pixel is denoted by I Lt_mosaic (x, y)
- the non-visible parallax pixel is one gain coefficient
- the visible left parallax pixel is one gain coefficient
- the visible right parallax pixel is one gain coefficient
- the non-visible left parallax pixel is one gain coefficient
- the invisible right parallax is A mosaic image in which pixels are corrected by one gain coefficient is output as M ′ (x, y).
- a temporary left parallax image and a temporary right parallax image with low spatial frequency resolution are generated for each of the two color bands of the visible band and the near-infrared band. For example, simple average interpolation is performed in the signal color plane in which only the left parallax pixels in a single color band are collected. For example, linear interpolation is performed according to the distance ratio using pixel values that are close to each other. Similarly, simple average interpolation is performed in the signal plane in which only the right parallax pixels in the single color band are collected. This process is performed for two bands, W and I.
- a temporary image without visible parallax is represented by W N (x, y).
- a temporary visible left parallax image is represented by W Lt (x, y).
- a temporary visible right parallax image is represented by W Rt (x, y).
- a temporary near-infrared left parallax image is represented by I Lt (x, y).
- a temporary near-infrared right parallax image is represented by I Rt (x, y).
- the reciprocal weighting ratio of the correlation amount is first obtained by checking the vertical and horizontal correlations or the diagonal correlations of the pixels having good symmetry surrounded by the four vertical and horizontal four points or the four diagonal points. More preferably, the interpolation is performed by repeating this operation in order for the remaining pixels having good symmetry.
- step 4 Generation of a reference image without visible parallax by correcting left and right local illuminance distribution (local gain balance correction)
- step 2) by performing local gain correction in units of pixels only for visible images, first the left parallax pixel in the screen and the right parallax in the screen Adjust the illuminance of the pixels. This operation eliminates the parallax between the left and right. Then, the illuminance is further adjusted between the signal plane obtained by taking the left-right average and the imaging signal plane of the non-parallax pixel. In this way, a new reference image plane without visible parallax that is gain-matched in all pixels is created. This is equivalent to replacing with an average value, and an intermediate image plane in which the parallax disappears is completed. This is written as W N (x, y).
- the distribution is focused on high density non-parallax pixels.
- a pixel value obtained by averaging the average value of the visible image of the left viewpoint and the visible image of the right viewpoint with the image of the visual reference viewpoint without parallax is set as a new pixel value without visible parallax, and a visible single band
- the surface data is rewritten, and an image W N (x, y) of a single band surface without visible parallax is output.
- step 5 a process for correcting an image without visible parallax by correlating the single-band visible light surface and the near-infrared light surface may be added.
- the proper usage is in accordance with the description in the next step 6).
- the correction method Two types of calculation can be considered as the correction method.
- the arithmetic average method is adopted when all the pixels without visible parallax have a full-opening mask.
- the geometric average type method is adopted. Therefore, when the ratio is constant, the arithmetic average type is adopted in this embodiment.
- a visible left parallax image W Lt ′ (x, y) with high resolving power that is actually output is generated using an image W N (x, y) having a high visible parallax.
- (X, y) is used to generate an invisible left parallax image I Lt ′ (x, y) that is actually output and has a high resolving power.
- y) is used to generate an invisible right parallax image I Rt ′ (x, y) that is actually output and has high resolving power.
- parallax modulation methods There are two possible parallax modulation methods: a method using an arithmetic average as a reference point and a method using a geometric average as a reference point. Both can obtain a parallax modulation effect, but when the aperture mask of pixels without parallax of the image sensor is full aperture, a method using an arithmetic average as a reference point is adopted, and the aperture mask of pixels without parallax is a pixel with parallax. A method using the geometric mean as the reference point for the same half aperture is adopted. Therefore, in this embodiment, a method using an arithmetic mean as a reference point is used.
- a camera system serving as an imaging apparatus for causing the most effective action of the positions of the imaging planes of visible light and near-infrared light described in the second and third embodiments to be described will be described. That is, a camera equipped with the imaging device described in the second to third embodiments is incorporated into a normal optical system, for example, a system including an interchangeable lens of a single-lens reflex camera, and the autofocus function of the camera is a conventional visible light. Using the autofocus function as it is, focus on the main subject of visible light. Then, the image processing described in the second to third embodiments is executed by software in the camera or an external computer.
- the developing method of the arrangement of FIG. 8 has been described, but the developing method of FIG. 9 is also the same as that of Example 1 and Example 2 already described.
- the example of the near-infrared wavelength band was shown as a non-visible wavelength band, it can also take the near-ultraviolet wavelength band.
- step 5 of the second embodiment it has been described that a reference image without visible parallax is corrected using information of a non-visible image to generate a 2D color image. Even in the case of each of the visible and invisible single bands in Example 3, it was described in the same manner in step 4).
- FIG. 13 is a diagram illustrating a real space array and a k-space as an example of a pixel array.
- a case is shown in which, in the arrangement of FIG. 8 described in the first and second embodiments, all invisible pixels are not parallax pixels but non-parallax pixels.
- a corresponding expression of the arithmetic expression performed in step 5) of the second embodiment is described. Note that ⁇ > represents a local average.
- FIG. 14 is a diagram illustrating a real space array and a k-space as an example of a pixel array.
- a case is shown in which the invisible pixels in the arrangement of FIG. 12 described in the third embodiment are not all parallax pixels but pixels without parallax. In such a pixel arrangement, a corresponding expression of the arithmetic expression performed in step 4) of the third embodiment is described.
- the parallax pixels of the visible pixels are all composed of pixels without parallax.
- the visible image and near-infrared image capture subject images at different focal positions so new optical information with different blur states is acquired. Therefore, it has been experimentally found that, even though the near-infrared image is out of focus information, it has the ability to increase the resolution of a visible image focused on the main subject. This is true even if, for example, sampling is taken as a two-plate type for both the visible image and the near-infrared image for all pixels. This is because the aliasing component of the subject image at the focus position by sampling does not occur in the blurred image, and it is considered that the false information is corrected through the correction information of the blurred image. Therefore, the blurred image includes information on a new useful subject that is not included in the focused image.
- the near-infrared image has an in-focus position near the object because the in-focus position is shifted toward the back, and the parallax is such that the image rotates around a single axis that crosses the surface vertically.
- the right parallax image and the left parallax image of the near-infrared image are attached to the right parallax image and the left parallax image of the near-infrared image.
- the mutual parallax modulation between different bands plays a role of mutually mixing the parallaxes of the different rotation axes, and as a result, the local parallax that is rotated by each object unit from the global parallax in which the entire image rotates as described above. Shift to dynamic parallax.
- the intra-band parallax modulation is halved and the inter-band parallax modulation is halved, the parallax that rotates globally and the parallax that rotates locally are obtained simultaneously.
- This parallax that rotates locally in units of objects can be recognized as a stereoscopic image strangely and normally when viewed stereoscopically.
- parallax with a global rotation of the entire image can identify the absolute standard of distance sense, whereas parallax with local rotation in units of objects recognizes a relative sense of distance, but the absolute standard varies depending on the person.
- a device such as a personal computer can be caused to function as an image processing apparatus that functions as the image processing unit 205.
- the image processing device may capture the output of the image sensor from another device such as a camera.
- the image processing apparatus is not limited to a personal computer and can take various forms.
- a TV, a mobile phone, a tablet terminal, a game machine, or the like can be an image processing apparatus.
- an image may refer to image data, or may refer to a subject image itself developed and visualized according to a format.
- I 2 is preferably greater than 1.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Focusing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
入射光束のうち非可視光の波長帯域を受光することは考慮されていなかった。 そこで、光電変換素子に、可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが可視域を受光する光電変換画素に対応づけられた可視視差画素と、光電変換素子に、非可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが非可視光域を受光する光電変換画素に対応づけられた非可視視差画素とを備える撮像素子を提供する。
Description
本発明は、撮像素子、撮像装置および画像処理装置に関する。
単一の撮影光学系を用いて、互いに視差を有する左右の視差画像を一度の撮影で生成する撮像装置が知られている。
[先行技術文献]
[特許文献]
[特許文献1]特開2003-7994号公報
[先行技術文献]
[特許文献]
[特許文献1]特開2003-7994号公報
この種の撮像装置においては、入射光束のうち非可視光の波長帯域を受光することは考慮されていなかった。
本発明の第1の態様における撮像素子は、光電変換素子に、可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが可視域を受光する光電変換画素に対応づけられた可視視差画素と、光電変換素子に、非可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが非可視光域を受光する光電変換画素に対応づけられた非可視視差画素と、を備える。
本発明の第2の態様における撮像装置は、入射光束を導く1つの光学系を備え、光学系の合焦位置を可視光が捉える主要被写体に対して、オードフォーカス制御する制御部を備えた上記の撮像素子を組み込んだ撮像装置である。
本発明の第3の態様における撮像装置は、上記の撮像素子と、撮像素子の出力から、互いに視差を有する複数の可視視差画像データと、互いに視差を有する複数の非可視視差画像データとを生成する画像処理部とを備える。
本発明の第4の態様における画像処理装置は、一度の撮影によって撮像素子の同一面から出力された画素信号から生成された可視画像データおよび非可視画像データを入力する入力部と、可視画像データおよび非可視画像データのうち一方を用いて他方を新たに算出する画像処理部とを備える。
本発明の第5の態様における画像処理装置は、被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の基準方向の視点とは異なる第1視点と第2視点の可視第1視差画像と可視第2視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第1視点と第2視点の非可視第1視差画像と非可視第2視差画像とを入力し、可視第1視差画像の新たに算出する画素値を、可視第1視差画像の新たに算出する画素値と可視視差なし画像の画素値との間の差が、少なくとも、非可視第1視差画像の画素値と非可視第2視差画像の画素値との間の差に対して相関を保つように算出し、新たな可視第1視差画像を出力する。
本発明の第6の態様における画像処理装置は、被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の基準方向の視点とは異なる第1視点と第2視点の可視第1視差画像と可視第2視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第1視点と第2視点の非可視第1視差画像と非可視第2視差画像とを入力し、非可視第1視差画像の新たに算出する画素値を、非可視第1視差画像の新たに算出する画素値と非可視視差なし画像の画素値との間の差が、少なくとも、可視第1視差画像の画素値と可視第2視差画像の画素値との間の差に対して相関を保つように算出し、新たな非可視第1視差画像を出力する。
本発明の第7の態様における画像処理装置は、被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の基準方向の視点とは異なる第1視点と第2視点の可視第1視差画像と可視第2視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第1視点と第2視点の非可視第1視差画像と非可視第2視差画像とを入力し、可視第1視差画像の新たに算出する画素値を、可視第1視差画像の新たに算出する画素値と可視視差なし画像の画素値との間で定義される比が、少なくとも、非可視第1視差画像の画素値と非可視第2視差画像の画素値との間で定義される比に対して相関を保つように算出し、新たな可視第1視差画像を出力する。
本発明の第8の態様における画像処理装置は、被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の基準方向の視点とは異なる第1視点と第2視点の可視第1視差画像と可視第2視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第1視点と第2視点の非可視第1視差画像と非可視第2視差画像とを入力し、非可視第1視差画像の新たに算出する画素値を、非可視第1視差画像の新たに算出する画素値と非可視視差なし画像の画素値との間で定義される比が、少なくとも、可視第1視差画像の画素値と可視第2視差画像の画素値との間で定義される比に対して相関を保つように算出し、新たな非可視第1視差画像を出力する。
本発明の第9の態様における画像処理装置は、一度の撮影によって撮像素子の同一面から出力された画素信号から生成された可視画像データおよび非可視画像データを入力する入力部と、可視画像データおよび非可視画像データのうち少なくとも一方に含まれる視差成分を他方に重畳する画像処理部とを備える。
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
撮像装置の一形態である本実施形態に係るデジタルカメラは、1つのシーンについて可視光の波長帯域に対応する画像と非可視光の波長帯域に対応する画像とを一度の撮影により生成できるように構成されている。加えて、1つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている場合もある。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する2つの視点による視差画像を生成する場合について説明する。詳しくは後述するが、本実施形態におけるデジタルカメラは、基準方向の視点として中央視点による視差のない視差なし画像も、視差画像と共に生成できる。なお、左視点の視差画素を視差Lt画素または左視差画素、右視点の視差画素を視差Rt画素または右視差画素、視差なし画素をN画素と記す場合もある。左視点の視差画像を視差Lt画像または左視差画像、右視点の視差画像を視差Rt画像または右視差画像、視差なし画像をN画像と記す場合もある。また、入射光束のうち可視光の波長帯域を光電変換する画素を可視画素、非可視光の波長帯域を光電変換する画素を非可視画素と記す場合もある。
図1は、本実施形態に係るデジタルカメラ10の構成を説明する図である。デジタルカメラ10は、撮影光学系としての撮影レンズ20と、撮像素子100とを備える。撮影レンズ20は、光軸21に沿って入射する被写体光束を撮像素子100へ導く。詳しくは後述するが、撮像素子100の前段においては、撮像素子100内の少なくとも非可視画素に対応する位置に、赤外線カットフィルタは配置されていない。デジタルカメラ10は、撮影レンズ20および撮像素子100に加えて、制御部201、A/D変換回路202、メモリ203、駆動部204、画像処理部205、メモリカードIF207、操作部208、表示部209およびLCD駆動回路210を備える。
なお、図示するように、撮像素子100へ向かう光軸21に平行な方向を+Z軸方向と定め、Z軸と直交する平面において紙面奥へ向かう方向を+X軸方向、紙面上へ向かう方向を+Y軸方向と定める。撮影における構図との関係は、X軸が水平方向、Y軸が垂直方向となる。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮影レンズ20は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。撮影レンズ20は、デジタルカメラ10に対して着脱できる交換式レンズであっても構わない。なお、図1では撮影レンズ20を説明の都合上、瞳近傍に配置された仮想的な1枚のレンズで代表して表している。
撮像素子100は、撮影レンズ20の焦点面近傍に配置されている。撮像素子100は、二次元的に複数の画素が配列されたCCD、CMOS等のイメージセンサである。撮像素子100は、駆動部204によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してA/D変換回路202へ出力する。A/D変換回路202へ出力される画像信号は、可視光の波長帯域に対応する画像信号および非可視光の波長帯域に対応する画像信号を含む。
A/D変換回路202は、撮像素子100が出力する画像信号をデジタル画像信号に変換してメモリ203へ出力する。画像処理部205は、メモリ203をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理部205は、他にも選択された画像フォーマットにしたがって画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、LCD駆動回路210により表示信号に変換され、表示部209に表示される。また、メモリカードIF207に装着されているメモリカード220に記録される。
一連の撮影シーケンスは、操作部208がユーザの操作を受け付けて、制御部201へ操作信号を出力することにより開始される。撮影シーケンスに付随するAF、AE等の各種動作は、制御部201に制御されて実行される。
次に、撮像素子100の構成の一例について説明する。図2は、撮像素子100の断面を表す概略図である。
撮像素子100は、被写体側から順に、マイクロレンズ101、光学フィルタ102、開口マスク103、配線層105および光電変換素子108が配列されて構成されている。光電変換素子108は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子108は、基板109の表面に二次元的に複数配列されている。
光電変換素子108により変換された画像信号、光電変換素子108を制御する制御信号等は、配線層105に設けられた配線106を介して送受信される。また、各光電変換素子108に一対一に対応して設けられ、二次元的に繰り返し配列された開口部104を有する開口マスク103が、配線層105に接して設けられている。開口部104は、後述するように、対応する光電変換素子108ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部104を備える開口マスク103の作用により、光電変換素子108が受光する被写体光束に視差が生じる。
一方、視差を生じさせない光電変換素子108上には、開口マスク103が存在しない。別言すれば、対応する光電変換素子108に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部104を有する開口マスク103が設けられているとも言える。視差を生じさせることはないが、実質的には配線106によって形成される開口107が入射する被写体光束を規定するので、配線106を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク103は、各光電変換素子108に対応して別個独立に配列してもよいし、光学フィルタ102の製造プロセスと同様に複数の光電変換素子108に対して一括して形成してもよい。
光学フィルタ102は、開口マスク103上に設けられている。可視光の波長領域を受光する可視画素には、光学フィルタ102としてカラーフィルタが設けられている。カラーフィルタは、各光電変換素子108に対して特定の波長帯域を透過させるように着色された、光電変換素子108のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも2種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには3種類以上のカラーフィルタを配列するとよい。例えば赤色波長帯を透過させる赤フィルタ(Rフィルタ)、緑色波長帯を透過させる緑フィルタ(Gフィルタ)、および青色波長帯を透過させる青フィルタ(Bフィルタ)を格子状に配列するとよい。カラーフィルタは原色RGBの組合せのみならず、YCMの補色フィルタの組合せであってもよい。なお、白黒画像信号を出力すればよい場合にはカラーフィルタは設けない。非可視光の波長領域を受光する非可視画素には、光学フィルタ102として近赤外光のバンドパスフィルタが設けられている。詳しくは後述するが、互いに異なる少なくとも2種類のバンドパスフィルタが配列されていることが好ましい。
マイクロレンズ101は、光学フィルタ102上に設けられている。マイクロレンズ101は、入射する被写体光束のより多くを光電変換素子108へ導くための集光レンズである。マイクロレンズ101は、光電変換素子108のそれぞれに一対一に対応して設けられている。マイクロレンズ101は、撮影レンズ20の瞳中心と光電変換素子108の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子108に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク103の開口部104の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されてもよい。
このように、各々の光電変換素子108に対応して一対一に設けられる開口マスク103、光学フィルタ102およびマイクロレンズ101の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク103が設けられた画素を視差画素、視差を生じさせる開口マスク103が設けられていない画素を視差なし画素と呼ぶ。
なお、集光効率、光電変換効率がよいイメージセンサの場合は、マイクロレンズ101を設けなくてもよい。また、裏面照射型イメージセンサの場合は、配線層105が光電変換素子108とは反対側に設けられる。また、開口マスク103の開口部104に色成分またはバンド成分を持たせれば、光学フィルタ102と開口マスク103を一体的に形成することもできる。
また、本実施形態においては、開口マスク103と配線106を別体として設けているが、視差画素における開口マスク103の機能を配線106が担ってもよい。すなわち、規定される開口形状を配線106により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子108へ導いてもよい。この場合、開口形状を形成する配線106は、配線層105のうち最も光電変換素子108側であることが好ましい。
また、開口マスク103は、光電変換素子108に重ねて設けられる透過阻止膜によって形成されてもよい。この場合、開口マスク103は、例えば、SiN膜とSiO2膜を順次積層して透過阻止膜とし、開口部104に相当する領域をエッチングで除去して形成される。さらに、光電変換素子108そのものの領域を開口マスク103の開口部104に相当するように形成してもよい。
<視差画素とボケ特性>
視差Lt画素および視差Rt画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する。図3は、視差なし画素におけるデフォーカスの概念を説明する図である。図3(a)で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。
視差Lt画素および視差Rt画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する。図3は、視差なし画素におけるデフォーカスの概念を説明する図である。図3(a)で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。
一方、図3(b)に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。
図3(c)に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。
図3(d)に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。
図4は、視差画素におけるデフォーカスの概念を説明する図である。視差Lt画素および視差Rt画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された2つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。
図4(a)で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Lt画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Rt画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。
一方、図4(b)に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Lt画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ボケ量は増す。視差Rt画素が示す光強度分布のピークは、像点に対応する画素から、視差Lt画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Lt画素および視差Rt画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。
また、図4(c)に示すように、さらに物点が焦点位置からずれると、図4(b)の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。点像の広がりがより大きくなるので、ボケ量は増す。また、視差Lt画素および視差Rt画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ボケ量と視差量が増すと言える。
図4(d)に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合には、図4(c)の状態とは逆に、視差Rt画素が示す光強度分布のピークは、像点に対応する画素から上記一方向に離れた位置に現れる。視差Lt画素が示す光強度分布のピークは、視差Rt画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Lt画素および視差Rt画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。
図3で説明した光強度分布の変化と、図4で説明した光強度分布の変化をそれぞれグラフ化すると、図5のように表される。図5は、視差なし画素と視差画素の光強度分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。
なお、上述のように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合も、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示すので、図において、撮像素子受光面に近づく方向にずれた場合の光強度分布の変化を省略している。撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の視差Lt画素および視差Rt画素が示す光強度分布のピークについても、撮像素子受光面から遠ざかる方向に物点がずれた場合の視差Lt画素および視差Rt画素が示す光強度分布のピークと同様であるので、省略している。
図5(a)は、図3で説明した光強度分布の変化を表すグラフである。分布曲線1801は、図3(a)に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線1802は、図3(b)に対応する光強度分布を表し、また、分布曲線1803は、図3(c)に対応する光強度分布を表す。分布曲線1801に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。
図5(b)は、図4で説明した光強度分布の変化を表すグラフである。分布曲線1804と分布曲線1805は、それぞれ図4(b)の視差Lt画素の光強度分布と視差Rt画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線1806は、図4(b)に対して同等のデフォーカス状態である図3(b)の分布曲線1802と相似形状を示す。
分布曲線1807と分布曲線1808は、それぞれ図4(c)の視差Lt画素の光強度分布と視差Rt画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線1809は、図4(c)に対して同等のデフォーカス状態である図3(c)の分布曲線1803と相似形状を示す。なお、図4(d)の視差Lt画素の光強度分布と視差Rt画素の光強度分布は、図4(c)の視差Lt画素の光強度分布と視差Rt画素の光強度分布の位置を入れ替えた関係になるので、それぞれ分布曲線1808と分布曲線1807に相当する。
図6は、視差画素の種類が2つである場合における開口部104の開口形状を説明する図である。図6(a)は、視差Lt画素の開口部104lの形状と、視差Rt画素の開口部104rの形状とが、視差なし画素の開口部104nの形状を中心線322で分割したそれぞれの形状と同一である例を示している。つまり、図6(a)では、視差なし画素の開口部104nの面積は、視差Lt画素の開口部104lの面積と視差Rt画素の開口部104rの面積の和になっている。この場合、視差なし画素の開口部104nを全開口の開口部といい、開口部104lおよび開口部104rを半開口の開口部という。開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Lt画素の開口部104lおよび視差Rt画素の開口部104rは、それぞれ対応する光電変換素子108の中心(画素中心)を通る仮想的な中心線322に対して、互いに反対方向に偏位している。したがって、視差Lt画素の開口部104lおよび視差Rt画素の開口部104rはそれぞれ、中心線322に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。
図6(b)は、図6(a)で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図中において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。また、曲線Ltは図5(b)の分布曲線1804、曲線Rtは図5(b)の分布曲線1805にそれぞれ相当する。曲線Nは視差なし画素に対応しており、図5(b)の合成分布曲線1806と相似形状を示す。また、それぞれの開口部104n、開口部104l、開口部104rは、開口絞りとしての機能を発揮する。したがって、開口部104l(開口部104r)の倍の面積を持つ開口部104nを有する視差なし画素のボケ幅は、図5(b)の合成分布曲線1806で示される、視差Lt画素と視差Rt画素を足し合わせた曲線のボケ幅と同程度となる。
図6(c)は、図6(a)で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。図6(c)の曲線Lt、曲線Rtは、開口部104nを有する視差なし画素のボケ幅が視差Lt画素と視差Rt画素を足し合わせた曲線のボケ幅と同程度となるという関係を維持しつつ、図6(b)の曲線Lt、曲線Rtに対して位置関係が逆転している。
図6(d)は、視差Lt画素の開口部104lの形状と、視差Rt画素の 開口部104rの形状と、開口部104cの形状とが、全て同形状である例を示している。この場合、開口部104cを備える画素は、瞳の中心部分を部分領域とする被写体光束のみを光電変換素子108へ導くものの、基準方向に対応する開口部を有する偏心のない画素である。よって、視差なし画素(C画素)とみなすことができる。また、開口部104l、開口部104r、開口部104cは、図6(a)で示した開口部104nの半分の面積である。図6(a)の場合と同様、開口部104lおよび104rのそれぞれは、光電変換素子108の中心(画素中心)を通る仮想的な中心線322と接している。
図6(e)は、図6(d)で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。曲線Ltは図5(b)の分布曲線1804、曲線Rtは図5(b)の分布曲線1805にそれぞれ相当する。また、それぞれの開口部104c、開口部104l、開口部104rは、開口絞りの機能を有する。したがって、開口部104lおよび開口部104rと同形状、同面積である開口部104cを有する視差なし画素のボケ幅は、視差Lt画素および視差Rt画素のボケ幅と同程度となる。
図6(f)は、図6(d)で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。図6(f)の曲線Lt、曲線Rtは、図6(e)の曲線Lt、曲線Rtに対して位置関係が逆転している。
続いて、単眼立体撮像システムの中で、可視光領域から非可視光領域までを立体撮像するシステムについて述べる。初めに原理説明と配列構成を述べ、実施例1と実施例2で現像処理方法を述べる。
<非可視領域へのマルチバンド化と立体撮像>
被写体像における可視光の波長帯域だけでなく、非可視光の波長帯域も撮像できると相補的な豊富な情報が得られる。非可視光の波長帯域の情報を利用することにより、新しい空間分解能を持った分光装置を提供することが可能になる。そのとき、可視光の波長帯域と非可視光の波長帯域とを同時に一度に撮像できると、装置として最も使いやすい。更に、単眼瞳分割撮像方式の原理を用いて、撮像素子の開口を工夫することにより、同時に立体撮像できることが好ましい。そのとき、各々の可視域の色成分や非可視域のバンド成分を用いて、空間解像度を高め、更に立体視も実現するために、撮像素子をどのような配列構造とするのかが重要な課題となる。可視光の波長帯域の被写体像を立体撮像するための方式を非可視光の波長帯域へ拡張する場合に、新たにどのような新しい状況が生じ、かつ、どのような撮像素子の配列構造をとって撮像し、どのような現像処理を行えばよいのか不明であった。なかでも、単板撮像方式を採用するにあたって、可視から非可視に渡る広大なマルチバンド化の影響が光学系特性に与える影響と、その結果、単眼瞳分割撮像における立体像への影響が不明であった。
被写体像における可視光の波長帯域だけでなく、非可視光の波長帯域も撮像できると相補的な豊富な情報が得られる。非可視光の波長帯域の情報を利用することにより、新しい空間分解能を持った分光装置を提供することが可能になる。そのとき、可視光の波長帯域と非可視光の波長帯域とを同時に一度に撮像できると、装置として最も使いやすい。更に、単眼瞳分割撮像方式の原理を用いて、撮像素子の開口を工夫することにより、同時に立体撮像できることが好ましい。そのとき、各々の可視域の色成分や非可視域のバンド成分を用いて、空間解像度を高め、更に立体視も実現するために、撮像素子をどのような配列構造とするのかが重要な課題となる。可視光の波長帯域の被写体像を立体撮像するための方式を非可視光の波長帯域へ拡張する場合に、新たにどのような新しい状況が生じ、かつ、どのような撮像素子の配列構造をとって撮像し、どのような現像処理を行えばよいのか不明であった。なかでも、単板撮像方式を採用するにあたって、可視から非可視に渡る広大なマルチバンド化の影響が光学系特性に与える影響と、その結果、単眼瞳分割撮像における立体像への影響が不明であった。
図7は、結像位置の波長依存性を示す概略図である。横軸は波長[nm]を示し、縦軸はフォーカス位置[μm]を示す。マルチバンド化する非可視域の波長帯域として近赤外の領域(900nm~1700nm程度の範囲)を用いると、従来の可視域(400nm~700nm)の単眼光学系システムを流用することができる。これほどの広帯域の波長を扱うと、同じ光学系でも可視域と非可視域では、結像する焦点面の位置が異なってくることが予想される。すなわち、一般に短波長の屈折角は長波長の屈折角よりも大きいので、図示するように、可視光の被写体像に光学系を合焦させると、近赤外光の被写体像は少しボケた像となる。なお、市販のレンズ群では、一般的に、可視光域ではR、G、Bの3色の波長帯域で平均すると、合焦面ができるだけ一致するように設計されている。可視光の合焦位置と近赤外の合焦位置とが異なるという性質は、単眼立体撮像に展開するときに、新たに有効活用できる手段としての可能性を秘めている。
図3、図4を用いて既に説明したように、単眼瞳分割撮像方式では、合焦位置の被写体においては、左視点の点像分布と右視点の点像分布とが同一であるのに対し、非合焦域の被写体においては、合焦位置から離れた被写体になるほど点像分布が広がりつつ互いに離れ、視差が発生する。また、基準視点の点像分布は、左視点の点像分布と右視点の点像分布とを合計した点像分布となる。換言すると、N画素は、左右の視差画素のそれぞれが捉える被写体像の重心位置における視点方向の被写体像を捉える。
このような単眼瞳分割撮像方式の性質は、可視光の波長領域に現れる。既に説明したように、単板撮像素子の中に、可視域を光電変換する可視画素と近赤外域を光電変換する非可視画素とを同一平面上に配列する。より詳細には、各画素に対応する光電変換素子を、光軸方向に対して同じ結像面上に配列する。そうすると、可視光の領域の被写体像が合焦したとしても、近赤外光の領域の被写体像は少しボケることになる。すなわち、可視光の領域の被写体像に視差が生じていなくても、近赤外光の領域の被写体像に多少の視差が生じている。また、近赤外光の被写体像が合焦しているときは、その逆の関係となる。つまり、近赤外光の領域の被写体像は合焦したとしても、可視光の領域の被写体像は少しボケることになる。このような性質が発生しないように、全ての波長域で結像位置を一致させるべく、画素の受光部である光電変換素子の深さを変えるように設計してもよいが、本実施形態においては、敢えてそのようなことをせずに、可視光の合焦位置と近赤外の合焦位置とが少し異なる性質を利用する。現像処理の方法として、後述する実施例1ではなく、後述する実施例2を利用すると、特にその性質が活かせることになる。
<画素配列構成の基本法則と現像処理の関係>
上述した可視帯域と非可視帯域のマルチバンドを利用して立体撮像するためにはどのような画素配列構造をとればよいかについて説明する。特願2012-060738(疎で等方的な視差画素配列)においては、可視画素として全開口の視差なし画素と半開口の左右の視差画素とが配列されている。同様に、非可視画素として全開口の視差画素と半開口の左右視差画素とが配列されると、可視帯域の画素密度が低下してしまい、可視域の空間解像能力をそいでしまうという問題が発生する。すなわち、多視差化とマルチバンド化に伴って、各々の成分の空間解像との両立が問題となる。そこで、本実施形態においては、次のような基本的立場をとり、図8、図9等に示す配列を採用する。
上述した可視帯域と非可視帯域のマルチバンドを利用して立体撮像するためにはどのような画素配列構造をとればよいかについて説明する。特願2012-060738(疎で等方的な視差画素配列)においては、可視画素として全開口の視差なし画素と半開口の左右の視差画素とが配列されている。同様に、非可視画素として全開口の視差画素と半開口の左右視差画素とが配列されると、可視帯域の画素密度が低下してしまい、可視域の空間解像能力をそいでしまうという問題が発生する。すなわち、多視差化とマルチバンド化に伴って、各々の成分の空間解像との両立が問題となる。そこで、本実施形態においては、次のような基本的立場をとり、図8、図9等に示す配列を採用する。
図8および図9は、画素配列の一例としての実空間の配列とk空間を示す図である。各図の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。各図の配列図において、実線の矩形は可視視差画素を示し、破線の矩形は非可視視差画素を示す。実線の正方形は可視視差なし画素を示す。
可視域でのRGB3色の2D撮像ではBayer配列が有効である。それは、視感度の大きいG成分がR成分、B成分より高密度に配置されることにより、G成分が基準解像を担い、かつ、RGB色成分間の相関、すなわち、色比R/G、R/Bが一定、あるいは色差R-G、B-Gが一定という関係を利用して、R成分、B成分の空間解像を引き上げることができるからである。さらに、可視域でのRGB3色の立体撮像では、特願2012-060738が示すN:Lt:Rt=6:1:1配列が2D-3Dシームレス画像を撮影するという観点から最も有効である。すなわち、2Dも3Dも高解像に現像することができる。これは、単眼立体撮像システムでは、ボケた領域にしか視差は発生しないという性質を利用して、視差画素の密度を下げ、N画素によって基準解像を保ち、N画素が捉えたN画像(2D画像)の高解像情報を視差Lt画像および視差Rt画像(3D画像)に反映するからである。実験的に、特願2012-060738が示すN:Lt:Rt=14:1:1配列も2D-3Dシームレス画像の撮影に有効な性能を持つことを確認している。N:Lt:Rt=6以上:1:1の配列であれば、2D-3Dシームレス画像の撮影に有効な性能を持つ可能性がある。なお、3Dメガネを装着した鑑賞者と3Dメガネを装着しない鑑賞者とが同時に鑑賞できる画像を2D-3Dシームレス画像という。
そこで、本実施形態においては、可視画素のみからなる画素配列から、非可視画素を加えた画素配列へ拡張するとき、特願2012-060738が示すN:Lt:Rt=14:1:1を基本構造として採用した上で、一部の可視視差なし画素を非可視視差画素に置き換える。より詳細には、可視域で2D-3Dシームレスな高解像出力が保証されている特願2012-060738のN:Lt:Rt=14:1:1配列(RGB3色配列)を採用しつつ、N:Lt:Rt=6:1:1配列へ視差画素を増分した画素を、それぞれ近赤外の3バンドの視差画素に割り当てる。以上のように割り当てることにより、図示するように、N:Lt:Rt=14:1:1配列に可視光領域の2D-3Dシームレス画像を同時に高解像に分解する基本解像を担わせる。一方で、非可視画素としては、視差なし画素は採用せず、視差画素のみを追加している。このような配列において、非可視光領域の2D-3Dシームレス画像を同時に高解像出力するには、まず、非可視光の視差なし画像を可視光の視差なし画像の情報を反映させて、高解像度化する。その後に、非可視視差画素の情報を利用して、非可視の高解像な立体画像を生成する。したがって、非可視画素として視差なし画素が設けられていなくてもよい。
図8上段に示す配列は、図8下段に示す周波数解像をサンプリング時点で持つ。現像処理段階で、最も外側にまで高い解像を示す成分の情報を利用して、その他の成分の周波数解像をそこまで伸ばせる可能性を持つ。そのためには、可視視差画素と非可視視差画素の密度を低くしつつ、それらの画素を可視視差なし画素のダメージが最も少なくなるように纏まりなく離して配置するとよい。一方で、各々の色またはバンド、および視差を持つ各成分が図8下段の周波数解像をとるには、各成分を等方的に配置する必要がある。同時に、その色配列の基本構造は、Bayer配列を保つことが前提となる。そうすると、配列の基本法則は、各成分を等方的に配置しつつ、可視のN画素に対して纏まりなく配置するために、ある波長バンド成分の一方の視差画素を等方的に配置した上で、その波長バンドの他方の視差画素とは最も距離が離れるように配置することになる。更に、可視と非可視を区別せずに、6つの波長バンドを纏めて捉えたときに、同じ視点の視差画素同士が最も離れるように配置しつつ、非可視視差画素同士が最も離れるように配置し、かつ、可視視差画素同士も最も離れるように配置する。図9上段に示す配列についても同様のことがいえる。最後に述べた条件の優先順位の付け方によって、図8の配列をとったり、図9の配列をとったりすることになる。図8は非視差画素同士を離すことを優先した配列である。図9は同じ視点の視差画素同士が最も離れることを優先した配列である。
詳しくは後述するが、モノクロの立体撮像素子を可視と近赤外の2バンドの立体撮像素子に拡張した配列の例を図11、図12に示す。図11および図12に示す画素配列も上述の配置法則に則っている。
<可視波長帯域と非可視波長帯域の混合立体現像>
可視波長帯域と非可視波長帯域では、同じ光学系を用いても結像面の位置が異なるという性質を利用する点をもう少し詳しく説明する。この性質を利用して、可視帯域の立体現像において非可視帯域の視差情報を与えながら現像処理すると、新たに合焦位置でも視差が発生するという新しい効果が生み出される。可視画素のみの単眼立体撮像システムでは、合焦位置の被写体像では視差が発生せず、非合焦位置の被写体像でのみ視差が発生していた。この場合にも自然な立体視が可能になるが、人間の目においては、合焦位置でも右目と左目に写る像には視差が存在する。それでいて、焦点を合わせていない部分では、ぼんやりとしか認知していない。したがって、非可視光の結像位置が異なるという性質を利用することにより、より視覚系が捉える立体像に近い立体画像を生成する単眼立体撮像システムを提供することが可能になる。
可視波長帯域と非可視波長帯域では、同じ光学系を用いても結像面の位置が異なるという性質を利用する点をもう少し詳しく説明する。この性質を利用して、可視帯域の立体現像において非可視帯域の視差情報を与えながら現像処理すると、新たに合焦位置でも視差が発生するという新しい効果が生み出される。可視画素のみの単眼立体撮像システムでは、合焦位置の被写体像では視差が発生せず、非合焦位置の被写体像でのみ視差が発生していた。この場合にも自然な立体視が可能になるが、人間の目においては、合焦位置でも右目と左目に写る像には視差が存在する。それでいて、焦点を合わせていない部分では、ぼんやりとしか認知していない。したがって、非可視光の結像位置が異なるという性質を利用することにより、より視覚系が捉える立体像に近い立体画像を生成する単眼立体撮像システムを提供することが可能になる。
一方で、非可視の波長帯域の立体現像では、撮像情報は極めて低解像なサンプリングしかされていない。しかしながら、非可視波長における被写体像も擬似的でもよいから空間解像の高い画像として見たいという要求がある。そこで、非可視の波長帯域の2D現像において、可視の波長帯域の2D解像を反映させた上で、立体現像においても非可視視差画素の情報だけでは不足するサンプリング情報を可視視差画素のサンプリング情報で補いながら高い解像度の非可視立体現像を可能とする。
なお、可視域での単眼立体撮像とその現像方法の説明を理解する上で、本出願と同一発明者の以下の特許文献が参考となる。
文献A1:PCT/JP2013/001811
文献A2:特開2013-229765
文献A3:PCT/JP2013/001745
文献A1:PCT/JP2013/001811
文献A2:特開2013-229765
文献A3:PCT/JP2013/001745
<実施例1>
---可視+非可視6バンド疎な視差画素配列---
図8の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。周波数をfとすると、k=2πfで表される波数kのk空間で記述している。
---可視+非可視6バンド疎な視差画素配列---
図8の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。周波数をfとすると、k=2πfで表される波数kのk空間で記述している。
図10は、波長と分高感度との関係を説明する図である。横軸は波長[nm]を示し、縦軸は分高感度を示す。図10(a)、(b)に示すように、可視光のRGBカラーフィルタとして、一般的に使用される分光特性を有するカラーフィルタを用いる。一方で、近赤外光のI1,I2,I3バンドパスフィルタとしては、図10(a)に示すように、半値幅が広いバンドパスフィルタを用いてもよいし、図10(b)に示すように、半値幅が狭く特定の波長を透過させるバンドパスフィルタを用いてもよい。近赤外光のバンドパスフィルタとして互いに異なる3バンドのバンドパスフィルタを用いることができる。
以下の説明では、可視光の3色と近赤外の3バンドを、便宜上、6バンドとひとまとめに呼ぶ場合もある。また、可視光の色成分と近赤外のバンド成分とをまとめて色バンド成分と呼ぶ場合もある。波長の短いバンドから順に、B,G,R,IB,IG,IRという記号も用いる。
それぞれの色バンド成分で、視差なし画素にN、左視差画素にLt、右視差画素にRtの下つきの添字を付けて区別する。
可視視差なし画素:RN、GN、BN
可視左視差画素:RLt、GLt、BLt
可視右視差画素:RRt、GRt、BRt
近赤外左視差画素:IR Lt、IG Lt、IB Lt
近赤外右視差画素:IR Rt、IG Rt、IB Rt
なお、便宜的にIB,IG,IRを波長の短い順から名付けたが、実際にはこれらの役割を入れ替えても良い。すなわち、画素密度の多い成分を何れにとってもよいし、また、図8のR画素が存在する行に、必ずしも近赤外3バンドの中の最長波長側が位置していなくてもよい。
可視視差なし画素:RN、GN、BN
可視左視差画素:RLt、GLt、BLt
可視右視差画素:RRt、GRt、BRt
近赤外左視差画素:IR Lt、IG Lt、IB Lt
近赤外右視差画素:IR Rt、IG Rt、IB Rt
なお、便宜的にIB,IG,IRを波長の短い順から名付けたが、実際にはこれらの役割を入れ替えても良い。すなわち、画素密度の多い成分を何れにとってもよいし、また、図8のR画素が存在する行に、必ずしも近赤外3バンドの中の最長波長側が位置していなくてもよい。
可視と非可視の非混合現像を説明する。処理の手順は、およそ以下の通りである。
1)色・視差多重化モザイク画像データ入力
2)色・視差モザイク画像のグローバル・ゲインバランス補正
3)仮の可視及び非可視視差画像の生成
4)左右の局所照度分布補正による可視視差なし色モザイク画像の生成
(ローカル・ゲインバランス補正)
5)可視視差なし基準画像の生成
6)非可視視差なし基準画像の生成
7)実際の可視及び非可視視差画像の生成
8)可視及び非可視画像の出力色空間への変換
以下、詳細に説明する。
1)色・視差多重化モザイク画像データ入力
2)色・視差モザイク画像のグローバル・ゲインバランス補正
3)仮の可視及び非可視視差画像の生成
4)左右の局所照度分布補正による可視視差なし色モザイク画像の生成
(ローカル・ゲインバランス補正)
5)可視視差なし基準画像の生成
6)非可視視差なし基準画像の生成
7)実際の可視及び非可視視差画像の生成
8)可視及び非可視画像の出力色空間への変換
以下、詳細に説明する。
1)色・視差多重化モザイク画像データ入力
図8の可視光及び近赤外の色バンドと視差の多重化された単板式モザイク画像をM(x,y)で表す。階調はA/D変換によって出力された線形階調であるものとする。すなわち、光量に比例した画素値を持つ。これをRAWデータと呼ぶこともある。
図8の可視光及び近赤外の色バンドと視差の多重化された単板式モザイク画像をM(x,y)で表す。階調はA/D変換によって出力された線形階調であるものとする。すなわち、光量に比例した画素値を持つ。これをRAWデータと呼ぶこともある。
2)色・視差モザイク画像のグローバル・ゲインバランス補正
左視差画素に入る照度と右視差画素に入る照度とは、絞りを絞るほど、単に左右間の相対的な分布の違いだけではなく、画像全体の平均信号レベルとしても大きな差が現実問題として生まれるので、この段階で全体的な明るさの整合をとるゲイン補正を行う。これは可視光でも近赤外光でも同様に生じる。そのために、撮影された被写体像をそのまま使って、視差なし画素の画素値の画像全体の平均値と、左視差画素の画素値の画像全体の平均値と、右視差画素の画素値の画像全体の平均値を算出する。可視光では3つの信号レベルが存在する。近赤外光では2つの信号レベルが存在する。
左視差画素に入る照度と右視差画素に入る照度とは、絞りを絞るほど、単に左右間の相対的な分布の違いだけではなく、画像全体の平均信号レベルとしても大きな差が現実問題として生まれるので、この段階で全体的な明るさの整合をとるゲイン補正を行う。これは可視光でも近赤外光でも同様に生じる。そのために、撮影された被写体像をそのまま使って、視差なし画素の画素値の画像全体の平均値と、左視差画素の画素値の画像全体の平均値と、右視差画素の画素値の画像全体の平均値を算出する。可視光では3つの信号レベルが存在する。近赤外光では2つの信号レベルが存在する。
まず、左右間の基準点として、平均値に信号レベルを合わせるようにゲイン補正を行う。これは、例え視差があったとしても、左右の視差画素では同じような領域の被写体像を捉えていることから、一様面を撮影しなくても被写体像そのものから、レベル合わせに必要な信号情報を得ることができるとの仮定に基づく。左右間の基準点として、平均値に信号レベルを合わせるようにゲイン補正を行う。そのとき、基準点の取り方として相加平均と相乗平均の2通りが考えられる。その後、可視光については、左右平均された信号レベルと視差なし画素の信号レベルとの間で相乗平均をとって、その平均値に信号レベルを合わせるようにゲイン補正を行う。この手続きを、R、G、B、IR、IG、IB各々の色バンド成分について行う。それぞれに対応する平均値を
と表す。
と表す。
なお、全ての視差なし画素が全開口のマスクを持っているときに相加平均型の方式を採用する。全ての視差なし画素が半開口のマスクを持っているときに相乗平均型の方式を採用する。従って、本実施形態では相加平均型を採用する。
便宜的にモザイク画像M(x,y)の内、
可視R成分の視差なし画素の信号面をRN_mosaic(x,y)、
可視R成分の左視差画素の信号面をRLt_mosaic(x,y)、
可視R成分の右視差画素の信号面をRRt_mosaic(x,y)、
可視G成分の左視差画素の信号面をGN_mosaic(x,y)、
可視G成分の視差なし画素の信号面をGLt_mosaic(x,y)、
可視G成分の右視差画素の信号面をGRt_mosaic(x,y)、
可視B成分の視差なし画素の信号面をBN_mosaic(x,y)、
可視B成分の左視差画素の信号面をBLt_mosaic(x,y)、
可視B成分の右視差画素の信号面をBRt_mosaic(x,y)、
近赤外IR成分の左視差画素の信号面をIR Lt_mosaic(x,y)、
近赤外IR成分の右視差画素の信号面をIR Rt_mosaic(x,y)、
近赤外IG成分の左視差画素の信号面をIG N_mosaic(x,y)、
近赤外IG成分の右視差画素の信号面をIG Rt_mosaic(x,y)、
近赤外IB成分の左視差画素の信号面をIB Lt_mosaic(x,y)、
近赤外IB成分の右視差画素の信号面をIB Rt_mosaic(x,y)
と表すことにする。
可視R成分の視差なし画素の信号面をRN_mosaic(x,y)、
可視R成分の左視差画素の信号面をRLt_mosaic(x,y)、
可視R成分の右視差画素の信号面をRRt_mosaic(x,y)、
可視G成分の左視差画素の信号面をGN_mosaic(x,y)、
可視G成分の視差なし画素の信号面をGLt_mosaic(x,y)、
可視G成分の右視差画素の信号面をGRt_mosaic(x,y)、
可視B成分の視差なし画素の信号面をBN_mosaic(x,y)、
可視B成分の左視差画素の信号面をBLt_mosaic(x,y)、
可視B成分の右視差画素の信号面をBRt_mosaic(x,y)、
近赤外IR成分の左視差画素の信号面をIR Lt_mosaic(x,y)、
近赤外IR成分の右視差画素の信号面をIR Rt_mosaic(x,y)、
近赤外IG成分の左視差画素の信号面をIG N_mosaic(x,y)、
近赤外IG成分の右視差画素の信号面をIG Rt_mosaic(x,y)、
近赤外IB成分の左視差画素の信号面をIB Lt_mosaic(x,y)、
近赤外IB成分の右視差画素の信号面をIB Rt_mosaic(x,y)
と表すことにする。
3)仮の可視及び非可視視差画像の生成
空間周波数解像度の低い分解能の仮の左視差画像および仮の右視差画像を可視バンドと近赤外バンドの6色バンドのそれぞれについて生成する。例えば、単色バンドの左視差画素ばかりを集めた可視G色面内の単純平均補間を行う。例えば、近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、単色バンドの右視差画素ばかりを集めたG色面内の単純平均補間を行う。同様の処理をR,G,B,IR,IG,IBの6バンドについて行う。更に、可視単色バンドの視差なし画素ばかりを集めたG色面内の単純平均補間を行う。同様の処理をR,G,Bの各々について行う。すなわち、RLt_mosaic(x,y)からRLt(x,y)を、RRt_mosaic(x,y)からRRt(x,y)を、RN_mosaic(x,y)からRN(x,y)を生成する。GLt_mosaic(x,y)からGLt(x,y)を、GRt_mosaic(x,y)からGRt(x,y)を、GN_mosaic(x,y)からGN(x,y)を生成する。BLt_mosaic(x,y)からBLt(x,y)を、BRt_mosaic(x,y)からBRt(x,y)を、BN_mosaic(x,y)からBN(x,y)を生成する。IR Lt_mosaic(x,y)からIR Lt(x,y)を、IR Rt_mosaic(x,y)からIR Rt(x,y)を、IG Lt_mosaic(x,y)からIG Lt(x,y)を、IG Rt_mosaic(x,y)からIG Rt(x,y)を、IB Lt_mosaic(x,y)からIB Lt(x,y)を、IB Rt_mosaic(x,y)からIB Rt(x,y)を生成する。
空間周波数解像度の低い分解能の仮の左視差画像および仮の右視差画像を可視バンドと近赤外バンドの6色バンドのそれぞれについて生成する。例えば、単色バンドの左視差画素ばかりを集めた可視G色面内の単純平均補間を行う。例えば、近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、単色バンドの右視差画素ばかりを集めたG色面内の単純平均補間を行う。同様の処理をR,G,B,IR,IG,IBの6バンドについて行う。更に、可視単色バンドの視差なし画素ばかりを集めたG色面内の単純平均補間を行う。同様の処理をR,G,Bの各々について行う。すなわち、RLt_mosaic(x,y)からRLt(x,y)を、RRt_mosaic(x,y)からRRt(x,y)を、RN_mosaic(x,y)からRN(x,y)を生成する。GLt_mosaic(x,y)からGLt(x,y)を、GRt_mosaic(x,y)からGRt(x,y)を、GN_mosaic(x,y)からGN(x,y)を生成する。BLt_mosaic(x,y)からBLt(x,y)を、BRt_mosaic(x,y)からBRt(x,y)を、BN_mosaic(x,y)からBN(x,y)を生成する。IR Lt_mosaic(x,y)からIR Lt(x,y)を、IR Rt_mosaic(x,y)からIR Rt(x,y)を、IG Lt_mosaic(x,y)からIG Lt(x,y)を、IG Rt_mosaic(x,y)からIG Rt(x,y)を、IB Lt_mosaic(x,y)からIB Lt(x,y)を、IB Rt_mosaic(x,y)からIB Rt(x,y)を生成する。
仮の可視R成分の視差なし画像をRN(x,y)で表す。
仮の可視G成分の視差なし画像をGN(x,y)で表す。
仮の可視B成分の視差なし画像をBN(x,y)で表す。
仮の可視R成分の左視差画像をRLt(x,y)で表す。
仮の可視G成分の左視差画像をGLt(x,y)で表す。
仮の可視B成分の左視差画像をBLt(x,y)で表す。
仮の可視R成分の右視差画像をRRt(x,y)で表す。
仮の可視G成分の右視差画像をGRt(x,y)で表す。
仮の可視B成分の右視差画像をBRt(x,y)で表す。
仮の近赤外IR成分の左視差画像をIR Lt(x,y)で表す。
仮の近赤外IG成分の左視差画像をIG Lt(x,y)で表す。
仮の近赤外IB成分の左視差画像をIB Lt(x,y)で表す。
仮の近赤外IR成分の右視差画像をIR Rt(x,y)で表す。
仮の近赤外IG成分の右視差画像をIG Rt(x,y)で表す。
仮の近赤外IB成分の右視差画像をIB Rt(x,y)で表す。
仮の可視G成分の視差なし画像をGN(x,y)で表す。
仮の可視B成分の視差なし画像をBN(x,y)で表す。
仮の可視R成分の左視差画像をRLt(x,y)で表す。
仮の可視G成分の左視差画像をGLt(x,y)で表す。
仮の可視B成分の左視差画像をBLt(x,y)で表す。
仮の可視R成分の右視差画像をRRt(x,y)で表す。
仮の可視G成分の右視差画像をGRt(x,y)で表す。
仮の可視B成分の右視差画像をBRt(x,y)で表す。
仮の近赤外IR成分の左視差画像をIR Lt(x,y)で表す。
仮の近赤外IG成分の左視差画像をIG Lt(x,y)で表す。
仮の近赤外IB成分の左視差画像をIB Lt(x,y)で表す。
仮の近赤外IR成分の右視差画像をIR Rt(x,y)で表す。
仮の近赤外IG成分の右視差画像をIG Rt(x,y)で表す。
仮の近赤外IB成分の右視差画像をIB Rt(x,y)で表す。
なお、仮の可視視差なし画像RN(x,y)、GN(x,y)、BN(x,y)を作るときは、信号面内での方向判定を導入して高精細に行うのが好ましい。また、仮の視差画像の各々を生成するときも、上下左右の4点、ないしは斜め4点に囲まれた対称性の良い画素をまず縦横相関、ないしは斜め相関をみながら相関量の逆数加重比で補間し、残りの対称性のよい画素を順繰りにこの操作を繰り返して補間する方法がより好ましい。
4)左右の照度分布補正による可視視差なし色モザイク画像の生成
(ローカル・ゲインバランス補正)
次にステップ2)で行ったグローバル・ゲイン補正と同様の考え方で、可視画像のRGB3バンドに限って、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをMN(x,y)と書くことにする。
(ローカル・ゲインバランス補正)
次にステップ2)で行ったグローバル・ゲイン補正と同様の考え方で、可視画像のRGB3バンドに限って、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをMN(x,y)と書くことにする。
この場合も、各画素の基準点として揃える目標値の設定方法に、左右間の視差を消滅させる方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の2種類が存在する。全ての視差なし画素が全開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅を全開口のボケ幅と一致させるために相加平均型を選ぶ必要がある。一方、全ての視差なし画素が半開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅を半開口のボケ幅と一致させるために相乗平均型を選ぶ必要がある。本実施形態では視差なし画素は全開口であるので、相加平均型を採用する。
さらに、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作は、両者が既に同じボケ幅の被写体像に揃えられているから、そのボケ幅を保存する必要がある。したがって、このときには共通に相乗平均をとらなければならない。以下にそれらの具体式を挙げる。
なお、そのときに撮像素子配列における視差なし画素と視差画素との密度比を考慮に入れた相乗平均をとるようにする。すなわち、本実施例で用いている視差なし画素(N)と左視差画素(Lt)と右視差画素(Rt)の比は、可視画素のみを取り出すと、N:L:R=12:1:1、すなわち、N:(L+R)=6:1である。したがって、視差画素には6/7乗の重みを、視差なし画素には1/7乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。
以上のように、可視光3バンドについて、左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、Bayer面のデータを書き換え、視差なしBayer面の画像MN(x,y)を出力する。なお、元々の撮像画素が近赤外画素であったデータもここで求めたデータにBayer配列の色の規則に則って置き換えを行うものとする。
5)可視視差なし基準画像の生成
こうして可視RGB各色成分の照度バランスが揃い、視差の消滅したBayer面MN(x,y)から、従来の色補間の技術を用いてセンサーが持つ画素数相当のナイキスト周波数にまで分解能をもつ視差なしのカラー画像を2D画像として生成することができる。例えば、公知のBayer補間技術の最も優れた例として、本出願と同一発明者のUSP8,259,213に示される補間アルゴリズムがある。
こうして可視RGB各色成分の照度バランスが揃い、視差の消滅したBayer面MN(x,y)から、従来の色補間の技術を用いてセンサーが持つ画素数相当のナイキスト周波数にまで分解能をもつ視差なしのカラー画像を2D画像として生成することができる。例えば、公知のBayer補間技術の最も優れた例として、本出願と同一発明者のUSP8,259,213に示される補間アルゴリズムがある。
以上のようにして得られた視差なしのRGBカラー画像をRN(x,y)、GN(x,y)、BN(x,y)によって表す。これらは線形階調で表されたRGBデータである。
6)非可視視差なし基準画像の生成
次に、非可視光における近赤外の波長帯域の2D画像を高精細に生成する方法を説明する。生成する画像をIR N(x,y)、IG N(x,y)、IB N(x,y)によって表すことにする。特に高精細に生成するのでなければ、これらは以下の式によって求まる。
次に、非可視光における近赤外の波長帯域の2D画像を高精細に生成する方法を説明する。生成する画像をIR N(x,y)、IG N(x,y)、IB N(x,y)によって表すことにする。特に高精細に生成するのでなければ、これらは以下の式によって求まる。
しかし、非可視域における近赤外の画像であっても、実際にどのように物体が写っているのかをたとえ擬似的にであっても高解像の画像として生成したい場合がある。例えば、蛇は、人間が視認できる可視光とは違った赤外光によって物体を認知している。そのような像を作るために、可視光で捉えた高解像な2D画像の高周波情報を非可視光の近赤外の低解像度データに補正項として加える。そのときに、図8に示した配列で、近赤外と同じ視差画素密度である可視光の視差画素との差異を利用して、実際に不足している高周波成分を取り出す操作を行う。こうすることによって、無用な周波数帯域での過剰なエッジ強調のような弊害がでる恐れがなくなり、自然な近赤外光の高解像度化が図れる。
補正方法には2通りの演算が考えられる。すなわち、可視光の高解像度画像と低解像度画像との間で成り立つ関係が、比が一定のまま近赤外光の高解像度画像と低解像度画像の間でも成り立っていると仮定する方法と、差が一定のまま近赤外光の高解像度画像と低解像度画像の間でも成り立っている仮定する方法である。
なお、比が一定のタイプの場合、全ての可視視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての可視視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、比が一定の場合、本実施形態では相加平均型を採用する。
比が一定の方式では、線形階調空間のままの状態で演算を行うのが一般的である。一方の差が一定の方式では、一旦ガンマ変換によって対数に近い空間に持っていった上で、差が一定の補正を行いながら近赤外の高解像な2D画像を生成し、その後、逆ガンマ変換によって線形階調空間に戻す手続きを行うのが一般的である。そのガンマ変換の特性は、対数に限らず任意に設定でき、次の階調特性が優れる。ただし、xが入力信号、yが出力信号を表し、X:[0,1]、y:[0,1]の範囲に規格化されているものとする。εの値は、低感度画像では零に近い値を設定し、撮像感度が大きくなるに従って大きく設定する。本出願と同一発明者のUSP7,957,588を参照されたい。
7)実際の可視及び非可視視差画像の生成
可視画像に関して、ステップ3)で生成した解像力の低い仮の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)と、ステップ5)で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像R'Lt(x,y)、G'Lt(x,y)、B'Lt(x,y)を生成する。同様に、ステップ3)で生成した解像力の低い仮の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)と、ステップ5)で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像R'Rt(x,y)、G'Rt(x,y)、B'Rt(x,y)を生成する。
可視画像に関して、ステップ3)で生成した解像力の低い仮の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)と、ステップ5)で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像R'Lt(x,y)、G'Lt(x,y)、B'Lt(x,y)を生成する。同様に、ステップ3)で生成した解像力の低い仮の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)と、ステップ5)で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像R'Rt(x,y)、G'Rt(x,y)、B'Rt(x,y)を生成する。
近赤外画像に関しても、ステップ3)で生成した解像力の低い仮の左視差のカラー画像IR
Lt(x,y)、IG
Lt(x,y)、IB
Lt(x,y)と、ステップ6)で中間処理として生成した解像力の高い視差なしの3バンド画像IR
N(x,y)、IG
N(x,y)、IB
N(x,y)を用いて、実際に出力する解像力の高い左視差の3バンド画像I'R
Lt(x,y)、I'G
Lt(x,y)、I'B
Lt(x,y)を生成する。同様に、ステップ3)で生成した解像力の低い仮の右視差の3バンド画像IR
Rt(x,y)、IG
Rt(x,y)、IB
Rt(x,y)と、ステップ6)で中間処理として生成した解像力の高い視差なしの3バンド画像IR
N(x,y)、IG
N(x,y)、IB
N(x,y)を用いて、実際に出力する解像力の高い右視差の3バンド画像I'R
Rt(x,y)、I'G
Rt(x,y)、I'B
Rt(x,y)を生成する。
すなわち、可視画像は可視画像の間の中で独立して閉じ、近赤外画像は近赤外画像の中で独立して閉じた視差変調を行う。ただし、可視波長の中では、波長バンド間の混合を行って多色視差変調をする。近赤外波長の中でも、波長バンド間の混合を行って多バンド視差変調をする。ここが後の実施例2と異なる考え方である。
視差変調の方式として、比一定に保つ方法と差一定に保つ方法との2通りが考えられる。更に、比が一定の場合には、相加平均を基準点にとる方法と相乗平均を基準点にとる方法との2通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施形態では相加平均を基準点とする方式を用いる。
視差変調を行うときも、撮像素子配列における各視差画素同士の間でのRGBの密度比を考慮に入れた相乗平均をとる。すなわち、左視差画素同士の間ではR:G:B=1:2:1であり、右視差画素同士の間でもR:G:B=1:2:1であるので、比が一定の変調の場合には、R成分による視差変調に1/4乗の重みを、G成分による視差変調に1/2乗の重みを、B成分による視差変調に1/4乗の重みを与えて、密度の高いG成分による視差変調を重視した配分をとる。差が一定の変調の場合には、1/4倍、1/2倍、1/4倍の係数がそれぞれRGBに掛かる。近赤外の3バンドについても同様である。
なお、比一定の視差変調は線形階調空間のままで行い、差一定の視差変調はガンマ空間で行う。ガンマ空間への変換と逆変換は、ステップ6)で定義した式と同じである。
なお、比が一定の方式の相乗平均の式に対して対数をとれば、差が一定の場合の式と一致する。
なお、比が一定の方式の相乗平均の式に対して対数をとれば、差が一定の場合の式と一致する。
8)可視及び非可視画像の出力色空間への変換
こうして得られた可視光波長域の高解像な視差なしの中間カラー画像RN(x,y)、GN(x,y)、BN(x,y)と、高解像の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)と、高解像の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)とのそれぞれを、センサーの分光特性のカメラRGBから標準的なsRGB色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。
こうして得られた可視光波長域の高解像な視差なしの中間カラー画像RN(x,y)、GN(x,y)、BN(x,y)と、高解像の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)と、高解像の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)とのそれぞれを、センサーの分光特性のカメラRGBから標準的なsRGB色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。
一方で、非可視光の波長帯域に関する標準的な色空間は存在しないので、特に非可視光画像に関しては、何も色変換をする必要はない。ただし、分光スペクトルが3バンドの間で重なっていて、その分離度をあげたい場合には、非可視光3バンド間の3x3行列による線形演算が行われる。なお、可視光の波長帯域と近赤外光の波長帯域とが重なっている場合には、以下に示すように、6x6行列によって同時に色空間変換を行う。なお、本実施形態においては、IRカットフィルタは可視画素に対応して備えられるのに対し、非可視画素に備えられていない。また、IRカットフィルタを可視画素に備えずに、可視画素においてIRに相当する画素値を減算することにより、IRカットフィルタと同等の役割を果たすこともできる。
こうして結局、可視3色、近赤外3バンドからなる2種類の「カラー」画像として、高解像な2D画像と3D画像が生成される。
こうして結局、可視3色、近赤外3バンドからなる2種類の「カラー」画像として、高解像な2D画像と3D画像が生成される。
ここで、多色視差変調を行う画質的な効果を、実験事実に基づいて記載しておく。もし仮に、3色全てを用いずに単色成分のみで視差変調を行ったとする。そうした場合、色境界を持つ被写体像は、適切に視差変位を行うことができず、視差の過大変位や過小変位となって、立体像では色浮きや色沈み現象が発生することが明らかとなっている。特に、赤色の被写体が浮いて見える赤浮き現象が極めて顕著に認識される。また、レンズの軸上色収差が大きな光学系を用いて撮像した画像に対して、立体画像生成過程で単色視差変調を行ったときも、同様の現象を発生しうることが判明している。これに対し、多色視差変調を行った場合、これらの現象をほぼ完全に抑えることができるという極めて顕著な画質効果をもたらす。これは、色境界部においては、ある色成分が過大変位を起こしても別の色成分が過小変位を起こす場合が多く、実際には適正な視差変位量に相殺する機構が働くからである。軸上色収差も、ボケが大きい色成分と小さい色成分とが混在して存在するために、3つの色成分を用いると、3色の平均的なボケに落ち着いた視差変調を行う。単眼立体撮像においては、ボケと視差量は対応関係にあるから、通常、レンズの軸上色収差は色浮き・色沈み現象を発生させる。しかし、多色視差変調を行うと、色成分間に存在するボケ度合いの違いを平均化し、色浮き・色沈み現象を解消する効果も伴う。
上述した単眼立体撮像における単色視差変調の抱える課題と多色視差変調による解決策の関係は、ちょうど2D撮像における例えば、Bayer配列を色補間する時の単色外挿と多色外挿の関係に相似で現れているということができる。単色外挿とは、例えばUSP5,541,653に示されるようなBayer配列のR成分の画素位置にG成分を補間するとき、周辺のG画素の平均値に中心のR画素と周辺のR画素の平均値の差分からなる外挿項で補正して補間値を算出する。このような単色外挿を行うと、色境界部分では過補正によるオーバーシュートを生じる問題があり、更には倍率色収差が存在するときにはブロック化現象を生じることが、本出願と同一発明者のUSP7,236,628に詳述されている。その解決手段として、多色による外挿補正を行うと、これらを全て解決することができることを、その発明の中で示している。したがって、2D画像のデモザイク処理における多色外挿補正は、3D画像のステレオ画像生成における多色視差変調とちょうど対応関係にあり、両者は共に色境界部で相補的に相殺効果として有効に機能するとともに、2D画像生成では倍率色収差の影響を防ぐ効果となって現れ、3D画像生成では軸上色収差の影響を防ぐ効果となって現れることになる。なお、上述の「多色」は、「複数の色成分を用いた」と同意である。
以上の効果については、可視における多色の色成分を非可視における多数のバンド成分に置き換えても同様のことが言える。前述のように、異なるバンド間の変調処理を行うとき、異なるバンドの画像同士が相互に同じような信号変化をし、差一定ないしは比一定の前提条件を満たすと仮定して、変調処理が行われる。この前提が崩れるとき、その崩れた領域と成り立っている領域の境界部辺りに不自然な偽像が生じることになる。しかしながら、あるバンドとあるバンドとの間が崩れていても、別のバンドはそれとは異なる状態で崩れている場合が多く、多バンドで変調処理を行うと仮定の崩れは相殺され、大部分の画像領域で、仮定が成立するような環境を構築することができる。
<実施例2>
---可視+非可視6バンド疎な視差画素配列---
図8上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。ここでは、可視と非可視の相互混合現像を説明する。処理の手順は、およそ以下の通りである。
---可視+非可視6バンド疎な視差画素配列---
図8上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。ここでは、可視と非可視の相互混合現像を説明する。処理の手順は、およそ以下の通りである。
1)色・視差多重化モザイク画像データ入力
2)色・視差モザイク画像のグローバル・ゲインバランス補正
3)仮の可視及び非可視視差画像の生成
4)左右の局所照度分布補正による可視視差なし色モザイク画像の生成
(ローカル・ゲインバランス補正)
5)可視視差なし基準画像の生成
6)非可視視差なし基準画像の生成
7)実際の可視及び非可視視差画像の生成
8)可視及び非可視画像の出力色空間への変換
以下、詳細に説明する。全体的な処理の流れは、実施例1のフローチャートと同じである。ここでは、処理内容が異なる部分として、ステップ5およびステップ7を説明する。
2)色・視差モザイク画像のグローバル・ゲインバランス補正
3)仮の可視及び非可視視差画像の生成
4)左右の局所照度分布補正による可視視差なし色モザイク画像の生成
(ローカル・ゲインバランス補正)
5)可視視差なし基準画像の生成
6)非可視視差なし基準画像の生成
7)実際の可視及び非可視視差画像の生成
8)可視及び非可視画像の出力色空間への変換
以下、詳細に説明する。全体的な処理の流れは、実施例1のフローチャートと同じである。ここでは、処理内容が異なる部分として、ステップ5およびステップ7を説明する。
5)可視視差なし基準画像の生成
実施例1で説明した通常のBayer補間後、次の補正を加える。なぜなら、近赤外画素の撮像情報が全く使われていなければ、その分、いくら高性能なBayer補間をしても通常のBayer配列を補間したときに比べて、その現像画像には、ぼやけが生じているからである。よって、近赤外の信号面とも相関をとった補正項を加える。それには3通りの手法があり、それぞれ実施例1の中で説明した使い分け方に準ずる。
実施例1で説明した通常のBayer補間後、次の補正を加える。なぜなら、近赤外画素の撮像情報が全く使われていなければ、その分、いくら高性能なBayer補間をしても通常のBayer配列を補間したときに比べて、その現像画像には、ぼやけが生じているからである。よって、近赤外の信号面とも相関をとった補正項を加える。それには3通りの手法があり、それぞれ実施例1の中で説明した使い分け方に準ずる。
補正項として抽出している、近赤外の左右の視差画像の平均で生成した近赤外の視差なし画像面のエッジ成分は、サンプリング密度が低い。このため、補間により生成された画像領域は緩やかに変化するため抽出されず、サンプリング位置近傍での凹凸情報が抽出される。ゆえに、近赤外画素がサンプリングした撮像情報が可視光のBayer補間結果に反映される。
7)実際の可視及び非可視視差画像の生成
可視画像に関して、ステップ3)で生成した解像力の低い仮の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)と、ステップ5)で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用い、更に、近赤外画像のステップ3)で生成した解像力の低い仮の左視差のカラー画像IR Lt(x,y)、IG Lt(x,y)、IB Lt(x,y)と、ステップ6)で中間処理として生成した解像力の高い視差なしの3バンド画像IR N(x,y)、IG N(x,y)、IB N(x,y)も用いて、実際に出力する解像力の高い左視差のカラー画像R'Lt(x,y)、G'Lt(x,y)、B'Lt(x,y)を生成する。同様に、ステップ3)で生成した解像力の低い仮の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)と、ステップ5)で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用い、更に、近赤外画像のステップ3)で生成した解像力の低い仮の左視差のカラー画像IR Rt(x,y)、IG Rt(x,y)、IB Rt(x,y)と、ステップ6)で中間処理として生成した解像力の高い視差なしの3バンド画像IR N(x,y)、IG N(x,y)、IB N(x,y)も用いて、実際に出力する解像力の高い右視差のカラー画像R'Rt(x,y)、G'Rt(x,y)、B'Rt(x,y)を生成する。
可視画像に関して、ステップ3)で生成した解像力の低い仮の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)と、ステップ5)で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用い、更に、近赤外画像のステップ3)で生成した解像力の低い仮の左視差のカラー画像IR Lt(x,y)、IG Lt(x,y)、IB Lt(x,y)と、ステップ6)で中間処理として生成した解像力の高い視差なしの3バンド画像IR N(x,y)、IG N(x,y)、IB N(x,y)も用いて、実際に出力する解像力の高い左視差のカラー画像R'Lt(x,y)、G'Lt(x,y)、B'Lt(x,y)を生成する。同様に、ステップ3)で生成した解像力の低い仮の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)と、ステップ5)で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用い、更に、近赤外画像のステップ3)で生成した解像力の低い仮の左視差のカラー画像IR Rt(x,y)、IG Rt(x,y)、IB Rt(x,y)と、ステップ6)で中間処理として生成した解像力の高い視差なしの3バンド画像IR N(x,y)、IG N(x,y)、IB N(x,y)も用いて、実際に出力する解像力の高い右視差のカラー画像R'Rt(x,y)、G'Rt(x,y)、B'Rt(x,y)を生成する。
近赤外画像に関しても、ステップ3)で生成した解像力の低い仮の左視差のカラー画像IR
Lt(x,y)、IG
Lt(x,y)、IB
Lt(x,y)と、ステップ6)で中間処理として生成した解像力の高い視差なしの3バンド画像IR
N(x,y)、IG
N(x,y)、IB
N(x,y)を用い、更に、可視画像のステップ3)で生成した解像力の低い仮の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)と、ステップ5)で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)も用いて、実際に出力する解像力の高い左視差の3バンド画像I'R
Lt(x,y)、I'G
Lt(x,y)、I'B
Lt(x,y)を生成する。同様に、ステップ3で生成した解像力の低い仮の右視差の3バンド画像IR
Rt(x,y)、IG
Rt(x,y)、IB
Rt(x,y)と、ステップ6)で中間処理として生成した解像力の高い視差なしの3バンド画像IR
N(x,y)、IG
N(x,y)、IB
N(x,y)を用い、更に、可視画像のステップ3)で生成した解像力の低い仮の左視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)と、ステップ5)で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)も用いて、実際に出力する解像力の高い右視差の3バンド画像I'R
Rt(x,y)、I'G
Rt(x,y)、I'B
Rt(x,y)を生成する。
すなわち、可視画像は可視画像と近赤外画像と相互に混合し、近赤外画像も近赤外画像と可視画像を相互に混合した視差変調を行う。かつ、可視波長の中では波長バンド間の混合も行って多色視差変調もする。近赤外波長の中でも波長バンド間の混合も行って多バンド視差変調もする。以上によって、生成された立体画像は、全ての撮像時のサンプリング情報が反映され、高解像な可視及び近赤外の立体画像となる。
視差変調を行うときも、撮像素子配列における各視差画素同士の間でのRGB及びIRIGIBの密度比を考慮に入れた相乗平均をとる。すなわち、左視差画素同士の間ではR:G:B:IR:IG:IB=1:2:1:1:2:1であり、右視差画素同士の間でもR:G:B:IR:IG:IB=1:2:1:1:2:1であるので、比一定の変調の場合は、R成分とIR成分による視差変調に1/8乗の重みを、G成分とIG成分による視差変調に1/4乗の重みを、B成分とIB成分による視差変調に1/8乗の重みを与えて、密度の高いG成分とIG成分による視差変調を重視した配分をとる。差一定の視差変調の場合は1/4倍、1/2倍、1/4倍の係数がそれぞれRGBとIRIGIBに掛かる。近赤外の3バンドについても同様である。
ここで、可視画像と近赤外画像の結像位置が異なる性質を利用して、合焦位置の結像画像に対しても立体画像に視差を発生させる原理をもう一度説明しておく。例えば、差一定の視差変調の場合、可視画像に合焦している被写体像の領域では、視差変調項が何れも零となる。しかしながら、近赤外の視差変調項は零とならないので、視差変調効果が生み出される。
<実施例3>
---可視モノクロ+非可視1バンド疎な視差画素配列---
図11および図12、画素配列の一例としての実空間の配列とk空間を示す図である。各図の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。各図上段の配列図の基本格子においては、可視光はモノクロで撮像され、近赤外光は1バンドだけで撮像される。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、可視視差画素及び非可視視差画素の密度を疎な配置にし、残りの画素を可視視差なし画素にできるだけ割り当てた構造をした可視+非可視モノバンド撮像素子である。以下では、図12の配列を例に挙げて説明する。
---可視モノクロ+非可視1バンド疎な視差画素配列---
図11および図12、画素配列の一例としての実空間の配列とk空間を示す図である。各図の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。各図上段の配列図の基本格子においては、可視光はモノクロで撮像され、近赤外光は1バンドだけで撮像される。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、可視視差画素及び非可視視差画素の密度を疎な配置にし、残りの画素を可視視差なし画素にできるだけ割り当てた構造をした可視+非可視モノバンド撮像素子である。以下では、図12の配列を例に挙げて説明する。
なお、可視光と非可視光の2バンドを入れているので、ここでも便宜的にフローチャートのタイトルでは、これらを色と呼ぶことにする。ここでは、可視と非可視の相互混合現像を説明する。処理の手順は、およそ以下の通りである。ここでは、実施例2に対応する現像方法を例に挙げて説明する。実施例1に対応する現像方法に関しても基本的に同様のことがいえる。
1)色・視差多重化モザイク画像データ入力
2)色・視差モザイク画像のグローバル・ゲインバランス補正
3)仮の可視及び非可視視差画像の生成
4)左右の局所照度分布補正による可視視差なし基準画像の生成
(ローカル・ゲインバランス補正)
5)非可視視差なし基準画像の生成
6)実際の可視及び非可視視差画像の生成
7)可視及び非可視画像の出力色空間への変換
以下、詳細に説明する。
2)色・視差モザイク画像のグローバル・ゲインバランス補正
3)仮の可視及び非可視視差画像の生成
4)左右の局所照度分布補正による可視視差なし基準画像の生成
(ローカル・ゲインバランス補正)
5)非可視視差なし基準画像の生成
6)実際の可視及び非可視視差画像の生成
7)可視及び非可視画像の出力色空間への変換
以下、詳細に説明する。
1)色・視差多重化モザイク画像データ入力
図12に示す、視差が多重化された単板式の可視+非可視モノバンドのモザイク画像をM(x,y)と表す。階調はA/D変換によって出力された線形階調であるものとする。
図12に示す、視差が多重化された単板式の可視+非可視モノバンドのモザイク画像をM(x,y)と表す。階調はA/D変換によって出力された線形階調であるものとする。
便宜的にモザイク画像M(x,y)の内、
可視視差なし画素の信号面をWN_mosaic(x,y)、
可視左視差画素の信号面をWLt_mosaic(x,y)、
可視右視差画素の信号面をWRt_mosaic(x,y)、
非可視左視差画素の信号面をILt_mosaic(x,y)、
非可視右視差画素の信号面をIRt_mosaic(x,y)、
と表すことにする。
可視視差なし画素の信号面をWN_mosaic(x,y)、
可視左視差画素の信号面をWLt_mosaic(x,y)、
可視右視差画素の信号面をWRt_mosaic(x,y)、
非可視左視差画素の信号面をILt_mosaic(x,y)、
非可視右視差画素の信号面をIRt_mosaic(x,y)、
と表すことにする。
全ての可視視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての可視視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、本実施形態では相加平均型を採用する。こうして可視視差なし画素が1つのゲイン係数で、可視左視差画素が1つのゲイン係数で、可視右視差画素が1つのゲイン係数で、非可視左視差画素が1つのゲイン係数で、非可視右視差画素が1つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。
3)仮の可視及び非可視視差画像の生成
空間周波数解像度の低い分解能の仮の左視差画像および仮の右視差画像を可視バンドと近赤外バンドとの2色バンドのそれぞれについて生成する。例えば、単色バンドの左視差画素ばかりを集めた信号色面内の単純平均補間を行う。例えば、近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、単色バンドの右視差画素ばかりを集めた信号面内の単純平均補間を行う。この処理をWとIの2バンドについて行う。更に、可視単色バンドの視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、WLt_mosaic(x,y)からWLt(x,y)を、WRt_mosaic(x,y)からWRt(x,y)を、WN_mosaic(x,y)からRN(x,y)を、ILt_mosaic(x,y)からILt(x,y)を、IRt_mosaic(x,y)からIRt(x,y)を生成する。
空間周波数解像度の低い分解能の仮の左視差画像および仮の右視差画像を可視バンドと近赤外バンドとの2色バンドのそれぞれについて生成する。例えば、単色バンドの左視差画素ばかりを集めた信号色面内の単純平均補間を行う。例えば、近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、単色バンドの右視差画素ばかりを集めた信号面内の単純平均補間を行う。この処理をWとIの2バンドについて行う。更に、可視単色バンドの視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、WLt_mosaic(x,y)からWLt(x,y)を、WRt_mosaic(x,y)からWRt(x,y)を、WN_mosaic(x,y)からRN(x,y)を、ILt_mosaic(x,y)からILt(x,y)を、IRt_mosaic(x,y)からIRt(x,y)を生成する。
仮の可視視差なし画像をWN(x,y)で表す。
仮の可視左視差画像をWLt(x,y)で表す。
仮の可視右視差画像をWRt(x,y)で表す。
仮の近赤外左視差画像をILt(x,y)で表す。
仮の近赤外右視差画像をIRt(x,y)で表す。
なお、仮の可視視差なし画像WN(x,y)を生成するときは、信号面内での方向判定を導入して高精細に行うのが好ましい。また、仮の視差画像の各々を生成するときも、上下左右の4点、ないしは斜め4点に囲まれた対称性の良い画素をまず縦横相関、ないしは斜め相関をみながら相関量の逆数加重比で補間し、残りの対称性のよい画素を順繰りにこの操作を繰り返して補間する方法がより好ましい。
仮の可視左視差画像をWLt(x,y)で表す。
仮の可視右視差画像をWRt(x,y)で表す。
仮の近赤外左視差画像をILt(x,y)で表す。
仮の近赤外右視差画像をIRt(x,y)で表す。
なお、仮の可視視差なし画像WN(x,y)を生成するときは、信号面内での方向判定を導入して高精細に行うのが好ましい。また、仮の視差画像の各々を生成するときも、上下左右の4点、ないしは斜め4点に囲まれた対称性の良い画素をまず縦横相関、ないしは斜め相関をみながら相関量の逆数加重比で補間し、残りの対称性のよい画素を順繰りにこの操作を繰り返して補間する方法がより好ましい。
4)左右の局所照度分布補正による可視視差なし基準画像の生成
(ローカル・ゲインバランス補正)
次に、ステップ2)で行ったグローバル・ゲイン補正と同様の考え方で、可視画像に限って、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい可視視差なしの基準画像面を作成する。これは平均値と置き換えることと等価であり、視差の消滅した中間画像面が出来上がる。これをWN(x,y)と書くことにする。
(ローカル・ゲインバランス補正)
次に、ステップ2)で行ったグローバル・ゲイン補正と同様の考え方で、可視画像に限って、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい可視視差なしの基準画像面を作成する。これは平均値と置き換えることと等価であり、視差の消滅した中間画像面が出来上がる。これをWN(x,y)と書くことにする。
なお、そのときに撮像素子配列における視差なし画素と視差画素の密度比を考慮に入れた相乗平均をとる。すなわち、本実施例で用いている可視視差なし画素(WN)と可視左視差画素(WLt)と可視右視差画素(WRt)との比は、WN:WLt:WRt=12:1:1、すなわち、WN:(WLt+WRt)=6:1であるので、視差画素には6/7乗の重みを、視差なし画素には1/7乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。
このように左視点の可視画像と右視点の可視画像との平均値を更に視差のない可視基準視点の画像との平均値をとった画素値を新たな可視視差なし画素値として、可視単バンド面のデータを書き換え、可視視差なし単バンド面の画像WN(x,y)を出力する。
なお、実施例2のステップ5)で記述した内容に合わせて、単バンドの可視光面と近赤外光面との相関をとって、可視視差なし画像を補正する処理を加えてもよい。その使い分け方は次ステップ6)の記載に準じる。
5)非可視視差なし基準画像の生成
次に、非可視光における近赤外の波長帯域の2D画像を高精細に生成する。生成する画像をIN(x,y)によって表す。特に高精細に生成するのでなければ、これらは以下の式によって取得できる。
次に、非可視光における近赤外の波長帯域の2D画像を高精細に生成する。生成する画像をIN(x,y)によって表す。特に高精細に生成するのでなければ、これらは以下の式によって取得できる。
しかし、以下の補正を行って非可視画像の高解像度化を行うとよい。補正方法には2通りの演算が考えられる。比が一定の場合と差が一定の場合である。なお、比が一定の場合、全ての可視視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての可視視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、比が一定の場合、本実施形態では相加平均型を採用する。
6)実際の可視及び非可視視差画像の生成
可視画像について、ステップ3)で生成した解像力の低い仮の可視左視差画像WLt(x,y)と、ステップ4)で中間処理として生成した解像力の高い可視視差なし画像WN(x,y)を用いて、実際に出力する解像力の高い可視左視差画像WLt'(x,y)を生成する。同様に、ステップ3)で生成した解像力の低い仮の可視右視差画像WRt(x,y)と、ステップ4)で中間処理として生成した解像力の高い可視視差なし画像WN(x,y)を用いて、実際に出力する解像力の高い可視右視差画像WRt'(x,y)を生成する。
可視画像について、ステップ3)で生成した解像力の低い仮の可視左視差画像WLt(x,y)と、ステップ4)で中間処理として生成した解像力の高い可視視差なし画像WN(x,y)を用いて、実際に出力する解像力の高い可視左視差画像WLt'(x,y)を生成する。同様に、ステップ3)で生成した解像力の低い仮の可視右視差画像WRt(x,y)と、ステップ4)で中間処理として生成した解像力の高い可視視差なし画像WN(x,y)を用いて、実際に出力する解像力の高い可視右視差画像WRt'(x,y)を生成する。
非可視画像についても、ステップ3)で生成した解像力の低い仮の非可視左視差画像ILt(x,y)と、ステップ5)で中間処理として生成した解像力の高い非可視視差なし画像IN(x,y)を用いて、実際に出力する解像力の高い非可視左視差画像ILt'(x,y)を生成する。同様に、ステップ3)で生成した解像力の低い仮の非可視右視差画像IRt(x,y)と、ステップ5)で中間処理として生成した解像力の高い非可視視差なし画像IN(x,y)を用いて、実際に出力する解像力の高い非可視右視差画像IRt'(x,y)を生成する。
視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法との2通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施形態では相加平均を基準点とする方式を用いる。
7)可視及び非可視画像の出力色空間への変換
こうして得られた高解像な可視視差なし画像WN(x,y)と、高解像の可視左視差画像WLt'(x,y)と、高解像の可視右視差画像WRt'(x,y)と、高解像な非可視視差なし画像IN(x,y)と、高解像の非可視左視差画像ILt'(x,y)と、高解像の非可視右視差画像IRt'(x,y)とのそれぞれを適当なガンマ変換を行って出力空間の画像として出力する。
こうして得られた高解像な可視視差なし画像WN(x,y)と、高解像の可視左視差画像WLt'(x,y)と、高解像の可視右視差画像WRt'(x,y)と、高解像な非可視視差なし画像IN(x,y)と、高解像の非可視左視差画像ILt'(x,y)と、高解像の非可視右視差画像IRt'(x,y)とのそれぞれを適当なガンマ変換を行って出力空間の画像として出力する。
<実施例4>
実施例2、3で説明した可視光と近赤外光の結像面の位置が異なることを最も有効に作用させるための撮像装置としてのカメラシステムを説明する。すなわち、実施例2ないし3に記載した撮像素子を搭載したカメラを通常の光学系、例えば、一眼レフの交換レンズを備えたシステムに組み込み、更にそのカメラのオートフォーカス機能は、従来の可視光のオートフォーカス機能をそのまま用いて、可視光の主要被写体に合焦させる。その上で、実施例2ないし3に記載の画像処理をカメラ内ないしは外部コンピュータのソフトウェアで実行する。ここで、重要なのは、可視光が撮像面に結像する位置にフォーカスを合わせるようにカメラを制御し、近赤外光はその光学系の特性で規定される量のボケ情報を同時に捉えることである。このボケ情報は、どのような光学系を用いても一定の範囲の中での可視光に対するずれを常に提供する。そうすると、最も人間の目に優しい可視光の立体画像が生成され、長時間鑑賞あるいは視聴しても頭痛のしない立体画像が楽しめることになる。
実施例2、3で説明した可視光と近赤外光の結像面の位置が異なることを最も有効に作用させるための撮像装置としてのカメラシステムを説明する。すなわち、実施例2ないし3に記載した撮像素子を搭載したカメラを通常の光学系、例えば、一眼レフの交換レンズを備えたシステムに組み込み、更にそのカメラのオートフォーカス機能は、従来の可視光のオートフォーカス機能をそのまま用いて、可視光の主要被写体に合焦させる。その上で、実施例2ないし3に記載の画像処理をカメラ内ないしは外部コンピュータのソフトウェアで実行する。ここで、重要なのは、可視光が撮像面に結像する位置にフォーカスを合わせるようにカメラを制御し、近赤外光はその光学系の特性で規定される量のボケ情報を同時に捉えることである。このボケ情報は、どのような光学系を用いても一定の範囲の中での可視光に対するずれを常に提供する。そうすると、最も人間の目に優しい可視光の立体画像が生成され、長時間鑑賞あるいは視聴しても頭痛のしない立体画像が楽しめることになる。
以上では、図8の配列の現像方法を説明したが、図9の現像方法も、既に説明した実施例1、および実施例2と共通である。また、非可視の波長帯域として、近赤外の波長帯域の例を示したが、近紫外の波長帯域にとることもできる。また、近赤外3バンドの組み合せではなく、近赤外と近紫外を組み合わせてもよい。
実施例2のステップ5)においては、可視視差なし基準画像を非可視画像の情報を用いて補正を行って、2Dカラー画像を生成すると説明した。実施例3の可視と非可視の単バンドずつの場合でも、ステップ4)において同様に説明した。これらは、何れも非可視画素を視差画素のみで構成した撮像素子を用いた説明であったが、そこで説明したサンプリングの不足分を埋める効果にとどまらずに、視差画素の有無にかかわらず、2D画像同士の可視と非可視画像の間で常に有益な効果をもたらす事実が存在することが実験的に判明した。その理由は、次に述べる。
図13は、画素配列の一例としての実空間の配列とk空間を示す図である。図13の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。ここでは、実施例1、2で説明した図8の配列において、非可視画素が全て視差画素ではなく、視差なし画素で構成される場合を示す。このような画素配列において、実施例2のステップ5)で行う演算式の対応式を記載する。
なお、<>は、局所平均を表す。
なお、<>は、局所平均を表す。
図14は、画素配列の一例としての実空間の配列とk空間を示す図である。図14の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。ここでは、実施例3で説明した図12の配列において非可視画素が全て視差画素ではなく、視差なし画素で構成される場合を示す。このような画素配列において、実施例3のステップ4)で行う演算式の対応式を記載する。ただし、図14では、可視画素の視差画素も全て視差なし画素で構成している。
前述したサンプリング不足を埋める以上に、可視画像と近赤外画像はそれぞれ、異なった焦点位置の被写体像を捉えているため、ボケ状態の異なる新しい光学情報を取得している。したがって、近赤外画像がボケた情報であるにもかかわらず、主要被写体にピントを合わせた可視画像を極めて高解像度化する能力を有することが実験的に判明した。それは、例えば、サンプリングが全画素について可視画像と近赤外画像の両方で2板式として撮像されていても成り立つ。なぜならば、サンプリングによるピント位置の被写体像のエイリアジング成分はボケ画像では生じておらず、ボケ画像の補正情報を通じて偽情報の補正も行われると考えられるからである。したがって、ボケ像には合焦画像には含まれない新しい有益な被写体に関する情報が含まれている。
上述した実施例1から3の画像処理の中で新しく取り入れた可視画像と非可視画像の間の相互に変調し合う概念は、その本質的な部分を、簡単のため可視単バンド、非可視単バンドのみからなる画像間の関係として取り出すと、以下のような関係式に要約される。ただし、実施形態では、非可視画像が視差画素のみの撮像から生成される場合を例に挙げて説明したが、ここでは、非可視画像が視差画素および視差なし画素の撮像から生成される場合を例に挙げて説明する。なお、説明をわかりやすくするために、比が一定の場合の相加平均を基準点とした変調のみを代表して記載する。
2D画像間の可視・非可視バンド間の相互変調において確認された新しい効果については、先程述べたが、3D画像生成における可視・非可視バンド間の相互視差変調によって次のような新しい作用が生まれることが、実験的に判明した。すなわち、手前、中間、奥の3つの位置に3つの物体が配置されているような状況を考える。可視光で中間物体にある被写体距離に光学系の焦点を合わせて単眼立体撮像を行うと、中間物体が置かれた合焦面内を垂直に横切る一本の軸を中心に画像全体が回転するかのように物体の視差がつく。右視差画像と左視差画像を交互に表示するとその様子が見える。一方の近赤外画像は、合焦位置が奥の方にずれるため奥の物体近辺に合焦面があり、その面内を垂直に横切る一本の軸を中心にした画像回転するような視差が近赤外画像の右視差画像と左視差画像には付いている。
異なるバンド間の相互視差変調は、この異なる回転軸の視差を相互混合する役割をなし、結果的に前述のような画像全体が回転する大局的視差から、1つ1つの物体単位で回転する局所的視差に移行する。バンド内視差変調を半分、バンド間視差変調を半分にすると、大局回転する視差と局所回転する視差とが同時に得られる。この物体単位で局所的に回転する視差は、実際に立体視してみると、不思議と正常に立体像として認識することができる。ただし、画像全体が大局回転する視差は、距離感の絶対基準が同定できるのに対し、物体単位で局所回転する視差は、距離感が相対的に認識されるものの絶対基準は人によってまちまちな位置に同定される特殊な効果を生む。例えば、物体単位で画像をトリミングすると、バンド内視差変調のみの場合とバンド間視差変調を用いた場合では、異なる視点からの画像が得られるような結果となる。
パーソナルコンピュータなどの機器を画像処理部205の機能を担う画像処理装置として機能させることもできる。この場合、画像処理装置は、カメラ等の他の装置から撮像素子の出力を取り込んでもよい。画像処理装置は、パーソナルコンピュータに限らず、さまざまな形態を採り得る。例えば、TV、携帯電話、タブレット端末、ゲーム機器等が画像処理装置になり得る。なお、以上の説明において画像は、画像データを指す場合もあれば、フォーマットに従って展開され可視化された被写体像そのものを指す場合もある。また、以上の説明では、R:G:B=1:2:1に対応させるべく、I1:I2:I3=1:2:1としたが、I2は1以上であればよい。I2は1よりも大きいことが好ましい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の撮影動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 デジタルカメラ、20 撮影レンズ、21 光軸、100 撮像素子、101 マイクロレンズ、102 光学フィルタ、103 開口マスク、104 開口部、105 配線層、106 配線、107 開口、108 光電変換素子、109 基板、201 制御部、202 A/D変換回路、203 メモリ、204 駆動部、205 画像処理部、207 メモリカードIF、208 操作部、209 表示部、210 LCD駆動回路、220 メモリカード、322 中心線、1801 分布曲線、1802 分布曲線、1803 分布曲線、1804 分布曲線、1805 分布曲線、1806 合成分布曲線、1807 分布曲線、1808 分布曲線、1809 合成分布曲線
Claims (53)
- 光電変換素子に、可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが可視域を受光する光電変換画素に対応づけられた可視視差画素と、
前記光電変換素子に、非可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが非可視光域を受光する光電変換画素に対応づけられた非可視視差画素と、
を備えた撮像素子。 - 前記非可視視差画素は、2次元方向に等間隔で配置されていると共に、前記異なる種類の前記開口マスクが対応づけられた前記非可視視差画素同士の間の距離が互いに最も離れるように配置され、
前記可視視差画素は、2次元方向に等間隔で配置されていると共に、前記異なる種類の前記開口マスクが対応づけられた前記可視視差画素同士の間の距離が互いに最も離れるように配置されている請求項1に記載の撮像素子。 - 前記非可視視差画素と前記可視視差画素の同じ種類の開口マスクを持つ画素同士が互いに隣接しないように配置されている請求項2に記載の撮像素子。
- 前記非可視視差画素は、互いに異なる波長帯域を通過させる複数種類のバンドパスフィルタの何れかが対応づけられ、
前記非可視視差画素は、対応づけられた前記バンドパスフィルタの種類毎に、前記2次元方向に等間隔で配置されていると共に、前記バンドパスフィルタの種類毎に異なる種類の前記開口マスクが対応づけられた前記非可視視差画素同士の距離が互いに最も離れるように配置され、
更に、
前記可視視差画素は、互いに異なる波長帯域を通過させる複数種類のカラーフィルタの何れかが対応づけられ、
前記可視視差画素は、対応づけられた前記カラーフィルタの種類毎に、前記2次元方向に等間隔で配置されていると共に、前記カラーフィルタの種類毎に異なる種類の前記開口マスクが対応づけられた前記可視視差画素同士の距離が互いに最も離れるように配置されている請求項2または3に記載の撮像素子。 - 前記非可視視差画素が受光する波長帯域は、近赤外領域の波長帯域である請求項1に記載の撮像素子。
- 前記非可視視差画素が受光する波長帯域は、近赤外領域の3種類の異なる波長帯域(I1,I2,I3)であり、
前記可視視差画素が受光する波長帯域は、可視領域の赤、緑、青の3種類の波長帯域(R,G,B)である請求項4に記載の撮像素子。 - 前記光電変換素子に、前記開口に制限されることなく入射光束を導く視差なし画素をさらに備え、
前記非可視視差画素は、対応づけられた前記開口マスクの種類毎に、他の前記開口マスクが対応づけられた前記非可視視差画素、前記可視視差画素、前記視差なし画素のいずれかまたは全てに挟まれて配置されており、
前記可視視差画素は、対応づけられた前記開口マスクの種類毎に、他の前記開口マスクが対応づけられた前記可視視差画素、前記非可視視差画素、前記視差なし画素のいずれかまたは全てに挟まれて配置されている請求項1から6のいずれか1項に記載の撮像素子。 - 前記視差なし画素は、前記可視光の波長帯域の入射光束を導き、可視域を受光する光電変換画素に対応づけられた可視視差なし画素である請求項7に記載の撮像素子。
- 前記非可視視差画素と前記可視視差画素の画素密度は、前記可視視差なし画素の画素密度に対して疎な配列であり、前記非可視視差画素と前記可視視差画素の合計の画素密度が、前記可視視差なし画素の画素密度よりも小さい請求項8に記載の撮像素子。
- 前記非可視視差画素と前記可視視差画素がそれぞれ右視差画素と左視差画素の2種類の開口マスクを有する時、前記可視視差なし画素に対する左視差画素と右視差画素の画素密度比が6:1:1で構成される請求項9に記載の撮像素子。
- 前記非可視視差画素は、非可視領域の3種類の異なる波長帯域(I1,I2,I3)の何れかを通過させるバンドパスフィルタが対応づけられ、かつ左開口の開口マスクを有する非可視左視差画素と右開口の開口マスクを有する非可視右視差画素の何れかからなり、
前記可視視差画素と前記可視視差なし画素は、可視領域の赤、緑、青の3種類の波長帯域(R,G,B)の何れかを通過させるカラーフィルタがそれぞれ対応づけられ、かつ、前記可視視差画素が左開口の開口マスクを有する可視左視差画素と右開口の開口マスクを有する可視右視差画素の何れかからなるとき、
前記非可視視差画素の間の各波長帯域毎の画素密度比は、非可視左視差画素と非可視右視差画素は共に、I1:I2:I3=1:2:1で構成され、
前記可視視差画素の間の各波長帯域毎の画素密度比は、可視左視差画素と可視右視差画素と可視視差なし画素は共に、R:G:B=1:2:1で構成される請求項8から10のいずれか1項に記載の撮像素子。 - 前記可視視差画素と前記可視視差なし画素と前記非可視視差画素は、何れもが光軸上の同じ撮像面の位置に光電変換部が配置された請求項8から11のいずれか一項に記載の撮像素子。
- 前記入射光束を導く1つの光学系を備え、前記光学系の合焦位置を可視光が捉える主要被写体に対して、オートフォーカス制御する制御部を備えた請求項12に記載の撮像素子を組み込んだ撮像装置。
- 請求項1から12のいずれか1項に記載の撮像素子と、
前記撮像素子の出力から、互いに視差を有する複数の可視視差画像データと、互いに視差を有する複数の非可視視差画像データとを生成する画像処理部と
を備える撮像装置。 - 一度の撮影によって撮像素子の同一面から出力された画素信号から生成された可視画像データおよび非可視画像データを入力する入力部と、
前記可視画像データおよび前記非可視画像データのうち一方を用いて他方を新たに算出する画像処理部と
を備える画像処理装置。 - 前記画像処理部は、前記可視画像データ及び前記非可視画像データのいずれか一方の、基準方向の視点による視差なし画像データと前記基準方向の視点とは異なる視差画像データを用いて、他方の前記基準方向の視点による視差なし画像データを新たに算出する請求項15に記載の画像処理装置。
- 前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点の可視視差なし画像データと、前記可視光の波長帯域における前記基準方向の視点とは異なる第1視点の可視第1視差画像データおよび第2視点の可視第2視差画像データとを含み、
前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記基準方向の視点の非可視視差なし画像データを含む請求項15または16に記載の画像処理装置。 - 前記画像処理部は、前記可視画像データを用いて前記非可視画像データを新たに算出する場合に、前記非可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との差が、前記可視視差なし画像データの前記対象画素位置における画素値と、前記可視第1視差画像データの前記対象画素位置における画素値と前記可視第2視差画像データの前記対象画素位置における画素値との平均の画素値との差に対して相関を保つように算出する請求項17に記載の画像処理装置。
- 前記入力部は、前記可視光の波長帯域における複数の色成分のそれぞれについて、前記可視視差なし画像データ、前記可視第1視差画像データ、および前記可視第2視差画像データを入力し、
前記画像処理部は、前記可視画像データを用いて前記非可視画像データを新たに算出する場合に、前記非可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との差が、少なくとも、(1)第1の色成分における前記可視視差なし画像データの前記対象画素位置の画素値と、前記第1の色成分における前記可視第1視差画像データの前記対象画素位置の画素値と前記第1の色成分における前記可視第2視差画像データの前記対象画素位置の画素値との平均の画素値との差と、(2)第2の色成分における前記可視視差なし画像データの前記対象画素位置の画素値と、前記第2の色成分における前記可視第1視差画像データの前記対象画素位置の画素値と前記第2の色成分における前記可視第2視差画像データの前記対象画素位置の画素値との平均からなる画素値との差との和に相関を保つように算出する請求項17に記載の画像処理装置。 - 前記非可視画像データは、前記非可視光の波長帯域における前記第1視点の非可視第1視差画像データおよび前記第2視点の非可視第2視差画像データを含み、
前記非可視第1視差画像データおよび前記非可視第2視差画像データの平均によって、前記非可視視差なし画像データを生成する生成部を備え、
前記画像処理部は、前記非可視第1視差画像データの新たに算出する画素値を、前記非可視第1視差画像データの新たに算出する画素値と、前記非可視視差なし画像データの新たに求めた画素値との差が、少なくとも、前記非可視第1視差画像データの前記対象画素位置の画素値と、前記非可視第2視差画像データの前記対象画素位置の画素値との差に対して相関を保つように算出する請求項18または19に記載の画像処理装置。 - 前記画像処理部は、前記可視画像データを用いて前記非可視画像データを新たに算出する場合に、前記非可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との比が、前記可視視差なし画像データの前記対象画素位置における画素値と、前記可視第1視差画像データの前記対象画素位置における画素値と前記可視第2視差画像データの前記対象画素位置における画素値との平均の画素値との比に対して相関を保つように算出する請求項17に記載の画像処理装置。
- 前記入力部は、前記可視光の波長帯域における複数の色成分のそれぞれについて、前記可視視差なし画像データ、前記可視第1視差画像データ、および前記可視第2視差画像データを入力し、
前記画像処理部は、前記可視画像データを用いて前記非可視画像データを新たに算出する場合に、前記非可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との比が、少なくとも、(1)第1の色成分における前記可視視差なし画像データの前記対象画素位置の画素値と、前記第1の色成分における前記可視第1視差画像データの前記対象画素位置の画素値と前記第1の色成分における前記可視第2視差画像データの前記対象画素位置の画素値との平均の画素値との比と、(2)第2の色成分における前記可視視差なし画像データの前記対象画素位置の画素値と、前記第2の色成分における前記可視第1視差画像データの前記対象画素位置の画素値と前記第2の色成分における前記可視第2視差画像データの前記対象画素位置の画素値との平均からなる画素値との比との積に相関を保つように算出する請求項17に記載の画像処理装置。 - 前記非可視画像データは、前記非可視光の波長帯域における前記第1視点の非可視第1視差画像データおよび前記第2視点の非可視第2視差画像データを含み、
前記非可視第1視差画像データおよび前記非可視第2視差画像データの平均によって、前記非可視視差なし画像データを生成する生成部を備え、
前記画像処理部は、前記非可視第1視差画像データの新たに算出する画素値を、前記非可視第1視差画像データの新たに算出する画素値と、前記非可視視差なし画像データの新たに求めた画素値との差が、少なくとも、前記非可視第1視差画像データの前記対象画素位置の画素値と、前記非可視第2視差画像データの前記対象画素位置の画素値との比に対して相関を保つように算出する請求項21または22に記載の画像処理装置。 - 前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点の可視視差なし画像データを含み、
前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記基準方向の視点の非可視視差なし画像データを含む請求項15に記載の画像処理装置。 - 前記非可視画像データは、前記非可視光の波長帯域における前記基準方向の視点とは異なる第1視点の非可視第1視差画像データおよび第2視点の非可視第2視差画像データを含み、
前記画像処理部は、前記非可視画像データを用いて前記可視画像データを新たに算出する場合に、前記可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との差が、前記非可視視差なし画像データの前記対象画素位置における画素値と、前記非可視第1視差画像データの前記対象画素位置における画素値と前記非可視第2視差画像データの前記対象画素位置における画素値との平均の画素値との差、または前記非可視視差なし画像データの前記対象画素位置における画素値と前記非可視視差なし画像データの前記対象画素位置における局所的な平均値との差に対して相関を保つように算出する請求項24に記載の画像処理装置。 - 前記非可視画像データは、前記非可視光の波長帯域における前記基準方向の視点とは異なる第1視点の非可視第1視差画像データおよび第2視点の非可視第2視差画像データを含み、
前記入力部は、前記非可視光の波長帯域における複数のバンド成分のそれぞれについて、前記非可視視差なし画像データ、前記非可視第1視差画像データ、および前記非可視第2視差画像データを入力し、
前記画像処理部は、前記非可視画像データを用いて前記可視画像データを新たに算出する場合に、前記可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との差が、少なくとも、(1)第1のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第1のバンド成分における前記非可視第1視差画像データの前記対象画素位置の画素値と前記第1のバンド成分における前記非可視第2視差画像データの前記対象画素位置の画素値との平均の画素値との差と、(2)第2のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第2のバンド成分における前記非可視第1視差画像データの前記対象画素位置の画素値と前記第2のバンド成分における前記非可視第2視差画像データの前記対象画素位置の画素値との平均からなる画素値との差との和、または、少なくとも、(1)第1のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第1のバンド成分における前記非可視視差なし画像データの前記対象画素位置の局所的な平均値との差と、(2)第2のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第2のバンド成分における前記非可視視差なし画像データの前記対象画素位置の局所的な平均値との差との和に相関を保つように算出する請求項24に記載の画像処理装置。 - 前記可視画像データは、前記可視光の波長帯域における前記基準方向の視点とは異なる前記第1視点の可視第1視差画像データおよび前記第2視点の可視第2視差画像データとを含み、
前記画像処理部は、前記可視第1視差画像データの新たに算出する画素値を、前記可視第1視差画像データの新たに算出する画素値と、前記可視視差なし画像データの新たに求めた画素値との差が、少なくとも、前記非可視第1視差画像データの前記対象画素位置の画素値と、前記非可視第2視差画像データの前記対象画素位置の画素値との差に対して相関を保つように算出する請求項25または26に記載の画像処理装置。 - 前記非可視画像データは、前記非可視光の波長帯域における前記基準方向の視点とは異なる第1視点の非可視第1視差画像データおよび第2視点の非可視第2視差画像データを含み、
前記画像処理部は、前記非可視画像データを用いて前記可視画像データを新たに算出する場合に、前記可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との比が、前記非可視視差なし画像データの前記対象画素位置における画素値と、前記非可視第1視差画像データの前記対象画素位置における画素値と前記非可視第2視差画像データの前記対象画素位置における画素値との平均の画素値との比、または前記非可視視差なし画像データの前記対象画素位置における画素値と前記非可視視差なし画像データの前記対象画素位置における局所的な平均値との比に対して相関を保つように算出する請求項24に記載の画像処理装置。 - 前記非可視画像データは、前記非可視光の波長帯域における前記基準方向の視点とは異なる第1視点の非可視第1視差画像データおよび第2視点の非可視第2視差画像データを含み、
前記入力部は、前記非可視光の波長帯域における複数のバンド成分のそれぞれについて、前記非可視視差なし画像データ、前記非可視第1視差画像データ、および前記非可視第2視差画像データを入力し、
前記画像処理部は、前記非可視画像データを用いて前記可視画像データを新たに算出する場合に、前記可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との比が、少なくとも、(1)第1のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第1のバンド成分における前記非可視第1視差画像データの前記対象画素位置の画素値と前記第1のバンド成分における前記非可視第2視差画像データの前記対象画素位置の画素値との平均の画素値との比と、(2)第2のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第2のバンド成分における前記非可視第1視差画像データの前記対象画素位置の画素値と前記第2のバンド成分における前記非可視第2視差画像データの前記対象画素位置の画素値との平均からなる画素値との比との積、または、少なくとも、(1)第1のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第1のバンド成分における前記非可視視差なし画像データの前記対象画素位置の局所的な平均値との比と、(2)第2のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第2のバンド成分における前記非可視視差なし画像データの前記対象画素位置の局所的な平均値との比との積に相関を保つように算出する請求項24に記載の画像処理装置。 - 前記可視画像データは、前記可視光の波長帯域における前記基準方向の視点とは異なる前記第1視点の可視第1視差画像データおよび前記第2視点の可視第2視差画像データとを含み、
前記画像処理部は、前記可視第1視差画像データの新たに算出する画素値を、前記可視第1視差画像データの新たに算出する画素値と、前記可視視差なし画像データの新たに求めた画素値との比が、少なくとも、前記非可視第1視差画像データの前記対象画素位置の画素値と、前記非可視第2視差画像データの前記対象画素位置の画素値との比に対して相関を保つように算出する請求項28または29に記載の画像処理装置。 - 前記非可視光の波長帯域は、近赤外領域である請求項17から30のいずれか1項に記載の画像処理装置。
- 被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第1視点と第2視点の可視第1視差画像と可視第2視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第1視点と第2視点の非可視第1視差画像と非可視第2視差画像とを入力し、
前記可視第1視差画像の新たに算出する画素値を、前記可視第1視差画像の新たに算出する画素値と前記可視視差なし画像の画素値との間の差が、少なくとも、前記非可視第1視差画像の画素値と前記非可視第2視差画像の画素値との間の差に対して相関を保つように算出し、新たな可視第1視差画像を出力する画像処理装置。 - 前記可視第1視差画像の新たに算出する画素値を、前記可視第1視差画像の新たに算出する画素値と前記可視視差なし画像の画素値との間の差が、少なくとも、
1)前記可視第1視差画像の画素値と前記可視第2視差画像の画素値との間の差と、
2)前記非可視第1視差画像の画素値と前記非可視第2視差画像の画素値との間の差
との和に対して相関を保つように算出し、新たな可視第1視差画像を出力する請求項32に記載の画像処理装置。 - 被写体像の可視光の波長帯域の第1~第m(m≧2)の複数の色成分に関する基準方向の視点の可視視差なし画像と、可視光の波長帯域の第1~第m(m≧2)の複数の色成分に関する前記基準方向の視点とは異なる第1視点と第2視点の可視第1視差画像と可視第2視差画像と、被写体像の非可視光の波長帯域の第1~第n(n≧2)の複数のバンド成分に関する基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第1~第n(n≧2)の複数のバンド成分に関する第1視点と第2視点の非可視第1視差画像と非可視第2視差画像とを入力し、
前記第1の色成分に関する可視第1視差画像の新たに算出する画素値を、前記第1の色成分に関する可視第1視差画像の新たに算出する画素値と前記第1の色成分に関する可視視差なし画像の画素値との間の差が、少なくとも、
1)前記第1のバンド成分に関する非可視第1視差画像の画素値と前記第1のバンド成分に関する非可視第2視差画像の画素値との間の差と、
2)前記第2のバンド成分に関する非可視第1視差画像の画素値と前記第2のバンド成分に関する非可視第2視差画像の画素値との間の差
との和に対して相関を保つように算出し、新たな第1の色成分に関する可視第1視差画像を出力する請求項32に記載の画像処理装置。 - 前記第1の色成分に関する可視第1視差画像の新たに算出する画素値を、前記第1の色成分に関する可視第1視差画像の新たに算出する画素値と前記第1の色成分に関する可視視差なし画像の画素値との間の差が、少なくとも、
1)前記第1の色成分に関する可視第1視差画像の画素値と前記第1の色成分に関する可視第2視差画像の画素値との間の差と、
2)前記第2の色成分に関する可視第1視差画像の画素値と前記第2の色成分に関する可視第2視差画像の画素値との間の差と、
3)前記第1のバンド成分に関する非可視第1視差画像の画素値と前記第1のバンド成分に関する非可視第2視差画像の画素値との間の差と、
4)前記第2のバンド成分に関する非可視第1視差画像の画素値と前記第2のバンド成分に関する非可視第2視差画像の画素値との間の差
との和に対して相関を保つように算出し、新たな第1の色成分に関する可視第1視差画像を出力する請求項34に記載の画像処理装置。 - 被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第1視点と第2視点の可視第1視差画像と可視第2視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第1視点と第2視点の非可視第1視差画像と非可視第2視差画像とを入力し、
前記非可視第1視差画像の新たに算出する画素値を、前記非可視第1視差画像の新たに算出する画素値と前記非可視視差なし画像の画素値との間の差が、少なくとも、前記可視第1視差画像の画素値と前記可視第2視差画像の画素値との間の差に対して相関を保つように算出し、新たな非可視第1視差画像を出力する画像処理装置。 - 前記非可視第1視差画像の新たに算出する画素値を、前記非可視第1視差画像の新たに算出する画素値と前記非可視視差なし画像の画素値との間の差が、少なくとも、
1)前記非可視第1視差画像の画素値と前記非可視第2視差画像の画素値との間の差と、
2)前記可視第1視差画像の画素値と前記可視第2視差画像の画素値との間の差
との和に対して相関を保つように算出し、新たな非可視第1視差画像を出力する請求項36に記載の画像処理装置。 - 被写体像の可視光の波長帯域の第1~第m(m≧2)の複数の色成分に関する基準方向の視点の可視視差なし画像と、可視光の波長帯域の第1~第m(m≧2)の複数の色成分に関する前記基準方向の視点とは異なる第1視点と第2視点の可視第1視差画像と可視第2視差画像と、被写体像の非可視光の波長帯域の第1~第n(n≧2)の複数のバンド成分に関する基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第1~第n(n≧2)の複数のバンド成分に関する第1視点と第2視点の非可視第1視差画像と非可視第2視差画像とを入力し、
前記第1のバンド成分に関する非可視第1視差画像の新たに算出する画素値を、前記第1のバンド成分に関する非可視第1視差画像の新たに算出する画素値と前記第1のバンド成分に関する非可視視差なし画像の画素値との間の差が、少なくとも、
1)前記第1の色成分に関する可視第1視差画像の画素値と前記第1の色成分に関する可視第2視差画像の画素値との間の差と、
2)前記第2の色成分に関する可視第1視差画像の画素値と前記第2の色成分に関する可視第2視差画像の画素値との間の差
との和に対して相関を保つように算出し、新たな第1のバンド成分に関する非可視第1視差画像を出力する請求項36に記載の画像処理装置。 - 前記第1のバンド成分に関する非可視第1視差画像の新たに算出する画素値を、前記第1のバンド成分に関する非可視第1視差画像の新たに算出する画素値と前記第1のバンド成分に関する非可視視差なし画像の画素値との間の差が、少なくとも、
1)前記第1のバンド成分に関する非可視第1視差画像の画素値と前記第1のバンド成分に関する非可視第2視差画像の画素値との間の差と、
2)前記第2のバンド成分に関する非可視第1視差画像の画素値と前記第2のバンド成分に関する非可視第2視差画像の画素値との間の差と、
3)前記第1の色成分に関する可視第1視差画像の画素値と前記第1の色成分に関する可視第2視差画像の画素値との間の差と、
4)前記第2の色成分に関する可視第1視差画像の画素値と前記第2の色成分に関する可視第2視差画像の画素値との間の差
との和に対して相関を保つように算出し、新たな第1のバンド成分に関する非可視第1視差画像を出力する請求項38に記載の画像処理装置。 - 被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第1視点と第2視点の可視第1視差画像と可視第2視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第1視点と第2視点の非可視第1視差画像と非可視第2視差画像とを入力し、
前記可視第1視差画像の新たに算出する画素値を、前記可視第1視差画像の新たに算出する画素値と前記可視視差なし画像の画素値との間で定義される比が、少なくとも、前記非可視第1視差画像の画素値と前記非可視第2視差画像の画素値との間で定義される比に対して相関を保つように算出し、新たな可視第1視差画像を出力する画像処理装置。 - 前記可視第1視差画像の新たに算出する画素値を、前記可視第1視差画像の新たに算出する画素値と前記可視視差なし画像の画素値との間で定義される比が、少なくとも、
1)前記可視第1視差画像の画素値と前記可視第2視差画像の画素値との間で定義される比と、
2)前記非可視第1視差画像の画素値と前記非可視第2視差画像の画素値との間で定義される比
との積に対して相関を保つように算出し、新たな可視第1視差画像を出力する請求項40に記載の画像処理装置。 - 被写体像の可視光の波長帯域の第1~第m(m≧2)の複数の色成分に関する基準方向の視点の可視視差なし画像と、可視光の波長帯域の第1~第m(m≧2)の複数の色成分に関する前記基準方向の視点とは異なる第1視点と第2視点の可視第1視差画像と可視第2視差画像と、被写体像の非可視光の波長帯域の第1~第n(n≧2)の複数のバンド成分に関する基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第1~第n(n≧2)の複数のバンド成分に関する第1視点と第2視点の非可視第1視差画像と非可視第2視差画像とを入力し、
前記第1の色成分に関する可視第1視差画像の新たに算出する画素値を、前記第1の色成分に関する可視第1視差画像の新たに算出する画素値と前記第1の色成分に関する可視視差なし画像の画素値との間で定義される比が、少なくとも、
1)前記第1のバンド成分に関する非可視第1視差画像の画素値と前記第1のバンド成分に関する非可視第2視差画像の画素値との間で定義される比と、
2)前記第2のバンド成分に関する非可視第1視差画像の画素値と前記第2のバンド成分に関する非可視第2視差画像の画素値との間で定義される比
との積に対して相関を保つように算出し、新たな第1の色成分に関する可視第1視差画像を出力する請求項40に記載の画像処理装置。 - 前記第1の色成分に関する可視第1視差画像の新たに算出する画素値を、前記第1の色成分に関する可視第1視差画像の新たに算出する画素値と前記第1の色成分に関する可視視差なし画像の画素値との間で定義される比が、少なくとも、
1)前記第1の色成分に関する可視第1視差画像の画素値と前記第1の色成分に関する可視第2視差画像の画素値との間で定義される比と、
2)前記第2の色成分に関する可視第1視差画像の画素値と前記第2の色成分に関する可視第2視差画像の画素値との間で定義される比と、
3)前記第1のバンド成分に関する非可視第1視差画像の画素値と前記第1のバンド成分に関する非可視第2視差画像の画素値との間で定義される比と、
4)前記第2のバンド成分に関する非可視第1視差画像の画素値と前記第2のバンド成分に関する非可視第2視差画像の画素値との間で定義される比
との積に対して相関を保つように算出し、新たな第1の色成分に関する可視第1視差画像を出力する請求項42に記載の画像処理装置。 - 被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第1視点と第2視点の可視第1視差画像と可視第2視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第1視点と第2視点の非可視第1視差画像と非可視第2視差画像とを入力し、
前記非可視第1視差画像の新たに算出する画素値を、前記非可視第1視差画像の新たに算出する画素値と前記非可視視差なし画像の画素値との間で定義される比が、少なくとも、前記可視第1視差画像の画素値と前記可視第2視差画像の画素値との間で定義される比に対して相関を保つように算出し、新たな非可視第1視差画像を出力する画像処理装置。 - 前記非可視第1視差画像の新たに算出する画素値を、前記非可視第1視差画像の新たに算出する画素値と前記非可視視差なし画像の画素値との間で定義される比が、少なくとも、
1)前記非可視第1視差画像の画素値と前記非可視第2視差画像の画素値との間で定義される比と、
2)前記可視第1視差画像の画素値と前記可視第2視差画像の画素値との間で定義される比
との積に対して相関を保つように算出し、新たな非可視第1視差画像を出力する請求項44に記載の画像処理装置。 - 被写体像の可視光の波長帯域の第1~第m(m≧2)の複数の色成分に関する基準方向の視点の可視視差なし画像と、可視光の波長帯域の第1~第m(m≧2)の複数の色成分に関する前記基準方向の視点とは異なる第1視点と第2視点の可視第1視差画像と可視第2視差画像と、被写体像の非可視光の波長帯域の第1~第n(n≧2)の複数のバンド成分に関する基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第1~第n(n≧2)の複数のバンド成分に関する第1視点と第2視点の非可視第1視差画像と非可視第2視差画像とを入力し、
前記第1のバンド成分に関する非可視第1視差画像の新たに算出する画素値を、前記第1のバンド成分に関する非可視第1視差画像の新たに算出する画素値と前記第1のバンド成分に関する非可視視差なし画像の画素値との間で定義される比が、少なくとも、
1)前記第1の色成分に関する可視第1視差画像の画素値と前記第1の色成分に関する可視第2視差画像の画素値との間で定義される比と、
2)前記第2の色成分に関する可視第1視差画像の画素値と前記第2の色成分に関する可視第2視差画像の画素値との間で定義される比
との積に対して相関を保つように算出し、新たな第1のバンド成分に関する非可視第1視差画像を出力する請求項44に記載の画像処理装置。 - 前記第1のバンド成分に関する非可視第1視差画像の新たに算出する画素値を、前記第1のバンド成分に関する非可視第1視差画像の新たに算出する画素値と前記第1のバンド成分に関する非可視視差なし画像の画素値との間で定義される比が、少なくとも、
1)前記第1のバンド成分に関する非可視第1視差画像の画素値と前記第1のバンド成分に関する非可視第2視差画像の画素値との間で定義される比と、
2)前記第2のバンド成分に関する非可視第1視差画像の画素値と前記第2のバンド成分に関する非可視第2視差画像の画素値との間で定義される比と、
3)前記第1の色成分に関する可視第1視差画像の画素値と前記第1の色成分に関する可視第2視差画像の画素値との間で定義される比と、
4)前記第2の色成分に関する可視第1視差画像の画素値と前記第2の色成分に関する可視第2視差画像の画素値との間で定義される比
との積に対して相関を保つように算出し、新たな第1のバンド成分に関する非可視第1視差画像を出力する請求項46に記載の画像処理装置。 - 被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第1視点と第2視点の可視第1視差画像と可視第2視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第1視点と第2視点の非可視第1視差画像と非可視第2視差画像は、いずれも1つの光学系を通して同じ撮像面上に結像した各波長帯域の像を撮像した画像からなる請求項32から47のいずれか1項に記載の画像処理装置。
- 一度の撮影によって撮像素子の同一面から出力された画素信号から生成された可視画像データおよび非可視画像データを入力する入力部と、
前記可視画像データおよび前記非可視画像データのうち少なくとも一方に含まれる視差成分を他方に重畳する画像処理部と
を備える画像処理装置。 - 前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点の可視視差なし画像データと、前記可視光の波長帯域における前記基準方向の視点とは異なる第1視点の可視第1視差画像データとを含み、
前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記第1視点の非可視第1視差画像データおよび第2視点の非可視第2視差画像データを含み、
前記可視第1視差画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との間の差が、少なくとも、前記非可視第1視差画像データの前記対象画素位置における画素値と前記非可視第2視差画像データの前記対象画素位置における画素値との差に対して相関を保つように算出する請求項49に記載の画像処理装置。 - 前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点とは異なる第1視点の可視第1視差画像データおよび第2視点の可視第2視差画像データを含み、
前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記基準方向の視点の非可視視差なし画像データと、前記非可視光の波長帯域における前記第1視点の非可視第1視差画像データとを含み、
前記非可視第1視差画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との間の差が、少なくとも、前記可視第1視差画像データの前記対象画素位置における画素値と前記可視第2視差画像データの前記対象画素位置における画素値との差に対して相関を保つように算出する請求項49に記載の画像処理装置。 - 前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点の可視視差なし画像データと、前記可視光の波長帯域における前記基準方向の視点とは異なる第1視点の可視第1視差画像データとを含み、
前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記第1視点の非可視第1視差画像データおよび第2視点の非可視第2視差画像データを含み、
前記可視第1視差画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との間の比が、少なくとも、前記非可視第1視差画像データの前記対象画素位置における画素値と前記非可視第2視差画像データの前記対象画素位置における画素値との比に対して相関を保つように算出する請求項49に記載の画像処理装置。 - 前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点とは異なる第1視点の可視第1視差画像データおよび第2視点の可視第2視差画像データを含み、
前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記基準方向の視点の非可視視差なし画像データと、前記非可視光の波長帯域における前記第1視点の非可視第1視差画像データとを含み、
前記非可視第1視差画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との間の比が、少なくとも、前記可視第1視差画像データの前記対象画素位置における画素値と前記可視第2視差画像データの前記対象画素位置における画素値との比に対して相関を保つように算出する請求項49に記載の画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201580018356.0A CN106165398B (zh) | 2014-04-04 | 2015-04-06 | 摄像元件、摄像装置以及图像处理装置 |
JP2016511655A JP6354838B2 (ja) | 2014-04-04 | 2015-04-06 | 撮像素子、撮像装置および画像処理装置 |
US15/285,050 US10291901B2 (en) | 2014-04-04 | 2016-10-04 | Image sensor, imaging device and image processing device that generate parallax images in both visible and invisible wavelength bands |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-077852 | 2014-04-04 | ||
JP2014077853 | 2014-04-04 | ||
JP2014-077854 | 2014-04-04 | ||
JP2014077854 | 2014-04-04 | ||
JP2014-077853 | 2014-04-04 | ||
JP2014077852 | 2014-04-04 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/285,050 Continuation US10291901B2 (en) | 2014-04-04 | 2016-10-04 | Image sensor, imaging device and image processing device that generate parallax images in both visible and invisible wavelength bands |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015152423A1 true WO2015152423A1 (ja) | 2015-10-08 |
Family
ID=54240726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/060715 WO2015152423A1 (ja) | 2014-04-04 | 2015-04-06 | 撮像素子、撮像装置および画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10291901B2 (ja) |
JP (1) | JP6354838B2 (ja) |
CN (1) | CN106165398B (ja) |
WO (1) | WO2015152423A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106973199A (zh) * | 2015-12-17 | 2017-07-21 | 财团法人多次元智能It融合*** | 利用对焦距离扫描提高深度精确度的多光圈相机*** |
WO2018211588A1 (ja) * | 2017-05-16 | 2018-11-22 | オリンパス株式会社 | 撮像装置、撮像方法及びプログラム |
WO2023047825A1 (ja) * | 2021-09-27 | 2023-03-30 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016002578A1 (ja) * | 2014-07-04 | 2016-01-07 | ソニー株式会社 | 画像処理装置および方法 |
WO2017169014A1 (ja) * | 2016-03-30 | 2017-10-05 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用立体観察装置、医療用立体観察方法、及びプログラム |
CN107333034B (zh) * | 2017-06-12 | 2020-09-04 | 信利光电股份有限公司 | 一种红外摄像抗干扰的实现方法及实现装置 |
CN108093240A (zh) * | 2017-12-22 | 2018-05-29 | 成都先锋材料有限公司 | 3d深度图获取方法及装置 |
JP6947021B2 (ja) * | 2017-12-27 | 2021-10-13 | 株式会社リコー | 画像処理方法、画像処理装置および画像処理システム |
CN110475083B (zh) * | 2019-08-26 | 2021-12-14 | Oppo广东移动通信有限公司 | 一种像素结构、图像传感器及终端 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013175807A (ja) * | 2012-02-23 | 2013-09-05 | Nikon Corp | 撮像装置 |
JP2013255144A (ja) * | 2012-06-08 | 2013-12-19 | Hitachi Consumer Electronics Co Ltd | 撮像装置 |
JP2014060694A (ja) * | 2012-03-16 | 2014-04-03 | Nikon Corp | 撮像素子および撮像装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5541653A (en) | 1993-07-27 | 1996-07-30 | Sri International | Method and appartus for increasing resolution of digital color images using correlated decoding |
JP4599672B2 (ja) | 1999-12-21 | 2010-12-15 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
JP2003007994A (ja) | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP4910699B2 (ja) | 2004-07-07 | 2012-04-04 | 株式会社ニコン | 画像処理装置 |
JP4501855B2 (ja) * | 2005-12-22 | 2010-07-14 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
WO2009066770A1 (ja) | 2007-11-22 | 2009-05-28 | Nikon Corporation | デジタルカメラおよびデジタルカメラシステム |
EP4336447A1 (en) * | 2008-05-20 | 2024-03-13 | FotoNation Limited | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US8203465B2 (en) * | 2009-07-13 | 2012-06-19 | The Boeing Company | Filtering aircraft traffic for display to a pilot |
JP5874116B2 (ja) | 2009-07-30 | 2016-03-02 | 国立研究開発法人産業技術総合研究所 | 画像撮影装置および画像撮影方法 |
US9532033B2 (en) * | 2010-11-29 | 2016-12-27 | Nikon Corporation | Image sensor and imaging device |
CN103503447B (zh) * | 2011-05-06 | 2016-05-18 | 株式会社尼康 | 拍摄装置及拍摄装置的控制方法 |
JP5263373B2 (ja) * | 2011-11-07 | 2013-08-14 | ソニー株式会社 | 半導体装置および撮像装置 |
JP6131545B2 (ja) | 2012-03-16 | 2017-05-24 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
JP6131546B2 (ja) | 2012-03-16 | 2017-05-24 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
CN104185983B (zh) | 2012-03-16 | 2016-10-26 | 株式会社尼康 | 摄像元件、摄像装置以及摄像*** |
WO2013161313A1 (ja) | 2012-04-25 | 2013-10-31 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
EP3050503B1 (en) * | 2012-06-29 | 2020-07-29 | Xhale Assurance, Inc. | Photoplethysmography sensors |
-
2015
- 2015-04-06 JP JP2016511655A patent/JP6354838B2/ja active Active
- 2015-04-06 WO PCT/JP2015/060715 patent/WO2015152423A1/ja active Application Filing
- 2015-04-06 CN CN201580018356.0A patent/CN106165398B/zh active Active
-
2016
- 2016-10-04 US US15/285,050 patent/US10291901B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013175807A (ja) * | 2012-02-23 | 2013-09-05 | Nikon Corp | 撮像装置 |
JP2014060694A (ja) * | 2012-03-16 | 2014-04-03 | Nikon Corp | 撮像素子および撮像装置 |
JP2013255144A (ja) * | 2012-06-08 | 2013-12-19 | Hitachi Consumer Electronics Co Ltd | 撮像装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106973199A (zh) * | 2015-12-17 | 2017-07-21 | 财团法人多次元智能It融合*** | 利用对焦距离扫描提高深度精确度的多光圈相机*** |
CN106973199B (zh) * | 2015-12-17 | 2020-12-04 | 财团法人多次元智能It融合*** | 利用对焦距离扫描提高深度精确度的多光圈相机*** |
WO2018211588A1 (ja) * | 2017-05-16 | 2018-11-22 | オリンパス株式会社 | 撮像装置、撮像方法及びプログラム |
WO2023047825A1 (ja) * | 2021-09-27 | 2023-03-30 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6354838B2 (ja) | 2018-07-11 |
US20170026632A1 (en) | 2017-01-26 |
US10291901B2 (en) | 2019-05-14 |
CN106165398B (zh) | 2019-07-02 |
JPWO2015152423A1 (ja) | 2017-04-13 |
CN106165398A (zh) | 2016-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6354838B2 (ja) | 撮像素子、撮像装置および画像処理装置 | |
EP2190019A1 (en) | Image pickup apparatus | |
JP6048574B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6036829B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御プログラム | |
US9727985B2 (en) | Image processing apparatus, image-capturing apparatus, and storage medium having image processing program stored thereon | |
US9838665B2 (en) | Image processing device, imaging device, and image processing program | |
JP5923754B2 (ja) | 3次元撮像装置 | |
WO2014192300A1 (ja) | 撮像素子、撮像装置、および画像処理装置 | |
WO2013136819A1 (ja) | 撮像素子、撮像装置および撮像システム | |
US9628776B2 (en) | Three-dimensional imaging device, image processing device, image processing method, and image processing program | |
US9544570B2 (en) | Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program | |
US9706186B2 (en) | Imaging apparatus for generating parallax image data | |
JPWO2013136820A1 (ja) | 撮像素子および撮像装置 | |
JP5978736B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
WO2012153504A1 (ja) | 撮像装置および撮像装置の制御プログラム | |
JP5907668B2 (ja) | 撮像装置及び撮像素子 | |
JP5978737B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2014107594A (ja) | 撮像素子および撮像装置 | |
JP5978738B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6019611B2 (ja) | 撮像装置 | |
WO2015163350A1 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP5978735B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6070060B2 (ja) | 撮像装置およびプログラム | |
JP6331279B2 (ja) | 撮像装置、撮像方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15773952 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2016511655 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15773952 Country of ref document: EP Kind code of ref document: A1 |