WO2012140917A1 - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
WO2012140917A1
WO2012140917A1 PCT/JP2012/002600 JP2012002600W WO2012140917A1 WO 2012140917 A1 WO2012140917 A1 WO 2012140917A1 JP 2012002600 W JP2012002600 W JP 2012002600W WO 2012140917 A1 WO2012140917 A1 WO 2012140917A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
parallax
image
pixel
color
Prior art date
Application number
PCT/JP2012/002600
Other languages
English (en)
French (fr)
Inventor
清茂 芝崎
浜島　宗樹
晋 森
由美 鈴木
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201280012963.2A priority Critical patent/CN103621078B/zh
Priority to KR1020137029935A priority patent/KR20140030183A/ko
Priority to JP2013509803A priority patent/JP5979134B2/ja
Publication of WO2012140917A1 publication Critical patent/WO2012140917A1/ja
Priority to US14/047,269 priority patent/US9706190B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Definitions

  • the present invention relates to an image processing apparatus and an image processing program.
  • a stereo imaging device that captures a stereo image composed of a right-eye image and a left-eye image using two imaging optical systems is known. Such a stereo imaging device causes parallax to occur in two images obtained by imaging the same subject by arranging two imaging optical systems at regular intervals.
  • the image processing apparatus includes reference image data generated by capturing the same scene and parallax image data having parallax with respect to a subject image of the reference image data, and at least one of them Supports image parallax between the same subject image of reference image data and parallax image data, and an image acquisition unit that acquires non-color image data in which at least part of primary color information for generating a color image is missing
  • a parallax amount calculation unit that calculates the amount of parallax to be transmitted, and based on the parallax amount, at least a part of primary color information of either one of the reference image data and the parallax pixel data is transplanted to the other to convert the non-color image data into a color image
  • an image conversion unit for converting the data for converting the data.
  • the image processing program includes at least one of reference image data and parallax image data having a parallax with respect to a subject image of the reference image data generated by capturing the same scene.
  • An image acquisition step for acquiring a group of image data that is non-color image data from which at least a part of primary color information for generating a color image is missing, and support for parallax between the same subject image of reference image data and parallax image data
  • a parallax amount calculating step for calculating the amount of parallax to be performed, and based on the parallax amount, at least a part of primary color information of either one of the reference image data and the parallax pixel data is transplanted to the other to convert the non-color image data into a color image
  • An image conversion step for converting to data is executed by a computer.
  • the digital camera according to the present embodiment which is a form of the imaging device, is configured to generate a plurality of viewpoint images for one scene by one shooting. Each image having a different viewpoint is called a parallax image.
  • FIG. 1 is a diagram illustrating a configuration of a digital camera 10 according to an embodiment of the present invention.
  • the digital camera 10 includes a photographic lens 20 as a photographic optical system, and guides a subject light beam incident along the optical axis 21 to the image sensor 100.
  • the photographing lens 20 may be an interchangeable lens that can be attached to and detached from the digital camera 10.
  • the digital camera 10 includes an image sensor 100, a control unit 201, an A / D conversion circuit 202, a memory 203, a drive unit 204, an image processing unit 205, a memory card IF 207, an operation unit 208, a display unit 209, an LCD drive circuit 210, and an AF.
  • a sensor 211 is provided.
  • the direction parallel to the optical axis 21 toward the image sensor 100 is defined as the z-axis plus direction
  • the direction toward the front of the drawing in the plane orthogonal to the z-axis is the x-axis plus direction
  • the upward direction on the drawing is y.
  • the axis is defined as the plus direction.
  • the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes of FIG.
  • the photographing lens 20 is composed of a plurality of optical lens groups, and forms an image of a subject light flux from the scene in the vicinity of its focal plane.
  • the photographic lens 20 is represented by a single virtual lens arranged in the vicinity of the pupil.
  • the image sensor 100 is disposed near the focal plane of the photographic lens 20.
  • the image sensor 100 is an image sensor such as a CCD or CMOS sensor in which a plurality of photoelectric conversion elements are two-dimensionally arranged.
  • the image sensor 100 is controlled in timing by the drive unit 204, converts the subject image formed on the light receiving surface into an image signal, and outputs the image signal to the A / D conversion circuit 202.
  • the A / D conversion circuit 202 converts the image signal output from the image sensor 100 into a digital image signal and outputs the digital image signal to the memory 203.
  • the image processing unit 205 performs various image processing using the memory 203 as a work space, and generates image data.
  • the image processing unit 205 generates a data data group from a signal output from the image sensor 100 and acquires the data acquisition unit 231.
  • a calculation unit 232 and an image conversion unit 233 for converting into color image data are included. Details of each processing will be described later.
  • the image processing unit 205 also has general image processing functions such as adjusting image data according to the selected image format.
  • the generated image data is converted into a display signal by the LCD drive circuit 210 and displayed on the display unit 209.
  • the data is recorded on the memory card 220 attached to the memory card IF 207.
  • the AF sensor 211 is a phase difference sensor in which a plurality of distance measuring points are set with respect to the subject space, and detects the defocus amount of the subject image at each distance measuring point.
  • a series of shooting sequences is started when the operation unit 208 receives a user operation and outputs an operation signal to the control unit 201.
  • Various operations such as AF and AE accompanying the imaging sequence are executed under the control of the control unit 201.
  • the control unit 201 analyzes the detection signal of the AF sensor 211 and executes focus control for moving a focus lens that constitutes a part of the photographing lens 20.
  • FIG. 2 is a schematic diagram showing a cross section of the image sensor according to the embodiment of the present invention.
  • FIG. 2A is a schematic cross-sectional view of the image sensor 100 in which the color filter 102 and the aperture mask 103 are separately formed.
  • FIG. 2B is a schematic cross-sectional view of an image pickup device 120 including a screen filter 121 in which a color filter portion 122 and an opening mask portion 123 are integrally formed as a modification of the image pickup device 100.
  • the image sensor 100 is configured by arranging a micro lens 101, a color filter 102, an aperture mask 103, a wiring layer 105, and a photoelectric conversion element 108 in order from the subject side.
  • the photoelectric conversion element 108 is configured by a photodiode that converts incident light into an electrical signal.
  • a plurality of photoelectric conversion elements 108 are two-dimensionally arranged on the surface of the substrate 109.
  • the image signal converted by the photoelectric conversion element 108, the control signal for controlling the photoelectric conversion element 108, and the like are transmitted / received via the wiring 106 provided in the wiring layer 105.
  • an opening mask 103 having openings 104 provided in one-to-one correspondence with each photoelectric conversion element 108 is provided in contact with the wiring layer.
  • the opening 104 is shifted for each corresponding photoelectric conversion element 108 so that the relative position is precisely determined.
  • parallax occurs in the subject light beam received by the photoelectric conversion element 108 by the action of the opening mask 103 including the opening 104.
  • the aperture mask 103 does not exist on the photoelectric conversion element 108 that does not generate parallax.
  • the aperture mask 103 having the aperture 104 that does not limit the subject luminous flux incident on the corresponding photoelectric conversion element 108, that is, allows the entire effective luminous flux to pass therethrough is provided.
  • the aperture 107 formed by the wiring 106 defines the subject luminous flux that is incident, so the wiring 106 is regarded as an aperture mask that allows the entire effective luminous flux that does not cause parallax to pass.
  • the opening mask 103 may be arranged separately and independently corresponding to each photoelectric conversion element 108, or may be formed collectively for a plurality of photoelectric conversion elements 108 in the same manner as the manufacturing process of the color filter 102. .
  • the color filter 102 is provided on the opening mask 103.
  • the color filter 102 is a filter provided in a one-to-one correspondence with each photoelectric conversion element 108, which is colored so as to transmit a specific wavelength band to each photoelectric conversion element 108.
  • These color filters can be said to be primary color filters for generating a color image.
  • the primary color filter combination is, for example, a red filter that transmits the red wavelength band, a green filter that transmits the green wavelength band, and a blue filter that transmits the blue wavelength band. As will be described later, these color filters are arranged in a lattice pattern corresponding to the photoelectric conversion elements 108.
  • the microlens 101 is provided on the color filter 102.
  • the microlens 101 is a condensing lens for guiding more incident subject light flux to the photoelectric conversion element 108.
  • the microlenses 101 are provided in a one-to-one correspondence with the photoelectric conversion elements 108.
  • the optical axis of the microlens 101 is shifted so that more subject light flux is guided to the photoelectric conversion element 108. It is preferable.
  • the arrangement position may be adjusted so that more specific subject light beam, which will be described later, is incident along with the position of the opening 104 of the opening mask 103.
  • one unit of the aperture mask 103, the color filter 102, and the microlens 101 provided on a one-to-one basis corresponding to each photoelectric conversion element 108 is referred to as a pixel.
  • a pixel provided with the opening mask 103 that generates parallax is referred to as a parallax pixel
  • a pixel that is not provided with the opening mask 103 that generates parallax is referred to as a non-parallax pixel.
  • the effective pixel area of the image sensor 100 is about 24 mm ⁇ 16 mm, the number of pixels reaches about 12 million.
  • the microlens 101 may not be provided.
  • the wiring layer 105 is provided on the side opposite to the photoelectric conversion element 108.
  • the color filter 102 and the opening mask 103 can be integrally formed if the opening 104 of the opening mask 103 has a color component.
  • the corresponding color filter 102 may not be provided for the pixel. Or you may arrange
  • the screen filter 121 is formed by, for example, blue-green-red coloring in the color filter portion 122 and black in the opening mask portion 123 except for the opening portion 104. Since the image sensor 120 that employs the screen filter 121 has a shorter distance from the microlens 101 to the photoelectric conversion element 108 than the image sensor 100, the light collection efficiency of the subject light flux is high.
  • FIG. 3 is a schematic diagram illustrating a state in which a part of the image sensor 100 is enlarged.
  • the color arrangement of the color filter 102 is not considered until the reference is resumed later.
  • the image sensor is a collection of only parallax pixels having the color filter 102 of the same color (including the case of being transparent). Therefore, the repetitive pattern described below may be considered as an adjacent pixel in the color filter 102 of the same color.
  • the opening 104 of the opening mask 103 is provided with a relative shift with respect to each pixel.
  • the openings 104 are provided at positions displaced from each other.
  • the entire image sensor 100 has a two-dimensional and periodic array of photoelectric conversion element groups each including a set of six parallax pixels each having an aperture mask 103 that gradually shifts from the left side to the right side of the drawing. . That is, it can be said that the image sensor 100 is configured by periodically repeating a repeating pattern 110 including a set of photoelectric conversion element groups.
  • FIG. 4 is a conceptual diagram illustrating the relationship between the parallax pixels and the subject.
  • FIG. 4A shows a photoelectric conversion element group of a repetitive pattern 110t arranged in the center orthogonal to the photographing optical axis 21 in the image pickup element 100
  • FIG. 4B shows a repetitive arrangement arranged in the peripheral portion.
  • the photoelectric conversion element group of the pattern 110u is typically shown.
  • the subject 30 in FIGS. 4A and 4B is in the in-focus position with respect to the photographic lens 20.
  • FIG. 4C schematically shows a relationship when the subject 31 existing at the out-of-focus position with respect to the photographing lens 20 is captured corresponding to FIG.
  • the subject luminous flux passes through the pupil of the photographic lens 20 and is guided to the image sensor 100.
  • Six partial areas Pa to Pf are defined for the entire cross-sectional area through which the subject luminous flux passes. For example, in the pixel at the left end of the sheet of the photoelectric conversion element group constituting the repetitive patterns 110t and 110u, only the subject luminous flux emitted from the partial region Pf reaches the photoelectric conversion element 108 as can be seen from the enlarged view.
  • the position of the opening 104f of the opening mask 103 is determined.
  • the position of the opening 104e corresponding to the partial area Pe the position of the opening 104d corresponding to the partial area Pd, and the position of the opening 104c corresponding to the partial area Pc.
  • the position of the opening 104b is determined corresponding to the partial area Pb
  • the position of the opening 104a is determined corresponding to the partial area Pa.
  • the position of the opening 104f is determined by the inclination of the principal ray Rf of the subject light beam emitted from the partial region Pf, which is defined by the relative positional relationship between the partial region Pf and the leftmost pixel, for example. You can say. Then, when the photoelectric conversion element 108 receives the subject luminous flux from the subject 30 existing at the in-focus position via the opening 104f, the subject luminous flux is coupled on the photoelectric conversion element 108 as shown by the dotted line. Image.
  • the position of the opening 104e is determined by the inclination of the principal ray Re
  • the position of the opening 104d is determined by the inclination of the principal ray Rd
  • the position of the opening 104c is determined by the inclination of the principal ray Rc.
  • the position of the opening 104b is determined by the inclination of the light ray Rb
  • the position of the opening 104a is determined by the inclination of the principal ray Ra.
  • the light beam emitted from the minute region Ot on the subject 30 that intersects the optical axis 21 among the subject 30 existing at the in-focus position passes through the pupil of the photographing lens 20. Then, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t is reached. That is, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t receives the light beam emitted from one minute region Ot through the six partial regions Pa to Pf.
  • the minute region Ot has an extent corresponding to the positional deviation of each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t, it can be approximated to substantially the same object point. Similarly, as shown in FIG.
  • the light beam emitted from the minute region Ou on the subject 30 that is separated from the optical axis 21 among the subject 30 that exists at the in-focus position passes through the pupil of the photographing lens 20. It passes through and reaches each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u. That is, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u receives a light beam emitted from one minute region Ou via each of the six partial regions Pa to Pf.
  • the micro area Ou has an extent corresponding to the positional deviation of each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u, but substantially the same object point. Can be approximated.
  • the minute area captured by the photoelectric conversion element group differs according to the position of the repetitive pattern 110 on the image sensor 100, and each pixel constituting the photoelectric conversion element group Captures the same minute region through different partial regions.
  • each repetitive pattern 110 corresponding pixels receive the subject luminous flux from the same partial area. That is, in the figure, for example, the leftmost pixel of each of the repeated patterns 110t and 110u receives the subject light flux from the same partial region Pf.
  • each of the parallax pixels arranged on the image sensor 100 includes one of six types of aperture masks.
  • the subject luminous flux from the subject 31 present at the out-of-focus position passes through the six partial areas Pa to Pf of the pupil of the photographing lens 20 and reaches the image sensor 100.
  • the subject light flux from the subject 31 existing at the out-of-focus position forms an image at another position, not on the photoelectric conversion element 108.
  • the subject 31 exists at a position farther from the imaging element 100 than the subject 30, the subject light flux forms an image on the subject 31 side with respect to the photoelectric conversion element 108.
  • the subject luminous flux forms an image on the opposite side of the subject 31 from the photoelectric conversion element 108.
  • the subject luminous flux radiated from the minute region Ot ′ among the subjects 31 existing at the out-of-focus position depends on which of the six partial regions Pa to Pf, the corresponding pixels in different sets of repetitive patterns 110.
  • the subject luminous flux that has passed through the partial region Pd is incident on the photoelectric conversion element 108 having the opening 104d included in the repeated pattern 110t ′ as the principal ray Rd ′.
  • the subject light beam that has passed through another partial region does not enter the photoelectric conversion element 108 included in the repetitive pattern 110t ′, and the repetitive pattern in the other repetitive pattern.
  • the subject luminous flux reaching each photoelectric conversion element 108 constituting the repetitive pattern 110t ′ is a subject luminous flux radiated from different minute areas of the subject 31. That is, a subject luminous flux having a principal ray as Rd ′ is incident on 108 corresponding to the opening 104d, and the principal rays are incident on Ra + , Rb + , Rc + , Re to the photoelectric conversion elements 108 corresponding to the other openings. +, although subject light flux to Rf + is incident, these object light is a subject light flux emitted from different micro region of the object 31. Such a relationship is the same in the repeated pattern 110u arranged in the peripheral portion in FIG.
  • the subject image A captured by the photoelectric conversion element 108 corresponding to the opening 104a and the subject image D captured by the photoelectric conversion element 108 corresponding to the opening 104d are: If the image is for the subject present at the in-focus position, there is no shift, and if the image is for the subject present at the out-of-focus position, there is a shift. Then, the direction and amount of the shift are determined by how much the subject existing at the out-of-focus position is shifted from the focus position and by the distance between the partial area Pa and the partial area Pd. That is, the subject image A and the subject image D are parallax images. Since this relationship is the same for the other openings, six parallax images are formed corresponding to the openings 104a to 104f.
  • a parallax image is obtained by gathering together the outputs of pixels corresponding to each other in each of the repetitive patterns 110 configured as described above. That is, the output of the pixel that has received the subject light beam emitted from a specific partial area among the six partial areas Pa to Pf forms a parallax image.
  • FIG. 5 is a conceptual diagram illustrating processing for generating a parallax image.
  • the figure shows, in order from the left column, the generation of the parallax image data Im_f generated by collecting the outputs of the parallax pixels corresponding to the opening 104f, the generation of the parallax image data Im_e by the output of the opening 104e, the opening State of generation of parallax image data Im_d by output of 104d, state of generation of parallax image data Im_c by output of opening 104c, state of generation of parallax image data Im_b by output of opening 104b, parallax by output of opening 104a
  • the parallax image data Im_f is generated by the output of the opening 104f will be described.
  • the repetitive pattern 110 composed of a group of photoelectric conversion elements including a set of six parallax pixels is arranged in a horizontal row. Accordingly, the parallax pixels having the opening 104f exist every six pixels in the left-right direction and continuously in the vertical direction on the image sensor 100. Each of these pixels receives the subject luminous flux from different microregions as described above. Therefore, when the outputs of these parallax pixels are collected and arranged, a parallax image is obtained.
  • each pixel of the image sensor 100 is a square pixel, simply gathering results in the result that the number of pixels in the horizontal direction is reduced to 1/6, and vertically long image data is generated. End up. Therefore, by performing an interpolation process to obtain the number of pixels 6 times in the horizontal direction, the parallax image data Im_f is generated as an image with an original aspect ratio.
  • the parallax image data before the interpolation processing is an image that is thinned by 1/6 in the horizontal direction, the resolution in the horizontal direction is lower than the resolution in the vertical direction. That is, it can be said that the number of generated parallax image data and the improvement in resolution are in a conflicting relationship.
  • parallax image data Im_e to parallax image data Im_a are obtained. That is, the digital camera 10 can generate a six-view parallax image having parallax in the horizontal direction.
  • FIG. 6 is a diagram illustrating another example of the repeated pattern 110.
  • FIG. 6A shows an example in which a vertical pattern of 110 pixels is used as 6 pixels.
  • the positions of the respective openings 104 are determined so as to gradually shift from the left side to the right side of the drawing from the parallax pixel at the top of the drawing to the bottom.
  • the repeated pattern 110 arranged in this way, it is possible to generate a six-view parallax image that gives parallax in the horizontal direction.
  • the repetitive pattern 110 in FIG. 3 it can be said that the repetitive pattern maintains the horizontal resolution instead of sacrificing the vertical resolution.
  • FIG. 6B is an example in which six pixels adjacent in an oblique direction are used as a repeated pattern 110.
  • the positions of the openings 104 are determined so as to gradually shift from the left side to the right side of the drawing from the parallax pixel at the upper left corner of the drawing toward the lower right.
  • the repeated pattern 110 arranged in this way, it is possible to generate a six-view parallax image that gives parallax in the horizontal direction.
  • the repetitive pattern 110 increases the number of parallax images while maintaining the vertical resolution and the horizontal resolution to some extent.
  • the repeating pattern 110 in FIG. 3 and the repeating pattern 110 in FIGS. 6A and 6B are respectively compared, when generating parallax images with six viewpoints, a single image is output from the whole that is not a parallax image. It can be said that this is the difference between sacrificing the resolution in the vertical direction and the horizontal direction with respect to the resolution in the case.
  • the horizontal resolution is set to 1/6.
  • the vertical resolution is 1/6.
  • 6B has a configuration in which the vertical direction is 1/3 and the horizontal direction is 1/2.
  • one opening 104a to 104f is provided corresponding to each pixel in one pattern, and the subject luminous flux is received from one of the corresponding partial areas Pa to Pf. It is configured as follows. Accordingly, the parallax amount is the same for any of the repeated patterns 110.
  • FIG. 7 is a diagram illustrating an example of a two-dimensional repetitive pattern 110.
  • the repetitive pattern 110 is formed using 36 pixels of 6 pixels in the vertical direction and 6 pixels in the horizontal direction as a set of photoelectric conversion element groups.
  • As the position of the opening 104 for each pixel 36 types of opening masks 103 that are shifted in the vertical and horizontal directions are prepared. Specifically, each opening 104 gradually shifts from the upper side to the lower side from the upper end pixel to the lower end pixel of the repetitive pattern 110, and at the same time, gradually from the left end pixel to the right end pixel, from the left side to the right side. Positioned to shift.
  • the image sensor 100 having such a repetitive pattern 110 can output a parallax image of 36 viewpoints that gives parallax in the vertical direction and the horizontal direction.
  • the pattern 110 is not limited to the example in FIG. 7, and the repetitive pattern 110 can be determined so as to output parallax images with various viewpoints.
  • a rectangle is adopted as the shape of the opening 104.
  • the amount of light guided to the photoelectric conversion element 108 is ensured by making the width in the vertical direction that is not shifted wider than the width in the horizontal direction that is the shift direction.
  • the shape of the opening 104 is not limited to a rectangle.
  • FIG. 8 is a diagram for explaining another shape of the opening 104.
  • the shape of the opening 104 is circular.
  • an unscheduled subject light beam can be prevented from entering the photoelectric conversion element 108 as stray light because of the relative relationship with the microlens 101 having a hemispherical shape.
  • FIG. 9 is a diagram illustrating the Bayer arrangement.
  • the Bayer array is an array in which the green filter is assigned to the upper left and lower right pixels, the red filter is assigned to the lower left pixel, and the blue filter is assigned to the upper right pixel.
  • the upper left pixel to which the green filter is assigned is the Gb pixel
  • the lower right pixel to which the green filter is assigned is the Gr pixel.
  • a pixel to which a red filter is assigned is an R pixel
  • a pixel to which blue is assigned is a B pixel.
  • a horizontal direction in which Gb pixels and B pixels are arranged is defined as Gb row, and a horizontal direction in which R pixels and Gr pixels are arranged is defined as Gr row.
  • a vertical direction in which Gb pixels and R pixels are arranged is a Gb column, and a vertical direction in which B pixels and Gr pixels are arranged is a Gr column.
  • a huge number of repetitive patterns 110 can be set for such an array of the color filters 102 depending on what color pixels the parallax pixels and non-parallax pixels are allocated to. If the outputs of pixels without parallax are collected, photographic image data having no parallax can be generated in the same way as normal photographic images. Therefore, if the ratio of pixels without parallax is relatively increased, a 2D image with high resolution can be output. In this case, since the number of parallax pixels is relatively small, the image quality is degraded as a 3D image including a plurality of parallax images. Conversely, if the ratio of the parallax pixels is increased, the image quality is improved as a 3D image, but the non-parallax pixels are relatively reduced, so that a 2D image with low resolution is output.
  • FIG. 10 is a diagram illustrating a variation in the case where there are two types of parallax pixels with respect to the allocation of parallax pixels to the Bayer array.
  • the parallax pixels are assumed to be a parallax L pixel whose opening 104 is decentered to the left of the center and a parallax R pixel decentered to the right. That is, the two viewpoint parallax images output from such parallax pixels realize so-called stereoscopic vision.
  • FIG. 11 is a diagram illustrating an example of a variation.
  • the variation in FIG. 11 corresponds to the repeated pattern classification A-1 in FIG.
  • the same four pixels as the Bayer array are used as the repeated pattern 110.
  • the R pixel and the B pixel are non-parallax pixels, and the Gb pixel is assigned to the parallax L pixel and the Gr pixel is assigned to the parallax R pixel.
  • the opening 104 is defined so that the parallax L pixel and the parallax R pixel included in the same repetitive pattern 110 receive the light beam emitted from the same minute area when the subject is in the in-focus position. .
  • the Gb pixel and the Gr pixel which are green pixels having high visibility, are used as the parallax pixels, it is expected to obtain a parallax image with high contrast.
  • the Gb pixel and the Gr pixel which are the same green pixels are used as the parallax pixels, it is easy to perform a conversion operation from these two outputs to an output having no parallax, and the output of the R pixel and the B pixel which are non-parallax pixels is high. High-quality 2D image data can be generated.
  • FIG. 12 is a diagram showing an example of another variation.
  • the variation in FIG. 12 corresponds to the repeated pattern classification B-1 in FIG.
  • the repeated pattern 110 is 8 pixels in which 4 pixels in the Bayer array are two sets on the left and right.
  • the parallax L pixel is assigned to the left Gb pixel
  • the parallax R pixel is assigned to the right Gb pixel.
  • the Gr pixel is a non-parallax pixel, so that higher image quality of the 2D image can be expected than in the example of FIG.
  • FIG. 13 is a diagram showing an example of still another variation.
  • the variation in FIG. 13 corresponds to the repeated pattern classification D-1 in FIG.
  • the repeated pattern 110 is 8 pixels in which 4 pixels in the Bayer array are two sets on the left and right.
  • the parallax L pixel is assigned to the left Gb pixel
  • the parallax R pixel is assigned to the right Gb pixel.
  • the parallax L pixel is assigned to the left R pixel
  • the parallax R pixel is assigned to the right R pixel.
  • a parallax L pixel is assigned to the left B pixel
  • a parallax R pixel is assigned to the right B pixel.
  • Non-parallax pixels are assigned to the two Gr pixels.
  • the parallax L pixel and the parallax R pixel assigned to the two Gb pixels receive the light beam emitted from one minute area when the subject is in the in-focus position.
  • the parallax L pixel and the parallax R pixel assigned to the two R pixels receive a light beam emitted from one minute region different from that of the Gb pixel
  • the parallax L pixel assigned to the two B pixels receives a light beam emitted from one minute region different from that of the Gb pixel and the R pixel. Therefore, compared with the example of FIG. 12, the resolution as a 3D image is tripled in the vertical direction. Moreover, since RGB three-color output can be obtained, it is a high-quality 3D image as a color image.
  • parallax images of two viewpoints can be obtained.
  • the types of parallax pixels are set in accordance with the number of parallax images to be output, as shown in FIGS.
  • Various numbers as described above can be adopted. Even if the number of viewpoints is increased, various repeated patterns 110 can be formed. Therefore, it is possible to select the repetitive pattern 110 according to the specification, purpose, and the like.
  • each of the parallax pixels constituting the set of photoelectric conversion element groups may include an opening mask 103 having opening portions 104 facing different partial regions.
  • the image sensor 100 is provided in a one-to-one correspondence with each of at least a part of the photoelectric conversion elements 108 and the photoelectric conversion elements 108 that are two-dimensionally arranged to photoelectrically convert incident light into electric signals.
  • the aperture mask 103 and the color filters 102 provided in a one-to-one correspondence with each of at least a part of the photoelectric conversion elements 108 are provided, and n adjacent n (n is an integer of 3 or more) photoelectric conversion elements 108.
  • the openings 104 of the respective opening masks 103 provided corresponding to at least two may be three or more
  • photoelectric conversion element group for the n-number of photoelectric conversion elements 108 and a set has only to be periodically arranged.
  • FIG. 14 is a diagram for explaining another color filter arrangement.
  • the other color filter array maintains the Gr pixels in the Bayer array shown in FIG. 9 as G pixels to which the green filter is assigned, while changing the Gb pixels to W pixels to which no color filter is assigned. It is.
  • the W pixel may be arranged with a transparent filter that is not colored so as to transmit substantially all the wavelength band of visible light.
  • a monochrome image can also be formed by gathering the outputs of W pixels.
  • the repeated pattern 110 of parallax pixels and non-parallax pixels is set in consideration of the interest in other extracted information.
  • FIG. 15 is a diagram illustrating an example of an arrangement of W pixels and parallax pixels when the other color filter arrangement of FIG. 14 is employed.
  • the variation in FIG. 15 is similar to the repeated pattern classification B-1 in FIG.
  • the repeated pattern 110 is an eight pixel in which two sets of four pixels in other color filter arrays continue to the left and right.
  • the parallax L pixel is assigned to the left W pixel
  • the parallax R pixel is assigned to the right W pixel.
  • the image sensor 100 outputs a parallax image as a monochrome image and outputs a 2D image as a color image.
  • the image sensor 100 is provided in a one-to-one correspondence with each of the two-dimensionally arranged photoelectric conversion elements 108 that photoelectrically convert incident light into electric signals and at least a part of the photoelectric conversion elements 108.
  • n adjacent n (n is an integer of 4 or more) photoelectric conversion elements each having an opening mask 103 and a color filter 102 provided in a one-to-one correspondence with each of at least a part of the photoelectric conversion element 108.
  • the openings 104 of the respective opening masks 103 provided corresponding to at least two out of 108 are in one pattern of a color filter pattern composed of at least three kinds of color filters 102 that transmit different wavelength bands.
  • the photoelectric conversion element group for the n-number of photoelectric conversion elements 108 and a set is only to be periodically arranged.
  • the color image data is image data in which primary color information for generating a color image is complete without missing.
  • pixel values corresponding to RGB filters that are examples of combinations of primary color filters are used as primary color information.
  • image data is image data from which at least a part of primary color information for generating a color image is missing.
  • the left parallax image data obtained by collecting the outputs of the parallax L pixel has a pixel value corresponding to the G filter as primary color information, but generates a color image. Therefore, it does not have pixel values corresponding to the R filter and B filter required. Therefore, first, the properties of each of the generated image data groups will be described by taking some of the arrangements according to the above-described variations as an example.
  • the data acquisition unit 231 receives the output signal of the image sensor 100 and generates each image data of an image data group described below.
  • FIG. 16 is a diagram illustrating a group of image data generated from the output of the image sensor 100 with the A-1 array described with reference to FIG. As described above, the A-1 array has the same four pixels as the Bayer array as the repeated pattern 110.
  • the R pixel and the B pixel are non-parallax pixels, the Gb pixel is a parallax L pixel, and the Gr pixel is a parallax R pixel.
  • the left parallax image data shown in the figure is generated.
  • the left parallax image data has only pixel values of Gb pixels, and pixel values of R, Gr, and B pixels represented as empty lattices in the figure are missing. Therefore, a color image as a left parallax image cannot be generated with the left parallax image data alone. That is, the left parallax image data is generated as non-color image data.
  • right parallax image data shown in the figure is generated.
  • the right parallax image data has only the pixel value of the Gr pixel, and the pixel values of the R, Gb, and B pixels that are represented as empty lattices in the figure are missing. Therefore, the right parallax image data alone cannot generate a color image as a right parallax image. That is, the right parallax image data is generated as non-color image data.
  • 2D image data shown in the figure is generated.
  • 2D image data is assumed to be reference image data.
  • the 2D image data has pixel values of R pixels and B pixels, and pixel values of Gb and Gr pixels represented as empty lattices in the figure are missing. Therefore, it is impossible to generate a color image as a 2D image with this 2D image data alone. That is, 2D image data is generated as non-color image data.
  • the 2D image data, the left parallax image data, and the right parallax image data which are image data groups generated from the output of the image sensor 100 based on the A-1 array, are all non-color image data. Accordingly, it is impossible to generate a color image by using only the own data for any image data.
  • FIG. 17 is a diagram illustrating a group of image data generated from the output of the image sensor 100 using the B′-1 array described with reference to FIG.
  • the B′-1 array eight pixels in which the four pixels of the color filter array shown in FIG. Of the eight pixels, the left W pixel is a parallax L pixel, the right W pixel is a parallax R pixel, and each of the remaining R pixel, G pixel, and B pixel is a non-parallax pixel.
  • the left parallax image data shown in the figure is generated.
  • the left parallax image data has only the pixel value of the left W pixel, and does not have any pixel values corresponding to the R pixel, the G pixel, and the B pixel. Therefore, a color image as a left parallax image cannot be generated with the left parallax image data alone. That is, the left parallax image data is generated as non-color image data.
  • right parallax image data shown in the figure is generated.
  • the right parallax image data has only the pixel value of the right W pixel, and does not have any pixel values corresponding to the R pixel, the G pixel, and the B pixel. Therefore, the right parallax image data alone cannot generate a color image as a right parallax image. That is, the right parallax image data is generated as non-color image data.
  • 2D image data has pixel values of R pixels, G pixels, and B pixels. If the pixel value of the lower right G pixel is interpolated as the pixel value of the W pixel represented as an empty lattice in the figure, the pixel corresponding to the Bayer array Color image data having a value. Therefore, a color image as a 2D image can be generated from only the 2D image data using a known image processing technique. In the interpolation process, not only the pixel value of the lower right G pixel but also the pixel values of other G pixels can be used.
  • 2D image data is color image data
  • left parallax image data and right parallax image data are non-color image data. It is.
  • FIG. 18 is a diagram illustrating a group of image data generated from the output of the image sensor 100 having the D-1 arrangement described with reference to FIG.
  • the repeated pattern 110 includes 8 pixels in which 4 pixels in the Bayer array are two sets on the left and right.
  • the left R pixel, Gb pixel, and B pixel are parallax L pixels
  • the right R pixel, Gb pixel, and B pixel are parallax R pixels
  • two Gr pixels are non-parallax pixels.
  • the left parallax image data shown in the figure is generated.
  • the left parallax image data has R, Gb, and B pixel values in the left half of the repetitive pattern 110. Then, by interpolating the pixel value of the Gb pixel as the pixel value of the Gr pixel, and further applying, for example, the left half of the repetitive pattern 110 where the pixel values are aligned to the right half as it is, the pixel value corresponding to the Bayer array Color image data with Therefore, a color image as a left parallax image can be generated only from the left parallax image data.
  • right parallax image data shown in the figure is generated.
  • the right parallax image data has R, Gb, and B pixel values in the right half of the repetitive pattern 110.
  • the pixel value of the Gb pixel is interpolated as the pixel value of the Gr pixel, and further, for example, the right half of the repetitive pattern 110 having the same pixel value is applied as it is to the left half, the pixel value corresponding to the Bayer array Color image data with Therefore, a color image as a right parallax image can be generated only from the right parallax image data.
  • 2D image data shown in the figure is generated.
  • the 2D image data has only the pixel value of the Gr pixel, and the pixel values of the R, Gb, and B pixels that are represented as empty grids in the figure are missing. Therefore, it is impossible to generate a color image as a 2D image with this 2D image data alone. That is, 2D image data is generated as non-color image data.
  • 2D image data is non-color image data
  • left parallax image data and right parallax image data are color image data in the image data group generated from the output of the image sensor 100 having the D-1 arrangement. is there.
  • At least one of the image data groups generated from the output of the image sensor 100 is non-color image data.
  • a process for converting the generated non-color image data into color image data will be described below.
  • FIG. 19 is an explanatory diagram illustrating the relationship between the subject position and the amount of parallax pixels.
  • FIG. 19A shows in which region of the 2D image, the left parallax image, and the right parallax image the subject luminous flux emitted from the same minute area of the subject appears corresponding to each image data.
  • the subject position is a position in the depth direction along the z-axis direction.
  • the subject is present at the focus position (Focus) with respect to the photographing lens 20, and at the + focus position (Out Focus) and the -focus position (In Focus) which are non-focus positions.
  • the + focus position is a position farther than the in-focus position
  • the -focus position is a position closer to the in-focus position.
  • a pixel block unit is used as appropriate in which four pixels of two vertical pixels and two horizontal pixels, which are one pattern of the Bayer array, are used as one pixel block.
  • the subject luminous flux emitted from the same minute area appears in the same pixel block (block 2 in the figure) with respect to the 2D image.
  • subject light flux emitted from the same microscopic region passes through the partial region P L of the pupil, also appear to block 2 and 2D images.
  • subject light flux emitted from the same microscopic region passes through the partial region P L of the pupil, appeared to block 1, if present subject + focal position, block Appears in 3.
  • the subject if the subject exists at the in-focus position, the subject luminous flux radiated from the same minute region appears in the same block corresponding to each other for any image.
  • the subject if the subject exists at the out-of-focus position, it appears in blocks that are shifted from each other between the images.
  • the direction of deviation is opposite between the case where the subject is present at the + focus position and the case where the subject is present at the ⁇ focus position. Further, as can be understood from the relative relationship of the subject positions in the figure, the deviation amount increases as the out-of-focus position is far away from the in-focus position.
  • FIG. 19B is a diagram illustrating the relationship between the parallax pixel amounts between the images illustrated in FIG. As described above, in the right parallax image and the left parallax image, a block number different from that of the block 2 is described when the subject exists at the out-of-focus position. At this time, the amount of parallax pixels shown in the right end column of the figure represents how many blocks of the left parallax image are deviated from the 2D image as the reference image.
  • the pupil partial region P L and P R of because it is set symmetrically with respect to the optical axis 21, the parallax pixel of the right image for 2D images of the same subject, the left image for 2D images Are the same in size and opposite in direction. Therefore, if the sign is reversed, the amount of parallax pixels shown in the right end column of the figure represents how many blocks of the right parallax image are deviated from the 2D image as the reference image.
  • a Bayer array pattern which is one color filter pattern, is used as one pixel block and is used as a reference unit for the parallax pixel amount.
  • the reference unit for the parallax pixel amount may be one pixel unit. However, it may be one pattern of the repeating pattern 110.
  • the pixel block in which the subject luminous flux radiated from the same minute area of the subject appears.
  • the amount of parallax pixels in each parallax block can be calculated, so which pixel block in one parallax image corresponds to which pixel block in the other parallax image I know what to do. That is, it is possible to grasp the relative positional relationship between the pixel blocks capturing the same minute area of the subject between both parallax images.
  • the parallax pixel amount with respect to the reference image is half of the parallax pixel amount between the parallax images. Therefore, it is possible to enumerate how many blocks the left parallax image is shifted from the reference image over all the blocks, and the enumerated sequence forms a so-called parallax map.
  • FIG. 20 is an explanatory diagram for explaining a process for generating a parallax map.
  • the parallax amount calculation unit 232 receives the left parallax image data and the right parallax image data generated by the data acquisition unit 231 and executes the following parallax map generation processing.
  • the parallax amount calculation unit 232 determines a target pixel 311 having a pixel value among pixels included in the target block, and determines a local window 312 for the target pixel 311. Then, matching processing is performed between the two images using the local window 312 as a reference, and the amount of parallax pixels in the target block including the target pixel 311 is determined. Specifically, the parallax amount calculation unit 232 sets the local window 314 on the right parallax image corresponding to the local window 312 on the left parallax image, and sets the local window 314 relative to the local window 312. Searching for image regions with good matching with each other while shifting.
  • the position of the local window 314 where matching is determined to be good is determined, and the coordinate value of the search pixel 313 that is the center coordinate is calculated.
  • the amount of parallax pixels is determined by converting the difference between the coordinate value of the target pixel 311 and the coordinate value of the search pixel 313 in units of parallax blocks.
  • the parallax amount calculation unit 232 sequentially executes the above matching process while sequentially scanning the target pixel 311 from the upper left to the lower right on the left parallax image, and calculates the parallax pixel amounts of the left parallax image and the right parallax image. To do.
  • the parallax amount calculation unit 232 completes the parallax map with each of the calculated parallax pixel amounts as a half value in order to use the 2D image as a reference image.
  • the parallax map is expressed as a parallax pixel amount corresponding to each subject area of the boy 301, the girl 302, the woman 303, and the background 304, which are the subjects, for example, in the example of the figure, as the above calculation result.
  • the boy 301 is in focus
  • the parallax pixel amount is 0 in the boy 301 area, -1 in the girl 302 area in front of the boy 301, and the woman 303 area in the back.
  • the value is +1
  • the background in the far distance is +4.
  • FIG. 21 is a diagram showing a concept of processing for transplanting primary color information with reference to a parallax map.
  • the image conversion unit 233 refers to the parallax map and converts the non-color image data into color image data.
  • 2D image data is color image data
  • parallax image data is non-color image data among image data generated as an image data group.
  • the 2D image data that is the reference image has pixel values corresponding to each of the RGB filters in each pixel block as primary color information.
  • primary color information for the pixel block (n, m) is represented as C nm .
  • the image conversion unit 233 refers to the parallax map as primary color information of the pixel block (n, m) in the parallax image data, and primary color information C n ′ of the pixel block (n ′, m ′) of the 2D image data. transplant m ′ .
  • the image conversion unit 233 repeats this operation for all blocks, and converts the parallax image data, which is non-color image data, into color image data.
  • the image conversion unit 233 searches the pixel block (1, 1) of the 2D image data as the corresponding pixel block as it is. . Then, the image conversion unit 233, a primary color information C 11 pixel block of the 2D image data (1, 1), to obtain the primary information by transplanting into pixel blocks (1,1) of the left parallax image data.
  • Image converting unit 233 since the parallax pixel amount is 0, the same applies to the pixel blocks (1,1) of the right parallax image data, transplanted primary information C 11 pixel block of the 2D image data (1,1) To do.
  • the pixel block (1, 2) of the parallax map is referred to.
  • the image conversion unit 233 is the pixel block on the right side of the corresponding pixel block (1, 2) of the 2D image data. Search for (1,3).
  • the image conversion unit 233 a primary color information C 13 pixel block of the 2D image data (1,3), to obtain the primary information by transplanting into the left parallax image data pixel blocks (1, 2).
  • the image conversion unit 233 acquires primary color information of the pixel block (1, 2) of the right parallax image data.
  • the parallax pixel amount of the pixel block (1, 2) of the referenced parallax map is 1, but when the primary color information is transplanted to the right parallax pixel data, the sign is reversed. And Therefore, the image conversion unit 233 searches for the pixel block (1, 1) that is one left side of the corresponding pixel block (1, 2) of the 2D image data. Then, the image conversion unit 233, a primary color information C 11 pixel block (1,1) of the 2D image data, and acquires the primary information by transplanting into pixel blocks of the right parallax image data (1, 2).
  • the image conversion unit 233 converts the primary color information C nm + k of the 2D image data into the pixel block (right parallax image data) of the pixel block (n, m) of the left parallax image data.
  • the primary color information C nm-k of the 2D image data is transplanted, and the respective parallax image data primary color information is acquired. In this way, color image data is completed by transplanting primary color information into all blocks of the left parallax image data and all blocks of the right parallax image data.
  • the transplantation of primary color information when the parallax image data is both non-color image data and the 2D image data is color image data has been described.
  • the image sensor 100 has, for example, a B-1 array, B This is the case where the '-1 arrangement is adopted.
  • the repetitive pattern 110 is 8 pixels of 2 pixels vertically and 4 pixels horizontally. Therefore, the parallax amount calculation unit 232 interpolates a missing pixel value in the parallax image data with an adjacent pixel value when four pixels of two vertical pixels and two horizontal pixels as one block as shown in FIG. Processing may be performed to calculate the parallax pixel amount corresponding to each block.
  • the image conversion unit 233 refers to the parallax map, for example, the left parallax image
  • the primary color information of the data is ported to 2D image data.
  • the source of the primary color information may be right parallax image data, or processing such as averaging primary color information of both image data may be performed.
  • the transplantation in the present embodiment is not limited to the case where the pixel value of the transplant source is simply set as the pixel value of the transplant destination, but may be the case where the pixel value of the transplant source is processed into the pixel value of the transplant destination. Including.
  • the pixel value as the processing source is not limited to the pixel value of the image data to which the target pixel value belongs, and the pixel value of the transplant destination image data can also be referred to.
  • Examples of processing are not limited to averaging processing, and various digital filter processing can be performed.
  • the processing can be changed according to the amount of parallax pixels, and the processing can be changed according to the characteristics of the subject image, for example, the location corresponding to the edge.
  • the image sensor 100 adopts, for example, a D-1 array. This is the case.
  • the 2D image data generated by the data acquisition unit 231 from the pixel output of the image sensor 100 adopting the D-1 array has a pixel value of Gr pixel. Therefore, when the primary color information is transplanted from the parallax image data, the image conversion unit 233 compares the pixel value of the G pixel to be transplanted with the pixel value of the Gr pixel of the 2D image data, and adjusts the overall luminance value. You may do it.
  • FIG. 22 is a diagram illustrating a concept of processing for transplanting primary color information between parallax image data and 2D image data.
  • the imaging element 100 adopts, for example, an A-1 array.
  • the image conversion unit 233 transplants the pixel values of the B pixel and the R pixel, which are primary color information of the 2D image data, into the left parallax image data and the right parallax image data as in the example of FIG. Further, the image conversion unit 233 refers to the parallax map, and transplants the pixel value of the Gb pixel from the left parallax image data and the pixel value of the Gr pixel from the right parallax image data in the 2D image data. In this way, each image data is converted into color image data by mutually transplanting vacancies. However, when such processing is executed, it is preferable that the areas of the opening 104 of the parallax pixel and the opening of the non-parallax pixel are equal from the viewpoint of the amount of light and the amount of blur.
  • parallax amount calculation unit 232 generates a plurality of parallax maps in consideration of the combination of the corresponding left and right parallax image data.
  • the parallax amount calculation unit 232 may perform interpolation in consideration of continuity with the parallax pixel amount of the adjacent pixel block. Alternatively, the parallax amount calculation unit 232 may temporarily set the parallax pixel amount of the pixel block that could not be calculated to 0, and the image processing unit 205 may perform correction processing on the generated color image data. .
  • the parallax pixel amount is described as an integer value.
  • the parallax pixel amount calculated by the matching process may include a decimal value.
  • the image conversion unit 233 determines each primary color information having two parallax pixel amounts sandwiching the center coordinates as the distance from the center coordinates. A weighted average value is calculated according to.
  • the primary color information may not be transplanted in units of pixel blocks.
  • the image conversion unit 233 may perform image conversion in consideration of the difference between the center coordinates of the pixel block and the pixel position to be actually transplanted.
  • the parallax amount calculation unit 232 calculates the parallax pixel amount between the same subject images based on the acquired image data.
  • the amount acquired as a result of the calculation is not limited to the amount of parallax pixels, and may be an amount corresponding to the parallax between the same subject images. For example, it can be expressed by a distance corresponding to the pixel pitch, or a scale conforming to another standard can be applied.
  • the 2D image data is described as the reference image data.
  • any of the parallax image data may be used as the reference image data.
  • each process has been described as a function of each constituent element of the digital camera 10 such as the data acquisition unit 231, the parallax amount calculation unit 232, and the image conversion unit 233 included in the image processing unit 205.
  • the control program that operates the control unit 201 can cause each hardware component of the digital camera 10 to function as a component that executes the above-described processing.
  • the digital camera 10 having the image sensor 100 has been described.
  • the color image data conversion processing of the non-color image data is not performed by the digital camera 10 but by an external device such as a personal computer. You can go.
  • an external device such as a personal computer functions as an image processing apparatus.
  • the image processing apparatus acquires an image data group including reference image data and parallax image data for the same scene, any of which is non-color image data, and converts the non-color image data into color image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

　それぞれがカラー画像である視差画像を取得するには、それぞれの視差画像を撮像するための複雑な撮影光学系と撮像素子を用意しなければならなかった。　そこで、同一シーンを撮像して生成される、基準画像データと基準画像データの被写体像に対して視差を有する視差画像データとであって、少なくともいずれかがカラー画像を生成するための原色情報の少なくとも一部が欠落した非カラー画像データである画像データ群を取得する画像取得部と、基準画像データと視差画像データの同一被写体像間の視差に対応する視差量を演算する視差量演算部と、視差量に基づいて、基準画像データと視差画素データのいずれか一方の原色情報の少なくとも一部を他方へ移植して、非カラー画像データをカラー画像データに変換する画像変換部とを備える画像処理装置を提供する。

Description

画像処理装置および画像処理プログラム
　本発明は、画像処理装置および画像処理プログラムに関する。
　２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
　　［特許文献１］　特開平８－４７００１号公報
　それぞれがカラー画像である視差画像を取得するには、それぞれの視差画像を撮像するための複雑な撮影光学系と撮像素子を用意しなければならなかった。
　本発明の第１の態様における画像処理装置は、同一シーンを撮像して生成される、基準画像データと基準画像データの被写体像に対して視差を有する視差画像データとであって、少なくともいずれかがカラー画像を生成するための原色情報の少なくとも一部が欠落した非カラー画像データである画像データ群を取得する画像取得部と、基準画像データと視差画像データの同一被写体像間の視差に対応する視差量を演算する視差量演算部と、視差量に基づいて、基準画像データと視差画素データのいずれか一方の原色情報の少なくとも一部を他方へ移植して、非カラー画像データをカラー画像データに変換する画像変換部とを備える。
　本発明の第２の態様における画像処理プログラムは、同一シーンを撮像して生成される、基準画像データと基準画像データの被写体像に対して視差を有する視差画像データとであって、少なくともいずれかがカラー画像を生成するための原色情報の少なくとも一部が欠落した非カラー画像データである画像データ群を取得する画像取得ステップと、基準画像データと視差画像データの同一被写体像間の視差に対応する視差量を演算する視差量演算ステップと、視差量に基づいて、基準画像データと視差画素データのいずれか一方の原色情報の少なくとも一部を他方へ移植して、非カラー画像データをカラー画像データに変換する画像変換ステップとをコンピュータに実行させる。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明の実施形態に係るデジタルカメラの構成を説明する図である。 本発明の実施形態に係る撮像素子の断面を表す概略図である。 撮像素子の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 繰り返しパターンの他の例を示す図である。 二次元的な繰り返しパターンの例を示す図である。 開口部の他の形状を説明する図である。 ベイヤー配列を説明する図である。 ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。 バリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 他のカラーフィルタ配列を説明する図である。 Ｗ画素と視差画素の配列の一例を示す図である。 Ａ－１配列による撮像素子の出力から生成される画像データ群を説明する図である。 Ｂ'－１配列による撮像素子の出力から生成される画像データ群を説明する図である。 Ｄ－１配列による撮像素子の出力から生成される画像データ群を説明する図である。 被写***置と視差画素量の関係を説明する説明図である。 視差マップの生成処理を説明する説明図である。 視差マップを参照して原色情報を移植する処理の概念を示す図である。 視差画像データと２Ｄ画像データ間で相互に原色情報を移植する処理の概念を示す図である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
　図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。
　なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
　撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
　Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、撮像素子１００が出力する信号から画像データ群を生成して取得するデータ取得部２３１、取得した画像データ群に含まれる視差画像データ間で視差量を演算する視差量演算部２３２、カラー画像データに変換する画像変換部２３３を有する。それぞれの処理の詳細については、後述する。
　画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
　ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。
　次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。
　図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
　光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
　一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
　カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも３種類のカラーフィルタが配列されれば良い。これらのカラーフィルタは、カラー画像を生成するための原色フィルタと言える。原色フィルタの組み合わせは、例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタである。これらのカラーフィルタは、後述するように、光電変換素子１０８に対応して格子状に配列される。
　マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
　このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
　なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
　カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素とする場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。
　輝度情報を取得する画素を視差画素とする場合、つまり、視差画像を少なくとも一旦はモノクロ画像として出力するのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。
　スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。
　次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色（透明である場合を含む）のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
　図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。
　図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。
　図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。
　まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ～Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。
　別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。
　図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ～Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ～Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
　つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。
　撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。
　次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ～Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。
　したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ～Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
　すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。
　したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ～Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
　図５は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
　６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
　しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
　同様にして、視差画像データＩｍ＿ｅ～視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。
　上記の例では、横一列を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。図６は、繰り返しパターン１１０の他の例を示す図である。
　図６（ａ）は、縦６画素を繰り返しパターン１１０とした例である。ただし、それぞれの開口部１０４は、紙面上端の視差画素から下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度を犠牲にする代わりに横方向の解像度を維持する繰り返しパターンであると言える。
　図６（ｂ）は、斜め方向に隣接する６画素を繰り返しパターン１１０とした例である。それぞれの開口部１０４は、紙面左上端の視差画素から右下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度および横方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。
　図３の繰り返しパターン１１０、および図６（ａ）（ｂ）の繰り返しパターン１１０をそれぞれ比較すると、いずれも６視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、縦方向、横方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図３の繰り返しパターン１１０の場合は、横方向の解像度を１／６とする構成である。図６（ａ）の繰り返しパターン１１０の場合は、縦方向の解像度を１／６とする構成である。また、図６（ｂ）の繰り返しパターン１１０の場合は、縦方向を１／３、横方向を１／２とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部１０４ａ～１０４ｆが一つずつ設けられており、それぞれが対応する部分領域Ｐａ～Ｐｆのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン１１０であっても視差量は同等である。
　上述の例では、左右方向に視差を与える視差画像を生成する場合について説明したが、もちろん上下方向に視差を与える視差画像を生成することもできるし、上下左右の二次元方向に視差を与える視差画像を生成することもできる。図７は、二次元的な繰り返しパターン１１０の例を示す図である。
　図７の例によれば、縦６画素横６画素の３６画素を一組の光電変換素子群として繰り返しパターン１１０を形成する。それぞれの画素に対する開口部１０４の位置として、互いに上下左右方向にシフトした３６種類の開口マスク１０３が用意されている。具体的には、各開口部１０４は、繰り返しパターン１１０の上端画素から下端画素に向かって、上側から下側へ徐々にシフトすると同時に、左端画素から右端画素に向かって、左側から右側へ徐々にシフトするように位置決めされている。
　このような繰り返しパターン１１０を有する撮像素子１００は、上下方向および左右方向に視差を与える、３６視点の視差画像を出力することができる。もちろん図７の例に限らず、さまざまな視点数の視差画像を出力するように繰り返しパターン１１０を定めることができる。
　以上の説明においては、開口部１０４の形状として矩形を採用した。特に、横方向に視差を与える配列においては、シフトさせる方向である左右方向の幅よりも、シフトさせない上下方向の幅を広くすることにより、光電変換素子１０８へ導く光量を確保している。しかし、開口部１０４の形状は矩形に限定されない。
　図８は、開口部１０４の他の形状を説明する図である。図においては、開口部１０４の形状を円形とした。円形とした場合、半球形状であるマイクロレンズ１０１との相対的な関係から、予定外の被写体光束が迷光となって光電変換素子１０８へ入射することを防ぐことができる。
　次に、カラーフィルタ１０２と視差画像について説明する。図９は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。
　このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。
　このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。図１０は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌ画素と、同じく右側に偏心した視差Ｒ画素を想定している。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。
　それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。
　以下にいくつかのバリエーションについて説明する。図１１は、バリエーションの一例を示す図である。図１１のバリエーションは、図１０における繰り返しパターン分類Ａ－１に相当する。
　図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。Ｒ画素とＢ画素は視差なし画素であり、Ｇｂ画素を視差Ｌ画素に、Ｇｒ画素を視差Ｒ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌ画素と視差Ｒ画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部１０４が定められる。
　図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。
　図１２は、他のバリエーションの一例を示す図である。図１２のバリエーションは、図１０における繰り返しパターン分類Ｂ－１に相当する。
　図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。このような配列においては、Ｇｒ画素を視差なし画素としたことにより、図１０の例よりも、更に２Ｄ画像の高画質化が望める。
　図１３は、更に他のバリエーションの一例を示す図である。図１３のバリエーションは、図１０における繰り返しパターン分類Ｄ－１に相当する。
　図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。さらに、左側のＲ画素に視差Ｌ画素を、右側のＲ画素に視差Ｒ画素を割り当てる。さらに、左側のＢ画素に視差Ｌ画素を、右側のＢ画素に視差Ｒ画素を割り当てる。２つのＧｒ画素には視差なし画素を割り当てる。
　２つのＧｂ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、２つのＲ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光し、２つのＢ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素およびＲ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図１２の例に比較して、３Ｄ画像としての解像度が縦方向に３倍となる。しかも、ＲＧＢの３色の出力が得られるので、カラー画像としての３Ｄ画像として高品質である。
　なお、上述のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力したい視差画像数に合わせて、図３、図７、図８などで説明したような様々な数を採用し得る。視点数が増えていっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。
　上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部１０４を有する開口マスク１０３を備えると良い。
　したがって、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを備え、隣接するｎ個（ｎは３以上の整数）の光電変換素子１０８のうち、少なくとも２つ（３つ以上であっても良い）に対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも３種類のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。
　図１４は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図９で示したベイヤー配列のＧｒ画素を緑フィルタが割り当てられるＧ画素として維持する一方、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。
　このようなＷ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、Ｗ画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。Ｗ画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。
　Ｗ画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン１１０は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してＷ画素から出力された画像であれば、被写体像のコントラストが高い。そこで、Ｗ画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。後述するように、マッチング処理は、視差画素量を取得する処理の一環として実行される。したがって、２Ｄ画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン１１０が設定される。
　図１５は、図１４の他のカラーフィルタ配列を採用する場合の、Ｗ画素と視差画素の配列の一例を示す図である。図１５のバリエーションは、ベイヤー配列における図１２の繰り返しパターン分類Ｂ－１に類似するので、ここではＢ'－１とする。図の例においては、他のカラーフィルタ配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＷ画素に視差Ｌ画素を、右側のＷ画素に視差Ｒ画素を割り当てる。このような配列において撮像素子１００は、視差画像をモノクロ画像として出力し、２Ｄ画像をカラー画像として出力する。
　この場合、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを有し、隣接するｎ個（ｎは４以上の整数）の光電変換素子１０８のうち、少なくとも２つに対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも３種類のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内には含まれず、かつ、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。
　以上説明した各バリエーションによる配列においては、いずれの場合も、各画素の出力値を寄せ集めただけでは、カラー画像データとしての２Ｄ画像データおよびカラー画像データとしての視差画像データの全てを得ることができない。ここで、カラー画像データとは、カラー画像を生成するための原色情報が欠落無く揃った画像データであり、例えば、原色フィルタの組み合わせの例であるＲＧＢフィルタのそれぞれに対応する画素値を原色情報として有する画像データである。逆に、非カラー画像データとは、カラー画像を生成するための原色情報の少なくとも一部が欠落した画像データである。例えば、Ｇ画素にのみ視差Ｌ画素が割り当てられている場合、視差Ｌ画素の出力を寄せ集めた左視差画像データは、原色情報としてＧフィルタに対応する画素値を持つものの、カラー画像を生成するために必要なＲフィルタおよびＢフィルタに対応する画素値を持たない。そこで、まず、上述したバリエーションによる配列のいくつかを例に、生成される画像データ群のそれぞれの性質について説明する。なお、データ取得部２３１が、撮像素子１００の出力信号を受け取って、以下に説明する画像データ群の各画像データを生成する。
　図１６は、図１１を用いて説明したＡ－１配列による撮像素子１００の出力から生成される画像データ群を説明する図である。上述のように、Ａ－１配列は、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。そして、Ｒ画素とＢ画素が視差なし画素であり、Ｇｂ画素が視差Ｌ画素、Ｇｒ画素が視差Ｒ画素である。
　撮像素子１００の画素出力から、視差Ｌ画素の出力のみをその相対的な位置関係を保ったまま抜き出すと、図に示す左視差画像データが生成される。左視差画像データは、Ｇｂ画素の画素値のみを持つことになり、図において空格子として表すＲ、Ｇｒ、Ｂ画素の画素値は欠落している。したがって、この左視差画像データ単独では左視差画像としてのカラー画像を生成することはできない。つまり、左視差画像データは、非カラー画像データとして生成される。
　同様に、撮像素子１００の画素出力から、視差Ｒ画素の出力のみをその相対的な位置関係を保ったまま抜き出すと、図に示す右視差画像データが生成される。右視差画像データは、Ｇｒ画素の画素値のみを持つことになり、図において空格子として表すＲ、Ｇｂ、Ｂ画素の画素値は欠落している。したがって、この右視差画像データ単独では右視差画像としてのカラー画像を生成することはできない。つまり、右視差画像データは、非カラー画像データとして生成される。
　そして、撮像素子１００の画素出力から、視差なし画素の出力のみをその相対的な位置関係を保ったまま抜き出すと、図に示す２Ｄ画像データが生成される。なお、以下の説明においては、２Ｄ画像データを基準画像データとする。２Ｄ画像データは、Ｒ画素およびＢ画素の画素値を持ち、図において空格子として表すＧｂ、Ｇｒ画素の画素値は欠落している。したがって、この２Ｄ画像データ単独では２Ｄ画像としてのカラー画像を生成することはできない。つまり、２Ｄ画像データは、非カラー画像データとして生成される。
　以上のように、Ａ－１配列による撮像素子１００の出力から生成される画像データ群である、２Ｄ画像データ、左視差画像データおよび右視差画像データは、いずれも非カラー画像データである。したがって、いずれの画像データも自らのデータのみでは、カラー画像を生成することができない。
　図１７は、図１５を用いて説明したＢ'－１配列による撮像素子１００の出力から生成される画像データ群を説明する図である。上述のように、Ｂ'－１配列は、図１４で示すカラーフィルタ配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。そして、８画素のうち、左側のＷ画素が視差Ｌ画素、右側のＷ画素が視差Ｒ画素であり、残りのＲ画素、Ｇ画素、Ｂ画素のそれぞれは、いずれも視差なし画素である。
　撮像素子１００の画素出力から、視差Ｌ画素の出力のみをその相対的な位置関係を保ったまま抜き出すと、図に示す左視差画像データが生成される。左視差画像データは、左側のＷ画素の画素値のみを持つことになり、Ｒ画素、Ｇ画素、Ｂ画素に対応するいずれの画素値も持たない。したがって、この左視差画像データ単独では左視差画像としてのカラー画像を生成することはできない。つまり、この左視差画像データは、非カラー画像データとして生成される。
　同様に、撮像素子１００の画素出力から、視差Ｒ画素の出力のみをその相対的な位置関係を保ったまま抜き出すと、図に示す右視差画像データが生成される。右視差画像データは、右側のＷ画素の画素値のみを持つことになり、Ｒ画素、Ｇ画素、Ｂ画素に対応するいずれの画素値も持たない。したがって、この右視差画像データ単独では右視差画像としてのカラー画像を生成することはできない。つまり、この右視差画像データは、非カラー画像データとして生成される。
　そして、撮像素子１００の画素出力から、視差なし画素の出力のみをその相対的な位置関係を保ったまま抜き出すと、図に示す２Ｄ画像データが生成される。２Ｄ画像データは、Ｒ画素、Ｇ画素およびＢ画素の画素値を持ち、図において空格子として表すＷ画素の画素値として右下のＧ画素の画素値を補間すれば、ベイヤー配列に対応する画素値を持つカラー画像データとなる。したがって、この２Ｄ画像データのみから、公知の画像処理技術を用いて２Ｄ画像としてのカラー画像を生成することができる。なお、補間処理においては、右下のＧ画素の画素値のみでなく、他のＧ画素の画素値を利用することもできる。
　以上のように、Ｂ'－１配列による撮像素子１００の出力から生成される画像データ群のうち、２Ｄ画像データはカラー画像データであり、左視差画像データおよび右視差画像データは非カラー画像データである。
　図１８は、図１３を用いて説明したＤ－１配列による撮像素子１００の出力から生成される画像データ群を説明する図である。上述のように、Ｄ－１配列は、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。そして、８画素のうち、左側のＲ画素、Ｇｂ画素、Ｂ画素が視差Ｌ画素、右側のＲ画素、Ｇｂ画素、Ｂ画素が視差Ｒ画素であり、２つのＧｒ画素が視差なし画素である。
　撮像素子１００の画素出力から、視差Ｌ画素の出力のみをその相対的な位置関係を保ったまま抜き出すと、図に示す左視差画像データが生成される。左視差画像データは、繰り返しパターン１１０の左半分においてＲ画素、Ｇｂ画素およびＢ画素の画素値を持つ。そして、Ｇｒ画素の画素値としてＧｂ画素の画素値を補間し、さらに、例えば、繰り返しパターン１１０のうち画素値が揃った左半分を右半分にもそのまま適用すれば、ベイヤー配列に対応する画素値を持つカラー画像データとなる。したがって、この左視差画像データのみから、左視差画像としてのカラー画像を生成することができる。
　同様に、撮像素子１００の画素出力から、視差Ｒ画素の出力のみをその相対的な位置関係を保ったまま抜き出すと、図に示す右視差画像データが生成される。右視差画像データは、繰り返しパターン１１０の右半分においてＲ画素、Ｇｂ画素およびＢ画素の画素値を持つ。そして、Ｇｒ画素の画素値としてＧｂ画素の画素値を補間し、さらに、例えば、繰り返しパターン１１０のうち画素値が揃った右半分を左半分にもそのまま適用すれば、ベイヤー配列に対応する画素値を持つカラー画像データとなる。したがって、この右視差画像データのみから、右視差画像としてのカラー画像を生成することができる。
　そして、撮像素子１００の画素出力から、視差なし画素の出力のみをその相対的な位置関係を保ったまま抜き出すと、図に示す２Ｄ画像データが生成される。２Ｄ画像データは、Ｇｒ画素の画素値のみを持つことになり、図において空格子として表すＲ、Ｇｂ、Ｂ画素の画素値は欠落している。したがって、この２Ｄ画像データ単独では２Ｄ画像としてのカラー画像を生成することはできない。つまり、２Ｄ画像データは、非カラー画像データとして生成される。
　以上のように、Ｄ－１配列による撮像素子１００の出力から生成される画像データ群のうち、２Ｄ画像データは非カラー画像データであり、左視差画像データおよび右視差画像データはカラー画像データである。
　このように、撮像素子１００の出力から生成される画像データ群のうち、少なくともいずれかが非カラー画像データである。そこで、生成された非カラー画像データをカラー画像データに変換する処理について、以下に説明する。
　まず、撮像素子１００の出力から生成される画像データ群である２Ｄ画像データ、左視差画像データおよび右視差画像データの全てが仮にカラー画像データである場合の、画像データ間に生じる視差画素量について説明する。図１９は、被写***置と視差画素量の関係を説明する説明図である。
　図１９（ａ）は、被写体の同一微小領域から放射される被写体光束が、被写***置の違いに対して、各画像データに対応する２Ｄ画像、左視差画像および右視差画像のどの領域に現れるかを、概念的に示す図である。ここで、被写***置とは、ｚ軸方向に沿った奥行き方向における位置である。図においては、被写体が、撮影レンズ２０に対して合焦位置（Ｆｏｃｕｓ）と、非合焦位置である＋焦点位置（Ｏｕｔ　Ｆｏｃｕｓ）および－焦点位置（Ｉｎ　Ｆｏｃｕｓ）に存在する場合を表す。＋焦点位置は、合焦位置よりも遠い位置であり、－焦点位置は、合焦位置よりも近い位置である。また、以下の説明においては、ベイヤー配列の一パターンである縦２画素および横２画素の４画素を１画素ブロックとする、画素ブロック単位を適宜用いる。
　被写体が合焦点位置、＋焦点位置、－焦点位置のいずれに存在しても、同一の微小領域から放射される被写体光束は、２Ｄ画像に対して、同一画素ブロック（図ではブロック２）に現れる。左視差画像に対しては、被写体が合焦点位置に存在すれば、同じ微小領域から放射される被写体光束は、瞳の部分領域ＰＬを通過して、２Ｄ画像と同じくブロック２に現れる。一方、被写体が－焦点位置に存在すれば、同じ微小領域から放射される被写体光束は、瞳の部分領域ＰＬを通過して、ブロック１に現れ、被写体が＋焦点位置に存在すれば、ブロック３に現れる。右視差画像に対しては、被写体が合焦点位置に存在すれば、同じ微小領域から放射される被写体光束は、瞳の部分領域ＰＲを通過して、２Ｄ画像と同じくブロック２に現れる。一方、被写体が－焦点位置に存在すれば、同じ微小領域から放射される被写体光束は、瞳の部分領域ＰＲを通過して、ブロック３に現れ、被写体が＋焦点位置に存在すれば、ブロック１に現れる。
　すなわち、被写体が合焦位置に存在すれば、同一の微小領域から放射される被写体光束は、いずれの画像に対しても互いに対応する同一のブロックに現れる。一方、被写体が非合焦位置に存在すれば、画像間で互いにずれたブロックに現れる。しかも、被写体が＋焦点位置に存在する場合と－焦点位置に存在する場合とで、ずれる方向が反対になる。また、図における被写***置の相対的な関係からも理解されるように、非合焦位置が合焦位置に対して大きく離れる程、ずれ量が大きくなる。
　図１９（ｂ）は、図１９（ａ）で示す画像間の視差画素量の関係を示す図である。上述のように、右視差画像と左視差画像では、被写体が非合焦位置に存在する場合に、ブロック２とは異なるブロック番号が記述されることになる。このとき、図の右端列で示す視差画素量は、基準画像とする２Ｄ画像に対して左視差画像が何ブロックずれているかを表している。
　本実施形態においては、瞳の部分領域ＰＬとＰＲは、光軸２１に対して対称に設定されているので、同一被写体の２Ｄ画像に対する右画像の視差画素量は、２Ｄ画像に対する左画像の視差画素量と、大きさが同じで向きが反対となる。したがって、図の右端列で示す視差画素量は、符号を逆転させれば、基準画像とする２Ｄ画像に対して右視差画像が何ブロックずれているかを表していることになる。
　なお、以下の説明においては、カラーフィルタの一パターンであるベイヤー配列パターンを１画素ブロックとして、視差画素量の基準単位とするが、視差画素量の基準単位は、１画素単位であっても良いし、繰り返しパターン１１０の一パターンであっても良い。視差画素量の基準単位は、画像データ群のそれぞれの画像データがどれだけ像を解像しているか、必要とされる精度はどの程度か、全体の演算負荷量が適切か、などのさまざまな要因によって決定されれば良い。
　上述の説明においては、被写体の同一微小領域から放射される被写体光束がどの画素ブロックに現れるかについて説明した。逆に、視差画像間で像のマッチング処理を行えば、それぞれの視差ブロックにおける視差画素量を算出することができるので、一方の視差画像のどの画素ブロックが他方の視差画像のどの画素ブロックと対応するかがわかる。すなわち、両視差画像間で、被写体の同一微小領域を捉えている画素ブロックの相対的な位置関係を把握することができる。また、上述のように、基準画像との視差画素量は、視差画像間の視差画素量の半分である。したがって、全ブロックに亘ってそれぞれ基準画像に対して左視差画像が何ブロックずれているかを羅列することができ、羅列された数列はいわゆる視差マップを形成する。
　図２０は、視差マップの生成処理を説明する説明図である。視差量演算部２３２は、データ取得部２３１が生成した左視差画像データおよび右視差画像データを受け取って、以下の視差マップ生成処理を実行する。
　視差量演算部２３２は、対象ブロックに含まれる画素のうち画素値を有する対象画素３１１を決定し、この対象画素３１１に対して局所ウィンドウ３１２を定める。そして、局所ウィンドウ３１２を基準として２画像間でマッチング処理を行い、対象画素３１１を含む対象ブロックにおける視差画素量を決定する。具体的には、視差量演算部２３２は、左視差画像上の局所ウィンドウ３１２に対応して右視差画像上に局所ウィンドウ３１４を設定して、局所ウィンドウ３１４を局所ウィンドウ３１２に対して相対的にずらしながら互いにマッチングの良い画像領域を探索する。そして、マッチングが良いと判断される局所ウィンドウ３１４の位置を定め、その中心座標である探索画素３１３の座標値を算出する。視差画素量は、対象画素３１１の座標値と探索画素３１３の座標値との差を視差ブロック単位に換算して決定される。そして、視差量演算部２３２は、左視差画像上において対象画素３１１を左上から右下まで順次走査しながら上記のマッチング処理を逐次実行して、左視差画像と右視差画像の視差画素量を算出する。
　そして、視差量演算部２３２は、２Ｄ画像を基準画像とすべく、算出された視差画素量をそれぞれ半分の値として視差マップを完成させる。視差マップは、上述の算出結果として、例えば図の例において、各被写体である少年３０１、少女３０２、女性３０３および背景３０４の各被写体領域に対応した視差画素量として表現される。図の例においては、少年３０１に合焦しており、少年３０１の領域では視差画素量が０となり、少年３０１より手前に存在する少女３０２の領域では－１、奥に存在する女性３０３の領域では＋１、さらに遠方の背景は＋４の値を示している。
　図２１は、視差マップを参照して原色情報を移植する処理の概念を示す図である。上述のように、視差画像データを用いて視差マップが生成されると、画像変換部２３３は、視差マップを参照して、非カラー画像データをカラー画像データに変換する。ここでは、例として、画像データ群として生成された画像データのうち、２Ｄ画像データがカラー画像データであり、視差画像データが非カラー画像データである場合について説明する。
　基準画像である２Ｄ画像データは、各画素ブロックにおいてＲＧＢフィルタのそれぞれに対応する画素値を原色情報として有する。ｎ，ｍを自然数としたとき、画素ブロック（ｎ，ｍ）に対する原色情報を、Ｃｎｍと表す。そして、画像変換部２３３は、視差画像データにおける画素ブロック（ｎ，ｍ）の原色情報として、視差マップを参照して、２Ｄ画像データの画素ブロック（ｎ'，ｍ'）の原色情報Ｃｎ'ｍ'を移植する。画像変換部２３３は、全ブロックに対してこの作業を繰り返し、非カラー画像データである視差画像データをカラー画像データに変換する。
　図の例を用いて具体的に説明する。左視差画像データの画素ブロック（１，１）の原色情報を取得する場合は、視差マップの画素ブロック（１，１）を参照する。このとき視差マップの画素ブロック（１，１）は、視差画素量０を示しているので、画像変換部２３３は、そのまま対応する画素ブロックとして２Ｄ画像データの画素ブロック（１，１）を検索する。そして、画像変換部２３３は、２Ｄ画像データの画素ブロック（１，１）の原色情報Ｃ１１を、左視差画像データの画素ブロック（１，１）へ移植することにより原色情報を取得する。画像変換部２３３は、視差画素量が０であるので、右視差画像データの画素ブロック（１，１）についても同様に、２Ｄ画像データの画素ブロック（１，１）の原色情報Ｃ１１を移植する。
　次に、左視差画像データの画素ブロック（１，２）の原色情報を取得する場合は、視差マップの画素ブロック（１，２）を参照する。このとき視差マップの画素ブロック（１，２）は、視差画素量１を示しているので、画像変換部２３３は、２Ｄ画像データの対応する画素ブロック（１，２）のひとつ右側である画素ブロック（１，３）を検索する。そして、画像変換部２３３は、２Ｄ画像データの画素ブロック（１，３）の原色情報Ｃ１３を、左視差画像データの画素ブロック（１，２）へ移植することにより原色情報を取得する。
　続いて画像変換部２３３は、右視差画像データの画素ブロック（１，２）の原色情報を取得する。参照した視差マップの画素ブロック（１，２）の視差画素量は１を示していたが、右視差画素データへ原色情報を移植する場合は符号を逆転させるので、ここでは視差画素量を－１とする。したがって、画像変換部２３３は、２Ｄ画像データの対応する画素ブロック（１，２）のひとつ左側である画素ブロック（１，１）を検索する。そして、画像変換部２３３は、２Ｄ画像データの画素ブロック（１，１）の原色情報Ｃ１１を、右視差画像データの画素ブロック（１，２）へ移植することにより原色情報を取得する。
　つまり、画像変換部２３３は、左視差画像データの画素ブロック（ｎ，ｍ）へは、視差画素量がｋであるとき、２Ｄ画像データの原色情報Ｃｎｍ＋ｋを、右視差画像データの画素ブロック（ｎ，ｍ）へは、２Ｄ画像データの原色情報Ｃｎｍ－ｋを移植して、それぞれの視差画像データ原色情報を取得する。このようにして、左視差画像データの全ブロック、右視差画像データの全ブロックに原色情報を移植してカラー画像データを完成させる。
　図２１の例では、視差画像データが共に非カラー画像データであり、２Ｄ画像データがカラー画像データである場合の、原色情報の移植について説明した。データ取得部２３１により取得される画像データ群において、視差画像データが共に非カラー画像データであり、２Ｄ画像データがカラー画像データである場合は、撮像素子１００が、例えば、Ｂ－１配列、Ｂ'－１配列を採用する場合である。ただし、これらの配列は、繰り返しパターン１１０が、縦２画素横４画素の８画素である。そこで、視差量演算部２３２は、図２１のような縦２画素横２画素の４画素を１ブロックとする場合は、視差画像データのうち足りない画素値を隣接する画素値で補間するなどの処理を施して、各ブロックに対応する視差画素量を算出すれば良い。
　図２１の例とは逆に、視差画像データが共にカラー画像データであり、２Ｄ画像データが非カラー画像データである場合は、画像変換部２３３は、視差マップを参照して、例えば左視差画像データの原色情報を２Ｄ画像データへ移植する。もちろん、原色情報の移植元は右視差画像データであっても良いし、両画像データの原色情報を平均化するなどの処理を施しても良い。この意味において、本実施形態における移植とは、単純に移植元の画素値を移植先の画素値とする場合に限らず、移植元の画素値を加工して移植先の画素値とする場合も含む。このとき、加工元とする画素値は、対象となる画素値が属する画像データの画素値に限らず、移植先の画像データの画素値を参照することもできる。加工の例としては、平均化処理に限らず、様々なデジタルフィルタ処理を施すことができる。更には、視差画素量に応じて処理を変更することもできるし、被写体像の特徴、例えばエッジに対応する箇所などに応じて処理を変更することもできる。
　データ取得部２３１により取得される画像データ群において、視差画像データが共にカラー画像データであり、２Ｄ画像データが非カラー画像データである場合は、撮像素子１００が、例えば、Ｄ－１配列を採用する場合である。Ｄ－１配列を採用する撮像素子１００の画素出力からデータ取得部２３１が生成する２Ｄ画像データは、Ｇｒ画素の画素値を有する。そこで、視差画像データから原色情報を移植する場合には、画像変換部２３３は、移植するＧ画素の画素値と２Ｄ画像データのＧｒ画素の画素値とを比較して、全体の輝度値を調整しても良い。
　視差画像データと２Ｄ画像データの一方がカラー画像データで他方が非カラー画像データの関係ではなく、両方が非カラー画像データである場合も、移植処理によるカラー画像化を実行し得る。図２２は、視差画像データと２Ｄ画像データ間で相互に原色情報を移植する処理の概念を示す図である。データ取得部２３１により取得される画像データ群において、視差画像データと２Ｄ画像データが共に非カラー画像データである場合は、撮像素子１００が、例えば、Ａ－１配列を採用する場合である。
　この場合、画像変換部２３３は、図２１の例と同様に、２Ｄ画像データの原色情報であるＢ画素およびＲ画素の画素値を、左視差画像データおよび右視差画像データへ移植する。また、画像変換部２３３は、視差マップを参照して、２Ｄ画像データのうちＧｂ画素の画素値を左視差画像データから、Ｇｒ画素の画素値を右視差画像データから移植する。このように、空格子を相互に移植し合うことによりそれぞれの画像データをカラー画像データ化する。ただし、このような処理を実行する場合は、光量、ぼけ量の観点から、視差画素の開口部１０４と視差なし画素の開口部の面積が等しいことが好ましい。
　以上の原色情報の移植処理に関する説明においては、左視差画像データと右視差画像データの２つの視差画像データを前提としたが、例えば図５を用いて説明したような６視差画像データなど、多数の視差画像データに対しても同様の処理を施すことができる。この場合、視差量演算部２３２は、対応する左右の視差画像データの組み合わせを考慮して、複数の視差マップを生成する。
　また、上述においては、全ての画素ブロックで視差画素量を演算できた場合を前提として説明したが、被写体の空間周波数、オクルージョン等により、マッチング処理によっては視差画素量を演算できない画素ブロックが存在する場合がある。このような場合には、視差量演算部２３２は、隣接する画素ブロックの視差画素量との連続性を考慮して補間しても良い。あるいは、視差量演算部２３２は、演算できなかった画素ブロックの視差画素量を仮に０としておき、画像処理部２０５が、生成されたカラー画像データに対して、補正処理を施すなどしても良い。
　また、以上の説明においては、視差画素量を整数値として説明したが、マッチング処理によって算出する視差画素量は、小数値を含んでも良い。小数値を含むときに例えば画素ブロックの中心座標における原色情報を算出する場合は、画像変換部２３３は、その中心座標を挟む２つの視差画素量を持つそれぞれの原色情報を、中心座標との距離に応じて加重平均した値を算出する。また、原色情報の移植は、画素ブロック単位でなくても良い。画像変換部２３３は、例えば、画素ブロックの中心座標と実際に移植する画素位置との差異を考慮して画像変換を行っても良い。
　また、以上の説明において、視差量演算部２３２は、取得された画像データに基づいて、同一被写体像間の視差画素量を演算した。しかし、演算の結果取得する量は、視差画素量に限らず、同一被写体像間の視差に対応する量であれば構わない。例えば、画素ピッチに対応させて距離で表現することもできるし、他の規格に即したスケールを適用することもできる。
　また、以上の説明においては、２Ｄ画像データを基準画像データとして説明したが、例えば画像データ群が２Ｄ画像データを含まない場合等においては、視差画像データのいずれかを基準画像データとしても良い。
　また、以上の説明においては、例えば画像処理部２０５が含むデータ取得部２３１、視差量演算部２３２および画像変換部２３３など、デジタルカメラ１０を構成する各構成要素の機能としてそれぞれの処理を説明した。一方、制御部２０１を動作させる制御プログラムは、デジタルカメラ１０を構成する各ハードウェアを、上述の処理を実行させる構成要素として機能させ得る。
　また、以上の説明においては、撮像素子１００を有するデジタルカメラ１０として説明したが、非カラー画像データのカラー画像データ化処理は、デジタルカメラ１０で行わなくても、外部のパーソナルコンピュータなどの機器で行っても良い。この場合、外部のパーソナルコンピュータなどの機器は画像処理装置として機能する。画像処理装置は、いずれかが非カラー画像データである、同一シーンに対する基準画像データと視差画像データを含む画像データ群を取得して、非カラー画像データをカラー画像データへ変換する。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０　デジタルカメラ、２０　撮影レンズ、２１　光軸、３０　被写体、１００　撮像素子、１０１　マイクロレンズ、１０２　カラーフィルタ、１０３　開口マスク、１０４　開口部、１０５　配線層、１０６　配線、１０７　開口、１０８　光電変換素子、１０９　基板、１１０　繰り返しパターン、１２０　撮像素子、１２１　スクリーンフィルタ、１２２　カラーフィルタ部、１２３　開口マスク部、２０１　制御部、２０２　Ａ／Ｄ変換回路、２０３　メモリ、２０４　駆動部、２０５　画像処理部、２０７　メモリカードＩＦ、２０８　操作部、２０９　表示部、２１０　ＬＣＤ駆動回路、２１１　ＡＦセンサ、２２０　メモリカード、２３１　データ取得部、２３２　視差量演算部、２３３　画像変換部、３０１　少年、３０２　少女、３０３　女性、３０４　背景、３１１　対象画素、３１２、３１４　局所ウィンドウ、３１３　探索画素

Claims (11)

  1. 　同一シーンを撮像して生成される、基準画像データと前記基準画像データの被写体像に対して視差を有する視差画像データとであって、少なくともいずれかがカラー画像を生成するための原色情報の少なくとも一部が欠落した非カラー画像データである画像データ群を取得する画像取得部と、
    　前記基準画像データと前記視差画像データの同一被写体像間の視差に対応する視差量を演算する視差量演算部と、
    　前記視差量に基づいて、前記基準画像データと前記視差画像データのいずれか一方の前記原色情報の少なくとも一部を他方へ移植して、前記非カラー画像データをカラー画像データに変換する画像変換部と
    を備える画像処理装置。
  2. 　前記画像データ群は、前記基準画像データと、前記基準画像データに対して一方向に前記視差を有する第１視差画像データおよび前記一方向とは反対の他方向に前記視差を有する第２視差画像データの少なくとも三つの画像データを含む請求項１に記載の画像処理装置。
  3. 　前記第１視差画像データおよび前記第２視差画像データは前記非カラー画像データであり、
    　前記画像変換部は、前記基準画像データの前記原色情報の少なくとも一部を前記第１視差画像データおよび前記第２視差画像データへ移植して、前記第１視差画像データおよび前記第２視差画像データを前記カラー画像データに変換する請求項２に記載の画像処理装置。
  4. 　前記第１視差画像データおよび前記第２視差画像データは、前記原色情報を有さない輝度画像データである請求項３に記載の画像処理装置。
  5. 　前記基準画像データは前記非カラー画像データであり、
    　前記画像変換部は、前記第１視差画像データおよび前記第２視差画像データの少なくともいずれかの前記原色情報の少なくとも一部を前記基準画像データへ移植して、前記基準画像データを前記カラー画像データに変換する請求項２に記載の画像処理装置。
  6. 　前記基準画像データ、前記第１視差画像データおよび前記第２視差画像データはいずれも前記非カラー画像データであり、
    　前記画像変換部は、前記第１視差画像データおよび前記第２視差画像データの少なくともいずれかの前記原色情報の少なくとも一部を前記基準画像データへ移植し、前記基準画像データの前記原色情報の少なくとも一部を前記第１視差画像データおよび前記第２視差画像データへ移植して、前記基準画像データ、前記第１視差画像データおよび前記第２視差画像データを前記カラー画像データに変換する請求項２に記載の画像処理装置。
  7. 　前記視差量演算部は、前記第１視差画像データと前記第２視差画像データの前記視差量を演算してから、前記基準画像データと前記第１視差画像データおよび前記第２視差画像データのそれぞれの前記視差量を演算する請求項２から６のいずれか１項に記載の画像処理装置。
  8. 　前記視差量演算部は、前記基準画像データに対する前記第１視差画像データおよび前記第２視差画像データの前記視差量を表す視差マップを生成し、
    　前記画像変換部は、前記視差マップを参照して前記原色情報を移植する請求項２から６のいずれか１項に記載の画像処理装置。
  9. 　前記同一シーンを撮像する撮像素子と、
    　請求項１から８のいずれか１項に記載の画像処理装置と
    を備える撮像素子であって、
    　前記画像取得部は、前記撮像素子の出力信号から前記画像データ群を生成して取得する撮像装置。
  10. 　前記撮像素子は、
    　入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
    　前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスクと、
    　前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタと
    を備え、
    　隣接するｎ個（ｎは３以上の整数）の前記光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの前記開口マスクの開口は、互いに異なる波長帯域を透過させる少なくとも３種類の前記カラーフィルタを含むカラーフィルターパターンの一パターン内に含まれると共に、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が周期的に配列されている請求項９に記載の撮像装置。
  11. 　同一シーンを撮像して生成される、基準画像データと前記基準画像データの被写体像に対して視差を有する視差画像データとであって、少なくともいずれかがカラー画像を生成するための原色情報の少なくとも一部が欠落した非カラー画像データである画像データ群を取得する画像取得ステップと、
    　前記基準画像データと前記視差画像データの同一被写体像間の視差に対応する視差量を演算する視差量演算ステップと、
    　前記視差量に基づいて、前記基準画像データと前記視差画像データのいずれか一方の前記原色情報の少なくとも一部を他方へ移植して、前記非カラー画像データをカラー画像データに変換する画像変換ステップと
    をコンピュータに実行させる画像処理プログラム。
PCT/JP2012/002600 2011-04-14 2012-04-13 画像処理装置および画像処理プログラム WO2012140917A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201280012963.2A CN103621078B (zh) 2011-04-14 2012-04-13 图像处理装置和图像处理程序
KR1020137029935A KR20140030183A (ko) 2011-04-14 2012-04-13 화상 처리 장치 및 화상 처리 프로그램
JP2013509803A JP5979134B2 (ja) 2011-04-14 2012-04-13 画像処理装置および画像処理プログラム
US14/047,269 US9706190B2 (en) 2011-04-14 2013-10-07 Image processing apparatus and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011090141 2011-04-14
JP2011-090141 2011-04-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/047,269 Continuation US9706190B2 (en) 2011-04-14 2013-10-07 Image processing apparatus and image processing program

Publications (1)

Publication Number Publication Date
WO2012140917A1 true WO2012140917A1 (ja) 2012-10-18

Family

ID=47009106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/002600 WO2012140917A1 (ja) 2011-04-14 2012-04-13 画像処理装置および画像処理プログラム

Country Status (5)

Country Link
US (1) US9706190B2 (ja)
JP (1) JP5979134B2 (ja)
KR (1) KR20140030183A (ja)
CN (1) CN103621078B (ja)
WO (1) WO2012140917A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104756493A (zh) * 2012-10-26 2015-07-01 株式会社尼康 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序
JPWO2018003501A1 (ja) * 2016-06-28 2019-04-25 ソニー株式会社 固体撮像装置、電子機器、レンズ制御方法および車両

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284172A (zh) * 2013-07-04 2015-01-14 联咏科技股份有限公司 影像匹配方法及立体匹配***
CN105684436B (zh) * 2013-09-26 2020-05-01 株式会社尼康 摄像元件以及摄像装置
JP6363857B2 (ja) * 2014-03-24 2018-07-25 キヤノン株式会社 撮像素子、撮像装置、画像処理方法、並びにプログラム
US20190215473A1 (en) * 2016-07-13 2019-07-11 Sony Corporation Imaging apparatus, imaging device, and image processing apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0847001A (ja) * 1994-08-01 1996-02-16 Minolta Co Ltd 立体テレビカメラ
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置
JP2010041720A (ja) * 2008-08-06 2010-02-18 Samsung Electronics Co Ltd 立体イメージセンサのピクセルアレイ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
JP2006101224A (ja) * 2004-09-29 2006-04-13 Toshiba Corp 画像生成装置、画像生成方法および画像生成プログラム
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
US7363157B1 (en) * 2005-02-10 2008-04-22 Sarnoff Corporation Method and apparatus for performing wide area terrain mapping

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0847001A (ja) * 1994-08-01 1996-02-16 Minolta Co Ltd 立体テレビカメラ
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置
JP2010041720A (ja) * 2008-08-06 2010-02-18 Samsung Electronics Co Ltd 立体イメージセンサのピクセルアレイ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104756493A (zh) * 2012-10-26 2015-07-01 株式会社尼康 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序
CN104756493B (zh) * 2012-10-26 2017-03-08 株式会社尼康 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序
US9693036B2 (en) 2012-10-26 2017-06-27 Nikon Corporation Imaging apparatus, image processing device, computer-readable medium having stored thereon an imaging apparatus controlling program, and computer-readable medium having stored thereon an image processing program
JPWO2018003501A1 (ja) * 2016-06-28 2019-04-25 ソニー株式会社 固体撮像装置、電子機器、レンズ制御方法および車両

Also Published As

Publication number Publication date
JPWO2012140917A1 (ja) 2014-07-28
KR20140030183A (ko) 2014-03-11
CN103621078B (zh) 2016-01-13
US9706190B2 (en) 2017-07-11
JP5979134B2 (ja) 2016-08-24
CN103621078A (zh) 2014-03-05
US20140036043A1 (en) 2014-02-06

Similar Documents

Publication Publication Date Title
JP5915537B2 (ja) 撮像素子、及び、撮像装置
JP5804055B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5979134B2 (ja) 画像処理装置および画像処理プログラム
WO2013136819A1 (ja) 撮像素子、撮像装置および撮像システム
WO2013161313A1 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2013114895A1 (ja) 撮像装置
JP5942984B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2013057859A1 (ja) 撮像素子
JP5874729B2 (ja) 撮像装置
JP6197316B2 (ja) 撮像素子および撮像装置
JP5979137B2 (ja) 撮像装置および撮像装置の制御プログラム
JP5978736B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2013175812A (ja) 撮像素子および撮像装置
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
JP5978737B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2012212975A (ja) 撮像装置および撮像装置の制御プログラム
JP5978738B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6205770B2 (ja) 撮像素子および撮像システム
JP6019611B2 (ja) 撮像装置
JP2013090265A (ja) 画像処理装置および画像処理プログラム
JP5978735B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2013150055A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2013162362A (ja) 撮像装置および撮像プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12770574

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013509803

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20137029935

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 12770574

Country of ref document: EP

Kind code of ref document: A1