WO2016158618A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2016158618A1 WO2016158618A1 PCT/JP2016/059233 JP2016059233W WO2016158618A1 WO 2016158618 A1 WO2016158618 A1 WO 2016158618A1 JP 2016059233 W JP2016059233 W JP 2016059233W WO 2016158618 A1 WO2016158618 A1 WO 2016158618A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- signal
- photoelectric conversion
- pixel
- image
- image sensor
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 127
- 238000006243 chemical reaction Methods 0.000 claims abstract description 337
- 238000001514 detection method Methods 0.000 claims description 220
- 230000003287 optical effect Effects 0.000 claims description 34
- 230000000295 complement effect Effects 0.000 claims description 8
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 description 45
- 238000012986 modification Methods 0.000 description 45
- 210000001747 pupil Anatomy 0.000 description 25
- 230000000737 periodic effect Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 230000015654 memory Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 239000000758 substrate Substances 0.000 description 7
- 230000004907 flux Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/17—Colour separation based on photon absorption depth, e.g. full colour resolution obtained simultaneously at each pixel location
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
- H10K19/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic element specially adapted for rectifying, amplifying, oscillating or switching, covered by group H10K10/00
- H10K19/20—Integrated devices, or assemblies of multiple devices, comprising at least one organic element specially adapted for rectifying, amplifying, oscillating or switching, covered by group H10K10/00 comprising components having an active region that includes an inorganic semiconductor
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
- H10K39/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
- H10K39/30—Devices controlled by radiation
- H10K39/32—Organic image sensors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
Definitions
- the present invention relates to an imaging apparatus.
- Patent Document 1 There is known a digital camera including an imaging device in which pixels having a microlens and first and second photoelectric conversion units are two-dimensionally arranged (Patent Document 1).
- the digital camera performs phase difference type focus detection based on the first and second photoelectric conversion signals from the first and second photoelectric conversion units, and adds the first and second photoelectric conversion signals of each pixel. To generate an image.
- the first and second photoelectric conversion units have a first pixel arranged in the horizontal direction
- the first and second photoelectric conversion units have a second pixel arranged in the vertical direction.
- the above-mentioned digital camera has a problem that the same subject image cannot be divided into pupils in different directions.
- the imaging device receives incident light, and includes a first imaging element including first pixels having first and second photoelectric conversion units arranged in a first direction.
- a second imaging element including a second pixel that receives light transmitted through the first imaging element and has third and fourth photoelectric conversion units arranged in a second direction different from the first direction And comprising.
- the first image sensor photoelectrically converts the first color light of the incident light, and the second image sensor is the first image sensor.
- the color is preferably a photoelectric conversion of complementary color light.
- the first imaging element has a plurality of first pixels arranged two-dimensionally
- the second imaging element has a plurality of The second pixel is arranged in a two-dimensional manner, a first readout unit that reads out signals from a plurality of first pixels arranged in the second direction, and a plurality of second pixels arranged in the first direction It is preferable to further include a second reading unit that reads a signal.
- the focal point is located between the first imaging element and the second imaging element, and the first pixel is incident.
- the first imaging element or the second imaging element has a focal position, and the pixel on the incident side of the first pixel. It is preferable to further include a microlens arranged for each.
- the microlens arranged for each pixel on the incident side of the first pixel, the first imaging element, and the second It is preferable to further include an inner lens disposed for each second pixel between the imaging element.
- the first to fourth photoelectric conversion units are preferably organic photoelectric films.
- the incident light is a light flux that has passed through the photographing optical system, and the first signal from the first photoelectric conversion unit Based on the second signal from the second photoelectric conversion unit, the focus adjustment state of the photographing optical system is detected, and the third signal from the third photoelectric conversion unit and the fourth signal from the fourth photoelectric conversion unit are detected.
- an image signal is generated by adding the first signal and the second signal, and an image signal is generated by adding the third signal and the fourth signal. It is preferable to further include an image signal generation unit.
- the focus adjustment of the imaging optical system is performed based on the focus adjustment state detected by the focus detection unit based on the first and second signals, It is preferable to further include a selection unit that selects whether to perform focus adjustment of the imaging optical system based on the focus adjustment state detected by the focus detection unit based on the third and fourth signals.
- the image signal generated by the image signal generation unit by adding the first signal and the second signal, the third signal, and the fourth signal It is preferable to further include a synthesis unit that synthesizes the image signal generated by the image signal generation unit.
- the moving direction of the subject is detected by at least one of the signal from the first pixel and the signal from the second pixel.
- a moving direction detecting unit; and an image signal selecting unit that selects one of an image signal based on a signal from the first pixel and an image signal based on a signal from the second pixel based on the moving direction of the subject detected by the moving direction detecting unit; are preferably further provided.
- the moving direction of the subject is detected by at least one of the signal from the first pixel and the signal from the second pixel.
- a moving direction detector, and a correcting unit that corrects one of the first image based on the signal from the first pixel and the second image based on the signal from the second pixel based on the moving direction of the subject detected by the moving direction detector.
- FIG. 1st Embodiment It is a figure which illustrates the structure of the digital camera by 1st Embodiment. It is a figure which shows the outline
- (A) is a figure which shows arrangement
- (b) is a pixel of 10 rows x 6 columns which are a part of 2nd image sensor. It is a figure which shows arrangement
- FIG. 2 is a block diagram illustrating in detail functions performed by a focus detection unit illustrated in FIG. 1. It is a flowchart showing 1st focus detection operation
- FIG. 6C is a diagram in which pixels in a correspondence relationship between the first and second imaging elements are overlapped. It is a figure which shows the synthetic
- FIG. 4B is a diagram illustrating a relationship between the RGB image signal and the pixels of the first image sensor, and FIG.
- 5C is a diagram illustrating a part of the pixels of the second image sensor.
- D is a diagram schematically showing the relationship between the superimposed pixels and the addition signal, with the pixels in the correspondence relationship between the first and second image sensors being displayed in a superimposed manner.
- (a) is the image obtained by imaging the to-be-photographed object
- (b) is the 1st object moved to the arrow direction.
- (C) is an image obtained by imaging a subject moving in the direction of the arrow with the first image sensor, and (d) is moved in the direction of the arrow.
- An image obtained by imaging the subject with the second image sensor, and (e) is an image obtained by imaging the subject moving in the direction of the arrow with the second image sensor. It is a block diagram of a 3rd embodiment.
- FIG. 1 is a diagram illustrating a configuration of a digital camera 1 according to the first embodiment.
- the digital camera 1 includes a photographing optical system 10, an imaging unit 11, a control unit 12, an operation unit 13, an image processing unit 14, a display such as a liquid crystal or an EL, that is, a monitor 15 and a buffer memory 16.
- a memory card 17 is attached to the digital camera 1.
- the memory card 17 is composed of a non-volatile flash memory or the like and is detachable from the digital camera 1.
- the photographing optical system 10 is composed of a plurality of lenses, and forms a subject image on the imaging surface of the imaging unit 11.
- the plurality of lenses constituting the photographing optical system 10 include a focus lens that is driven in the optical axis direction for focus adjustment.
- the focus lens is driven in the optical axis direction by a lens driving unit (not shown).
- the imaging unit 11 includes first and second imaging elements 21 and 22, an amplifier circuit 23, and an AD conversion circuit 24 that are stacked on each other.
- Each of the first and second imaging elements 21 and 22 is composed of a plurality of pixels arranged two-dimensionally, and receives incident light, that is, visible light flux from the subject via the photographing optical system 10. Then, photoelectric conversion is performed and a photoelectric conversion signal is output.
- each pixel of the first and second imaging elements 21 and 22 receives first and second photoelectric elements that respectively receive a pair of light beams that have passed through a pair of regions of the pupil of the photographing optical system 10.
- the first and second photoelectric conversion units of each pixel have analog conversion units, and output analog first and second photoelectric conversion signals, respectively.
- the amplifier circuit 23 amplifies the first and second photoelectric conversion signals with a predetermined amplification factor (gain) and outputs the amplified signals to the AD conversion circuit 24.
- the AD conversion circuit 24 AD-converts the first and second photoelectric conversion signals.
- the controller 12 includes a microprocessor and its peripheral circuits, and performs various controls of the digital camera 1 by executing a control program stored in a ROM (not shown).
- the control unit 12 functionally includes a focus detection unit 12a, an image generation unit 12b, and a focus detection area setting unit 12c. Each of these functional units 12a, 12b, and 12c is implemented in software by the control program described above. Each of these functional units can also be configured by an electronic circuit.
- the control unit 12 stores the first and second photoelectric conversion signals AD converted by the AD conversion circuit 24 in the buffer memory 16.
- the focus detection unit 12 a is based on the first and second photoelectric conversion signals of the first image sensor 21 stored in the buffer memory 16, and the first and second of the second image sensor 22 stored in the buffer memory 16.
- the focus adjustment state of the photographing optical system 10 is detected.
- the image generation unit 12 b generates an image signal based on the first and second photoelectric conversion signals of the first and second imaging elements 21 and 22 stored in the buffer memory 16. That is, the image generation unit 12 b generates the first image signal by adding the first and second photoelectric conversion signals of the pixels of the first image sensor 21, and the pixels of the second image sensor 22.
- the first and second photoelectric conversion signals are added to generate a second image signal.
- the image processing unit 14 is configured by an ASIC or the like.
- the image processing unit 14 performs various types of image processing such as interpolation processing, compression processing, white balance processing, and the like on the first and second image signals from the image generation unit 12b to thereby generate first and second image data. Is generated. These first and second image data are displayed on the monitor 15 or stored in the memory card 17.
- the operation unit 13 includes various operation members such as a release operation member, a mode switching operation member, a focus detection area setting operation member, and a power operation member, and is operated by a photographer.
- the operation unit 13 outputs an operation signal corresponding to the operation of each operation member by the photographer to the control unit 12.
- the focus detection area setting unit 12c sets a focus detection area of a predetermined area in the shooting screen in accordance with the operation of the operation member for setting the focus detection area. There are various methods for setting the focus detection area using the focus detection area setting unit 12c and the focus detection area setting operation member as described in detail below.
- the focus detection area setting unit 12c detects the focus of a predetermined area at an arbitrary position on the shooting screen according to the operation of the operation member for setting the focus detection area. Set the area.
- the detection area setting unit 12c sets a focus detection area according to the selection.
- the digital camera 1 includes a subject recognition unit that recognizes the face of the subject person from the captured image
- the focus detection area setting unit 12c includes the face portion.
- a focus detection area can also be set.
- the focus detection area setting operation member is an operation member for selecting a mode for automatically setting the focus detection area based on the recognition result of the face of the subject person by the subject recognition unit.
- the focus detection area set as the focus detection target area by the focus detection area setting unit 12c as described above is referred to as a set focus detection area.
- FIG. 2 is a diagram showing an outline of the first and second imaging elements 21 and 22 according to the present embodiment.
- the first image sensor 21 is an image sensor using an organic photoelectric film as a photoelectric conversion unit
- the second image sensor 22 is an image sensor using a photodiode formed on a semiconductor substrate as a photoelectric conversion unit.
- the first image sensor 21 is stacked on the second image sensor 22, and the first and second image sensors 21 and 22 have the first and second optical axes of the imaging optical system 10 shown in FIG.
- the imaging elements 21 and 22 are arranged in the optical path of the imaging optical system 10 so as to pass through the centers of the imaging surfaces of the imaging elements 21 and 22.
- first and second image sensors 21 and 22 only the 4 ⁇ 3 pixels 210 and 220 are shown in FIG. 2 in order to avoid complication of the drawing.
- pixels of m rows ⁇ n columns are both arranged, and each pixel of the first image sensor 21 and each pixel of the second image sensor 22 are the same size.
- Each pixel 210 of the first image sensor 21 has an organic photoelectric film that absorbs (photoelectrically converts) light of a predetermined color component.
- the light of the color component that has not been absorbed (photoelectrically converted) by the first image sensor 21 passes through the first image sensor 21 and enters the second image sensor 22, and is photoelectrically converted by the second image sensor 22. Is done.
- the color component photoelectrically converted by the first image sensor 21 and the color component photoelectrically converted by the second image sensor 22 have a complementary color relationship. That is, as will be described later, among the pixels 210 of the first image sensor 21, magenta and complementary colors are included in the pixel 220 of the second image sensor 22 that is located just behind the pixel that absorbs and photoelectrically converts the magenta color component.
- the light of the green color component which is related enters.
- the pixel 220 of the second image sensor 22 that is located immediately behind the pixel that absorbs and photoelectrically converts the yellow color component has a blue color component that is complementary to yellow.
- the pixel 220 of the second image sensor 22 located immediately behind the pixel that absorbs and photoelectrically converts the cyan color component has a red color component that is complementary to cyan.
- each pixel 210 of the first image sensor 21 has a corresponding relationship with the pixel 220 of the second image sensor 22 located immediately behind the pixel 210, that is, each pixel of the first image sensor 21.
- 210 has a corresponding relationship with the pixel 220 of the second image sensor 22 that receives the light beam that has passed through it, and the pixels 210 and 220 of the first and second image sensors 21 and 22 that have such a corresponding relationship.
- Photoelectric conversion is performed by absorbing complementary color components.
- the pixels 210 and 220 of the first and second image sensors 21 and 22 that have a corresponding relationship with each other are referred to as corresponding pixels.
- FIG. 3 shows an arrangement of 10 rows ⁇ 6 columns of pixels 210 that are a part of the first image sensor 21 and an arrangement of pixels 220 of 10 rows ⁇ 6 columns that are a part of the second image sensor 22.
- FIG. 3A regarding the first image sensor 21, “Mg” attached to the pixel 210 is a pixel in which the pixel absorbs a magenta color component and performs photoelectric conversion, that is, a pixel having a magenta spectral sensitivity.
- “Ye” attached to the pixel 210 indicates a pixel that absorbs a yellow color component and performs photoelectric conversion, that is, a pixel having a yellow spectral sensitivity, and is attached to the pixel 210.
- “Cy” indicates a pixel in which the pixel absorbs a cyan color component and performs photoelectric conversion, that is, a pixel having cyan spectral sensitivity.
- “Mg” pixels 210 and “Ye” pixels 210 are alternately arranged in odd-numbered pixel columns, and “Cy” pixels 210 and “Mg” pixels 210 are arranged in even-numbered pixel columns. And are arranged alternately.
- the “Mg” pixel 210 cannot absorb 100% of the magenta color component, and the “Ye” pixel 210 generally cannot absorb 100% of the yellow color component.
- the “Cy” pixel 210 cannot absorb 100% of each of the cyan color components, and part of the color components passes through the pixels.
- “G” attached to the pixel 220 is a pixel that absorbs a green color component and photoelectrically converts it, that is, a pixel having a green spectral sensitivity.
- “B” attached to the pixel 220 indicates a pixel that absorbs a blue color component and performs photoelectric conversion, that is, a pixel having a blue spectral sensitivity, and is attached to the pixel 220.
- “R” indicates a pixel in which the pixel absorbs a red color component and performs photoelectric conversion, that is, a pixel having red spectral sensitivity.
- “G” pixels 220 and “B” pixels 220 are alternately arranged in odd-numbered pixel columns, and “R” pixels 220 and “G” pixels 220 are arranged in even-numbered pixel columns. And are arranged alternately. That is, the second imaging element 22 has a Bayer array of pixels.
- the “Mg” pixel 210 of the first image sensor 21 and the “G” pixel 220 of the second image sensor 22 have a correspondence relationship, and the first image sensor 21.
- the “Y” pixel 210 of the second image sensor 22 and the “B” pixel 220 of the second image sensor 22 are in a corresponding relationship, and the “C” pixel 210 of the first image sensor 21 and the “R” of the second image sensor 22
- the pixel 220 has a correspondence relationship.
- the first image sensor 21 formed of an organic photoelectric film plays a role of a color filter with respect to the second image sensor 22, and a complementary color image of the first image sensor 21 from the second image sensor 22. (Image of Bayer array in the example of FIG. 3) is obtained. Therefore, a CMY image composed of three colors Cy, Mg, and Ye can be acquired from the first image sensor 21, and an RGB image composed of three colors R, G, and B can be acquired from the second image sensor 22. Can be acquired. As described above, since the first image sensor 21 replaces the color filter necessary for the conventional image sensor, the incident light that has been absorbed by the color filter is effectively used by the first image sensor 21. can do. The CMY image of the first image sensor 21 is converted into an RGB image by a known color system conversion process as will be described in detail later, and becomes a first image signal.
- each pixel 210 of the first image sensor 21 includes first and second photoelectric conversion units 210a and 210b.
- the first and second photoelectric conversion units 210a and 210b are arranged in the column direction, that is, the vertical direction in FIG.
- each pixel 220 of the second image sensor 22 includes first and second photoelectric conversion units 220a and 220b.
- These first and second photoelectric conversion units 220a and 220b are arranged in the row direction, that is, in the left-right direction in FIG.
- the first and second photoelectric conversion units 210 a and 210 b of each pixel 210 of the first image sensor 21 and the first and second photoelectric conversion units of each pixel 220 of the second image sensor 22. 220a and 220b are arranged so as to be orthogonal to each other.
- the first image sensor 21 reads the first and second photoelectric conversion signals from the first and second photoelectric conversion units 210a and 210b of the pixel 210 in units of columns.
- the first image sensor 21 reads out the first and second photoelectric conversion signals of the ten pixels 210 located in the leftmost column at the same time, and then positions 10 in the right adjacent column on the left end.
- the first and second photoelectric conversion signals of the pixels 210 are read out at the same time.
- the first and second photoelectric conversion signals of the ten pixels 210 in the column located on the right side are read out in the same manner. .
- the second image sensor 22 reads the first and second photoelectric conversion signals from the first and second photoelectric conversion units 220a and 220b of the pixel 220 in units of rows. That is, for example, the second image sensor 22 reads the first and second photoelectric conversion signals of the six pixels 220 located in the uppermost row at the same time, and then the six pixels located in the lower row. The first and second photoelectric conversion signals of the pixels 220 are read out simultaneously, and similarly, the first and second photoelectric conversion signals of the six pixels 220 in each row are read out in the same manner.
- An example of the circuit of each pixel 210 of the first image sensor 21 is disclosed in, for example, International Publication No. 2013/105481.
- FIG. 4 is a cross-sectional view showing the configuration of one pixel 210, 220 of the first and second imaging elements 21, 22.
- the second image sensor 22 is formed on the semiconductor substrate 50, and each pixel 220 includes first and second photoelectric conversion units 220 a and 220 b arranged in a direction perpendicular to the paper surface.
- the first image sensor 21 is stacked on the surface of the second image sensor 22, that is, the upper surface, with the planarizing layer 55 interposed.
- a wiring layer 51 is formed in the flattening layer 55. In FIG. 4, the wiring layer 51 has a three-layer structure, but may have a two-layer structure.
- Each pixel 210 of the first image sensor 21 includes an organic photoelectric film 230, a transparent common electrode 231 formed on the upper surface of the organic photoelectric film 230, and transparent first and second electrodes formed on the lower surface of the organic photoelectric film 230.
- Second partial electrodes 232a and 232b are included. As described above, the first and second partial electrodes 232a and 232b are orthogonal to the horizontal direction on the paper surface, that is, the arrangement direction of the first and second photoelectric conversion units 220a and 220b of the second imaging element 22. Arranged in the direction.
- each pixel 210 of the first image sensor 21 the organic photoelectric film 230, the common electrode 231, and the first partial electrode 232 a constitute the first photoelectric conversion unit 210 a, and the organic photoelectric film 230, the common electrode 231, The second partial electrode 232b constitutes the second photoelectric conversion unit 210b.
- a microlens 233 is disposed above each pixel 210 of the first image sensor 21, and each microlens 233, each pixel 210 of the first image sensor 21, and each pixel of the second image sensor 22. 220 is aligned in the optical axis direction of the microlens 233.
- the focal point 233F of the microlens 233 is positioned between the first image sensor 21 and the second image sensor 22. That is, the distance between the focal plane of the microlens 233 (that is, the plane perpendicular to the optical axis of the microlens 233 including the focal point 233F) and the first and second photoelectric conversion units of the first imaging element 21 is the microlens. It is set equal to the distance between the focal plane of 233 and the first and second photoelectric conversion units of the second image sensor 22. The distance between the first and second image sensors 21 and 22 is relatively small, and the focal point 233F of the microlens 233 is positioned between the first image sensor 21 and the second image sensor 22 as described above.
- a surface conjugate with the first and second photoelectric conversion units of the first image sensor 21 with respect to the micro lens 233 is the micro lens 233. 1 with respect to a plane conjugate with the first and second photoelectric conversion units of the second image sensor 22 (hereinafter, this conjugate plane is referred to as a second distance measuring pupil plane).
- this conjugate plane is referred to as a second distance measuring pupil plane.
- the first and second photoelectric conversion units 210a and 210b of each pixel 210 of the first imaging element 21 are arranged. Receives a pair of light beams respectively passing through the first and second pupil regions of the first distance measuring pupil plane, and the first and second photoelectric conversion units of each pixel 220 of the second image sensor 22 220a and 220b receive a pair of light beams respectively passing through the third and fourth pupil regions of the second distance measuring pupil plane. Note that the arrangement direction of the first and second pupil regions on the first distance measurement pupil plane and the arrangement direction of the third and fourth pupil regions on the second distance measurement pupil plane are orthogonal to each other.
- the focus detection unit 12a illustrated in FIG. 1 includes first and second photoelectric conversion signals based on the first and second photoelectric conversion signals of the plurality of pixels 210 arranged in the column direction of the first imaging element 21 as described later.
- a shift amount of a pair of images formed by a pair of light beams that have passed through the pupil region, that is, a phase difference is detected, and a defocus amount is calculated based on the image shift amount.
- the focus detection unit 12 a is a pair that has passed through the third and fourth pupil regions based on the first and second photoelectric conversion signals of the plurality of pixels 220 arranged in the row direction of the second image sensor 22.
- the amount of deviation of the pair of images formed by the luminous flux, that is, the phase difference is detected, and the defocus amount is calculated based on the amount of image deviation.
- FIG. 5 is a diagram schematically illustrating a photoelectric conversion signal readout circuit of the first and second photoelectric conversion units 210 a and 210 b of each pixel 210 of the first image sensor 21.
- the first image sensor 21 includes a column scanning circuit 151 and first and second horizontal output circuits 152 and 153.
- the column scanning circuit 151 outputs a timing signal R (n) for reading signals to the first and second photoelectric conversion units 210a and 210b of the plurality of pixels 210 arranged in the column direction, that is, the vertical direction in FIG. To do. More specifically, the column scanning circuit 151 outputs a timing signal R (1) to the first and second photoelectric conversion units 210a and 210b of the plurality of pixels 210 in the first column.
- the first and second photoelectric conversion signals of the first and second photoelectric conversion units 210a and 210b of the plurality of pixels 210 in the first column are respectively the first and second photoelectric conversion signals. It is simultaneously read out to the horizontal output circuits 152 and 153.
- the first photoelectric conversion signal of the first photoelectric conversion unit 210a is read to the first horizontal output circuit 152
- the second photoelectric conversion signal of the second photoelectric conversion unit 210b is read. Is read by the second horizontal output circuit 153.
- the first horizontal output circuit 152 sequentially outputs the read first photoelectric conversion signal of the first photoelectric conversion unit 210a of the first column pixel from the output unit 152A
- the second horizontal output circuit. 153 sequentially outputs the read second photoelectric conversion signal of the second photoelectric conversion unit 210b of the first column pixel from the output unit 153A.
- the column scanning circuit 151 outputs a timing signal R (2) to the first and second photoelectric conversion units 210a and 210b of the plurality of pixels 210 in the second column.
- the first and second photoelectric conversion signals of the first and second photoelectric conversion units 210a and 210b of the plurality of pixels 210 in the second column are respectively the first and second photoelectric conversion signals. It is simultaneously read out to the horizontal output circuits 152 and 153.
- the first and second horizontal output circuits 152 and 153 sequentially output the first and second photoelectric conversion signals of the read first and second photoelectric conversion units 210a and 210b of the second column pixels, respectively. Output from 152A and 153A.
- the column scanning circuit 151 outputs a timing signal R (n) to the first and second photoelectric conversion units 210a and 210b of the plurality of pixels 210 in the (n) th column.
- the first and second photoelectric conversion signals of the first and second photoelectric conversion units 210a and 210b of the plurality of pixels 210 in the (n) th column are respectively the first and second photoelectric conversion signals.
- the horizontal output circuits 152 and 153 are simultaneously read out by the horizontal output circuits 152 and 153 and sequentially output from the output units 152A and 153A of the first and second horizontal output circuits 152 and 153.
- the first photoelectric conversion signal output from the first horizontal output circuit 152 and the second photoelectric conversion signal output from the second horizontal output circuit 153 are focused through the buffer memory 16 shown in FIG.
- the focus detection unit 12a which is sent to the detection unit 12a and the image generation unit 12b, simultaneously reads the first and second photoelectric conversion signals of the first and second photoelectric conversion units 210a and 210b in the n-th column. Based on the above, a phase difference focus detection calculation is performed.
- the image generation unit 12b also adds the photoelectric conversion signals of the first and second photoelectric conversion units 210a and 210b of each pixel 210 to generate an image signal.
- FIG. 6 is a diagram schematically illustrating a photoelectric conversion signal readout circuit of the first and second photoelectric conversion units 220a and 220b of each pixel of the second image sensor 22.
- the second image sensor 22 includes a row scanning circuit 161 and first and second horizontal output circuits 162 and 163.
- the signal readout circuits 161, 162, and 163 relating to the photoelectric conversion signals of the first and second photoelectric conversion units 220a and 220b of the second image sensor 22 are signal readout circuits 151 of the first image sensor 22 shown in FIG. , 152, and 153, the following description will explain the differences.
- the row scanning circuit 161 outputs a timing signal R (m) for signal reading to the first and second photoelectric conversion units 220a and 220b of the plurality of pixels 220 arranged in the row direction, in FIG. Output. That is, the row scanning circuit 161 outputs a signal readout timing signal R (1) to the first and second photoelectric conversion units 220a and 220b of the pixels 220 in the first row, and then A signal readout timing signal R (2) is output to the first and second photoelectric conversion units 220a and 220b of the plurality of pixels 220 in the second row, and then the plurality of rows in the (m) th row in sequence. A signal readout timing signal R (m) is output to the first and second photoelectric conversion units 220a and 220b of the pixel 220.
- the first horizontal output circuit 162 In response to the timing signal R (m), the first horizontal output circuit 162 simultaneously reads out the first photoelectric conversion signals of the first photoelectric conversion units 220a of the plurality of pixels 220 in the (m) th row, and so on.
- the second horizontal output circuit 163 simultaneously reads the second photoelectric conversion signals of the second photoelectric conversion units 220b of the plurality of pixels 220 in the (m) th row.
- the first horizontal output circuit 162 outputs the read first photoelectric conversion signal of the first photoelectric conversion unit 220a from the output unit 162A, and the second horizontal output circuit 163 reads the read second photoelectric conversion unit.
- the second photoelectric conversion signal 220b is output from the output unit 163A.
- the first photoelectric conversion signal output from the first horizontal output circuit 162 and the second photoelectric conversion signal output from the second horizontal output circuit 163 are focused through the buffer memory 16 shown in FIG.
- the focus detection unit 12a is sent to the detection unit 12a and the image generation unit 12b, and the focus detection unit 12a simultaneously reads the first and second photoelectric conversion units 220a and 220b in the (m) th row. Based on the converted signal, a phase difference focus detection calculation is performed.
- the image generation unit 12b also adds the first and second photoelectric conversion signals of the first and second photoelectric conversion units 220a and 220b of each pixel 220 to generate an image signal.
- both the signal readout circuit example of the first image sensor 21 shown in FIG. 5 and the signal readout circuit example of the second image sensor 22 shown in FIG. 6 are both the second image sensor shown in FIG. 22 is formed on the semiconductor substrate 50 and is connected to the pixels 210 and 220 of the first and second imaging elements 21 and 22 by the wiring layer 51, respectively.
- FIG. 7 is a block diagram showing in detail the function performed by the focus detection unit 12a shown in FIG.
- the focus detection unit 12a includes first and second focus detection signal acquisition units 120 and 121, first and second contrast detection units 122 and 123, a determination unit 124, a selection unit 125, and a correlation calculation unit 126. And a defocus amount calculation unit 127.
- the focus detection area setting unit 12c outputs position information regarding the set focus detection area set as the focus detection target area. Of the first and second photoelectric conversion signals output from the first and second horizontal output circuits 152 and 153 of FIG. The first and second photoelectric conversion signals from the plurality of pixels 210 arranged in the column direction at a position corresponding to the set focus detection area set by the focus detection area setting unit 12c are acquired.
- the second focus detection signal acquisition unit 121 outputs the first and second output signals from the first and second horizontal output circuits 162 and 163 shown in FIG.
- the first and second photoelectric conversion signals from the plurality of pixels 220 arranged in the row direction at a position corresponding to the set focus detection area set by the focus detection area setting unit 12c are acquired.
- the first focus detection signal acquisition unit 120 for the first image sensor 21 is simultaneously read out from the plurality of pixels 210 in the column direction array corresponding to the set focus detection area.
- the photoelectric conversion signal is acquired.
- the first and second photoelectric conversion signals related to the first image sensor 21 acquired by the first focus detection signal acquisition unit 120 are referred to as first focus detection signals.
- the second focus detection signal acquisition unit 121 also performs first and second photoelectric conversions of the second image sensor 22 that are simultaneously read from the plurality of pixels 220 in the row direction array corresponding to the set focus detection area. Get the signal.
- the first and second photoelectric conversion signals related to the second image sensor 22 acquired by the second focus detection signal acquisition unit 121 are referred to as second focus detection signals.
- the first and second focus detection signals are respectively composed of first and second photoelectric conversion signals of pixels having the same spectral sensitivity.
- the first focus detection signal related to the first image sensor 21 is the first and second photoelectric conversion signals of the Mg pixels 210 arranged one by one in the column direction in FIG. Selected.
- the second focus detection signal related to the second image sensor 22 the first and second photoelectric conversion signals of the G pixels 220 arranged one by one in the row direction in FIG. 3B are selected.
- the first focus detection signal is not limited to the first and second photoelectric conversion signals of the Mg pixel, but the first and second photoelectric conversion signals of the Cy pixel or Ye pixel can also be used.
- the second focus detection signal is not limited to the first and second photoelectric conversion signals of the G pixel, and the first and second photoelectric conversion signals of the R pixel or B pixel can also be used.
- the first contrast detection unit 122 calculates the first contrast amount of the subject image in the set focus detection area based on the first focus detection signal acquired by the first focus detection signal acquisition unit 120.
- the contrast amount is the first photoelectric conversion signal or the second photoelectric conversion signal (or the addition signal of the first and second photoelectric conversion signals) related to the adjacent pixel acquired by the first focus detection signal acquisition unit 120. The difference is integrated and calculated.
- the first contrast amount is the contrast amount of the subject image formed on the plurality of pixels 210 in the column direction arrangement of the first image sensor 21 in the set focus detection area.
- the second contrast detection unit 123 and the first contrast detection unit 122 are based on the second focus detection signal acquired by the second focus detection signal acquisition unit 121. Similarly, the second contrast amount of the subject image in the set focus detection area is calculated.
- the second contrast amount is the contrast amount of the subject image formed on the plurality of pixels 220 in the row direction array of the second image sensor 22 in the setting area.
- the determination unit 124 determines whether at least one of the first and second contrast amounts is equal to or greater than the first threshold value.
- the first threshold value is determined so that a focus detection signal having a contrast amount equal to or greater than the first threshold value can be effectively used for phase difference focus detection. Accordingly, when both the first and second contrast amounts are less than the first threshold value, the determination unit 124 has a very blurred subject image in the set focus detection area, that is, a very large defocus state. And the focus lens of the photographing lens 10 is driven to scan.
- the determination unit 124 determines whether or not the difference between the first contrast amount and the second contrast amount is greater than or equal to the second threshold when at least one of the first and second contrast amounts is greater than or equal to the first threshold. Determine whether. When the difference between the first and second contrast amounts is equal to or greater than the second threshold, the determination unit 124 determines that the focus detection signal having the larger contrast amount out of the first and second contrast amounts is the phase difference focus. Although it is suitable for detection, it is determined that the focus detection signal having the smaller contrast amount is not suitable for phase difference focus detection. If the difference between the first and second contrast amounts is less than the second threshold, the determination unit 124 determines that both the first and second focus detection signals are suitable for phase difference focus detection.
- the selection unit 125 selects one or both of the first and second focus detection signals of the first and second focus detection signal acquisition units 120 and 121 based on the output signal of the determination unit 124, and performs correlation.
- the data is sent to the calculation unit 126. More specifically, when the difference between the first and second contrast amounts is equal to or greater than the second threshold, the selection unit 125 determines that the first contrast amount is greater than the second contrast amount.
- the first focus detection signal of the first focus detection signal acquisition unit 120 is selected and output to the correlation calculation unit 126, and the second focus detection signal acquisition is performed when the second contrast amount is larger than the first contrast amount.
- the second focus detection signal of the unit 121 is selected and output to the correlation calculation unit 126.
- the selection unit 125 also detects the first and second focus detections of the first and second focus detection signal acquisition units 120 and 121 when the difference between the first and second contrast amounts is less than the second threshold. Both signals are selected and output to the correlation calculation unit 126.
- the correlation calculation unit 126 performs a correlation calculation based on the first focus detection signal to calculate the first image shift amount, and the selection unit 125.
- a correlation calculation is performed based on the second focus detection signal to calculate a second image shift amount, and the first and second focus detections are performed from the selection unit 125.
- a correlation calculation is performed based on the first focus detection signal to calculate a first image shift amount, and a correlation calculation is performed based on the second focus detection signal to generate a second image shift. Calculate the amount.
- the defocus amount calculation unit 127 calculates the defocus amount based on the correlation calculation result of the correlation calculation unit 126, that is, the image shift amount. Based on this defocus amount, focus adjustment of the photographing optical system is performed. As described above, when the selection unit 125 selects both the first and second focus detection signals, the defocus amount calculation unit 127 performs the first defocus based on the first focus detection signal. An average value of the amount and the second defocus amount based on the second focus detection signal is calculated and set as the final defocus amount. The focus of the photographing optical system is adjusted based on this final defocus amount.
- the readout circuit is configured so that the first and second photoelectric conversion signals are simultaneously read from the plurality of pixels 210 arranged in the column direction of the first image sensor 21, and the first read simultaneously.
- the phase difference focus detection calculation is performed based on the second photoelectric conversion signal, that is, the first focus detection signal.
- the readout circuit is configured so that the first and second photoelectric conversion signals are simultaneously read from the plurality of pixels 220 arranged in the row direction of the second imaging element 22, and the first and The phase difference focus detection calculation is performed based on the second photoelectric conversion signal, that is, the second focus detection signal.
- FIG. 8 is a flowchart showing the first focus detection operation.
- the focus detection process illustrated in FIG. 8 is included in a control program executed by the control unit 12.
- the control unit 12 starts a focus detection process shown in FIG. 7 and 8, in step S1, the first image sensor 21 and the second image sensor 22 capture the subject image formed by the photographing optical system 10, respectively.
- the first image sensor 21 simultaneously reads the first and second photoelectric conversion signals of the first and second photoelectric conversion units 210a and 210b of the plurality of pixels 210 arranged in the column direction.
- the second image sensor 22 simultaneously reads the first and second photoelectric conversion signals of the first and second photoelectric conversion units 220a and 220b of the plurality of pixels 220 arranged in the row direction.
- the first and second photoelectric conversion signals from the first or second imaging elements 21 and 22 are added by the image generation unit 12b in FIG. 1 to become the first or second image signal, and the image processing in FIG.
- the image is processed by the unit 14 and displayed as a through image on the monitor 15 of FIG. Note that the through image may be displayed based on the first image signal from the first image sensor 21 or may be displayed based on the second image signal of the second image sensor 22.
- the focus detection area setting unit 12c in FIG. 1 sets a set focus detection area in the shooting screen.
- the first focus detection signal acquisition unit 120 includes a plurality of columns arranged in a column direction corresponding to the set focus detection area among the first and second photoelectric conversion signals output from the first image sensor 21.
- the first and second photoelectric conversion signals of the first and second photoelectric conversion units 210a and 210b of the pixel 210 are acquired as the first focus detection signal.
- the second focus detection signal acquisition unit 121 includes a plurality of pixels arranged in a row direction corresponding to the set focus detection area among the first and second photoelectric conversion signals output from the second image sensor 22.
- the first and second photoelectric conversion signals of 220 first and second photoelectric conversion units 220a and 220b are acquired as second focus detection signals.
- step S4 the first contrast detection unit 122 calculates the first contrast amount of the subject image in the set focus detection area based on the first focus detection signal acquired by the first focus detection signal acquisition unit 120. To do. This first contrast amount is the contrast amount in the column direction of the pixels 210 of the first image sensor 21 as described above.
- the second contrast detection unit 123 calculates the second contrast amount of the subject image in the set focus detection area based on the second focus detection signal acquired by the second focus detection signal acquisition unit 121. As described above, the second contrast amount is the contrast amount in the column direction of the pixels 220 of the second image sensor 22.
- step S5 the determination unit 124 determines whether at least one of the first and second contrast amounts is equal to or greater than the first threshold value. If the determination is negative, the process proceeds to step S6, and the determination is affirmative. Proceed to step S7.
- step S6 it is determined that the subject image in the set focus detection area is very blurred, that is, is in a very large defocus state, and the focus lens of the photographing lens 10 is scan-driven.
- step S7 the determination unit 124 determines whether or not the difference between the first contrast amount and the second contrast amount is greater than or equal to the second threshold value. If the determination is affirmative, the process proceeds to step S8, where a negative determination is made. If so, go to Step S9. In step S8, it is determined whether or not the first contrast amount is larger than the second contrast amount. If the determination is affirmative, the process proceeds to step S10. If the determination is negative, the process proceeds to step S11.
- the first contrast amount is larger than the second contrast amount, that is, the contrast amount in the column direction of the first image sensor 21 in the row direction of the second image sensor 22 in the set focus detection area. Since it is larger than the contrast amount, the selection unit 124 selects the first focus detection signal of the first focus detection signal acquisition unit 120, and the correlation calculation unit 126 performs correlation calculation based on the first focus detection signal. A focus amount calculation unit 127 calculates a defocus amount based on the correlation calculation result. In step S11, the second contrast amount is larger than the first contrast amount, that is, the contrast amount in the row direction of the second image sensor 22 in the column direction of the first image sensor 21 in the set focus detection area.
- the selection unit 124 selects the second focus detection signal of the second focus detection signal acquisition unit 121, the correlation calculation unit 126 performs the correlation calculation based on the second focus detection signal, A focus amount calculation unit 127 calculates a defocus amount based on the correlation calculation result.
- step S9 the difference between the first and second contrast amounts is less than the second threshold value, that is, the first and second contrast amounts are substantially equal.
- the first and second focus detection signals of the two focus detection signal acquisition units 120 and 121 are selected, and the correlation calculation unit 126 performs a correlation calculation based on the first focus detection signal and the second focus detection signal.
- the defocus amount calculation unit 127 calculates the first defocus amount based on the correlation calculation result based on the first focus detection signal, and based on the correlation calculation result based on the second focus detection signal.
- a second defocus amount is calculated, and a final defocus amount is calculated from the first and second defocus amounts.
- step S12 based on the defocus amounts calculated in steps S10, S11, and S9, the focus lens of the photographing optical system 10 is driven to perform focus adjustment.
- step S13 it is determined whether or not the half-pressing operation of the release operation member is completed. If the determination is affirmative, the focus detection operation is terminated, and if the determination is negative, the process returns to step S1.
- the arrangement direction of the first and second photoelectric conversion units 210a and 210b of the pixel 210 of the first image sensor 21 and the pixel 220 of the second image sensor 22 are arranged. Since the arrangement directions of the first and second photoelectric conversion units 220a and 220b are different, the subject image formed on the plurality of pixels 210 arranged in the column direction of the first image sensor 21 in the set focus detection area. And the contrast of the subject image formed on the plurality of pixels 220 arranged in the row direction of the second image sensor 22 in the set focus detection area, the focus detection signal of the image sensor having the higher contrast is compared. Based on this, highly accurate focus detection can be performed.
- the correlation is performed based on the focus detection signal selected by selecting one or both of the first and second focus detection signals according to the first and second contrast amounts.
- the calculation unit 126 performs a correlation calculation. Instead of this, the selection unit 125 always selects the first and second focus detection signals, and the correlation calculation unit 126 performs a correlation calculation on the first and second focus detection signals, and the first and second focus detection signals. One or both of the correlation calculation result by the first focus detection signal and the correlation calculation result by the second focus detection signal are selected based on the magnitude of the contrast amount, and the defocus amount is determined based on the selected correlation calculation result You may make it calculate.
- the defocus amount calculation unit 127 calculates the defocus amount based on all the correlation calculation results calculated by the correlation calculation unit 126, and the first and second defocus amounts are calculated from the plurality of defocus amounts thus calculated.
- a desired defocus amount may be selected based on the magnitude of the contrast amount.
- the photoelectric conversion signals of the first and second photoelectric conversion units 220a and 220b divided in the row direction of each pixel 220 of the second image sensor 22 are added to generate an image signal.
- high-quality images can be obtained by the first and second imaging elements 21 and 22.
- phase difference focus detection may not be performed with high precision, and therefore, the subject image is arranged in the column direction of the first image sensor 21 in the set focus detection area.
- the contrast of the subject image formed on the plurality of pixels 210 is compared with the contrast of the subject image formed on the plurality of pixels 220 arranged in the row direction of the second image sensor 22 in the set focus detection area.
- the focus adjustment is performed based on the focus detection signal of the image sensor having a higher value.
- the subject image for which phase difference focus detection cannot be performed with high accuracy includes an image of a light and dark pattern with a fixed period.
- FIG. 9 is a block diagram showing a modification of the first embodiment.
- the difference from the block diagram of the first embodiment shown in FIG. Instead of the two contrast detection units 122 and 123, first and second periodic pattern detection units 128 and 129 are provided.
- the first periodic pattern detection unit 128 detects the periodic pattern signal waveform of the first focus detection signal from the first focus detection signal acquisition unit 120, so that a periodic pattern exists in the first focus detection signal. Whether or not is detected.
- the second periodic pattern detection unit 129 detects the periodic pattern signal waveform of the second focus detection signal from the second focus detection signal acquisition unit 121, thereby generating a periodic pattern on the second focus detection signal. Whether or not exists is detected.
- the determination unit 124 determines which of the first and second periodic pattern detection units 128 and 129 has detected the periodic pattern. When the determination unit 124 determines that the first and second periodic pattern detection units 128 and 129 have not detected the periodic pattern, the selection unit 125 determines the first and second focus detection signals. When the determination unit 124 determines that the first periodic pattern detection unit 128 has detected the periodic pattern, the second focus detection signal is selected, and the determination unit 124 selects the second When it is determined that the periodic pattern detection unit 129 detects the periodic pattern, the first focus detection signal is selected.
- the operations of the correlation calculation unit 126 and the defocus amount calculation unit 127 are the same as those in FIG.
- the arrangement direction of the first and second photoelectric conversion units 210a and 210b of the pixel 210 of the first image sensor 21 and the first and second of the pixel 220 of the second image sensor 22 are described. Since the arrangement direction of the two photoelectric conversion units 220a and 220b is different, the periodic pattern of the subject image formed on the plurality of pixels 210 arranged in the column direction of the first image sensor 21 in the set focus detection area. Based on the presence / absence and presence / absence of the periodic pattern of the subject image formed on the plurality of pixels 220 arranged in the row direction of the second image sensor 22 in the set focus detection area, the focus of the image sensor having no periodic pattern exists. High-precision focus detection can be performed based on the detection signal.
- the correlation calculation unit 126 may always perform a correlation calculation based on the first and second focus detection signals, and select a predetermined correlation calculation result from the correlation calculation result according to the presence or absence of the periodic pattern, or calculate a defocus amount.
- the unit 127 may always calculate the defocus amount based on the first and second focus detection signals, and select a predetermined defocus amount from these defocus amounts according to the presence or absence of the periodic pattern.
- the attitude of the digital camera 1 is detected by an attitude sensor or the like, and when the digital camera 1 is in the normal position or the horizontal position, that is, the second focus detection signal shown in FIG.
- the second focus detection signal from the second image sensor 22 is selected, that is, focus adjustment is performed using the second focus detection signal.
- the digital camera 1 is in the vertical position, that is, when the column direction of the pixel array of the first image sensor 21 in FIG. 3 coincides with the horizontal direction, the first focus from the first image sensor 21.
- Detection signal Selected i.e. to perform focus adjustment by using the first focus detection signal can be.
- FIG. 10 shows a second modification of the first embodiment.
- the focal point 233F of the microlens 233 is positioned at the first and second photoelectric conversion units 220a and 220b of the second image sensor 22 as shown by a solid line in FIG.
- the focal point 233F of the microlens 233 is located in the first and second photoelectric conversion units 210a and 210b of the first image sensor 21.
- FIG. 11 shows a third modification of the first embodiment.
- the focal point 233 ⁇ / b> F of the microlens 233 that is, the focal plane, is located at the position of the first and second photoelectric conversion units 210 a and 210 b of the first image sensor 21.
- An inner lens 234 is disposed between the first image sensor 21 and the second image sensor 22.
- the refractive power and arrangement position of the inner lens 234 are the positions of the first and second photoelectric conversion units 210a and 210b of the first image sensor 21 and the first and second positions of the second image sensor 22 with respect to the inner lens 234.
- the positions of the photoelectric conversion units 220a and 220b are determined so as to be optically conjugate.
- the position conjugate with the positions of the first and second photoelectric conversion units 220 a and 220 b of the second imaging element 22 with respect to the microlens 233 and the inner lens 234 is the second position with respect to the microlens 233. It coincides with the position conjugate with the position of the first and second photoelectric conversion units 210a and 210b of one image pickup device 21.
- the position of the first distance measuring pupil plane with respect to the first imaging element 21 and the position of the second distance measuring pupil plane with respect to the second imaging element 22 can be matched by the arrangement of the inner lens 234. .
- FIG. 12 is a cross-sectional view showing a fourth modification of the first embodiment.
- the first image sensor 21 uses an organic photoelectric film as a photoelectric conversion unit
- the second image sensor 22 uses a photodiode as a photoelectric conversion unit.
- Met the first and second imaging elements 21 and 22 use an organic photoelectric film as a photoelectric conversion unit.
- each pixel 240 of the second image sensor 23 includes an organic photoelectric film 250, a transparent common electrode 251 formed on the lower surface of the organic photoelectric film 250, and transparent first and second electrodes formed on the upper surface of the organic photoelectric film 250. Second partial electrodes 252a and 252b are included.
- the first and second partial electrodes 252a and 252b are in a direction perpendicular to the paper surface, that is, the first and second first and second partial electrodes 232a and 232b of the first image sensor 21. Are arranged in a direction perpendicular to the arrangement direction.
- the organic photoelectric film 250, the common electrode 251, and the first partial electrode 252 a constitute the first photoelectric conversion unit 240 a
- the second partial electrode 252b constitutes the second photoelectric conversion unit 240b.
- An insulating layer 56 is provided between the first image sensor 21 and the second image sensor 23.
- the signal readout circuit of the first image sensor 22 and the signal readout circuit of the second image sensor 23 are formed on the semiconductor substrate 50.
- a wiring layer 51 having a three-layer structure is provided between the semiconductor substrate 50 and the second imaging element 23.
- the wiring layer 51 is provided in the interval between the second image sensor 23 and the semiconductor substrate 50, a relatively large interval is required. Since the wiring layer 51 is not required, the distance between the second image sensor 21 and the second image sensor 23 can be relatively small. Therefore, the position of the distance measuring pupil plane related to the first image sensor 21 and the position of the distance measuring pupil plane related to the second image sensor 23 can be brought close to each other.
- the second imaging element 22 may be a back-illuminated imaging element.
- the distance between the first and second imaging elements 21 and 22 does not require the wiring layer 51 and can be made relatively small. Therefore, the position of the distance measuring pupil plane related to the first image sensor 21 and the position of the distance measuring pupil plane related to the second image sensor 22 can be made closer to each other.
- FIG. 14 is a block diagram showing a fifth modification example relating to the first embodiment.
- the first photoelectric conversion signal is output from the first horizontal output circuits 152 and 162, and the second Are output from the second horizontal output circuits 153 and 163, and the AD conversion circuit 24 performs AD conversion on the first and second photoelectric conversion signals for the first and second image sensors 21 and 22.
- the image generation unit 12b of the control unit 12 adds the first and second photoelectric conversion signals.
- the fifth modified example outputs both an AD conversion unit that AD converts the first and second photoelectric conversion signals of each pixel 220 of the second image sensor 22 and the first and second photoelectric conversion signals.
- the second image sensor 22 includes a row scanning circuit 161, an AD converter 164, a horizontal output circuit 165 for first and second photoelectric conversion signals, an adder 166, and an add signal.
- a horizontal output circuit 167 In the following description, differences from the photoelectric conversion signal readout circuit of the second image sensor 22 shown in FIG. 6 will be mainly described.
- the AD conversion unit 164 includes n ADCs (analog-digital conversion circuits) 164a corresponding to the first photoelectric conversion units 220a of the respective pixels 220 arranged in n columns in the row direction, and the first of the respective pixels 220. And n ADCs 164b corresponding to the two photoelectric conversion units 220b.
- the horizontal output circuits 165 for the first and second photoelectric conversion signals respectively correspond to the n memories 165a corresponding to the n ADCs 164a of the AD conversion unit 164 and the n ADCs 164b of the AD conversion unit 164, respectively.
- the adder 166 includes n digital adder circuits 165a corresponding to the respective pixels 220 arranged in n columns in the row direction.
- the horizontal output circuit 167 for addition signals includes n memories 167 a corresponding to the n digital addition circuits 166 a of the addition unit 166.
- the photoelectric conversion signals of the first and second photoelectric conversion units 220a and 220b of the n pixels 220 in the first row correspond to the ADCs 164a and 164b of the corresponding AD conversion unit 164, respectively.
- the ADCs 164a and 164b convert the input photoelectric conversion signals of the first and second photoelectric conversion units 220a and 220b into digital signals, respectively, and corresponding horizontal output circuits for the first and second photoelectric conversion signals, respectively.
- the memories 165a and 165b of the horizontal output circuit 165 for the first and second photoelectric conversion signals respectively store digital signals output from the ADCs 164a and 164b.
- the horizontal output circuit 165 for the first and second photoelectric conversion signals sequentially outputs the first and second photoelectric conversion signals stored in the memories 165a and 165b from the output unit 165A.
- the digital adder circuit 166a of the adder 166 adds the first and second photoelectric conversion signals AD-converted by the ADCs 164a and 164b for each pixel 220.
- Each memory 167a of the horizontal output circuit 167 for the addition signal stores the digital addition signal output from the digital addition circuit 166a.
- the horizontal output circuit 167 for added signals sequentially outputs the digital added signals stored in the memories 167a from the output unit 167A.
- the first and second photoelectric conversion signals of the first and second photoelectric conversion units 220a and 220b of the plurality of pixels 220 in the second row are converted into AD conversion units 164, respectively. Are converted into digital signals and sequentially output from the output unit 165A of the horizontal output circuit 165 for the first and second photoelectric conversion signals. Further, the first and second photoelectric conversion signals AD-converted by the AD conversion unit 164 are added by the digital addition circuit 166a, and the addition signal is sequentially output from the output unit 167A of the horizontal output circuit 167 for the addition signal. .
- the first and second photoelectric conversion signals of the first and second photoelectric conversion units 220a and 220b of the plurality of pixels 220 in the (m) th row are sequentially AD in accordance with the timing signal R (m).
- the signal is converted into a digital signal by the conversion unit 164 and sequentially output from the output unit 165A of the horizontal output circuit 165 for the first and second photoelectric conversion signals, and the addition signal is an output unit 167A of the horizontal output circuit 167 for the addition signal.
- the photoelectric conversion signals of the photoelectric conversion units 220a and 220b may be added outside the image pickup devices 21 and 22, that is, by the image generation unit 12b of FIG. 1, and as shown in FIG. You may add inside.
- the first and second photoelectric conversion units 210a and 210b in each pixel 210 of the first image sensor 21 are arranged in the column direction, that is, FIG. So that the first and second photoelectric conversion units 220a and 220b in each pixel 220 of the second image sensor 22 are arranged in the row direction, that is, in the left-right direction in FIG. 3B. Configured. However, the first and second photoelectric conversion units 210a and 210b in each pixel 210 of the first image sensor 21 are arranged in the row direction, and the first and second photoelectric converters 220 in each pixel 220 of the second image sensor 22 are arranged.
- the photoelectric conversion units 220a and 220b may be configured to be arranged in the column direction.
- the first and second photoelectric conversion signals from the first and second imaging elements 21 and 22 are used as focus detection signals and image signals.
- the first and second photoelectric conversion signals from one of the first and second imaging elements 21 and 22 are used as an image signal, and the other one of the first and second imaging elements 21 and 22 is used. You may make it use the 1st and 2nd photoelectric conversion signal for a focus detection signal.
- FIG. 15 shows an eighth modification.
- the first and second photoelectric conversion units 210a and 210b of each pixel 210 of the first image sensor 21 have a large rectangular shape.
- the shape is divided into two equal parts in the horizontal direction, and the shape of the first and second photoelectric conversion units 220a and 220b of each pixel 220 of the second image sensor 22 is obtained by dividing a large rectangle into two equal parts in the vertical direction. It was a shape like this.
- the shapes of the first and second photoelectric conversion units of the first and second imaging elements 21 and 22 are such that a large rectangle is equally divided into two in the diagonal direction.
- FIG. 15A shows a pixel 210 of 2 rows and 2 columns of the first image sensor 21, and the first and second photoelectric conversion units 210a and 210b seem to have divided a large square by its diagonal line. It is a right triangle shape.
- FIG. 15B shows a 2 ⁇ 2 pixel 220 of the second image sensor 22, and the first and second photoelectric conversion units 220 a and 220 b are similar to the first image sensor 21.
- the dividing direction is a right triangle shape obtained by dividing a large square by its diagonal line.
- the dividing direction is orthogonal to the dividing direction of the first image sensor 21.
- the alignment direction of the photoelectric conversion units 220a and 220b, that is, the arrangement direction is different.
- FIG. 16 shows a ninth modification.
- each pixel 210 of the first image sensor 21 and each pixel 220 of the second image sensor 22 are the first and second photoelectric conversions. Part.
- each pixel of the first and second imaging elements 21 and 22 has first to fourth photoelectric conversion units. That is, in the ninth modification, the photoelectric conversion unit of each pixel is divided into four.
- FIG. 16A each of the pixels 210 and 220 of the first and second image sensors 21 and 22 is divided into first to fourth photoelectric conversion units 210c to 210f, 220c to 220c, which are divided in the row direction and the column direction. 220f.
- a first focus detection signal is created from the photoelectric conversion signal of the first photoelectric conversion unit 210c and the photoelectric conversion signal of the second photoelectric conversion unit 210d.
- the pixel 220 of the second image sensor 22 for example, when the second focus detection signal is created from the photoelectric conversion signal of the first photoelectric conversion unit 220c and the photoelectric conversion signal of the third photoelectric conversion unit 220e, The arrangement direction of the first and second photoelectric conversion units 210c and 210d of each pixel 210 of one image pickup device 21, that is, the arrangement direction, and the first and third photoelectric conversions of each pixel 220 of the second image pickup device 22 The arrangement direction of the parts 220c and 220e, that is, the arrangement direction is different.
- the pixels 210 and 220 of the first and second image sensors 21 and 22 are first to fourth photoelectric conversion units 210c to 210f and 220c to 220f that are divided in an oblique direction.
- a first focus detection signal is created from the photoelectric conversion signal of the first photoelectric conversion unit 210c and the photoelectric conversion signal of the fourth photoelectric conversion unit 210f.
- the arrangement direction of the first and fourth photoelectric conversion units 210c and 210f of each pixel 210 of one image pickup device 21, that is, the arrangement direction, and the second and third photoelectric conversions of each pixel 220 of the second image pickup device 22 The arrangement direction of the parts 220d and 220e, that is, the arrangement direction is different.
- an image pickup element using an organic photoelectric film has a two-layer structure.
- the first image sensor includes, for example, 50% of the magenta color component, 50% of the cyan color component, and 50% of the yellow color component, for example, by the “Mg” pixel, the “Cy” pixel, and the “Ye” pixel. And the remaining part of the magenta color component, the remainder of the cyan color component, and the remainder of the yellow color component are transmitted, and the green component, the red component, and the blue component are transmitted.
- the third image sensor is an image sensor that uses an organic photoelectric film as a photoelectric conversion unit.
- the third image pickup element is stacked on the back side of the first image pickup element, and has the “Mg” pixel, the “Cy” pixel, and the “Ye” pixel similarly to the first image pickup element.
- the “Mg” pixel, the “Cy” pixel, and the “Ye” pixel respectively absorb the remainder of the magenta color component, the remainder of the cyan color component, and the remainder of the yellow color component that have passed through the first image sensor.
- the green component, the red component, and the blue component transmitted through the first image sensor are transmitted.
- the second image sensor is exactly the same as the second image sensor shown in FIGS. 3 and 4, and absorbs the green, red, and blue components transmitted through the third image sensor and photoelectrically Convert. Therefore, when the photoelectric conversion unit shown in FIG. 15A or 15B is used as the first and second photoelectric conversion units of each pixel of the third image sensor, the first to third imaging units are used.
- the elements have different arrangement directions of the first and second photoelectric conversion units.
- a fourth image sensor using an organic photoelectric film having “R” pixels, “G” pixels, and “B” pixels may be provided between the third image sensor and the second image sensor.
- the “R” pixel, the “G” pixel, and the “B” pixel of the fourth image sensor are, for example, 50% of the red component that has passed through the third image sensor, 50% of the green component, and 50 of the blue component, for example. % And absorb the rest.
- the first and third imaging elements having “Mg” pixels, “Cy” pixels, and “Ye” pixels, and the second and second imaging elements having “R” pixels, “G” pixels, and “B” pixels.
- the fourth image sensor is stacked on each other. As the configuration of the photoelectric conversion unit of each pixel of the first to fourth imaging elements, the arrangement direction of the photoelectric conversion units can be changed for each imaging element by using the configuration of FIGS. Can be different.
- the first and second photoelectric conversion signals of the first and second photoelectric conversion units 210a and 210b of the plurality of pixels 210 in the (n) -th column of the first image sensor 21 are simultaneously read out to the first and second horizontal output circuits 152 and 153, respectively, and sequentially output from the output units 152A and 153A of the first and second horizontal output circuits 152 and 153.
- the photoelectric conversion signal readout circuit of the first and second photoelectric conversion units 210a and 210b of each pixel 210 of the first image sensor 21 is the one shown in FIG.
- the read circuit of the image sensor 22 has the same configuration.
- the row scanning circuit 161 outputs a signal readout timing signal R (m) to the first and second photoelectric conversion units 210a and 210b of the plurality of pixels 210. That is, the row scanning circuit 161 outputs a signal readout timing signal R (1) to the first and second photoelectric conversion units 210a and 210b of the plurality of pixels 210 in the first row, and then A timing signal R (2) for signal reading is output to the first and second photoelectric conversion units 210a and 210b of the plurality of pixels 210 in the second row, and then the plurality of rows in the (m) th row are sequentially displayed.
- the signal readout timing signal R (m) is output to the first and second photoelectric conversion units 210a and 210b of the pixel 210.
- the first horizontal output circuit 162 In response to the timing signal R (m), the first horizontal output circuit 162 simultaneously reads out the first photoelectric conversion signals of the first photoelectric conversion units 210a of the plurality of pixels 210 in the (m) th row, and the like.
- the second horizontal output circuit 163 simultaneously reads the second photoelectric conversion signals of the second photoelectric conversion units 210b of the plurality of pixels 210 in the (m) th row.
- the first horizontal output circuit 162 outputs the read first photoelectric conversion signal of the first photoelectric conversion unit 210a from the output unit 162A, and the second horizontal output circuit 163 outputs the read second photoelectric conversion unit.
- the second photoelectric conversion signal 210b is output from the output unit 163A.
- the first photoelectric conversion signal output from the first horizontal output circuit 162 and the second photoelectric conversion signal output from the second horizontal output circuit 163 are focused through the buffer memory 16 shown in FIG.
- the focus detection unit 12a is sent to the detection unit 12a and the image generation unit 12b, and the focus detection unit 12a reads the first and second photoelectric conversion units 210a and 210b in the (m) th row read simultaneously. Based on the converted signal, a phase difference focus detection calculation is performed.
- the image generation unit 12b also adds the first and second photoelectric conversion signals of the first and second photoelectric conversion units 210a and 210b of each pixel 210 to generate an image signal.
- the first photoelectric conversion signals of the first photoelectric conversion units 210a of the plurality of pixels 210 arranged in the same row are simultaneously read, and the second The second photoelectric conversion signal of the photoelectric conversion unit 210b is simultaneously read out.
- the first and second photoelectric conversion signals of the corresponding pixels 210 and 220 related to the first and second imaging elements 21 and 22 are combined to obtain an image, the corresponding relationship is obtained. Since the readout timings of the pixels 210 and 220 can be matched, the image quality of the obtained image can be improved.
- the image generation unit 12b generates the first image signal by adding the first and second photoelectric conversion signals of each pixel of the first image sensor 21, and generates the second image signal.
- the first and second photoelectric conversion signals of each pixel of the image sensor 22 are added to generate a second image signal.
- the image generation unit 12b is based on the first photoelectric conversion signal of each pixel of the first image sensor 21 output from the first horizontal output circuit 152, for example, for the left eye.
- Based on the second photoelectric conversion signal of each pixel output from the second horizontal output circuit 153 for example, an image signal for the right eye is generated to generate the first stereoscopic image signal. .
- the image generation unit 12b converts, for example, an image signal for the left eye into the second For example, an image signal for the right eye is generated based on the second photoelectric conversion signal of each pixel output from the horizontal output circuit 163, and a second stereoscopic image signal is generated.
- the image processing unit 14 performs various types of image processing such as interpolation processing, compression processing, and white balance processing on the first and second stereoscopic image signals from the image generation unit 12b, and thereby performs first and second stereoscopic images. Generate image data. The first and second stereoscopic image data are displayed on the monitor 15 or stored in the memory card 17.
- the first stereoscopic image signal by the first and second photoelectric conversion signals from the first image sensor 21 is the column direction of the pixels of the image sensor, that is, the first and second pupil regions of the pupil of the photographing optical system 10. Have a parallax in the direction of the alignment.
- the second stereoscopic image signal by the first and second photoelectric conversion signals from the second image sensor 22 is the row direction of the pixels of the image sensor, that is, the third and fourth of the pupil of the imaging optical system 10. Parallax in the direction in which the pupil regions are arranged. Therefore, the monitor 15 shown in FIG.
- a stereoscopic image based on the second stereoscopic image signal having parallax in the row direction when the observer's face is upright or upright, and conversely, When the viewer's face is tilted sideways, such as when the viewer is lying, a stereoscopic image is displayed based on the first stereoscopic image signal having parallax in the column direction.
- the control unit 12 shown in FIG. 1 recognizes the face of the observer, detects the alignment direction of the left and right eyes in the recognized face, and based on the alignment direction of the eyes, Determine whether the face is upright or sideways. Switching the display of the stereoscopic image in accordance with the above-described inclination of the observer's face can also be performed on a monitor other than the monitor 15.
- the first and second stereoscopic image signals are transferred to a personal computer or the like, and the stereoscopic image and the second stereoscopic image based on the first stereoscopic image signal are displayed on the monitor of the personal computer according to the inclination angle of the observer's face.
- a stereoscopic image based on an image signal can be switched.
- the first and second stereoscopic image signals having parallax in different directions are generated, so that the stereoscopic image display is switched according to the tilt angle of the observer's face. This enables, for example, stereoscopic viewing effectively even if the face is upright or facing sideways.
- FIG. 17 shows the basic concept of the second embodiment.
- the pixel 210 of the first image sensor 21 adds the first and second photoelectric conversion signals of the first and second photoelectric conversion units 210a and 210b to generate an image signal.
- the first and second photoelectric conversion units 210a and 210b are arranged with a gap 210c therebetween as shown in FIG. 17A, the light beam incident on the gap 210c is not photoelectrically converted. . That is, in the pixel 210, a dead zone region 210c is generated with respect to the incident light flux.
- the pixel 220 of the second image sensor 22 also adds the first and second photoelectric conversion signals of the first and second photoelectric conversion units 220a and 220b to generate an image signal.
- FIG. 2 As shown in FIG. 2, the first and second photoelectric conversion units 220a and 220b are arranged with a gap 220c therebetween, so that the gap 220c is a dead zone for the incident light flux to the pixel 220.
- the second embodiment reduces the dead zone area related to such an image signal.
- the large dead zone area 210c of the pixel 210 of the first image sensor 21 is displayed.
- the first and second photoelectric conversion units 220a and 220b of the pixel 220 of the second image sensor 22 are present, and most of the dead zone region 220c of the pixel 220 of the second image sensor 22 includes the first There are first and second photoelectric conversion units 210 a and 210 b of the pixel 210 of one image sensor 21.
- the dead zone region in the whole of the pixels 210 and 220 in the correspondence relationship is an overlapping portion 291 between the dead zone region 210c and the dead zone region 220c, as shown in FIG. 17C, that is, a very small region with hatching. become.
- FIG. 18 is a diagram illustrating a method of synthesizing the first and second photoelectric conversion signals of the corresponding pixels 210 and 220 related to the first and second imaging elements 21 and 22 according to the second embodiment.
- FIG. 18A illustrates a 2 ⁇ 2 column “Mg” pixel 210, a “Ye” pixel 210, a “Cy” pixel 210, and a “Mg” pixel 210, which are some pixels of the first image sensor 21.
- FIG. 18C illustrates some pixels of the second image sensor 22 that correspond to the 2 ⁇ 2 pixels 210 of the first image sensor 21 of FIG. 18A.
- a “G” pixel 220, a “B” pixel 220, an “R” pixel 220, and a “G” pixel 220 of 2 rows ⁇ 2 columns are shown.
- the “Cy” pixel 210, the two “Mg” pixels 210, and the “Ye” pixel 210 of the first image sensor 21 output a CMY image signal.
- the RGB image signal generated by the color system conversion processing is as if the “Mg” pixel 210 shown in FIG. 18A outputs a G signal when viewed in relation to the RGB image signal and the pixel 210.
- the pixel 210 outputs a B signal
- the “Cy” pixel 210 outputs an R signal.
- FIG. 18B shows the relationship between the RGB image signal and the pixel 210.
- the image processing unit 14 shown in FIG. 1 shows the image signal of each pixel 210 of the first image sensor 21 shown in FIG. 18B and the corresponding relationship shown in FIG. 18C.
- the image signal of each pixel 220 of the second image sensor 22 is added. That is, in FIGS. 18B and 18C, the image processing unit 14 adds the G signals of the upper left pixels 210 and 220 to generate a G addition signal, and generates the B signals of the upper right pixels 210 and 220.
- a B addition signal is generated by addition, an R signal of the lower left pixels 210 and 220 is added to generate an R addition signal, and a G addition signal of the lower right pixels 210 and 220 is added to obtain a G addition signal. Generate. Of course, these may be averaged instead of added.
- FIG. 18D schematically shows the relationship between the overlapped pixels 210 and 220 and the addition signal by displaying the pixel 210 of the image sensor 21 and the pixel 220 of the image sensor 22 corresponding to the pixel 210 in an overlapping manner. It is shown.
- the dead zone relating to the added signals of R, G, and B becomes the hatched area 291 in FIG. 18D, and can be very small.
- FIG. 19 is for explaining the principle of the third embodiment.
- the photoelectric conversion signals of the first and second photoelectric conversion units 210a and 210b of each pixel 210 of the first image sensor 21 are sequentially read for each column, and each of the second image sensor 22 is read.
- the photoelectric conversion signals of the first and second photoelectric conversion units 220a and 220b of the pixel 220 are sequentially read for each row. Therefore, if the subject is moving, so-called rolling shutter distortion occurs in the moving subject image of the captured image.
- FIG. 20 is a block diagram showing the third embodiment.
- the first image signal acquisition unit 200 sequentially acquires image signals repeatedly output from the first image sensor 21, and the second image signal acquisition unit 201 repeatedly outputs images from the second image sensor 22. Get the signal.
- the movement direction detection unit 202 detects the movement direction of the moving subject based on the image signal from the first image signal acquisition unit 200 and the image signal from the second image signal acquisition unit 201. This detection of the moving direction can be obtained by comparing the repeatedly output image signals.
- the movement direction detection unit 202 can also detect the movement direction based on an image signal from one of the first image signal acquisition unit 200 and the second image signal acquisition unit 201.
- the selection unit 203 selects an image signal from the first image signal acquisition unit 200 or the second image signal acquisition unit 201 based on the movement direction of the subject detected by the movement direction detection unit 202. Specifically, when the moving direction of the subject is the left-right direction, the selection unit 203 selects the image signal from the first image signal acquisition unit 200, that is, the image signal of the first image sensor 21, and the subject When the movement direction is the vertical direction, the image signal from the second image signal acquisition unit 201, that is, the image signal of the second image sensor 22 is selected.
- the image signal selected by the selection unit 203 is displayed on the monitor 15 or stored in the memory card 17. In this way, the image signal selected by the selection unit is not an image having a tilt distortion as shown in FIG. 19D or 19E, but has no tilt distortion as shown in FIG. 19B or 19C. It becomes an image signal.
- this rolling shutter distortion is used. It may be configured to generate an image in which the above is corrected. That is, for example, the angle ⁇ of the specific portion of the subject image 181 having no tilt distortion shown in FIG. 19B or FIG. 19C is detected, and the tilt distortion shown in FIG. 19D or 19E is detected. The angle ⁇ of the specific portion of the generated subject image 181 is detected. By comparing the angle ⁇ and the angle ⁇ , an angle due to the tilt distortion is calculated, and by correcting the angle due to the tilt distortion, a subject image without the tilt distortion is generated. In addition, you may combine each embodiment and modification which were mentioned above, respectively.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Inorganic Chemistry (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
撮像装置は、入射光を受光し、第1の方向に配置された第1および第2の光電変換部を有する第1画素を含む第1の撮像素子と、第1の撮像素子を透過する光を受光し、第1の方向とは異なる第2の方向に配置された第3および第4の光電変換部を有する第2画素を含む第2の撮像素子と、を備える。
Description
本発明は、撮像装置に関する。
マイクロレンズと第1および第2の光電変換部とを有する画素が2次元配列された撮像素子を備えたデジタルカメラが知られている(特許文献1)。このデジタルカメラは、第1および第2の光電変換部からの第1および第2の光電変換信号により位相差式の焦点検出を行うと共に、各画素の第1および第2の光電変換信号を加算して画像を生成する。位相差焦点検出は、異なった2方向に瞳分割された一対の像、例えば水平方向と垂直方向とに瞳分割された一対の像に基づく位相差焦点検出を可能にするために、撮像素子は、第1および第2の光電変換部が水平方向に並んだ第1の画素と、第1および第2の光電変換部が垂直方向に並んだ第2の画素とを有する。このような第1および第2の画素によって、縦縞パターンまたは横縞パターンをそれぞれ多く含む被写体パターンに対して、良好な位相差焦点検出を可能にしている。
上述のデジタルカメラは、同一の被写体像を異なった方向に瞳分割することができないという問題がある。
本発明の第1の態様によると、撮像装置は、入射光を受光し、第1の方向に配置された第1および第2の光電変換部を有する第1画素を含む第1の撮像素子と、第1の撮像素子を透過する光を受光し、第1の方向とは異なる第2の方向に配置された第3および第4の光電変換部を有する第2画素を含む第2の撮像素子と、を備える。
本発明の第2の態様によると、第1の態様の撮像装置において、第1の撮像素子は、入射光のうちの第1色の光を光電変換し、第2の撮像素子は、第1色とは補色の光を光電変換することが好ましい。
本発明の第3の態様によると、第1または第2の態様の撮像装置において、第1の撮像素子は、複数の第1画素が2次元に配置され、第2の撮像素子は、複数の第2画素が2次元に配置され、第2の方向に配置される複数の第1画素からの信号を読み出す第1の読み出し部と、第1の方向に配置される複数の第2画素からの信号を読み出す第2の読み出し部と、をさらに備えることが好ましい。
本発明の第4の態様によると、第1乃至3のいずれか一態様の撮像装置において、第1の撮像素子と第2の撮像素子との間に焦点位置を有し、第1画素の入射側に画素毎に配置されるマイクロレンズをさらに備えることが好ましい。
本発明の第5の態様によると、第1乃至3のいずれか一態様の撮像装置において、第1の撮像素子または第2の撮像素子に焦点位置を有し、第1画素の入射側に画素毎に配置されるマイクロレンズをさらに備えることが好ましい。
本発明の第6の態様によると、第1乃至3のいずれか一態様の撮像装置において、第1画素の入射側に画素毎に配置されるマイクロレンズと、第1の撮像素子と第2の撮像素子との間に第2画素毎に配置されるインナーレンズと、をさらに備えることが好ましい。
本発明の第7の態様によると、第1乃至3のいずれか一態様の撮像装置において、第1乃至第4の光電変換部は、有機光電膜であることが好ましい。
本発明の第8の態様によると、第1乃至3のいずれか一態様の撮像装置において、入射光は、撮影光学系を通過した光束であり、第1の光電変換部からの第1信号と第2の光電変換部からの第2信号とに基づき撮影光学系の焦点調節状態を検出し、第3の光電変換部からの第3信号と第4の光電変換部からの第4信号とに基づき撮影光学系の焦点調節状態を検出する焦点検出部と、第1信号と第2信号とを加算して画像信号を生成し、第3信号と第4信号とを加算して画像信号を生成する画像信号生成部と、をさらに備えることが好ましい。
本発明の第9の態様によると、第8の態様の撮像装置において、第1および第2信号に基づいて焦点検出部が検出した焦点調節状態に基づいて撮影光学系の焦点調節を行うか、第3および第4信号に基づいて焦点検出部が検出した焦点調節状態に基づいて撮影光学系の焦点調節を行うかを選択する選択部をさらに備えることが好ましい。
本発明の第10の態様によると、第8の態様の撮像装置において、第1信号と第2信号とを加算して画像信号生成部が生成した画像信号と、第3信号と第4信号とを加算して画像信号生成部が生成した画像信号とを合成する合成部をさらに備えることが好ましい。
本発明の第11の態様によると、第1乃至3のいずれか一態様の撮像装置において、第1画素からの信号、および、第2画素からの信号の少なくとも一方により被写体の移動方向を検出する移動方向検出部と、移動方向検出部が検出した被写体の移動方向に基づいて、第1画素からの信号による画像信号および第2画素からの信号による画像信号の一方を選択する画像信号選択部と、をさらに備えることが好ましい。
本発明の第12の態様によると、第1乃至3のいずれか一態様の撮像装置において、第1画素からの信号、および、第2画素からの信号の少なくとも一方により被写体の移動方向を検出する移動方向検出部と、移動方向検出部が検出した被写体の移動方向に基づいて、第1画素からの信号による第1画像および第2画素からの信号による第2画像の一方を補正する補正部と、をさらに備えることが好ましい。
本発明の第2の態様によると、第1の態様の撮像装置において、第1の撮像素子は、入射光のうちの第1色の光を光電変換し、第2の撮像素子は、第1色とは補色の光を光電変換することが好ましい。
本発明の第3の態様によると、第1または第2の態様の撮像装置において、第1の撮像素子は、複数の第1画素が2次元に配置され、第2の撮像素子は、複数の第2画素が2次元に配置され、第2の方向に配置される複数の第1画素からの信号を読み出す第1の読み出し部と、第1の方向に配置される複数の第2画素からの信号を読み出す第2の読み出し部と、をさらに備えることが好ましい。
本発明の第4の態様によると、第1乃至3のいずれか一態様の撮像装置において、第1の撮像素子と第2の撮像素子との間に焦点位置を有し、第1画素の入射側に画素毎に配置されるマイクロレンズをさらに備えることが好ましい。
本発明の第5の態様によると、第1乃至3のいずれか一態様の撮像装置において、第1の撮像素子または第2の撮像素子に焦点位置を有し、第1画素の入射側に画素毎に配置されるマイクロレンズをさらに備えることが好ましい。
本発明の第6の態様によると、第1乃至3のいずれか一態様の撮像装置において、第1画素の入射側に画素毎に配置されるマイクロレンズと、第1の撮像素子と第2の撮像素子との間に第2画素毎に配置されるインナーレンズと、をさらに備えることが好ましい。
本発明の第7の態様によると、第1乃至3のいずれか一態様の撮像装置において、第1乃至第4の光電変換部は、有機光電膜であることが好ましい。
本発明の第8の態様によると、第1乃至3のいずれか一態様の撮像装置において、入射光は、撮影光学系を通過した光束であり、第1の光電変換部からの第1信号と第2の光電変換部からの第2信号とに基づき撮影光学系の焦点調節状態を検出し、第3の光電変換部からの第3信号と第4の光電変換部からの第4信号とに基づき撮影光学系の焦点調節状態を検出する焦点検出部と、第1信号と第2信号とを加算して画像信号を生成し、第3信号と第4信号とを加算して画像信号を生成する画像信号生成部と、をさらに備えることが好ましい。
本発明の第9の態様によると、第8の態様の撮像装置において、第1および第2信号に基づいて焦点検出部が検出した焦点調節状態に基づいて撮影光学系の焦点調節を行うか、第3および第4信号に基づいて焦点検出部が検出した焦点調節状態に基づいて撮影光学系の焦点調節を行うかを選択する選択部をさらに備えることが好ましい。
本発明の第10の態様によると、第8の態様の撮像装置において、第1信号と第2信号とを加算して画像信号生成部が生成した画像信号と、第3信号と第4信号とを加算して画像信号生成部が生成した画像信号とを合成する合成部をさらに備えることが好ましい。
本発明の第11の態様によると、第1乃至3のいずれか一態様の撮像装置において、第1画素からの信号、および、第2画素からの信号の少なくとも一方により被写体の移動方向を検出する移動方向検出部と、移動方向検出部が検出した被写体の移動方向に基づいて、第1画素からの信号による画像信号および第2画素からの信号による画像信号の一方を選択する画像信号選択部と、をさらに備えることが好ましい。
本発明の第12の態様によると、第1乃至3のいずれか一態様の撮像装置において、第1画素からの信号、および、第2画素からの信号の少なくとも一方により被写体の移動方向を検出する移動方向検出部と、移動方向検出部が検出した被写体の移動方向に基づいて、第1画素からの信号による第1画像および第2画素からの信号による第2画像の一方を補正する補正部と、をさらに備えることが好ましい。
(第1の実施の形態)
図1は、第1の実施の形態によるデジタルカメラ1の構成を例示する図である。デジタルカメラ1は、撮影光学系10、撮像部11、制御部12、操作部13、画像処理部14、液晶やELなどのディスプレー、すなわちモニタ15、バッファメモリ16を有する。また、デジタルカメラ1には、メモリカード17が装着されている。メモリカード17は、不揮発性のフラッシュメモリなどから構成され、デジタルカメラ1に対して着脱可能である。
図1は、第1の実施の形態によるデジタルカメラ1の構成を例示する図である。デジタルカメラ1は、撮影光学系10、撮像部11、制御部12、操作部13、画像処理部14、液晶やELなどのディスプレー、すなわちモニタ15、バッファメモリ16を有する。また、デジタルカメラ1には、メモリカード17が装着されている。メモリカード17は、不揮発性のフラッシュメモリなどから構成され、デジタルカメラ1に対して着脱可能である。
撮影光学系10は、複数のレンズにより構成され、撮像部11の撮像面に被写体像を結像させる。撮影光学系10を構成する複数のレンズには、焦点調節のために光軸方向に駆動されるフォーカスレンズが含まれる。フォーカスレンズは、不図示のレンズ駆動部により光軸方向に駆動される。
撮像部11は、互いに積層された第1および第2の撮像素子21,22と、増幅回路23と、AD変換回路24とを有する。第1および第2の撮像素子21,22の各々は、2次元状に配列された複数の画素から構成され、入射光、すなわち、撮影光学系10を介して被写体からの可視光の光束を受光し、光電変換を行って光電変換信号を出力する。第1および第2の撮像素子21,22の各画素は、後に詳述するように、撮影光学系10の瞳の一対の領域を通過した一対の光束をそれぞれ受光する第1および第2の光電変換部を有し、各画素の第1および第2の光電変換部は、それぞれアナログの第1および第2の光電変換信号を出力する。これらの第1および第2の光電変換信号は、後述するように位相差式焦点検出用の信号として使用されると共に、画像用信号として使用される。
増幅回路23は、第1および第2の光電変換信号を所定の増幅率(ゲイン)で増幅してAD変換回路24に出力する。AD変換回路24は、第1および第2の光電変換信号をAD変換する。
増幅回路23は、第1および第2の光電変換信号を所定の増幅率(ゲイン)で増幅してAD変換回路24に出力する。AD変換回路24は、第1および第2の光電変換信号をAD変換する。
制御部12は、マイクロプロセッサおよびその周辺回路から構成され、不図示のROMに格納された制御プログラムを実行することにより、デジタルカメラ1の各種の制御を行う。また、制御部12は、焦点検出部12aと画像生成部12bと焦点検出エリア設定部12cを機能的に有する。これらの各機能部12a、12b、12cは、上記の制御プログラムによりソフトウェア的に実装される。なお、これらの各機能部を電子回路により構成することも可能である。
制御部12は、AD変換回路24によってAD変換された第1および第2の光電変換信号をバッファメモリ16に格納する。焦点検出部12aは、バッファメモリ16に格納された第1の撮像素子21の第1および第2の光電変換信号に基づき、およびバッファメモリ16に格納された第2の撮像素子22の第1および第2の光電変換信号に基づき、それぞれ撮影光学系10の焦点調節状態を検出する。
画像生成部12bは、バッファメモリ16に格納された第1および第2の撮像素子21,22の各々の第1および第2の光電変換信号に基づき画像信号を生成する。すなわち、画像生成部12bは、第1の撮像素子21の各画素の第1および第2の光電変換信号を加算して第1の画像信号を生成すると共に、第2の撮像素子22の各画素の第1および第2の光電変換信号を加算して第2の画像信号を生成する。
画像生成部12bは、バッファメモリ16に格納された第1および第2の撮像素子21,22の各々の第1および第2の光電変換信号に基づき画像信号を生成する。すなわち、画像生成部12bは、第1の撮像素子21の各画素の第1および第2の光電変換信号を加算して第1の画像信号を生成すると共に、第2の撮像素子22の各画素の第1および第2の光電変換信号を加算して第2の画像信号を生成する。
画像処理部14は、ASIC等により構成されている。画像処理部14は、画像生成部12bからの第1および第2の画像信号に対して、補間処理、圧縮処理、ホワイトバランス処理などの各種の画像処理を行って第1および第2の画像データを生成する。これらの第1および第2の画像データは、モニタ15に表示されたり、メモリカード17に格納されたりする。
操作部13は、レリーズ操作部材やモード切り替え操作部材や焦点検出エリア設定用の操作部材や電源操作部材などの各種の操作部材から構成され、撮影者により操作される。操作部13は、撮影者による上記の各操作部材の操作に応じた操作信号を制御部12へ出力する。
焦点検出エリア設定部12cは、焦点検出エリア設定用の操作部材の操作に応じて、撮影画面内に所定の領域の焦点検出エリアを設定する。焦点検出エリア設定部12cと焦点検出エリア設定用の操作部材とによる焦点検出エリアの設定方法は、以下に詳述するように種々の方法がある。例えば、撮影者が焦点検出エリア設定用の操作部材を操作すると、焦点検出エリア設定部12cが焦点検出エリア設定用の操作部材の操作に応じた撮影画面の任意の位置に所定の領域の焦点検出エリアを設定する。または、撮影画面の複数個所に予め焦点検出エリアを用意しておき、撮影者が焦点検出エリア設定用の操作部材を操作してその複数の焦点検出エリアから一つの焦点検出エリアを選択すると、焦点検出エリア設定部12cがその選択に応じて焦点検出エリアを設定する。更には、デジタルカメラ1が被写体人物の顔などを撮像画像から認識する被写体認識部を備える場合には、被写体認識部によって被写体人物の顔を認識すると、焦点検出エリア設定部12cがその顔部分に焦点検出エリアを設定することもできる。この場合には、焦点検出エリア設定用の操作部材は、被写体認識部による被写体人物の顔の認識結果によって自動的に焦点検出エリアを設定するモードを選択するための操作部材となる。なお、焦点検出エリア設定部12cが上述のように焦点検出対象領域として設定した焦点検出エリアを設定焦点検出エリアと称する。
焦点検出エリア設定部12cは、焦点検出エリア設定用の操作部材の操作に応じて、撮影画面内に所定の領域の焦点検出エリアを設定する。焦点検出エリア設定部12cと焦点検出エリア設定用の操作部材とによる焦点検出エリアの設定方法は、以下に詳述するように種々の方法がある。例えば、撮影者が焦点検出エリア設定用の操作部材を操作すると、焦点検出エリア設定部12cが焦点検出エリア設定用の操作部材の操作に応じた撮影画面の任意の位置に所定の領域の焦点検出エリアを設定する。または、撮影画面の複数個所に予め焦点検出エリアを用意しておき、撮影者が焦点検出エリア設定用の操作部材を操作してその複数の焦点検出エリアから一つの焦点検出エリアを選択すると、焦点検出エリア設定部12cがその選択に応じて焦点検出エリアを設定する。更には、デジタルカメラ1が被写体人物の顔などを撮像画像から認識する被写体認識部を備える場合には、被写体認識部によって被写体人物の顔を認識すると、焦点検出エリア設定部12cがその顔部分に焦点検出エリアを設定することもできる。この場合には、焦点検出エリア設定用の操作部材は、被写体認識部による被写体人物の顔の認識結果によって自動的に焦点検出エリアを設定するモードを選択するための操作部材となる。なお、焦点検出エリア設定部12cが上述のように焦点検出対象領域として設定した焦点検出エリアを設定焦点検出エリアと称する。
(第1および第2の撮像素子21,22の説明)
図2は、本実施形態に係る第1および第2の撮像素子21,22の概要を示す図である。第1の撮像素子21は、有機光電膜を光電変換部とする撮像素子であり、第2の撮像素子22は、半導体基板に形成されたフォトダイオードを光電変換部とする撮像素子である。第1の撮像素子21は、第2の撮像素子22に積層され、第1および第2の撮像素子21,22は、図1に示した撮影光学系10の光軸が第1および第2の撮像素子21,22の各々の撮像面の中心を通るように、撮影光学系10の光路中に配置されている。なお、第1および第2の撮像素子21,22は、図2では、図の複雑化を避けるために4行×3列の画素210,220のみが示されているが、本第1の実施の形態では、共に、m行×n列の画素が配列され、第1の撮像素子21の各画素と第2の撮像素子22の各画素とは、共に同一サイズである。
図2は、本実施形態に係る第1および第2の撮像素子21,22の概要を示す図である。第1の撮像素子21は、有機光電膜を光電変換部とする撮像素子であり、第2の撮像素子22は、半導体基板に形成されたフォトダイオードを光電変換部とする撮像素子である。第1の撮像素子21は、第2の撮像素子22に積層され、第1および第2の撮像素子21,22は、図1に示した撮影光学系10の光軸が第1および第2の撮像素子21,22の各々の撮像面の中心を通るように、撮影光学系10の光路中に配置されている。なお、第1および第2の撮像素子21,22は、図2では、図の複雑化を避けるために4行×3列の画素210,220のみが示されているが、本第1の実施の形態では、共に、m行×n列の画素が配列され、第1の撮像素子21の各画素と第2の撮像素子22の各画素とは、共に同一サイズである。
第1の撮像素子21の各画素210は、所定の色成分の光を吸収(光電変換)する有機光電膜を有する。第1の撮像素子21で吸収(光電変換)されなかった色成分の光は、第1の撮像素子21を透過して第2の撮像素子22に入射し、第2の撮像素子22で光電変換される。なお、第1の撮像素子21で光電変換される色成分と、第2の撮像素子22で光電変換される色成分とは、補色関係である。すなわち、後述するように、第1の撮像素子21の画素210のうち、マゼンタの色成分を吸収し光電変換する画素の真後ろに位置する第2の撮像素子22の画素220には、マゼンタと補色関係にある緑の色成分の光が入射する。第1の撮像素子21の画素210のうち、イエローの色成分を吸収し光電変換する画素の真後ろに位置する第2の撮像素子22の画素220には、イエローと補色関係にある青の色成分の光が入射する。第1の撮像素子21の画素210のうち、シアンの色成分を吸収し光電変換する画素の真後ろに位置する第2の撮像素子22の画素220には、シアンと補色関係にある赤の色成分の光が入射する。
このように、第1の撮像素子21の各画素210は、当該画素210の真後ろに位置する第2の撮像素子22の画素220と対応関係にあり、すなわち、第1の撮像素子21の各画素210は、自身を通過した光束を受光する第2の撮像素子22の画素220と対応関係にあり、このような対応関係にある第1および第2の撮像素子21,22の画素210,220は、互いに補色関係の色成分を吸収して光電変換する。このような互いに対応関係にある第1および第2の撮像素子21,22の画素210,220を対応関係の画素と称する。
このように、第1の撮像素子21の各画素210は、当該画素210の真後ろに位置する第2の撮像素子22の画素220と対応関係にあり、すなわち、第1の撮像素子21の各画素210は、自身を通過した光束を受光する第2の撮像素子22の画素220と対応関係にあり、このような対応関係にある第1および第2の撮像素子21,22の画素210,220は、互いに補色関係の色成分を吸収して光電変換する。このような互いに対応関係にある第1および第2の撮像素子21,22の画素210,220を対応関係の画素と称する。
図3は、第1の撮像素子21の一部である10行×6列の画素210の配置と、第2の撮像素子22の一部である10行×6列の画素220の配置と、をそれぞれ示す図である。図3(a)において、第1の撮像素子21について、画素210に付された「Mg」は、その画素がマゼンタの色成分を吸収し光電変換する画素、すなわち、マゼンタの分光感度を有する画素を示し、同様に、画素210に付された「Ye」は、その画素がイエローの色成分を吸収し光電変換する画素、すなわち、イエローの分光感度を有する画素を示し、画素210に付された「Cy」は、その画素がシアンの色成分を吸収し光電変換する画素、すなわち、シアンの分光感度を有する画素を示す。第1の撮像素子21は、奇数行の画素列では、「Mg」画素210と「Ye」画素210が交互に配列され、偶数行の画素列では、「Cy」画素210と「Mg」画素210とが交互に配列されている。
なお、「Mg」画素210は、一般には、マゼンタの色成分をそれぞれ100%吸収することはできず、「Ye」画素210は、一般には、イエローの色成分をそれぞれ100%吸収することはできず、「Cy」画素210は、一般には、シアンの色成分をそれぞれ100%吸収することはできず、それらの色成分の一部が画素を通過してしまうものである。
なお、「Mg」画素210は、一般には、マゼンタの色成分をそれぞれ100%吸収することはできず、「Ye」画素210は、一般には、イエローの色成分をそれぞれ100%吸収することはできず、「Cy」画素210は、一般には、シアンの色成分をそれぞれ100%吸収することはできず、それらの色成分の一部が画素を通過してしまうものである。
図3(b)において、第2の撮像素子22について、画素220に付された「G」は、その画素が緑の色成分を吸収し光電変換する画素、すなわち、緑の分光感度を有する画素を示し、同様に、画素220に付された「B」は、その画素が青の色成分を吸収し光電変換する画素、すなわち、青の分光感度を有する画素を示し、画素220に付された「R」は、その画素が赤の色成分を吸収し光電変換する画素、すなわち、赤の分光感度を有する画素を示す。第2の撮像素子22は、奇数行の画素列では、「G」画素220と「B」画素220が交互に配列され、偶数行の画素列では、「R」画素220と「G」画素220とが交互に配列されている。すなわち、第2の撮像素子22は、画素がベイヤ配列されている。
図3(a)および(b)において、第1の撮像素子21の「Mg」画素210と第2の撮像素子22の「G」画素220とは、対応関係にあり、第1の撮像素子21の「Ye」画素210と第2の撮像素子22の「B」画素220とは、対応関係にあり、第1の撮像素子21の「Cy」画素210と第2の撮像素子22の「R」画素220とは、対応関係にある。
図3(a)および(b)において、第1の撮像素子21の「Mg」画素210と第2の撮像素子22の「G」画素220とは、対応関係にあり、第1の撮像素子21の「Ye」画素210と第2の撮像素子22の「B」画素220とは、対応関係にあり、第1の撮像素子21の「Cy」画素210と第2の撮像素子22の「R」画素220とは、対応関係にある。
このように、有機光電膜で構成される第1の撮像素子21が第2の撮像素子22に対してカラーフィルターの役割を果たし、第2の撮像素子22から第1の撮像素子21の補色画像(図3の例ではベイヤー配列の画像)が得られる。したがって、第1の撮像素子21からはCy,Mg,Yeの3色からなるCMY画像を取得することができ、第2の撮像素子22からはR,G,Bの3色からなるRGB画像を取得することができる。このように、第1の撮像素子21が従来の撮像素子で必要であったカラーフィルターの代わりとなるため、カラーフィルターで吸収されてしまっていた入射光を第1の撮像素子21により有効に利用することができる。なお、第1の撮像素子21のCMY画像は、後に詳述するように公知の表色系変換処理によってRGB画像に変換されて、第1の画像信号になる。
次に、第1の撮像素子21の各画素210の第1および第2の光電変換部と、第2の撮像素子22の各画素220の第1および第2の光電変換部との位置関係を説明する。図3(a)において、第1の撮像素子21の各画素210は、第1および第2の光電変換部210aおよび210bを有する。これらの第1および第2の光電変換部210aと210bは、列方向、すなわち図3(a)で上下方向に配列されている。また、図3(b)において、第2の撮像素子22の各画素220は、第1および第2の光電変換部220aおよび220bを有する。これらの第1および第2の光電変換部220aと220bは、行方向、すなわち図3(b)で左右方向に配列されている。以上のように、第1の撮像素子21の各画素210の第1および第2の光電変換部210a,210bと、第2の撮像素子22の各画素220の第1および第2の光電変換部220a,220bとは、互いに直交するように配列されている。
また、第1の撮像素子21は、後述するように、画素210の第1および第2の光電変換部210a,210bからの第1および第2の光電変換信号が列単位で読み出される。すなわち、第1の撮像素子21は例えば、左端の列に位置する10個の画素210の第1および第2の光電変換信号が同時に読み出され、次いで、左端の右隣の列に位置する10個の画素210の第1および第2の光電変換信号が同時に読み出され、以下同様に、順次右隣に位置する列の10個の画素210の第1および第2の光電変換信号が読み出される。
他方、第2の撮像素子22は、画素220の第1および第2の光電変換部220a,220bからの第1および第2の光電変換信号が行単位で読み出される。すなわち、第2の撮像素子22は例えば、上端の行に位置する6個の画素220の第1および第2の光電変換信号が同時に読み出され、次いで、その下の行に位置する6個の画素220の第1および第2の光電変換信号が同時に読み出され、以下同様に、順次各行の6個の画素220の第1および第2の光電変換信号が読み出される。
なお、第1の撮像素子21の各画素210の回路例は、たとえば、国際公開第2013/105481号公報に開示されている。
なお、第1の撮像素子21の各画素210の回路例は、たとえば、国際公開第2013/105481号公報に開示されている。
図4は、第1および第2の撮像素子21,22の一画素210,220の構成を示す断面図である。図4に示すように、第2の撮像素子22は、半導体基板50に形成され、各画素220は、紙面に垂直方向に配列された第1および第2の光電変換部220a,220bを有する。第2の撮像素子22の表面、すなわち、上面には平坦化層55を介して第1の撮像素子21が積層されている。この平坦化層55内には、配線層51が形成されている。なお、図4では、配線層51は3層構造になっているが2層構造であってもよい。
第1の撮像素子21の各画素210は、有機光電膜230と、有機光電膜230の上面に形成された透明な共通電極231と、有機光電膜230の下面に形成された透明な第1および第2の部分電極232a,232bとを有する。第1および第2の部分電極232a,232bは、上述のように、紙面で左右方向、すなわち、第2の撮像素子22の第1および第2の光電変換部220a,220bの配列方向と直交する方向に配列されている。第1の撮像素子21の各画素210は、有機光電膜230と共通電極231と第1の部分電極232aとが第1の光電変換部210aを構成し、有機光電膜230と共通電極231と第2の部分電極232bとが第2の光電変換部210bを構成する。
また、第1の撮像素子21の各画素210の上方には、それぞれマイクロレンズ233が配置され、各マイクロレンズ233と第1の撮像素子21の各画素210と第2の撮像素子22の各画素220とはマイクロレンズ233の光軸方向に、整列配置されている。
また、第1の撮像素子21の各画素210の上方には、それぞれマイクロレンズ233が配置され、各マイクロレンズ233と第1の撮像素子21の各画素210と第2の撮像素子22の各画素220とはマイクロレンズ233の光軸方向に、整列配置されている。
また、マイクロレンズ233の焦点233Fは、第1の撮像素子21と第2の撮像素子22との中間に位置する。すなわち、マイクロレンズ233の焦点面(すなわち、焦点233Fを含むマイクロレンズ233の光軸に垂直な面)と第1の撮像素子21の第1および第2の光電変換部との距離は、マイクロレンズ233の焦点面と第2の撮像素子22の第1および第2の光電変換部との距離に等しく定められている。第1および第2の撮像素子21,22の間隔は比較的小さく、かつマイクロレンズ233の焦点233Fが上述のように第1の撮像素子21と第2の撮像素子22との中間に位置しているので、マイクロレンズ233に関して第1の撮像素子21の第1および第2の光電変換部と共役な面(以下にこの共役な面を第1の測距瞳面と称する)は、マイクロレンズ233に関して第2の撮像素子22の第1および第2の光電変換部と共役な面(以下にこの共役な面を第2の測距瞳面と称する)に対して、図1に示した撮影光学系10の光軸方向に近傍に位置する。すなわち、第1および第2の測距瞳面は、互いに撮影光学系10の光軸方向に近傍に位置する。
以上のようにマイクロレンズ233と第1および第2の撮像素子21,22とが配置されているので、第1の撮像素子21の各画素210の第1および第2の光電変換部210a,210bは、第1の測距瞳面の第1および第2の瞳領域をそれぞれ通過した一対の光束をそれぞれ受光し、第2の撮像素子22の各画素220の第1および第2の光電変換部220a,220bは、第2の測距瞳面の第3および第4の瞳領域をそれぞれ通過した一対の光束をそれぞれ受光する。なお、第1の測距瞳面の第1および第2の瞳領域の並び方向と第2の測距瞳面の第3および第4の瞳領域の並び方向とは、互いに直交している。
図1に示した焦点検出部12aは、後述のように第1の撮像素子21の列方向に配列された複数の画素210の第1および第2の光電変換信号に基づき、第1および第2の瞳領域を通過した一対の光束によって形成される一対の像のズレ量、すなわち位相差を検出して、この像ズレ量に基づきデフォーカス量を算出する。また、焦点検出部12aは、第2の撮像素子22の行方向に配列された複数の画素220の第1および第2の光電変換信号に基づき、第3および第4の瞳領域を通過した一対の光束によって形成される一対の像のズレ量、すなわち位相差を検出して、この像ズレ量に基づきデフォーカス量を算出する。
(撮像素子21の回路構成)
図5は、第1の撮像素子21の各画素210の第1および第2の光電変換部210aおよび210bの光電変換信号の読み出し回路を単純化して示した図である。図5において、第1の撮像素子21は、列走査回路151と第1および第2の水平出力回路152,153と有する。列走査回路151は、列方向、すなわち、図5では上下方向に配列された複数の画素210の第1および第2の光電変換部210a,210bに対する信号読み出し用のタイミング信号R(n)を出力する。詳述すると、列走査回路151は、第1列目の複数の画素210の第1および第2の光電変換部210a,210bに対するタイミング信号R(1)を出力する。
図5は、第1の撮像素子21の各画素210の第1および第2の光電変換部210aおよび210bの光電変換信号の読み出し回路を単純化して示した図である。図5において、第1の撮像素子21は、列走査回路151と第1および第2の水平出力回路152,153と有する。列走査回路151は、列方向、すなわち、図5では上下方向に配列された複数の画素210の第1および第2の光電変換部210a,210bに対する信号読み出し用のタイミング信号R(n)を出力する。詳述すると、列走査回路151は、第1列目の複数の画素210の第1および第2の光電変換部210a,210bに対するタイミング信号R(1)を出力する。
タイミング信号R(1)に応じて、第1列目の複数の画素210の第1および第2の光電変換部210a,210bの第1および第2の光電変換信号がそれぞれ第1および第2の水平出力回路152,153に同時に読み出される。本第1の実施の形態では、第1の光電変換部210aの第1の光電変換信号が第1の水平出力回路152に読み出され、第2の光電変換部210bの第2の光電変換信号が第2の水平出力回路153に読み出される。第1の水平出力回路152は、読み出した第1列目画素の第1の光電変換部210aの第1の光電変換信号を順次、出力部152Aから出力し、同様に、第2の水平出力回路153は、読み出した第1列目画素の第2の光電変換部210bの第2の光電変換信号を順次、出力部153Aから出力する。
次いで、列走査回路151は、第2列目の複数の画素210の第1および第2の光電変換部210a,210bに対するタイミング信号R(2)を出力する。タイミング信号R(2)に応じて、第2列目の複数の画素210の第1および第2の光電変換部210a,210bの第1および第2の光電変換信号がそれぞれ第1および第2の水平出力回路152,153に同時に読み出される。第1および第2の水平出力回路152,153は、それぞれ読み出した第2列目画素の第1および第2の光電変換部210a,210bの第1および第2の光電変換信号を順次、出力部152A,153Aから出力する。
以下同様に、列走査回路151は、第(n)列目の複数の画素210の第1および第2の光電変換部210a,210bに対するタイミング信号R(n)を出力する。タイミング信号R(n)に応じて第(n)列目の複数の画素210の第1および第2の光電変換部210a,210bの第1および第2の光電変換信号がそれぞれ第1および第2の水平出力回路152,153に同時に読み出され、第1および第2の水平出力回路152,153の出力部152A,153Aから順次、出力される。
以下同様に、列走査回路151は、第(n)列目の複数の画素210の第1および第2の光電変換部210a,210bに対するタイミング信号R(n)を出力する。タイミング信号R(n)に応じて第(n)列目の複数の画素210の第1および第2の光電変換部210a,210bの第1および第2の光電変換信号がそれぞれ第1および第2の水平出力回路152,153に同時に読み出され、第1および第2の水平出力回路152,153の出力部152A,153Aから順次、出力される。
第1の水平出力回路152から出力された第1の光電変換信号と第2の水平出力回路153から出力された第2の光電変換信号は、図1に示されたバッファメモリ16を介して焦点検出部12aおよび画像生成部12bに送られ、焦点検出部12aは、同時に読み出された第n列目の第1および第2の光電変換部210a,210bの第1および第2の光電変換信号に基づき、位相差焦点検出演算を行う。また、画像生成部12bは、各画素210の第1および第2の光電変換部210a,210bの光電変換信号を加算して、画像信号を生成する。
図6は、第2の撮像素子22の各画素の第1および第2の光電変換部220aおよび220bの光電変換信号の読み出し回路を単純化して示した図である。図6において、第2の撮像素子22は、行走査回路161と第1および第2の水平出力回路162,163とを有する。第2の撮像素子22の第1および第2の光電変換部220a,220bの光電変換信号に関する信号読み出し回路161,162,163は、図5に示した第1の撮像素子22の信号読み出し回路151,152,153に類似しているので、以下の説明では、相違している点を説明する。
行走査回路161は、行方向、図6では、左右方向に配列された複数の画素220の第1および第2の光電変換部220a,220bに対して信号読み出し用のタイミング信号R(m)を出力する。すなわち、行走査回路161は、第1行目の複数の画素220の第1および第2の光電変換部220a,220bに対して信号読み出し用のタイミング信号R(1)を出力し、次いで、第2行目の複数の画素220の第1および第2の光電変換部220a,220bに対して信号読み出し用のタイミング信号R(2)を出力し、その後、順次、第(m)行目の複数の画素220の第1および第2の光電変換部220a,220bに対して信号読み出し用のタイミング信号R(m)を出力する。
タイミング信号R(m)に応じて、第1の水平出力回路162は、第(m)行目の複数の画素220の第1の光電変換部220aの第1の光電変換信号を同時に読み出し、同様に、第2の水平出力回路163は、第(m)行目の複数の画素220の第2の光電変換部220bの第2の光電変換信号を同時に読み出す。
第1の水平出力回路162は、読み出した第1の光電変換部220aの第1の光電変換信号を出力部162Aから出力し、第2の水平出力回路163は、読み出した第2の光電変換部220bの第2の光電変換信号を出力部163Aから出力する。
第1の水平出力回路162は、読み出した第1の光電変換部220aの第1の光電変換信号を出力部162Aから出力し、第2の水平出力回路163は、読み出した第2の光電変換部220bの第2の光電変換信号を出力部163Aから出力する。
第1の水平出力回路162から出力された第1の光電変換信号と第2の水平出力回路163から出力された第2の光電変換信号は、図1に示されたバッファメモリ16を介して焦点検出部12aおよび画像生成部12bに送られ、焦点検出部12aは、同時に読み出された第(m)行目の第1および第2の光電変換部220a,220bの第1および第2の光電変換信号に基づき、位相差焦点検出演算を行う。また、画像生成部12bは、各画素220の第1および第2の光電変換部220a,220bの第1および第2の光電変換信号を加算して、画像信号を生成する。
なお、図5に示した第1の撮像素子21の信号読み出し回路例と、図6に示した第2の撮像素子22の信号読み出し回路例とは共に、図4に示した第2の撮像素子22の半導体基板50上に形成され、配線層51によって、それぞれ第1および第2の撮像素子21,22の各画素210、220に接続されている。
図7は、図1に示した焦点検出部12aの果たす機能を詳細に示したブロック図である。焦点検出部12aは、第1および第2の焦点検出信号取得部120,121と、第1および第2のコントラスト検出部122,123と、判定部124と、選択部125と、相関演算部126と、デフォーカス量算出部127とを有する。
焦点検出エリア設定部12cは、焦点検出対象領域として設定した設定焦点検出エリアに関する位置情報を出力する。第1の焦点検出信号取得部120は、第1の撮像素子21について、図5の第1および第2の水平出力回路152,153から出力される第1および第2の光電変換信号のうち、焦点検出エリア設定部12cによって設定された設定焦点検出エリアに対応する位置に列方向に配列された複数の画素210からの第1および第2の光電変換信号を取得する。
焦点検出エリア設定部12cは、焦点検出対象領域として設定した設定焦点検出エリアに関する位置情報を出力する。第1の焦点検出信号取得部120は、第1の撮像素子21について、図5の第1および第2の水平出力回路152,153から出力される第1および第2の光電変換信号のうち、焦点検出エリア設定部12cによって設定された設定焦点検出エリアに対応する位置に列方向に配列された複数の画素210からの第1および第2の光電変換信号を取得する。
同様に、第2の焦点検出信号取得部121は、第2の撮像素子22について、図6に示された第1および第2の水平出力回路162,163から出力される第1および第2の光電変換信号のうち、焦点検出エリア設定部12cによって設定された設定焦点検出エリアに対応する位置に行方向に配列された複数の画素220からの第1および第2の光電変換信号を取得する。
このようにして、第1の焦点検出信号取得部120は、第1の撮像素子21について、設定焦点検出エリアに対応した列方向配列の複数の画素210から同時に読み出された第1および第2の光電変換信号を取得する。第1の焦点検出信号取得部120が取得した第1の撮像素子21に関する第1および第2の光電変換信号を第1の焦点検出信号を称する。また、第2の焦点検出信号取得部121は、第2の撮像素子22について、設定焦点検出エリアに対応した行方向配列の複数の画素220から同時に読み出された第1および第2の光電変換信号を取得する。第2の焦点検出信号取得部121が取得した第2の撮像素子22に関する第1および第2の光電変換信号を第2の焦点検出信号を称する。
なお、第1および第2の焦点検出信号は、それぞれ、同一の分光感度の画素の第1および第2の光電変換信号から構成される。具体的には、第1の撮像素子21に関する第1の焦点検出信号は、図3(a)において、列方向に一つ置き配列されたMg画素210の第1および第2の光電変換信号が選択される。同様に、第2の撮像素子22に関する第2の焦点検出信号は、図3(b)において、行方向に一つ置き配列されたG画素220の第1および第2の光電変換信号が選択される。勿論、第1の焦点検出信号は、Mg画素の第1および第2の光電変換信号に限らず、Cy画素またはYe画素の第1および第2の光電変換信号を使用することもできるし、第2の焦点検出信号は、G画素の第1および第2の光電変換信号に限らず、R画素またはB画素の第1および第2の光電変換信号を使用することもできる。
第1のコントラスト検出部122は、第1の焦点検出信号取得部120が取得した第1の焦点検出信号に基づいて、設定焦点検出エリアにおける被写体像の第1のコントラスト量を算出する。なお、このコントラスト量は、第1の焦点検出信号取得部120が取得した隣接画素に関する第1の光電変換信号または第2の光電変換信号(または第1および第2の光電変換信号の加算信号)の差分を積算して算出する。なお、この第1のコントラスト量は、設定焦点検出エリア内において第1の撮像素子21の列方向配列の複数の画素210上に形成される被写体像のコントラスト量である。
第2のコントラスト検出部123は、第1のコントラスト検出部122と同様に、第2の焦点検出信号取得部121が取得した第2の焦点検出信号に基づいて、第1のコントラスト検出部122と同様に、設定焦点検出エリアにおける被写体像の第2のコントラスト量を算出する。この第2のコントラスト量は、設定エリア内において第2の撮像素子22の行方向配列の複数の画素220上に形成される被写体像のコントラスト量である。
判定部124は、第1および第2のコントラスト量の少なくとも一方が第1の閾値以上であるか否かを判定する。この第1の閾値は、第1の閾値以上のコントラスト量の焦点検出信号が位相差焦点検出に有効に使用することができるように、定められる。従って、判定部124は、第1および第2のコントラスト量の両方が第1の閾値未満である場合には、設定焦点検出エリアにおける被写体像が非常にボケている、すなわち非常に大デフォーカス状態であると、判断して、撮影レンズ10のフォーカスレンズをスキャン駆動させる。
判定部124は、第1および第2のコントラスト量の少なくとも一方が第1の閾値以上である場合に第1のコントラスト量と第2のコントラスト量との差が第2の閾値以上であるか否かを判定する。判定部124は、第1および第2のコントラスト量の差が第2の閾値以上である場合は、第1および第2のコントラスト量のうち、コントラスト量の大きい方の焦点検出信号は位相差焦点検出に適するが、コントラスト量の小さい方の焦点検出信号は位相差焦点検出に適さないと、判断する。判定部124は、第1および第2のコントラスト量の差が第2の閾値未満である場合は、この第1および第2の焦点検出信号が共に位相差焦点検出に適すると判断する。
選択部125は、判定部124の出力信号に基づき、第1および第2の焦点検出信号取得部120,121の第1および第2の焦点検出信号の一方、またはその両方を選択して、相関演算部126に送出する。詳述すると、選択部125は、第1および第2のコントラスト量の差が第2の閾値以上である場合には、第1のコントラスト量が第2のコントラスト量よりも大きいときに、第1の焦点検出信号取得部120の第1の焦点検出信号を選択して相関演算部126に出力し、第2のコントラスト量が第1のコントラスト量よりも大きいときに、第2の焦点検出信号取得部121の第2の焦点検出信号を選択して相関演算部126に出力する。また、選択部125は、第1および第2のコントラスト量の差が第2の閾値未満である場合は第1および第2の焦点検出信号取得部120,121の第1および第2の焦点検出信号の両方を選択して相関演算部126に出力する。
相関演算部126は、選択部125から第1の焦点検出信号が入力された場合には、第1の焦点検出信号に基づき相関演算を行って第1の像ズレ量を算出し、選択部125から第2の焦点検出信号が入力された場合には、第2の焦点検出信号に基づき相関演算を行って第2の像ズレ量を算出し、選択部125から第1および第2の焦点検出信号が入力された場合には、第1の焦点検出信号に基づき相関演算を行って第1の像ズレ量を算出すると共に第2の焦点検出信号に基づき相関演算を行って第2の像ズレ量を算出する。
デフォーカス量算出部127は、相関演算部126の相関演算結果、すなわち像ズレ量に基づき、デフォーカス量を算出する。このデフォーカス量に基づき、撮影光学系の焦点調節が行われる。なお、上述のように、選択部125が第1および第2の焦点検出信号の両方を選択した場合には、デフォーカス量算出部127は、第1の焦点検出信号に基づく第1のデフォーカス量と第2の焦点検出信号に基づく第2のデフォーカス量との平均値を算出してそれを最終デフォーカス量とする。この最終デフォーカス量に基づき撮影光学系の焦点調節が行われる。
このように、第1の撮像素子21の列方向に配列された複数の画素210から第1および第2の光電変換信号が同時に読み出されるように読み出し回路を構成し、同時に読み出された第1および第2の光電変換信号、すなわち第1の焦点検出信号に基づいて位相差焦点検出演算を行うように構成した。同様に、第2の撮像素子22の行方向に配列された複数の画素220から第1および第2の光電変換信号が同時に読み出されるように読み出し回路を構成し、同時に読み出された第1および第2の光電変換信号、すなわち第2の焦点検出信号に基づいて位相差焦点検出演算を行うように構成した。これにより、同時に読み出された第1の焦点検出信号により、または、同時に読み出された第2の焦点検出信号により位相差焦点検出演算を行えば、デフォーカス量の算出精度が高くなるので、撮影光学系10の焦点調節精度が向上し、撮像して得られる画像の画質を向上できる。
図8は、本第1の焦点検出動作を表すフローチャートである。図8に示す焦点検出処理は、制御部12が実行する制御プログラムに含まれる。撮影者により所定の焦点検出操作、例えばレリーズ操作部材の半押し操作などが行われると、制御部12は、図8に示す焦点検出処理を開始する。
図7および図8において、ステップS1で第1の撮像素子21および第2の撮像素子22は、撮影光学系10によって結像された被写体像をそれぞれ撮像する。第1の撮像素子21は、列方向に配列された複数の画素210の第1および第2の光電変換部210a,210bの第1および第2の光電変換信号が同時に読み出される。第2の撮像素子22は、行方向に配列された複数の画素220の第1および第2の光電変換部220a,220bの第1および第2の光電変換信号が同時に読み出される。第1または第2の撮像素子21,22からの第1および第2の光電変換信号は、図1の画像生成部12bで加算されて第1または第2の画像信号となり、図1の画像処理部14で画像処理されて、図1のモニタ15にスルー画像として表示される。なお、スルー画像は、第1の撮像素子21からの第1の画像信号に基づいて表示されても、第2の撮像素子22の第2の画像信号に基づいて表示されてもよい。
図7および図8において、ステップS1で第1の撮像素子21および第2の撮像素子22は、撮影光学系10によって結像された被写体像をそれぞれ撮像する。第1の撮像素子21は、列方向に配列された複数の画素210の第1および第2の光電変換部210a,210bの第1および第2の光電変換信号が同時に読み出される。第2の撮像素子22は、行方向に配列された複数の画素220の第1および第2の光電変換部220a,220bの第1および第2の光電変換信号が同時に読み出される。第1または第2の撮像素子21,22からの第1および第2の光電変換信号は、図1の画像生成部12bで加算されて第1または第2の画像信号となり、図1の画像処理部14で画像処理されて、図1のモニタ15にスルー画像として表示される。なお、スルー画像は、第1の撮像素子21からの第1の画像信号に基づいて表示されても、第2の撮像素子22の第2の画像信号に基づいて表示されてもよい。
ステップS2において、図1の焦点検出エリア設定部12cによって撮影画面内に設定焦点検出エリアが設定される。ステップS3において、第1の焦点検出信号取得部120は、第1の撮像素子21から出力された第1および第2の光電変換信号のうち、設定焦点検出エリアに対応する列方向配列の複数の画素210の第1および第2の光電変換部210a,210bの第1および第2の光電変換信号を、第1の焦点検出信号として、取得する。同様に、第2の焦点検出信号取得部121は、第2の撮像素子22から出力された第1および第2の光電変換信号のうち、設定焦点検出エリアに対応する行方向配列の複数の画素220の第1および第2の光電変換部220a,220bの第1および第2の光電変換信号を、第2の焦点検出信号として、取得する。
ステップS4において、第1のコントラスト検出部122は、第1の焦点検出信号取得部120によって取得された第1の焦点検出信号に基づき、設定焦点検出エリアにおける被写体像の第1のコントラスト量を算出する。この第1のコントラスト量は、上述のように、第1の撮像素子21の画素210の列方向のコントラスト量である。同様に第2のコントラスト検出部123は、第2の焦点検出信号取得部121によって取得された第2の焦点検出信号に基づき、設定焦点検出エリアにおける被写体像の第2のコントラスト量を算出する。この第2のコントラスト量は、上述のように、第2の撮像素子22の画素220の列方向のコントラスト量である。
ステップS5において、判定部124が第1および第2のコントラスト量の少なくとも一方が第1の閾値以上であるか否かを判定し、否定判定の場合には、ステップS6に進み、肯定判定の場合にステップS7に進む。ステップS6では、設定焦点検出エリアにおける被写体像が非常にボケている、すなわち非常に大デフォーカス状態であると判断して、撮影レンズ10のフォーカスレンズをスキャン駆動させる。ステップS7では、判定部124が第1のコントラスト量と第2のコントラスト量との差が第2の閾値以上であるか否かを判定し、肯定判定の場合にステップS8に進み、否定判定の場合に、ステップS9に進む。ステップS8では、第1のコントラスト量が第2のコントラスト量よりも大きいか否かを判定し、肯定判定の場合に、ステップS10に進み、否定判定の場合にステップS11に進む。
ステップS10では、第1のコントラスト量が第2のコントラスト量よりも大きい、すなわち、設定焦点検出エリアにおいて、第1の撮像素子21の列方向のコントラスト量が第2の撮像素子22の行方向のコントラスト量よりも大きいので、選択部124が第1の焦点検出信号取得部120の第1の焦点検出信号を選択して相関演算部126が第1の焦点検出信号に基づき相関演算を行い、デフォーカス量算出部127がこの相関演算結果に基づきデフォーカス量を算出する。ステップS11では、第2のコントラスト量が第1のコントラスト量よりも大きい、すなわち、設定焦点検出エリアにおいて、第2の撮像素子22の行方向のコントラスト量が第1の撮像素子21の列方向のコントラスト量よりも大きいので、選択部124が第2の焦点検出信号取得部121の第2の焦点検出信号を選択して相関演算部126が第2の焦点検出信号に基づき相関演算を行い、デフォーカス量算出部127がこの相関演算結果に基づきデフォーカス量を算出する。
また、ステップS9では、第1および第2のコントラスト量の差が第2の閾値未満である、すなわち、第1および第2のコントラスト量がほぼ同等であるので、選択部125が第1および第2の焦点検出信号取得部120,121の第1および第2の焦点検出信号の両方を選択し、相関演算部126が第1の焦点検出信号に基づき相関演算を行うと共に第2の焦点検出信号に基づき相関演算を行い、デフォーカス量算出部127が、第1の焦点検出信号による相関演算結果に基づき第1のデフォーカス量を算出すると共に、第2の焦点検出信号による相関演算結果に基づき第2のデフォーカス量を算出し、第1および第2のデフォーカス量から最終デフォーカス量を算出する。
ステップS12では、ステップS10,S11,S9で算出されたデフォーカス量に基づき、撮影光学系10のフォーカスレンズを駆動して焦点調節を行う。ステップS13は、レリーズ操作部材の半押し操作が終了したか否かを判定し、肯定判定の場合には焦点検出動作を終了し、否定判定の場合にはステップS1に戻る。
以上のように、本第1の実施の形態では、第1の撮像素子21の画素210の第1および第2の光電変換部210a,210bの配列方向と第2の撮像素子22の画素220の第1および第2の光電変換部220a,220bの配列方向とが異なっているので、設定焦点検出エリアにおける第1の撮像素子21の列方向に配列された複数の画素210に形成された被写体像のコントラストと設定焦点検出エリアにおける第2の撮像素子22の行方向に配列された複数の画素220に形成された被写体像のコントラストとを比べて、コントラストが高い方の撮像素子の焦点検出信号に基づき高精度な焦点検出を行うことができる。
本第1の実施の形態では、第1および第2のコントラスト量に応じて、第1および第2の焦点検出信号のいずれか、またはその両方を選択して選択された焦点検出信号に基づき相関演算部126が相関演算を行うものであった。これの代わりに、選択部125は、常に第1および第2の焦点検出信号を選択し、相関演算部126は、第1および第2の焦点検出信号について相関演算を行い、第1および第2のコントラスト量の大きさに基づき第1の焦点検出信号による相関演算結果と第2の焦点検出信号による相関演算結果との一方または両方を選択し、選択された相関演算結果に基づきデフォーカス量を算出するようにしてもよい。
更には、デフォーカス量算出部127は、相関演算部126が相関演算した全ての相関演算結果に基づき、それぞれデフォーカス量を算出し、こうして算出された複数のデフォーカス量から第1および第2のコントラスト量の大きさに基づき所望のデフォーカス量を選択してもよい。
更には、デフォーカス量算出部127は、相関演算部126が相関演算した全ての相関演算結果に基づき、それぞれデフォーカス量を算出し、こうして算出された複数のデフォーカス量から第1および第2のコントラスト量の大きさに基づき所望のデフォーカス量を選択してもよい。
撮像面に第1および第2の光電変換部の分割方向が異なる画素が設けられている撮像素子では、第1および第2の光電変換部の分割方向が異なる2つの画素に、同じ光量の光がそれぞれ入射したとしても、第1および第2の光電変換部の分割方向の相違によって、各画素の第1および第2の光電変換部からの出力が異なってしまうおそれがある。そのため、撮像して得られた画像の画質が低下するおそれがある。
これに対して、本第1の実施の形態では、第1の撮像素子21の各画素210の、列方向に分割された第1および第2の光電変換部210a,210bの光電変換信号を加算して画像信号を生成するように構成した。そして、第2の撮像素子22の各画素220の、行方向に分割された第1および第2の光電変換部220a,220bの光電変換信号を加算して画像信号を生成するように構成した。これにより、第1および第2の撮像素子21,22によって、高画質の画像を得ることができる。
これに対して、本第1の実施の形態では、第1の撮像素子21の各画素210の、列方向に分割された第1および第2の光電変換部210a,210bの光電変換信号を加算して画像信号を生成するように構成した。そして、第2の撮像素子22の各画素220の、行方向に分割された第1および第2の光電変換部220a,220bの光電変換信号を加算して画像信号を生成するように構成した。これにより、第1および第2の撮像素子21,22によって、高画質の画像を得ることができる。
<第1の変形例>
本第1の実施の形態では、コントラストが低い被写体像については、位相差焦点検出が精度良く行うことができない恐れがあるので、設定焦点検出エリアにおける第1の撮像素子21の列方向に配列された複数の画素210に形成された被写体像のコントラストと設定焦点検出エリアにおける第2の撮像素子22の行方向に配列された複数の画素220に形成された被写体像のコントラストとを比べて、コントラストが高い方の撮像素子の焦点検出信号に基づき焦点調節を行うものであった。位相差焦点検出が精度良く行うことができない被写体像は、上述の低コントラスト像以外に、一定周期の明暗パターンの像も存在する。そこで、そのような一定の周期パターン像が第1および第2の撮像素子21,22の画素の列方向と行方向のどちらに存在するかを検出して、周期パターンが存在しない方の撮像素子の焦点検出信号を使用して焦点検出を行う本実施の形態の変形例を以下に説明する。
本第1の実施の形態では、コントラストが低い被写体像については、位相差焦点検出が精度良く行うことができない恐れがあるので、設定焦点検出エリアにおける第1の撮像素子21の列方向に配列された複数の画素210に形成された被写体像のコントラストと設定焦点検出エリアにおける第2の撮像素子22の行方向に配列された複数の画素220に形成された被写体像のコントラストとを比べて、コントラストが高い方の撮像素子の焦点検出信号に基づき焦点調節を行うものであった。位相差焦点検出が精度良く行うことができない被写体像は、上述の低コントラスト像以外に、一定周期の明暗パターンの像も存在する。そこで、そのような一定の周期パターン像が第1および第2の撮像素子21,22の画素の列方向と行方向のどちらに存在するかを検出して、周期パターンが存在しない方の撮像素子の焦点検出信号を使用して焦点検出を行う本実施の形態の変形例を以下に説明する。
図9は、本第1の実施の形態の変形例を示すブロック図であり、図7に示された本第1の実施の形態のブロック図との相違点は、図7の第1および第2のコントラスト検出部122,123の代わりに、第1および第2の周期パターン検出部128,129が設けられている点である。第1の周期パターン検出部128は、第1の焦点検出信号取得部120からの第1の焦点検出信号の周期パターン信号波形を検出することによって、第1の焦点検出信号に周期パターンが存在するか否かを検出する。同様に、第2の周期パターン検出部129は、第2の焦点検出信号取得部121からの第2の焦点検出信号の周期パターン信号波形を検出することによって、第2の焦点検出信号に周期パターンが存在するか否かを検出する。判定部124は、第1および第2の周期パターン検出部128,129のどちらが周期パターンを検出したかを判定する。選択部125は、判定部124が、第1および第2の周期パターン検出部128,129のどちらも周期パターンを検出していないと、判定した場合には、第1および第2の焦点検出信号の両方を選択し、判定部124が、第1の周期パターン検出部128が周期パターンを検出したと、判定した場合には、第2の焦点検出信号を選択し、判定部124が、第2の周期パターン検出部129が周期パターンを検出したと、判定した場合には、第1の焦点検出信号を選択する。相関演算部126およびデフォーカス量算出部127の動作は、図7の場合と同様である。
以上のように、本変形例では、第1の撮像素子21の画素210の第1および第2の光電変換部210a,210bの配列方向と第2の撮像素子22の画素220の第1および第2の光電変換部220a,220bの配列方向とが異なっているので、設定焦点検出エリアにおける第1の撮像素子21の列方向に配列された複数の画素210に形成された被写体像の周期パターンの有無と設定焦点検出エリアにおける第2の撮像素子22の行方向に配列された複数の画素220に形成された被写体像の周期パターンの有無とに基づき、周期パターンの存在しない方の撮像素子の焦点検出信号に基づき高精度な焦点検出を行うことができる。
なお、図9に示した変形例にあっても、選択部125が周期パターンの有無に応じて、第1および第2の焦点検出信号のいずれか、または両方を選択する代わりに、相関演算部126が常に第1および第2の焦点検出信号に基づく相関演算を行い、それらの相関演算結果から周期パターンの有無に応じて所定の相関演算結果を選択してもよく、または、デフォーカス量算出部127が常に第1および第2の焦点検出信号に基づくデフォーカス量を算出して、それらのデフォーカス量から周期パターンの有無に応じて所定のデフォーカス量を選択してもよい。
上述の第1の実施の形態または第1の変形例では、コントラスト量の多寡や周期パターンの有無に基づき、第1の撮像素子21からの第1の焦点検出信号または第2の撮像素子22からの第2の焦点検出信号を選択したが、これの代わりに、デジタルカメラ1の姿勢を姿勢センサーなどで検出し、デジタルカメラ1が通常位置、横位置にあるとき、すなわち、図3の第2の撮像素子22の画素配列の行方向が水平方向に一致するときには、第2の撮像素子22からの第2の焦点検出信号を選択する、すなわち第2の焦点検出信号を用いて焦点調節を行い、他方、デジタルカメラ1が縦位置にあるとき、すなわち、図3の第1の撮像素子21の画素配列の列方向が水平方向に一致するときには、第1の撮像素子21からの第1の焦点検出信号を選択し、すなわち第1の焦点検出信号を用いて焦点調節を行うように、することもできる。
<第2の変形例>
図10は、本第1の実施の形態の第2の変形例を示したものである。第2の変形例は、図10において、実線で示すようにマイクロレンズ233の焦点233Fが第2の撮像素子22の第1および第2の光電変換部220a,220bに位置するか、または、破線で示すようにマイクロレンズ233の焦点233Fが第1の撮像素子21の第1および第2の光電変換部210a,210bに位置する。
図10は、本第1の実施の形態の第2の変形例を示したものである。第2の変形例は、図10において、実線で示すようにマイクロレンズ233の焦点233Fが第2の撮像素子22の第1および第2の光電変換部220a,220bに位置するか、または、破線で示すようにマイクロレンズ233の焦点233Fが第1の撮像素子21の第1および第2の光電変換部210a,210bに位置する。
<第3の変形例>
図11は、本第1の実施の形態の第3の変形例を示したものである。図11において、マイクロレンズ233の焦点233F、すなわち焦点面は、第1の撮像素子21の第1および第2の光電変換部210a,210bの位置に位置する。第1の撮像素子21と第2の撮像素子22との間にインナーレンズ234が配置される。このインナーレンズ234の屈折力および配置位置は、インナーレンズ234に関して第1の撮像素子21の第1および第2の光電変換部210a,210bの位置と第2の撮像素子22の第1および第2の光電変換部220a,220bの位置とが光学的に共役となるように、定められている。
図11は、本第1の実施の形態の第3の変形例を示したものである。図11において、マイクロレンズ233の焦点233F、すなわち焦点面は、第1の撮像素子21の第1および第2の光電変換部210a,210bの位置に位置する。第1の撮像素子21と第2の撮像素子22との間にインナーレンズ234が配置される。このインナーレンズ234の屈折力および配置位置は、インナーレンズ234に関して第1の撮像素子21の第1および第2の光電変換部210a,210bの位置と第2の撮像素子22の第1および第2の光電変換部220a,220bの位置とが光学的に共役となるように、定められている。
このインナーレンズ234を配置することによって、マイクロレンズ233およびインナーレンズ234に関して第2の撮像素子22の第1および第2の光電変換部220a,220bの位置と共役な位置は、マイクロレンズ233に関して第1の撮像素子21の第1および第2の光電変換部210a,210bの位置と共役な位置と一致する。換言すると、インナーレンズ234の配置によって、第1の撮像素子21に関する第1の測距瞳面の位置と第2の撮像素子22に関する第2の測距瞳面の位置とを一致させることができる。
<第4の変形例>
図12は、本第1の実施の形態に関する第4の変形例を示す断面図である。本第1の実施の形態は図4に示したように第1の撮像素子21は光電変換部として有機光電膜を使用し、第2の撮像素子22は光電変換部としてフォトダイオードを使用するものであった。第4の変形例は第1および第2の撮像素子21,22の両方とも、光電変換部として有機光電膜を使用するものである。
図12は、本第1の実施の形態に関する第4の変形例を示す断面図である。本第1の実施の形態は図4に示したように第1の撮像素子21は光電変換部として有機光電膜を使用し、第2の撮像素子22は光電変換部としてフォトダイオードを使用するものであった。第4の変形例は第1および第2の撮像素子21,22の両方とも、光電変換部として有機光電膜を使用するものである。
図12において、第1の撮像素子21の構成は、図4に示した第1の撮像素子21と同一である。第2の撮像素子23は、半導体基板50の上面に平坦化層55を介して形成され、各画素240は、紙面に垂直方向に配列された第1および第2の光電変換部240a,240bを有する。
第2の撮像素子23の各画素240は、有機光電膜250と、有機光電膜250の下面に形成された透明な共通電極251と、有機光電膜250の上面に形成された透明な第1および第2の部分電極252a,252bとを有する。第1および第2の部分電極252a,252bは、上述のように、紙面に垂直な方向、すなわち、第1の撮像素子21の第1および第2の第1および第2の部分電極232a,232bの配列方向と直交する方向に配列されている。第2の撮像素子23の各画素240は、有機光電膜250と共通電極251と第1の部分電極252aとが第1の光電変換部240aを構成し、有機光電膜250と共通電極251と第2の部分電極252bとが第2の光電変換部240bを構成する。
第1の撮像素子21と第2の撮像素子23との間には、絶縁層56が設けられている。第1の撮像素子22の信号読み出し回路、および、第2の撮像素子23の信号読み出し回路は、半導体基板50に形成されている。半導体基板50と第2の撮像素子23との間には例えば3層構造の配線層51が設けられている。
第2の撮像素子23の各画素240は、有機光電膜250と、有機光電膜250の下面に形成された透明な共通電極251と、有機光電膜250の上面に形成された透明な第1および第2の部分電極252a,252bとを有する。第1および第2の部分電極252a,252bは、上述のように、紙面に垂直な方向、すなわち、第1の撮像素子21の第1および第2の第1および第2の部分電極232a,232bの配列方向と直交する方向に配列されている。第2の撮像素子23の各画素240は、有機光電膜250と共通電極251と第1の部分電極252aとが第1の光電変換部240aを構成し、有機光電膜250と共通電極251と第2の部分電極252bとが第2の光電変換部240bを構成する。
第1の撮像素子21と第2の撮像素子23との間には、絶縁層56が設けられている。第1の撮像素子22の信号読み出し回路、および、第2の撮像素子23の信号読み出し回路は、半導体基板50に形成されている。半導体基板50と第2の撮像素子23との間には例えば3層構造の配線層51が設けられている。
以上のように、第4の変形例によると、第2の撮像素子23と半導体基板50との間の間隔には配線層51が設けられるので、比較的大きな間隔を必要とするが、第1および第2の撮像素子21,23との間隔は配線層51を必要としないので、比較的小さくすることができる。したがって、第1の撮像素子21に関する測距瞳面の位置と第2の撮像素子23に関する測距瞳面の位置とを接近させることができる。
また、図13に示すように、第2の撮像素子22を裏面照射型の撮像素子としてもよい。これにより、上述の場合と同様に、第1および第2の撮像素子21,22との間隔は配線層51を必要としないので、比較的小さくすることができる。したがって、第1の撮像素子21に関する測距瞳面の位置と第2の撮像素子22に関する測距瞳面の位置とを接近させることができる。
<第5の変形例>
図14は、本第1の実施の形態に関する第5の変形例を示すブロック図である。図5および図6に示した第1および第2の撮像素子21,22の信号読み出し回路にあっては、第1の光電変換信号が第1の水平出力回路152,162から出力され、第2の光電変換信号が第2の水平出力回路153,163から出力され、また、第1および第2の撮像素子21,22について、AD変換回路24が第1および第2の光電変換信号をAD変換し、制御部12の画像生成部12bが第1および第2の光電変換信号の加算を行うものであった。第5の変形例は、第2の撮像素子22の各画素220の第1および第2の光電変換信号をAD変換するAD変換部と、第1および第2の光電変換信号の両方を出力する第1および第2の光電変換信号用の水平出力回路と、第1および第2の光電変換信号を加算する加算回路と、加算信号を出力する加算信号用の水平出力回路とを有するものである。
図14は、本第1の実施の形態に関する第5の変形例を示すブロック図である。図5および図6に示した第1および第2の撮像素子21,22の信号読み出し回路にあっては、第1の光電変換信号が第1の水平出力回路152,162から出力され、第2の光電変換信号が第2の水平出力回路153,163から出力され、また、第1および第2の撮像素子21,22について、AD変換回路24が第1および第2の光電変換信号をAD変換し、制御部12の画像生成部12bが第1および第2の光電変換信号の加算を行うものであった。第5の変形例は、第2の撮像素子22の各画素220の第1および第2の光電変換信号をAD変換するAD変換部と、第1および第2の光電変換信号の両方を出力する第1および第2の光電変換信号用の水平出力回路と、第1および第2の光電変換信号を加算する加算回路と、加算信号を出力する加算信号用の水平出力回路とを有するものである。
図14において、第2の撮像素子22は、行走査回路161と、AD変換部164と、第1および第2の光電変換信号用の水平出力回路165と、加算部166と、加算信号用の水平出力回路167とを有する。以下の説明では、図6に示した、第2の撮像素子22の光電変換信号の読み出し回路との相違点を主に説明する。
AD変換部164は、行方向にn列配置された各画素220の第1の光電変換部220aのそれぞれに対応する、n個のADC(アナログ-デジタル変換回路)164aと、各画素220の第2の光電変換部220bのそれぞれに対応する、n個のADC164bとを備えている。
第1および第2の光電変換信号用の水平出力回路165は、AD変換部164のn個のADC164aにそれぞれ対応するn個のメモリ165aと、AD変換部164のn個のADC164bにそれぞれ対応するn個のメモリ165bとを備えている。
加算部166は、行方向にn列配置された各画素220のそれぞれに対応する、n個のデジタル加算回路165aを備えている。
加算信号用の水平出力回路167は、加算部166のn個のデジタル加算回路166aにそれぞれ対応するn個のメモリ167aを備えている。
AD変換部164は、行方向にn列配置された各画素220の第1の光電変換部220aのそれぞれに対応する、n個のADC(アナログ-デジタル変換回路)164aと、各画素220の第2の光電変換部220bのそれぞれに対応する、n個のADC164bとを備えている。
第1および第2の光電変換信号用の水平出力回路165は、AD変換部164のn個のADC164aにそれぞれ対応するn個のメモリ165aと、AD変換部164のn個のADC164bにそれぞれ対応するn個のメモリ165bとを備えている。
加算部166は、行方向にn列配置された各画素220のそれぞれに対応する、n個のデジタル加算回路165aを備えている。
加算信号用の水平出力回路167は、加算部166のn個のデジタル加算回路166aにそれぞれ対応するn個のメモリ167aを備えている。
タイミング信号R(1)に応じて、第1行目のn個の画素220の第1および第2の光電変換部220a,220bの光電変換信号が、それぞれ対応するAD変換部164のADC164a,164bに同時に出力される。ADC164a,164bは、入力された第1および第2の光電変換部220a,220bの光電変換信号をそれぞれデジタル信号に変換して、それぞれ対応する第1および第2の光電変換信号用の水平出力回路165のメモリ165a,165bに出力する。第1および第2の光電変換信号用の水平出力回路165の各メモリ165a,165bは、ADC164a,164bから出力されたデジタル信号をそれぞれ記憶する。第1および第2の光電変換信号用の水平出力回路165は各メモリ165a,165bに記憶した第1および第2の光電変換信号を順次、出力部165Aから出力する。
また、加算部166のデジタル加算回路166aは、各画素220毎にADC164a,164bによってAD変換された第1および第2の光電変換信号を加算する。加算信号用の水平出力回路167の各メモリ167aは、デジタル加算回路166aから出力されたデジタル加算信号をそれぞれ記憶する。加算信号用の水平出力回路167は各メモリ167aに記憶されたデジタル加算信号を順次、出力部167Aから出力する。
また、加算部166のデジタル加算回路166aは、各画素220毎にADC164a,164bによってAD変換された第1および第2の光電変換信号を加算する。加算信号用の水平出力回路167の各メモリ167aは、デジタル加算回路166aから出力されたデジタル加算信号をそれぞれ記憶する。加算信号用の水平出力回路167は各メモリ167aに記憶されたデジタル加算信号を順次、出力部167Aから出力する。
次いで、タイミング信号R(2)に応じて、第2行目の複数の画素220の第1および第2の光電変換部220a,220bの第1および第2の光電変換信号がそれぞれAD変換部164でデジタル信号に変換されて、第1および第2の光電変換信号用の水平出力回路165の出力部165Aから順次出力される。また、AD変換部164でAD変換された第1および第2の光電変換信号はデジタル加算回路166aで加算され、加算信号が、加算信号用の水平出力回路167の出力部167Aから順次出力される。
その後、順次、タイミング信号R(m)に応じて、第(m)行目の複数の画素220の第1および第2の光電変換部220a,220bの第1および第2の光電変換信号がAD変換部164でデジタル信号に変換されて、第1および第2の光電変換信号用の水平出力回路165の出力部165Aから順次出力され、加算信号が加算信号用の水平出力回路167の出力部167Aから順次出力される。
このように、第1の撮像素子21の各画素210の第1および第2の光電変換部210a,210bの光電変換信号、および、第2の撮像素子22の各画素220の第1および第2の光電変換部220a,220bの光電変換信号は、各撮像素子21,22の外部で、すなわち図1の画像生成部12bで加算してもよく、図14に示すように各撮像素子21,22の内部で加算してもよい。
その後、順次、タイミング信号R(m)に応じて、第(m)行目の複数の画素220の第1および第2の光電変換部220a,220bの第1および第2の光電変換信号がAD変換部164でデジタル信号に変換されて、第1および第2の光電変換信号用の水平出力回路165の出力部165Aから順次出力され、加算信号が加算信号用の水平出力回路167の出力部167Aから順次出力される。
このように、第1の撮像素子21の各画素210の第1および第2の光電変換部210a,210bの光電変換信号、および、第2の撮像素子22の各画素220の第1および第2の光電変換部220a,220bの光電変換信号は、各撮像素子21,22の外部で、すなわち図1の画像生成部12bで加算してもよく、図14に示すように各撮像素子21,22の内部で加算してもよい。
<第6の変形例>
本第1の実施の形態では、図3に示したように第1の撮像素子21の各画素210における第1および第2の光電変換部210aおよび210bが、列方向、すなわち図3(a)で上下方向に配列され、第2の撮像素子22の各画素220における第1および第2の光電変換部220aおよび220bが、行方向、すなわち図3(b)で左右方向に配列されるように構成した。しかしながら、第1の撮像素子21の各画素210における第1および第2の光電変換部210aおよび210bが、行方向に配列され、第2の撮像素子22の各画素220における第1および第2の光電変換部220aおよび220bが、列方向に配列されるように構成してもよい。
本第1の実施の形態では、図3に示したように第1の撮像素子21の各画素210における第1および第2の光電変換部210aおよび210bが、列方向、すなわち図3(a)で上下方向に配列され、第2の撮像素子22の各画素220における第1および第2の光電変換部220aおよび220bが、行方向、すなわち図3(b)で左右方向に配列されるように構成した。しかしながら、第1の撮像素子21の各画素210における第1および第2の光電変換部210aおよび210bが、行方向に配列され、第2の撮像素子22の各画素220における第1および第2の光電変換部220aおよび220bが、列方向に配列されるように構成してもよい。
<第7の変形例>
本第1の実施の形態では、第1および第2の撮像素子21,22からの第1および第2の光電変換信号が、焦点検出信号として用いられると共に、画像信号として用いられるものであった。しかしながら、たとえば、第1および第2の撮像素子21,22の一方からの第1および第2の光電変換信号を画像信号に使用し、第1および第2の撮像素子21,22の他方からの第1および第2の光電変換信号を焦点検出信号に使用するようにしてもよい。
本第1の実施の形態では、第1および第2の撮像素子21,22からの第1および第2の光電変換信号が、焦点検出信号として用いられると共に、画像信号として用いられるものであった。しかしながら、たとえば、第1および第2の撮像素子21,22の一方からの第1および第2の光電変換信号を画像信号に使用し、第1および第2の撮像素子21,22の他方からの第1および第2の光電変換信号を焦点検出信号に使用するようにしてもよい。
<第8の変形例>
図15は、第8の変形例を示すものである。本第1の実施の形態にあっては、図3に示したように、第1の撮像素子21の各画素210の第1および第2の光電変換部210a,210bの形状は、大きな矩形を水平方向に2等分したような形状であり、第2の撮像素子22の各画素220の第1および第2の光電変換部220a,220bの形状は、大きな矩形を上下方向に2等分したような形状であった。第8の変形例は、第1および第2の撮像素子21,22の第1および第2の光電変換部の形状は、大きな矩形をその対角線方向に2等分したような形状である。図15(a)は、第1の撮像素子21の2行2列の画素210を示したもので、第1および第2の光電変換部210a,210bは、大きな正方形をその対角線で分断したような直角三角形状である。図15(b)は、第2の撮像素子22の2行2列の画素220を示したもので、第1および第2の光電変換部220a,220bは、第1の撮像素子21と同様に大きな正方形をその対角線で分断したような直角三角形状である、この分断方向は、第1の撮像素子21の分断方向と直交する。
したがって、第1の撮像素子21の各画素210の第1および第2の光電変換部210a,210bの並び方向、すなわち配列方向と、第2の撮像素子22の各画素220の第1および第2の光電変換部220a,220bの並び方向、すなわち配列方向とは、異なる。
図15は、第8の変形例を示すものである。本第1の実施の形態にあっては、図3に示したように、第1の撮像素子21の各画素210の第1および第2の光電変換部210a,210bの形状は、大きな矩形を水平方向に2等分したような形状であり、第2の撮像素子22の各画素220の第1および第2の光電変換部220a,220bの形状は、大きな矩形を上下方向に2等分したような形状であった。第8の変形例は、第1および第2の撮像素子21,22の第1および第2の光電変換部の形状は、大きな矩形をその対角線方向に2等分したような形状である。図15(a)は、第1の撮像素子21の2行2列の画素210を示したもので、第1および第2の光電変換部210a,210bは、大きな正方形をその対角線で分断したような直角三角形状である。図15(b)は、第2の撮像素子22の2行2列の画素220を示したもので、第1および第2の光電変換部220a,220bは、第1の撮像素子21と同様に大きな正方形をその対角線で分断したような直角三角形状である、この分断方向は、第1の撮像素子21の分断方向と直交する。
したがって、第1の撮像素子21の各画素210の第1および第2の光電変換部210a,210bの並び方向、すなわち配列方向と、第2の撮像素子22の各画素220の第1および第2の光電変換部220a,220bの並び方向、すなわち配列方向とは、異なる。
<第9の変形例>
図16は、第9の変形例を示すものである。本第1の実施の形態では、図3に示したように、第1の撮像素子21の各画素210、および、第2の撮像素子22の各画素220は、第1および第2の光電変換部を有するものであった。第9の変形例は、第1および第2の撮像素子21,22の各画素は、第1~第4の光電変換部を有する。すなわち、第9の変形例は、各画素の光電変換部は、4分割されている。図16(a)において、第1および第2の撮像素子21,22の各画素210,220は、行方向および列方向に分割された第1~第4の光電変換部210c~210f,220c~220fを有する。
図16は、第9の変形例を示すものである。本第1の実施の形態では、図3に示したように、第1の撮像素子21の各画素210、および、第2の撮像素子22の各画素220は、第1および第2の光電変換部を有するものであった。第9の変形例は、第1および第2の撮像素子21,22の各画素は、第1~第4の光電変換部を有する。すなわち、第9の変形例は、各画素の光電変換部は、4分割されている。図16(a)において、第1および第2の撮像素子21,22の各画素210,220は、行方向および列方向に分割された第1~第4の光電変換部210c~210f,220c~220fを有する。
したがって、第1の撮像素子21の画素210について、例えば、第1の光電変換部210cの光電変換信号と第2の光電変換部210dの光電変換信号とから第1の焦点検出信号を作成すると共に、第2の撮像素子22の画素220について、例えば、第1の光電変換部220cの光電変換信号と第3の光電変換部220eの光電変換信号とから第2の焦点検出信号を作成すると、第1の撮像素子21の各画素210の第1および第2の光電変換部210c,210dの並び方向、すなわち配列方向と、第2の撮像素子22の各画素220の第1および第3の光電変換部220c,220eの並び方向、すなわち配列方向とは、異なることになる。
また、図16(b)において、第1および第2の撮像素子21,22の各画素210,220は、斜め方向に分割された第1~第4の光電変換部210c~210f,220c~220fを有する。したがって、第1の撮像素子21の画素210について、例えば、第1の光電変換部210cの光電変換信号と第4の光電変換部210fの光電変換信号とから第1の焦点検出信号を作成すると共に、第2の撮像素子22の画素220について、例えば、第2の光電変換部220dの光電変換信号と第3の光電変換部220eの光電変換信号とから第2の焦点検出信号を作成すると、第1の撮像素子21の各画素210の第1および第4の光電変換部210c,210fの並び方向、すなわち配列方向と、第2の撮像素子22の各画素220の第2および第3の光電変換部220d,220eの並び方向、すなわち配列方向とは、異なることになる。
<第10の変形例>
第10の変形例では、有機光電膜を用いた撮像素子を2層構造としたものである。
第1の撮像素子は、「Mg」画素と「Cy」画素と「Ye」画素とによって、マゼンタの色成分の例えば50%とシアンの色成分の例えば50%とイエローの色成分の例えば50%とを吸収し、マゼンタの色成分の残部とシアンの色成分の残部とイエローの色成分の残部とを透過させる共に、緑色成分と赤色成分と青色成分とを透過させる。
第3の撮像素子は、第1の撮像素子21と同様に、有機光電膜を光電変換部とする撮像素子である。第3の撮像素子は、第1の撮像素子の背後に積層配置され、第1の撮像素子と同様に、「Mg」画素と「Cy」画素と「Ye」画素とを有し、これらの「Mg」画素と「Cy」画素と「Ye」画素は、第1の撮像素子を透過したマゼンタの色成分の残部とシアンの色成分の残部とイエローの色成分の残部とをそれぞれ吸収すると共に、第1の撮像素子を透過した緑色成分と赤色成分と青色成分とを透過させる。
第2の撮像素子は、図3および図4に示した第2の撮像素子と全く同一のものであり、第3の撮像素子を透過した緑色成分と赤色成分と青色成分とを吸収して光電変換する。
したがって、第3の撮像素子の各画素の第1および第2の光電変換部として、例えば、図15(a)または(b)に示した光電変換部を使用すると、第1~第3の撮像素子は、それぞれの第1および第2の光電変換部の並び方向がそれぞれ異なることになる。
第10の変形例では、有機光電膜を用いた撮像素子を2層構造としたものである。
第1の撮像素子は、「Mg」画素と「Cy」画素と「Ye」画素とによって、マゼンタの色成分の例えば50%とシアンの色成分の例えば50%とイエローの色成分の例えば50%とを吸収し、マゼンタの色成分の残部とシアンの色成分の残部とイエローの色成分の残部とを透過させる共に、緑色成分と赤色成分と青色成分とを透過させる。
第3の撮像素子は、第1の撮像素子21と同様に、有機光電膜を光電変換部とする撮像素子である。第3の撮像素子は、第1の撮像素子の背後に積層配置され、第1の撮像素子と同様に、「Mg」画素と「Cy」画素と「Ye」画素とを有し、これらの「Mg」画素と「Cy」画素と「Ye」画素は、第1の撮像素子を透過したマゼンタの色成分の残部とシアンの色成分の残部とイエローの色成分の残部とをそれぞれ吸収すると共に、第1の撮像素子を透過した緑色成分と赤色成分と青色成分とを透過させる。
第2の撮像素子は、図3および図4に示した第2の撮像素子と全く同一のものであり、第3の撮像素子を透過した緑色成分と赤色成分と青色成分とを吸収して光電変換する。
したがって、第3の撮像素子の各画素の第1および第2の光電変換部として、例えば、図15(a)または(b)に示した光電変換部を使用すると、第1~第3の撮像素子は、それぞれの第1および第2の光電変換部の並び方向がそれぞれ異なることになる。
更に、第3の撮像素子と第2の撮像素子との間に、「R」画素と「G」画素と「B」画素とを有する有機光電膜を用いた第4の撮像素子を設けてもよい。この第4の撮像素子の「R」画素と「G」画素と「B」画素は、第3の撮像素子を透過した赤色成分の例えば50%と緑色成分の例えば50%と青色成分の例えば50%とを吸収し、残りを透過させる。これによって、「Mg」画素と「Cy」画素と「Ye」画素とを有する第1および第3の撮像素子と、「R」画素と「G」画素と「B」画素とを有する第2および第4の撮像素子とが互いに積層される。これらの第1~第4の撮像素子の各画素の光電変換部の構成として、図3、図15、図16などの構成を使用することによって、撮像素子毎に、光電変換部の並び方向を異ならせることができる。
<第11の変形例>
本第1の実施の形態では、第1の撮像素子21の第(n)列目の複数の画素210の第1および第2の光電変換部210a,210bの第1および第2の光電変換信号がそれぞれ第1および第2の水平出力回路152,153に同時に読み出され、第1および第2の水平出力回路152,153の出力部152A,153Aから順次、出力されるものであった。第11の変形例は、第1の撮像素子21の各画素210の第1および第2の光電変換部210aおよび210bの光電変換信号の読み出し回路が、図6に示すもの、すなわち、第2の撮像素子22の読み出し回路と同一構成のものである。
本第1の実施の形態では、第1の撮像素子21の第(n)列目の複数の画素210の第1および第2の光電変換部210a,210bの第1および第2の光電変換信号がそれぞれ第1および第2の水平出力回路152,153に同時に読み出され、第1および第2の水平出力回路152,153の出力部152A,153Aから順次、出力されるものであった。第11の変形例は、第1の撮像素子21の各画素210の第1および第2の光電変換部210aおよび210bの光電変換信号の読み出し回路が、図6に示すもの、すなわち、第2の撮像素子22の読み出し回路と同一構成のものである。
行走査回路161は、複数の画素210の第1および第2の光電変換部210a,210bに対して信号読み出し用のタイミング信号R(m)を出力する。すなわち、行走査回路161は、第1行目の複数の画素210の第1および第2の光電変換部210a,210bに対して信号読み出し用のタイミング信号R(1)を出力し、次いで、第2行目の複数の画素210の第1および第2の光電変換部210a,210bに対して信号読み出し用のタイミング信号R(2)を出力し、その後、順次、第(m)行目の複数の画素210の第1および第2の光電変換部210a,210bに対して信号読み出し用のタイミング信号R(m)を出力する。
タイミング信号R(m)に応じて、第1の水平出力回路162は、第(m)行目の複数の画素210の第1の光電変換部210aの第1の光電変換信号を同時に読み出し、同様に、第2の水平出力回路163は、第(m)行目の複数の画素210の第2の光電変換部210bの第2の光電変換信号を同時に読み出す。
第1の水平出力回路162は、読み出した第1の光電変換部210aの第1の光電変換信号を出力部162Aから出力し、第2の水平出力回路163は、読み出した第2の光電変換部210bの第2の光電変換信号を出力部163Aから出力する。
第1の水平出力回路162は、読み出した第1の光電変換部210aの第1の光電変換信号を出力部162Aから出力し、第2の水平出力回路163は、読み出した第2の光電変換部210bの第2の光電変換信号を出力部163Aから出力する。
第1の水平出力回路162から出力された第1の光電変換信号と第2の水平出力回路163から出力された第2の光電変換信号は、図1に示されたバッファメモリ16を介して焦点検出部12aおよび画像生成部12bに送られ、焦点検出部12aは、同時に読み出された第(m)行目の第1および第2の光電変換部210a,210bの第1および第2の光電変換信号に基づき、位相差焦点検出演算を行う。また、画像生成部12bは、各画素210の第1および第2の光電変換部210a,210bの第1および第2の光電変換信号を加算して、画像信号を生成する。
第11の変形例では、第2の撮像素子22と同様に、同一行に配列された複数の画素210の第1の光電変換部210aの第1の光電変換信号が同時に読み出され、第2の光電変換部210bの第2の光電変換信号を同時に読み出される。これにより、後述するように、第1および第2の撮像素子21,22に関する対応関係の画素210,220の第1および第2の光電変換信号を合成して画像を得る場合に、対応関係の画素210,220同士の読み出しタイミングを一致させることができるので、得られる画像の画質を向上できる。
<第12の変形例>
本第1の実施の形態では、画像生成部12bが、第1の撮像素子21の各画素の第1および第2の光電変換信号を加算して第1の画像信号を生成すると共に、第2の撮像素子22の各画素の第1および第2の光電変換信号を加算して第2の画像信号を生成するものであった。第12の変形例は、更に、画像生成部12bが、第1の水平出力回路152から出力された第1の撮像素子21の各画素の第1の光電変換信号に基づき、例えば左眼用の画像信号を、第2の水平出力回路153から出力された各画素の第2の光電変換信号に基づき、例えば右眼用の画像信号を、それぞれ生成して、第1の立体画像信号を生成する。同様に、画像生成部12bが、第1の水平出力回路162から出力された第2の撮像素子22の各画素の第1の光電変換信号に基づき、例えば左眼用の画像信号を、第2の水平出力回路163から出力された各画素の第2の光電変換信号に基づき、例えば右眼用の画像信号を、それぞれ生成して、第2の立体画像信号を生成する。
本第1の実施の形態では、画像生成部12bが、第1の撮像素子21の各画素の第1および第2の光電変換信号を加算して第1の画像信号を生成すると共に、第2の撮像素子22の各画素の第1および第2の光電変換信号を加算して第2の画像信号を生成するものであった。第12の変形例は、更に、画像生成部12bが、第1の水平出力回路152から出力された第1の撮像素子21の各画素の第1の光電変換信号に基づき、例えば左眼用の画像信号を、第2の水平出力回路153から出力された各画素の第2の光電変換信号に基づき、例えば右眼用の画像信号を、それぞれ生成して、第1の立体画像信号を生成する。同様に、画像生成部12bが、第1の水平出力回路162から出力された第2の撮像素子22の各画素の第1の光電変換信号に基づき、例えば左眼用の画像信号を、第2の水平出力回路163から出力された各画素の第2の光電変換信号に基づき、例えば右眼用の画像信号を、それぞれ生成して、第2の立体画像信号を生成する。
画像処理部14は、画像生成部12bからの第1および第2の立体画像信号に対して、補間処理、圧縮処理、ホワイトバランス処理などの各種の画像処理を行って第1および第2の立体画像データを生成する。第1および第2の立体画像データは、モニタ15に表示されたり、メモリカード17に格納されたりする。
次に、第1および第2の立体画像データの再生について説明する。第1の撮像素子21からの第1および第2の光電変換信号による第1の立体画像信号は、撮像素子の画素の列方向、すなわち撮影光学系10の瞳の第1および第2の瞳領域の並び方向に視差を有する。同様に、第2の撮像素子22からの第1および第2の光電変換信号による第2の立体画像信号は、撮像素子の画素の行方向、すなわち撮影光学系10の瞳の第3および第4の瞳領域の並び方向に視差を有する。
そこで、図1に示したモニタ15は、観察者の顔が正立または直立している場合には、行方向に視差を有する第2の立体画像信号に基づき立体画像を表示し、逆に、観察者が寝転がっているなどして観察者の顔が横に傾いている場合には、列方向に視差を有する第1の立体画像信号に基づき立体画像を表示する。
そこで、図1に示したモニタ15は、観察者の顔が正立または直立している場合には、行方向に視差を有する第2の立体画像信号に基づき立体画像を表示し、逆に、観察者が寝転がっているなどして観察者の顔が横に傾いている場合には、列方向に視差を有する第1の立体画像信号に基づき立体画像を表示する。
なお、このように、観察者の顔の傾きに応じて表示する立体画像を切り替えるためには、例えばモニタ15の外側に撮像装置を設置し、この撮像装置によって、観察者の顔を撮像し、図1に示した制御部12に設けられた公知の顔認識部によって、観察者の顔を認識し、認識した顔における左右の目の並びの方向を検出し、この目の並び方向に基づき、顔の正立または横向きを判定する。上述した観察者の顔の傾きに応じて立体画像の表示を切り替えることは、モニタ15以外のモニタにおいても実施することができる。例えば、第1および第2の立体画像信号をパソコンなどに転送して、そのパソコンのモニタにおいて観察者の顔の傾き角度に応じて、第1の立体画像信号に基づく立体画像と第2の立体画像信号に基づく立体画像とを切り替えることができる。
以上のように、本変形例によると、互いに異なった方向に視差を有する第1および第2の立体画像信号が生成されるので、観察者の顔の傾き角度に応じて、立体画像表示を切り替えることができ、これによって例えば、顔が正立していても横を向いていても効果的に立体視が可能になる。
<第2の実施の形態>
図17は、第2の実施の形態の基本的な考え方を示したものである。上述の第1の実施の形態では、第1の撮像素子21の画素210は、第1および第2の光電変換部210a,210bの第1および第2の光電変換信号を加算して画像信号を生成するが、図17(a)に示すように第1および第2の光電変換部210a,210bは、間隙210cを隔てて配置されているので、この間隙210cに入射した光束は、光電変換されない。すなわち、画素210は、入射光束に関して不感帯領域210cが生じている。同様に第2の撮像素子22の画素220も第1および第2の光電変換部220a,220bの第1および第2の光電変換信号を加算して画像信号を生成するが、図17(b)に示すように第1および第2の光電変換部220a,220bが間隙220cを隔てて配置されているので、その間隙220cが画素220への入射光束に関して不感帯領域となっている。第2の実施の形態は、このような画像信号に関する不感帯領域を減少させるものである。
図17は、第2の実施の形態の基本的な考え方を示したものである。上述の第1の実施の形態では、第1の撮像素子21の画素210は、第1および第2の光電変換部210a,210bの第1および第2の光電変換信号を加算して画像信号を生成するが、図17(a)に示すように第1および第2の光電変換部210a,210bは、間隙210cを隔てて配置されているので、この間隙210cに入射した光束は、光電変換されない。すなわち、画素210は、入射光束に関して不感帯領域210cが生じている。同様に第2の撮像素子22の画素220も第1および第2の光電変換部220a,220bの第1および第2の光電変換信号を加算して画像信号を生成するが、図17(b)に示すように第1および第2の光電変換部220a,220bが間隙220cを隔てて配置されているので、その間隙220cが画素220への入射光束に関して不感帯領域となっている。第2の実施の形態は、このような画像信号に関する不感帯領域を減少させるものである。
図17(c)に示したように、撮像素子21と撮像素子22との対応関係にある画素210と220とを重ねて表示すると、第1の撮像素子21の画素210の不感帯領域210cの大部分には、第2の撮像素子22の画素220の第1および第2の光電変換部220a,220bが存在し、第2の撮像素子22の画素220の不感帯領域220cの大部分には、第1の撮像素子21の画素210の第1および第2の光電変換部210a,210bが存在する。したがって、対応関係にある画素210および220の全体における不感帯領域は、図17(c)に示したように不感帯領域210cと不感帯領域220cとの重なり部分291、すなわち、ハッチングを付した非常に小さな領域になる。
図18は、第2の実施の形態による第1および第2の撮像素子21,22に関する対応関係の画素210,220の第1および第2の光電変換信号の合成方法を示す図である。図18(a)は、第1の撮像素子21の一部の画素である2行×2列の「Mg」画素210と「Ye」画素210と「Cy」画素210と「Mg」画素210とを示し、図18(c)は、図18(a)の第1の撮像素子21の2行×2列の画素210にそれぞれ対応関係にある第2の撮像素子22の一部の画素である2行×2列の「G」画素220と「B」画素220と「R」画素220と「G」画素220を示す。
図18(a)に示したように、第1の撮像素子21の「Cy」画素210と二つの「Mg」画素210と「Ye」画素210は、CMY画像信号を出力し、このCMY画像信号は、図1に示した画像処理部14で公知の表色系変換処理によってRGB画像信号に変換される。この表色系変換処理によって生成したRGB画像信号は、RGB画像信号と画素210との関係で見ると、図18(a)に示した「Mg」画素210があたかもG信号を出力し、「Ye」画素210があたかもB信号を出力し、「Cy」画素210があたかもR信号を出力したものとなる。図18(b)は、RGB画像信号と画素210との関係を示したものである。
図1に示した画像処理部14は、図18(b)に示された第1の撮像素子21の各画素210の画像信号と、これに対応関係の、図18(c)に示された第2の撮像素子22の各画素220の画像信号とを加算する。すなわち画像処理部14は、図18(b)および(c)において、左上の画素210、220のG信号同士を加算してG加算信号を生成し、右上の画素210、220のB信号同士を加算してB加算信号を生成し、左下の画素210、220のR信号同士を加算してR加算信号を生成し、右下の画素210、220のG信号同士を加算してG加算信号を生成する。勿論、これらは、加算の代わりに、加算平均してもよい。
図18(d)は、撮像素子21の画素210と、これと対応関係の撮像素子22の画素220とを重ねて表示し、重ねられた画素210,220と加算信号との関係を模式的に示したものである。R,GおよびBの加算信号に関する不感帯は、図18(d)のハッチング領域291となり、非常に小さくすることができる。
<第3の実施の形態>
第3の実施の形態では、ローリングシャッタ歪みの補正について説明する。
図19は、第3の実施の形態の原理を説明するためのものである。上述したように、第1の撮像素子21の各画素210の第1および第2の光電変換部210aおよび210bの光電変換信号は、列毎に順次読み出され、第2の撮像素子22の各画素220の第1および第2の光電変換部220aおよび220bの光電変換信号は、行毎に順次読み出される。そのため、被写体が動いていると、撮像画像の移動被写体像にはいわゆるローリングシャッタ歪みが生じてしまう。
第3の実施の形態では、ローリングシャッタ歪みの補正について説明する。
図19は、第3の実施の形態の原理を説明するためのものである。上述したように、第1の撮像素子21の各画素210の第1および第2の光電変換部210aおよび210bの光電変換信号は、列毎に順次読み出され、第2の撮像素子22の各画素220の第1および第2の光電変換部220aおよび220bの光電変換信号は、行毎に順次読み出される。そのため、被写体が動いていると、撮像画像の移動被写体像にはいわゆるローリングシャッタ歪みが生じてしまう。
例えば、第1および第2の撮像素子21,22の行方向が水平となるようにデジタルカメラ1の姿勢を保ちつつ、正方形の被写体を撮像すると、被写体が静止していれば、図19(a)に示すように、第1および第2の撮像素子21,22によってそれぞれ撮像して得られた画像180における被写体像181は共に歪まない。しかし、被写体が水平方向に移動している場合、第1の撮像素子21の読み出し回路が図5に示す読み出し回路であれば、第1の撮像素子21によって撮像された被写体像181は、移動方向に応じて図19(b)または(c)に示すように、左右方向の長さが変化する。すなわち、図19(b)に示すように、被写体の移動方向が矢印方向(右方向へ移動)であると、被写体像181は、伸張され、図19(c)に示すように、被写体の移動が矢印方向(左方向へ移動)であると、被写体像181は短縮される。また、第2の撮像素子22の読み出し回路が図6に示す読み出し回路であれば、第2の撮像素子22によって撮像された被写体像181は、図19(d)または(e)に示すように、傾いてしまう。
図20は、第3の実施の形態を示したブロック図である。第1の画像信号取得部200は、第1の撮像素子21から繰り返し出力される画像信号を順次取得し、第2の画像信号取得部201は、第2の撮像素子22から繰り返し出力される画像信号を取得する。移動方向検出部202は、第1の画像信号取得部200からの画像信号と第2の画像信号取得部201からの画像信号とに基づき、移動被写体の移動方向を検出する。この移動方向の検出は、繰り返し出力された画像信号を比較することによって求めることができる。移動方向検出部202は、第1の画像信号取得部200と第2の画像信号取得部201との一方からの画像信号に基づいて移動方向を検出することもできる。
選択部203は、移動方向検出部202が検出した被写体の移動方向に基づき、第1の画像信号取得部200または第2の画像信号取得部201からの画像信号を選択する。具体的には、選択部203は、被写体の移動方向が左右方向である場合には第1の画像信号取得部200からの画像信号、すなわち第1の撮像素子21の画像信号を選択し、被写体の移動方向が上下方向である場合には第2の画像信号取得部201からの画像信号、すなわち第2の撮像素子22の画像信号を選択する。選択部203によって選択された画像信号は、モニタ15に表示されるか、またはメモリカード17に記憶される。このようにして、選択部が選択する画像信号は、図19(d)または(e)のような傾斜歪みを持つ画像ではなく、図19(b)または(c)のような傾斜歪みのない画像信号となる。
また、たとえば、図19(b)または(c)に示した被写体像181と、図19(d)または(e)に示した被写体像181と被写体移動方向情報とを用いて、このローリングシャッタ歪みを補正した画像を生成するように構成してもよい。すなわち、例えば、図19(b)または(c)に示した傾斜歪みの存在しない被写体像181の特定部分の角度αを検出すると共に、図19(d)または(e)に示した傾斜歪みが生じた被写体像181の前記特定部分の角度θを検出する。これらの角度αと角度θとを比較することによって、傾斜歪みに起因する角度を算出し、この傾斜歪みに起因する角度を補正することによって、傾斜歪みの存在しない被写体画像を生成する。
なお、上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
なお、上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2015年第71017号(2015年3月31日出願)
日本国特許出願2015年第71017号(2015年3月31日出願)
1;デジタルカメラ、10;撮影光学系、11;撮像部、12;制御部、21;第1の撮像素子、22,23;第2の撮像素子、210,220;画素、210a;第1の光電変換部、210b;第2の光電変換部、220a;第1の光電変換部、220b;第2の光電変換部、151;列走査回路、152;第1の水平出力回路、153;第2の水平出力回路、161;行走査回路、162;第1の水平出力回路、163;第2の水平出力回路
233;マイクロレンズ、233F;焦点、234;インナーレンズ
233;マイクロレンズ、233F;焦点、234;インナーレンズ
Claims (12)
- 入射光を受光し、第1の方向に配置された第1および第2の光電変換部を有する第1画素を含む第1の撮像素子と、
前記第1の撮像素子を透過する光を受光し、前記第1の方向とは異なる第2の方向に配置された第3および第4の光電変換部を有する第2画素を含む第2の撮像素子と、
を備える撮像装置。 - 請求項1に記載の撮像装置において、
前記第1の撮像素子は、前記入射光のうちの第1色の光を光電変換し、
前記第2の撮像素子は、前記第1色とは補色の光を光電変換する撮像装置。 - 請求項1または請求項2に記載の撮像装置において、
前記第1の撮像素子は、複数の前記第1画素が2次元に配置され、
前記第2の撮像素子は、複数の前記第2画素が2次元に配置され、
前記第2の方向に配置される複数の前記第1画素からの信号を読み出す第1の読み出し部と、
前記第1の方向に配置される複数の前記第2画素からの信号を読み出す第2の読み出し部と、
をさらに備える撮像装置。 - 請求項1乃至3のいずれか一項に記載の撮像装置において、
第1の撮像素子と第2の撮像素子との間に焦点位置を有し、前記第1画素の入射側に画素毎に配置されるマイクロレンズをさらに備える撮像装置。 - 請求項1乃至3のいずれか一項に記載の撮像装置において、
第1の撮像素子または第2の撮像素子に焦点位置を有し、前記第1画素の入射側に画素毎に配置されるマイクロレンズをさらに備える撮像装置。 - 請求項1乃至3のいずれか一項に記載の撮像装置において、
前記第1画素の入射側に画素毎に配置されるマイクロレンズと、
前記第1の撮像素子と前記第2の撮像素子との間に前記第2画素毎に配置されるインナーレンズと、
をさらに備える撮像装置。 - 請求項1乃至3のいずれか一項に記載の撮像装置において、
前記第1乃至第4の光電変換部は、有機光電膜である撮像装置。 - 請求項1乃至3のいずれか一項に記載の撮像装置において、
前記入射光は、撮影光学系を通過した光束であり、
前記第1の光電変換部からの第1信号と前記第2の光電変換部からの第2信号とに基づき前記撮影光学系の焦点調節状態を検出し、前記第3の光電変換部からの第3信号と前記第4の光電変換部からの第4信号とに基づき前記撮影光学系の焦点調節状態を検出する焦点検出部と、
前記第1信号と前記第2信号とを加算して画像信号を生成し、前記第3信号と前記第4信号とを加算して画像信号を生成する画像信号生成部と、
をさらに備える撮像装置。 - 請求項8に記載の撮像装置において、
前記第1および第2信号に基づいて前記焦点検出部が検出した焦点調節状態に基づいて前記撮影光学系の焦点調節を行うか、前記第3および第4信号に基づいて前記焦点検出部が検出した焦点調節状態に基づいて前記撮影光学系の焦点調節を行うかを選択する選択部をさらに備える撮像装置。 - 請求項8に記載の撮像装置において、
前記第1信号と前記第2信号とを加算して前記画像信号生成部が生成した画像信号と、前記第3信号と前記第4信号とを加算して前記画像信号生成部が生成した画像信号とを合成する合成部をさらに備える撮像装置。 - 請求項1乃至3のいずれか一項に記載の撮像装置において、
前記第1画素からの信号、および、前記第2画素からの信号の少なくとも一方により被写体の移動方向を検出する移動方向検出部と、
前記移動方向検出部が検出した前記被写体の移動方向に基づいて、前記第1画素からの信号による画像信号および前記第2画素からの信号による画像信号の一方を選択する画像信号選択部と、
をさらに備える撮像装置。 - 請求項1乃至3のいずれか一項に記載の撮像装置において、
前記第1画素からの信号、および、前記第2画素からの信号の少なくとも一方により被写体の移動方向を検出する移動方向検出部と、
前記移動方向検出部が検出した前記被写体の移動方向に基づいて、前記第1画素からの信号による第1画像および前記第2画素からの信号による第2画像の一方を補正する補正部と、
をさらに備える撮像装置。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16772499.6A EP3280133B1 (en) | 2015-03-31 | 2016-03-23 | Imaging device |
US15/556,011 US10511760B2 (en) | 2015-03-31 | 2016-03-23 | Image sensor with photoelectric conversion units arranged in different directions |
CN202010701717.4A CN111866340B (zh) | 2015-03-31 | 2016-03-23 | 拍摄装置 |
CN201680027016.9A CN107534747B (zh) | 2015-03-31 | 2016-03-23 | 拍摄元件以及拍摄装置 |
US16/672,571 US11102432B2 (en) | 2015-03-31 | 2019-11-04 | Image sensor with photoelectric conversion units arranged in different directions |
US17/382,433 US11546536B2 (en) | 2015-03-31 | 2021-07-22 | Image sensor with photoelectric conversion units arranged in different directions |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015071017A JP6536126B2 (ja) | 2015-03-31 | 2015-03-31 | 撮像素子および撮像装置 |
JP2015-071017 | 2015-03-31 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/556,011 A-371-Of-International US10511760B2 (en) | 2015-03-31 | 2016-03-23 | Image sensor with photoelectric conversion units arranged in different directions |
US16/672,571 Continuation US11102432B2 (en) | 2015-03-31 | 2019-11-04 | Image sensor with photoelectric conversion units arranged in different directions |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016158618A1 true WO2016158618A1 (ja) | 2016-10-06 |
Family
ID=57006020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/059233 WO2016158618A1 (ja) | 2015-03-31 | 2016-03-23 | 撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10511760B2 (ja) |
EP (1) | EP3280133B1 (ja) |
JP (1) | JP6536126B2 (ja) |
CN (2) | CN111866340B (ja) |
WO (1) | WO2016158618A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015162562A (ja) * | 2014-02-27 | 2015-09-07 | 株式会社ニコン | 撮像装置およびデジタルカメラ |
CN109671730A (zh) * | 2017-10-16 | 2019-04-23 | 松下知识产权经营株式会社 | 摄像装置 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016013410A1 (ja) * | 2014-07-22 | 2016-01-28 | ソニー株式会社 | 固体撮像素子および電子機器 |
US10326926B2 (en) * | 2017-01-13 | 2019-06-18 | Canon Kabushiki Kaisha | Focus detection apparatus and method, and image capturing apparatus |
JP6860390B2 (ja) * | 2017-03-22 | 2021-04-14 | キヤノン株式会社 | 撮像素子及びその制御方法、撮像装置、焦点検出装置及び方法 |
CN107846537B (zh) * | 2017-11-08 | 2019-11-26 | 维沃移动通信有限公司 | 一种摄像头组件、图像获取方法及移动终端 |
JP2020043522A (ja) * | 2018-09-12 | 2020-03-19 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2020120067A (ja) * | 2019-01-28 | 2020-08-06 | 日本放送協会 | 撮像素子 |
CN110769162B (zh) * | 2019-11-28 | 2021-07-13 | 维沃移动通信有限公司 | 电子设备及对焦方法 |
JP6910680B1 (ja) * | 2020-12-25 | 2021-07-28 | 株式会社SensAI | 撮像システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008028105A (ja) * | 2006-07-20 | 2008-02-07 | Nikon Corp | 固体撮像素子及びこれを用いた撮像装置 |
WO2013105481A1 (ja) * | 2012-01-13 | 2013-07-18 | 株式会社ニコン | 固体撮像装置および電子カメラ |
JP2015162562A (ja) * | 2014-02-27 | 2015-09-07 | 株式会社ニコン | 撮像装置およびデジタルカメラ |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3774597B2 (ja) | 1999-09-13 | 2006-05-17 | キヤノン株式会社 | 撮像装置 |
JP2007065330A (ja) | 2005-08-31 | 2007-03-15 | Canon Inc | カメラ |
JP5032954B2 (ja) | 2007-11-27 | 2012-09-26 | 日本放送協会 | カラー撮像装置 |
JP5537905B2 (ja) * | 2009-11-10 | 2014-07-02 | 富士フイルム株式会社 | 撮像素子及び撮像装置 |
JP5523065B2 (ja) * | 2009-11-13 | 2014-06-18 | キヤノン株式会社 | 撮像装置及びその制御方法 |
CN102256051B (zh) * | 2010-05-18 | 2016-07-06 | 精工爱普生株式会社 | 摄影装置、显示定时控制电路 |
JP5801665B2 (ja) * | 2011-09-15 | 2015-10-28 | キヤノン株式会社 | 固体撮像装置、a/d変換器およびその制御方法 |
JP2013187475A (ja) * | 2012-03-09 | 2013-09-19 | Olympus Corp | 固体撮像装置およびカメラシステム |
CN104221365B (zh) * | 2012-03-30 | 2018-11-06 | 株式会社尼康 | 拍摄元件、摄影方法及拍摄装置 |
KR101989907B1 (ko) * | 2012-05-31 | 2019-06-17 | 삼성전자주식회사 | 유기 이미지 센서 및 그 제조방법 |
JP2014209696A (ja) * | 2012-07-23 | 2014-11-06 | ソニー株式会社 | 固体撮像装置、信号読み出し方法、および電子機器 |
KR101334219B1 (ko) * | 2013-08-22 | 2013-11-29 | (주)실리콘화일 | 3차원 적층구조의 이미지센서 |
JP6108172B2 (ja) * | 2013-09-02 | 2017-04-05 | ソニー株式会社 | 固体撮像素子およびその製造方法、並びに電子機器 |
-
2015
- 2015-03-31 JP JP2015071017A patent/JP6536126B2/ja active Active
-
2016
- 2016-03-23 CN CN202010701717.4A patent/CN111866340B/zh active Active
- 2016-03-23 WO PCT/JP2016/059233 patent/WO2016158618A1/ja active Application Filing
- 2016-03-23 CN CN201680027016.9A patent/CN107534747B/zh active Active
- 2016-03-23 EP EP16772499.6A patent/EP3280133B1/en active Active
- 2016-03-23 US US15/556,011 patent/US10511760B2/en active Active
-
2019
- 2019-11-04 US US16/672,571 patent/US11102432B2/en active Active
-
2021
- 2021-07-22 US US17/382,433 patent/US11546536B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008028105A (ja) * | 2006-07-20 | 2008-02-07 | Nikon Corp | 固体撮像素子及びこれを用いた撮像装置 |
WO2013105481A1 (ja) * | 2012-01-13 | 2013-07-18 | 株式会社ニコン | 固体撮像装置および電子カメラ |
JP2015162562A (ja) * | 2014-02-27 | 2015-09-07 | 株式会社ニコン | 撮像装置およびデジタルカメラ |
Non-Patent Citations (1)
Title |
---|
See also references of EP3280133A4 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015162562A (ja) * | 2014-02-27 | 2015-09-07 | 株式会社ニコン | 撮像装置およびデジタルカメラ |
CN109671730A (zh) * | 2017-10-16 | 2019-04-23 | 松下知识产权经营株式会社 | 摄像装置 |
Also Published As
Publication number | Publication date |
---|---|
US11546536B2 (en) | 2023-01-03 |
US20210352233A1 (en) | 2021-11-11 |
US11102432B2 (en) | 2021-08-24 |
CN111866340A (zh) | 2020-10-30 |
EP3280133A4 (en) | 2018-09-12 |
US20200106949A1 (en) | 2020-04-02 |
JP2016192645A (ja) | 2016-11-10 |
CN107534747A (zh) | 2018-01-02 |
US10511760B2 (en) | 2019-12-17 |
US20180063410A1 (en) | 2018-03-01 |
CN107534747B (zh) | 2020-08-11 |
EP3280133A1 (en) | 2018-02-07 |
CN111866340B (zh) | 2022-03-11 |
JP6536126B2 (ja) | 2019-07-03 |
EP3280133B1 (en) | 2020-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016158618A1 (ja) | 撮像装置 | |
JP4952060B2 (ja) | 撮像装置 | |
JP5045350B2 (ja) | 撮像素子および撮像装置 | |
JP5092685B2 (ja) | 撮像素子および撮像装置 | |
JP5012495B2 (ja) | 撮像素子、焦点検出装置、焦点調節装置および撮像装置 | |
US9313469B2 (en) | Image capturing apparatus and method of controlling the same | |
JP5256711B2 (ja) | 撮像素子および撮像装置 | |
JP5045007B2 (ja) | 撮像装置 | |
JP5157400B2 (ja) | 撮像装置 | |
JP4826507B2 (ja) | 焦点検出装置および撮像装置 | |
JP4992481B2 (ja) | 焦点検出装置および撮像装置 | |
JP4983271B2 (ja) | 撮像装置 | |
JP5629832B2 (ja) | 撮像装置及び位相差画素の感度比算出方法 | |
JP5167783B2 (ja) | 焦点検出装置および撮像装置 | |
JP2017098513A (ja) | 撮像素子、撮像装置および焦点調節装置 | |
JP4858179B2 (ja) | 焦点検出装置および撮像装置 | |
JP2017152658A (ja) | 撮像素子および撮像装置 | |
JP6750635B2 (ja) | 撮像素子および撮像装置 | |
JP6809562B2 (ja) | 撮像素子および撮像装置 | |
JP5589799B2 (ja) | 撮像装置 | |
JP5691440B2 (ja) | 撮像装置 | |
JP5403117B2 (ja) | 焦点検出装置および撮像装置 | |
JP2019219594A (ja) | 処理装置、撮像装置、交換レンズ、処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16772499 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15556011 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
REEP | Request for entry into the european phase |
Ref document number: 2016772499 Country of ref document: EP |