WO2013042518A1 - デジタルカメラ - Google Patents
デジタルカメラ Download PDFInfo
- Publication number
- WO2013042518A1 WO2013042518A1 PCT/JP2012/071958 JP2012071958W WO2013042518A1 WO 2013042518 A1 WO2013042518 A1 WO 2013042518A1 JP 2012071958 W JP2012071958 W JP 2012071958W WO 2013042518 A1 WO2013042518 A1 WO 2013042518A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- color
- phase difference
- pixel
- pixels
- normal
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/40—Optical focusing aids
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Definitions
- the present invention relates to a digital camera that performs phase difference type automatic focus adjustment.
- AF device autofocus device
- This AF device checks the imaging state of the photographic lens, moves the entire photographic lens or a focus lens that is a part of the photographic lens, and images the main subject on the imaging surface of a solid-state imaging device such as a CCD or CMOS. To form a clear image.
- the AF device has a contrast method and a phase difference method.
- the contrast method while moving the focus lens in the optical axis direction, the lens position where the integral value of the signal difference between adjacent pixels is maximized is determined as the focus position.
- the phase difference method an in-focus position is obtained from the presence / absence of a shift in the incident position of light transmitted through different parts of the photographing lens and its magnitude. Since the contrast method detects focus using the pixel signal of the solid-state imaging device, it can be implemented at low cost.
- the phase difference method since the in-focus state can be known without moving the focus lens, quick AF control is possible. However, since a phase difference sensor is required, it tends to be used in high-end models.
- a digital camera equipped with a phase difference AF device is described in Patent Documents 1 and 2, for example.
- a normal pixel there is also known a solid-state imaging device in which two types of phase difference pixels (a first phase difference pixel and a second phase difference pixel) are provided and a special phase difference sensor is not required (patent). References 3-5).
- the normal pixel has a normal opening located on the center of the light receiving surface of the photodiode, and photoelectrically converts light incident through the normal opening.
- the first phase difference pixel has a first eccentric opening that is eccentric in the first direction with respect to the center position of the light receiving surface of the photodiode.
- the second phase difference pixel has a second eccentric opening that is eccentric in the second direction opposite to the first direction.
- the normal opening, the first eccentric opening, and the second eccentric opening are formed in a light shielding film covering the semiconductor substrate on which the photodiode is formed.
- the size of the first and second eccentric openings is usually smaller than the size of the opening.
- the phase difference pixel has high sensitivity to light incident from an oblique direction with respect to the center line of the pixel.
- the first phase difference pixel has high sensitivity to incident light from the upper right side
- the second phase difference pixel has high sensitivity to incident light from the upper left side.
- the image obtained by the first phase difference pixel and the image obtained by the second phase difference pixel are shifted in the left-right direction according to the focus state of the photographing lens.
- the amount of deviation between the two images corresponds to the amount of deviation of the focus of the photographing lens.
- the two images coincide with each other when the taking lens is in focus, and the amount of deviation becomes zero, and the amount of deviation increases as the focus shifts. Therefore, by detecting the shift direction of each image obtained by the first and second phase difference pixels and the shift amount between the images, the focus adjustment amount of the photographing lens can be obtained.
- color filters are provided in the first and second phase difference pixels in addition to the normal pixels.
- a digital camera including this solid-state imaging device can capture a normal image using all of the normal pixels, the first phase difference pixels, and the second phase difference pixels when capturing a normal image.
- the output levels from the first and second phase difference pixels depend on the color of the subject. There is a problem that the focus adjustment amount cannot be accurately obtained. For example, when the first and second phase difference pixels have three color filters of red, green, and blue, when a red subject is imaged, the first and second pixels having the green and blue color filters are captured. The output level of the two phase difference pixels is small.
- the digital camera of the present invention includes a photographing lens, a solid-state imaging device, a color-dependent characteristic calculation unit, a color determination unit, an autofocus detection unit, and a focus mechanism.
- the taking lens forms an image of the subject.
- the solid-state imaging device includes a plurality of normal pixels having sensitivity independent of the incident direction of light, a plurality of first phase difference pixels having high sensitivity with respect to the first incident direction, and the first incident direction being opposite to Three types of pixels including a plurality of second phase difference pixels having high sensitivity with respect to the second incident direction are arranged on the imaging surface, and each pixel has a color filter of at least one of the three primary colors.
- the color dependence characteristic calculation unit calculates an output signal of one or both of the normal pixel and the first and second phase difference pixels for each color after color imaging of the subject image, and calculates the color dependence characteristic of the output signal. .
- the color determination unit determines a specific color based on the color dependence characteristics.
- the autofocus detection unit obtains a focus adjustment amount of the photographing lens based on an output of a plurality of first and second phase difference pixels having a color filter of a specific color.
- the focus mechanism sets the photographing lens at the in-focus position according to the focus adjustment amount.
- Color-dependent characteristic calculation unit red constituting the three primary colors, green, each blue color, the output signal of each pixel are averaged, and the red average output P R, the green average output P G, blue average output P seeking and B, 2-color output ratio and P R / P B of them, and P R / P G, the magnitude of the P B / P G, it is preferable to determine the specific color. Further, it is preferable that the color dependence characteristic calculation unit calculates the color dependence characteristic using an output signal of each pixel existing in the central region of the imaging surface.
- a normal image generation unit that generates a two-dimensional normal image based on an output signal from the normal pixel.
- a wide dynamic range image generation unit that generates a wide dynamic range image having a wider dynamic range than the normal image based on the output signal from the normal pixel and the output signals from the first and second phase difference pixels is provided. It is preferable. Furthermore, it is preferable to include a parallax image generation unit that generates a parallax image based on output signals from the first and second phase difference pixels.
- the plurality of pixels on the imaging surface are partitioned into 2 ⁇ 2 pixel blocks, and each image block preferably includes two normal pixels and first and second phase difference pixels.
- the three primary colors are a first color, a second color, and a third color, and each pixel block preferably has a color filter of the same color.
- the pixel block includes a first first color pixel block, a second first color pixel block, a first second color pixel block, a second second color pixel block, and a first third color.
- Six types of pixel blocks and second and third color pixel blocks are preferable.
- the first N-th color pixel block includes two normal pixels arranged in the first diagonal direction and first and second phase difference pixels arranged in the second diagonal direction. It has a color filter of color. The position of the first and second phase difference pixels in the second Nth color pixel block is opposite to that of the first Nth color pixel block.
- first pixel block row and a second pixel block row and the first pixel block row and the second pixel block row are arranged alternately in the column direction.
- first first color pixel block, the first second color pixel block, the second first color pixel block, and the second second color pixel block are arranged in this order in the row direction. It is arranged repeatedly.
- second pixel block row the first second color pixel block, the first third color pixel block, the second second color pixel block, and the second third color pixel block are arranged in this order in the row direction. It is arranged repeatedly.
- the first color is green
- the second color is blue
- the third color is red.
- the normal pixels are arranged at a predetermined pitch in odd rows, the first and second phase difference pixels are arranged at the above pitch in even rows, and the first and second phase difference pixels are normal pixels. On the other hand, it may be arranged at a position shifted by half the pitch in the row direction.
- the three primary colors are the first color, the second color, and the third color
- the first to fourth pixel rows are repeatedly arranged in the column direction.
- the first pixel row normal pixels having a first color filter and normal pixels having a second color filter are alternately arranged at the above pitch.
- the second pixel row includes a first phase difference pixel having a first color filter, a first phase difference pixel having a second color filter, and a second phase difference pixel having a first color filter.
- the second phase difference pixels having the color filter of the second color are repeatedly arranged in this order at the above pitch.
- normal pixels having the second color filter and normal pixels having the third color filter are alternately arranged at the pitch.
- the fourth pixel row includes a first phase difference pixel having a second color filter, a first phase difference pixel having a third color filter, and a second phase difference pixel having a second color filter.
- the second phase difference pixels having the color filter of the third color are repeatedly arranged in this order at the above pitch.
- the first color is blue
- the second color is green
- the third color is red.
- each of the normal pixel, the first phase difference pixel, and the second phase difference pixel has a photodiode, a light shielding film, and a microlens disposed on the color filter.
- the light shielding film includes a normal opening formed on the center of the photodiode of the normal pixel, a first eccentric opening formed at a position shifted in one direction from the center of the photodiode of the first phase difference pixel, A second eccentric opening formed at a position shifted in the direction opposite to the one direction from the center of the photodiode of the two phase difference pixel;
- Each normal pixel has a photodiode, an opening formed in a light shielding film on the photodiode, and a microlens disposed on the center line of the opening.
- Each first phase difference pixel includes a photodiode, And an opening formed in the light-shielding film on the photodiode, and a microlens having a small diameter disposed in one direction away from the center line of the opening, and each second phase difference pixel includes a photodiode,
- an opening formed in the light-shielding film on the photodiode and a microlens having a small diameter arranged so as to be shifted from the center line of the opening to the opposite side to the one direction may be provided.
- an output signal from one or both of the normal pixel and the first and second phase difference pixels is calculated, and the color dependence characteristic of the output signal is calculated. Based on the calculated color dependence characteristics, one color is determined from a plurality of colors, and the focus adjustment amount is based on output signals from the first and second phase difference pixels having the same color filter as the determined color. Therefore, it is possible to accurately adjust the focus even on a subject whose hue is shifted.
- FIG. 3 is a sectional view taken along line III-III in FIG. 2.
- FIG. 4 is a sectional view taken along line IV-IV in FIG. 2.
- It is a top view of a light shielding film.
- It is a block diagram which shows an image processing circuit.
- It is a flowchart which shows an imaging
- It is a flowchart which shows AF process.
- It is sectional drawing which shows the modification of a 1st and 2nd phase difference pixel.
- the digital camera 10 has a CPU 11.
- the CPU 11 sequentially executes various programs read from a memory (not shown) based on control signals from the operation unit 12 including a shutter button and various operation buttons, and controls the respective units of the digital camera 10 in an integrated manner.
- the digital camera 10 has a normal imaging mode, a parallax imaging mode, and a wide dynamic range image imaging mode.
- a normal imaging mode a normal image (two-dimensional still image) is generated.
- a parallax imaging mode a parallax image for stereoscopic viewing is generated.
- a wide DR imaging mode a wide dynamic range image (hereinafter referred to as a wide DR image) having a wider dynamic range than a normal image is generated. Switching of the imaging mode of the digital camera 10 is performed by the operation unit 12.
- the lens unit 13 includes a photographing lens 14 and a mechanical shutter 15.
- the taking lens 14 includes a zoom lens 16 and a focus lens 17.
- the zoom lens 16 and the focus lens 17 are driven by the zoom mechanism 18 and the focus mechanism 19, respectively, and move in the direction of the photographing optical axis O1.
- the mechanical shutter 15, the zoom mechanism 18, and the focus mechanism 19 are controlled by the CPU 11 via the lens driver 21.
- zooming the zoom lens 16 and the focus lens 17 move in the optical axis direction.
- focus adjustment the focus lens 17 moves in the optical axis direction. It is also possible to adjust the focus by moving the entire photographing lens 14.
- the mechanical shutter 15 has a shutter blade (not shown) that moves between a closed position that prevents the object light from entering the solid-state imaging device 20 and an open position that allows the object light to enter.
- the mechanical shutter 15 opens or blocks the optical path from the photographing lens 14 to the solid-state imaging device 20 by moving the shutter blade to each position.
- the lens unit 13 includes a diaphragm (not shown) that controls the amount of subject light incident on the solid-state imaging device 20.
- the solid-state imaging device 20 is a CMOS type image sensor, which converts subject light from the photographing lens 14 into an electrical signal and outputs it.
- the CMOS driver 23 controls driving of the solid-state imaging device 20 under the control of the CPU 11.
- the image processing circuit 22 performs various processing such as gradation conversion, white balance correction, and ⁇ correction processing on the imaging signal from the solid-state imaging device 20 to generate image data. Further, the image processing circuit 22 generates a normal image from the image processed image data in the normal imaging mode. In the parallax imaging mode, a parallax image composed of an L viewpoint image and an R viewpoint image is generated. A wide DR image is generated in the wide DR imaging mode. Further, the image processing circuit 22 generates L focus detection image data and R focus detection image data during each imaging mode for focus adjustment.
- the AF detection unit 26 calculates a focus adjustment amount (defocus amount) for focusing the photographing lens 14 based on the L focus detection image data and the R focus detection image data.
- the AF control unit 27 of the CPU 11 performs focus adjustment by moving the focus lens 17 via the lens driver 21 based on the focus adjustment amount obtained by the AF detection unit 26. Note that the moving direction of the focus lens 17 is determined from the sign of the adjustment amount of the focus adjustment amount.
- the compression / decompression processing circuit 29 performs compression processing on the image data of each image processed by the image processing circuit 22.
- the compression / decompression processing circuit 29 performs decompression processing on the compressed image data read from the memory card 31 via the media I / F 30.
- the media I / F 30 records and reads each image data with respect to the memory card 31.
- the display unit 32 is a liquid crystal display or the like, and displays a through image (live view image), a reproduced image, and the like.
- the display unit 32 displays a stereoscopic image for the parallax image.
- the imaging surface 20 a of the solid-state imaging device 20 includes normal pixels R N , G N , and B N , first phase difference pixels R L , G L , and B L, and second phase difference pixels R R , G R, B R are arranged. These pixels are arranged in a square array.
- R, G, and B represent the three primary colors of the color filter provided in each pixel. R represents red, G represents green, and B represents blue. Each pixel selectively receives light having a wavelength corresponding to the color of the color filter.
- the normal pixels R N , G N , and B N are pixels that are used to generate normal image (still image) data in the normal imaging mode.
- the sensitivity of the normal pixels R N , G N , and B N does not depend on the incident direction of incident light.
- those at the center of the screen are also used for determining colors during AF.
- the first phase difference pixel R L, G L, B L and the second phase difference pixels R R, G R, B R is the pixels used to create the creation and the focus detection image data of the parallax image data.
- the first phase difference pixel R L, G L, B L and the second phase difference pixels R R, G R, the sensitivity of B R depends on the incident direction of the incident light.
- the four pixels arranged in a 2 ⁇ 2 square array cause the first R pixel block 34R1, the second R pixel block 34R2, the first G pixel block 34G1, the second G pixel block 34G2, the first B pixel block 34B1, and the second B pixel block 34B2, respectively. It is configured.
- the 1R pixel block 34R1 has two normal pixel R N which are arranged in a first diagonal direction (the direction from upper right to lower left), arranged in the second diagonal direction (the direction from top left to bottom right) and a first phase difference pixel R L and the second phase difference pixels R R which is.
- the 1G pixel block 34G1 are two ordinary pixel G N which are arranged in a first diagonal direction, first phase difference pixel G L and the second phase difference pixels G R which are arranged in a second diagonal direction have.
- the first B pixel block 34B1 includes two normal pixels B N arranged in the first diagonal direction, and a first phase difference pixel B L and a second phase difference pixel B R arranged in the second diagonal direction. have.
- the 2B pixel block 34B2 except that the position of the first phase difference pixel B L and the second phase difference pixels B R are opposite and the 1B pixel block 34B1, which is identical to the first 1B pixel block 34B1.
- the first G pixel block 34G1, the first B pixel block 34B1, the second G pixel block 34G2, and the second B pixel block 34B2 are repeatedly arranged in this order in the row direction to form a first pixel block row 36.
- the first R pixel block 34R1, the first G pixel block 34G1, the second R pixel block 34R2, and the second G pixel block 34G2 are repeatedly arranged in this order in the row direction to form a second pixel block row 37.
- the first pixel block rows 36 and the second pixel block rows 37 are alternately arranged in the column direction.
- Each pixel of the solid-state imaging device 20 is provided with a pixel circuit (not shown) as is well known. This pixel circuit converts the signal charge accumulated in the photodiode 41 (see FIGS. 3 and 4) of each pixel into a signal voltage and outputs the signal voltage.
- the solid-state imaging device 20 is provided with a plurality of drive lines (not shown) for driving the pixel circuit and a plurality of signal lines (not shown) for reading a signal voltage from each pixel. .
- the signal voltage read out to the signal line is output to the image processing circuit 22 as an output signal through an output circuit and an amplifier (both not shown).
- a photodiode (PD) 41 formed of an N-type layer is provided on the surface layer of a semiconductor substrate (Psub) 40 formed of P-type silicon.
- the pixel circuit is formed in the semiconductor substrate 40 although not shown.
- the light shielding film 44 has a normal opening 45, a first eccentric opening 46a, and a second eccentric opening 46b. These openings are circular.
- the first and second eccentric openings 46 a and 46 b have an opening diameter smaller than that of the normal opening 45.
- the normal opening 45 is provided in the normal pixels R N , G N , and B N , and the center thereof is located on the center line of the PD 41.
- the normal pixels R N , G N , and B N are all opened on the surface of the PD 41.
- the first eccentric opening 46a is provided in the first phase difference pixels R L , G L , B L , and the center thereof is shifted to the right from the center line of the PD 41. As a result, the first phase difference pixels R L , G L , and B L are opened in the right region on the surface of the PD 41.
- Second eccentric aperture 46b the second phase difference pixel R R, is provided on the G R, B R, the center is offset from the centerline of the PD41 to the left.
- the second phase difference pixel R R, G R, B R is the left region on the surface of PD41 is opened.
- a flattening layer 48 having a flat surface and a transparent surface is provided on the light shielding film 44.
- a color filter array 50 is provided on the planarizing layer 48.
- the color filter array 50 includes a red color filter 50R, a green color filter 50G, and a blue color filter 50B.
- Red color filter 50R is normal pixel R N, the first phase difference pixels R L, it is disposed above the PD41 of the second phase difference pixel R R, in these PD41 red light enters.
- Green color filter 50G is normal pixel G N, the first phase difference pixel G L, it is disposed above the PD41 of the second phase difference pixel G R, in these PD41 green light enters.
- the blue color filter 50B is normal pixel B N, the first phase difference pixel B L, it is disposed above the PD41 of the second phase difference pixel B R, for these PD41 blue light enters.
- a micro lens 52 is provided so that the optical axis O2 coincides with the center line of each PD 41.
- Incident light 54L incident on the microlenses 52 of the normal pixels R N , G N , and B N from the diagonally left direction is condensed on the right region of the PD 41, and incident light 54R incident from the diagonally right direction is collected on the left region of the PD 41.
- the normal pixels R N , G N , and B N are highly sensitive to both the incident light 54L and the incident light 54R, and are not dependent on the direction of the incident light.
- Incident light incident along the optical axis O2 enters the center of the PD 41.
- Incident light 54L incident on the microlens 52 of the first phase difference pixels R L , G L , B L from the diagonally left direction passes through the first eccentric opening 46a and is condensed on the right region of the PD 41, but diagonally right Incident light 54 ⁇ / b> R incident from the direction is shielded by the light shielding film 44. For this reason, the first phase difference pixels R L , G L , and B L are highly sensitive to the incident light 54L.
- the second phase difference pixel R R, G R, the incident light 54R incident from the right oblique direction in the micro-lens 52 of the B R is is condensed in the left side area of the PD41 through the second eccentric aperture 46b, left diagonal Incident light 54 ⁇ / b> L incident from the direction is shielded by the light shielding film 44. Therefore, the second phase difference pixel R R, G R, B R is sensitive to the incident light 54R.
- the image processing circuit 22 includes a normal image generation unit 58, a parallax image generation unit 59, a wide DR image generation unit 60, and a focus detection image generation unit 61.
- the normal image generation unit 58 operates in the normal imaging mode.
- the normal image generator 58 generates normal image data based on the output signals from the normal pixels R N , G N , and B N.
- the parallax image generation unit 59 operates in the parallax imaging mode.
- Parallax image generator 59 a first phase difference pixels R L, G L, and generates an L view image data based on an output signal from the B L, the second phase difference pixel R R, G R, from B R R viewpoint image data is generated based on the output signal. Thereby, parallax image data having L and R viewpoint image data is obtained.
- the wide DR image generation unit 60 operates in the wide DR imaging mode. Wide-DR image generating unit 60, normal pixels R N, G N, B N , the first phase difference pixels R L, G L, B L , and the second phase difference pixel R R, G R, all the B R Wide DR image data is generated based on the output signal.
- the first and second eccentric openings 46a and 46b have a smaller opening diameter than the normal opening 45, the first phase difference pixels R L , G L , B L and the second phase difference pixels R R , G
- the amount of light incident on R 1 and BR is smaller than the amount of light incident on the normal pixels R N , G N , and B N. Therefore, the first phase difference pixels R L , G L , B L and the second phase difference pixels R R , G R , BR are low sensitivity pixels, and the normal pixels R N , G N , B N are high sensitivity.
- Pixel. Wide DR image data is obtained by adding the output signal from the low sensitivity pixel and the output signal from the high sensitivity pixel. This method is known from JP2011-059337A.
- the imaging operation is repeatedly performed in a predetermined cycle, the normal image or the wide DR image is output to the display unit 32, and the through image display is performed.
- the L viewpoint image and the R viewpoint image are created in a predetermined cycle and sent to the display unit 32 to display a stereoscopic image.
- the display unit 32 is not for stereoscopic display, either the L viewpoint image or the R viewpoint image is displayed on the display unit 32. As a result, a two-dimensional image or a through image of a three-dimensional image is displayed on the display unit 32.
- the focus detection image generation unit 61 operates in all imaging modes. Focus detection image generation unit 61, a first phase difference pixels R L, G L, B L and the second phase difference pixel R R, based on an output signal from the G R, B R, used in the phase-difference AF L Focus detection image data and R focus detection image data are generated. Specifically, the focus detection image generation unit 61, a first phase difference pixels R L, G L, B L and the second phase difference pixel R R, G R, from B R, red (R), green ( G focus detection image data and R focus detection image data are generated using only an output signal corresponding to any one of G) and blue (B).
- the focus detection image generation unit 61 includes a color dependence characteristic calculation unit 64 and a color determination unit 65.
- the color dependence characteristic calculation unit 64 averages output signals from the normal pixels R N , G N , and B N included in the central region of the imaging surface 20a for each corresponding color to obtain an average value (average output). Specifically, the output signal of the normal pixel R N contained in the central region are averaged obtaining the red average output P R. Similarly, determine the green average output P G from the normal output signal of the pixel G N contained in the central region, obtaining the blue average output P B from the output signal of the normal pixel B N contained in the central region.
- the color determination unit 65 determines one color from red, green, and blue based on the average outputs P R , P G , and P B obtained by the color dependent characteristic calculation unit 64. Specifically, the color determination unit 65, red average output P R and the output ratio between the blue average output P B (P R / P B ), the output ratio of the red average output P R and the green average power P G ( P R / P G ), the output ratio (P B / P G ) of the blue average output P B and the green average output P G , respectively, and comparing with predetermined values ⁇ , ⁇ , ⁇ to determine one color decide. If P R / P B > ⁇ and P R / P G > ⁇ , the color is determined to be red.
- Focus detection image generation unit 61 a first phase difference pixels R L, G L, B L and the second phase difference pixel R R, of G R, B R, corresponding to a color of the color determining portion 65 has determined Based on the output signals from the pixels, L focus detection image data and R focus detection image data are generated. For example, when it is determined in red, creating the image data and the R focus detection image data L focus detection using the first phase difference pixel R L and the second phase difference pixels R R. These image data are output to the AF detection unit 26.
- the predetermined values ⁇ , ⁇ , ⁇ are preferably larger than “1”.
- the main color of the subject is determined by the color determination unit 65, and the L focus detection image data and the R focus detection image are based on the output signals from the first and second phase difference pixels corresponding to this color. Data is generated. For example, when the main color of the main subject present at the center of the screen is green, the color determination unit 65 determines green. Thereby, even if the color of the main subject is shifted, the amount of focus adjustment can be obtained accurately.
- the operation of the digital camera 10 will be described with reference to the flowcharts of FIGS.
- the CPU 11 controls the operation of the mechanical shutter 16 via the lens driver 21 and also via the CMOS driver 23. Then, the solid-state imaging device 20 is driven.
- the image processing circuit 22 performs image processing (gradation conversion, white balance correction, ⁇ correction, color correction, etc.) on the image signal of each color. Since the normal imaging mode is set in the initial state, the image-processed three-color image data is sent to the normal image generation unit 58. The normal image generation unit 58 generates a through image before shooting and displays it on the display unit 32.
- the color dependence characteristic calculation unit 64 of the image processing circuit 22 outputs the output signals from the normal pixels R N , G N , and B N included in the central region of the imaging surface 20a for each corresponding color.
- average power P G is averaged, P B, and calculates the P R.
- Each obtained average power P G, P B, P R are sent to the color determining portion 65.
- Color determining part 65 the average output P G, P B, on the basis of the P R, in the case of P R / P B> ⁇ a and P R / P G> ⁇ is the major color of the object is red And decide. If P R / P B > ⁇ and P R / P G ⁇ , or if P R / P B ⁇ and P B / P G ⁇ , the main color of the subject is green It is determined that If P R / P B ⁇ and P B / P G > ⁇ , the color is determined to be blue.
- the focus detection image generation unit 61 When the color determined by the color determination unit 65 is red, the focus detection image generation unit 61 generates L focus detection image data using the first phase difference pixel RL in the entire region, and to generate image data for R focus detection using a second phase difference pixels R R in the region. Similarly, when the color determined by the color determination unit 65 is green, L focus detection image data is generated using the first phase difference pixel GL, and R is determined using the second phase difference pixel GR. Image data for focus detection is generated. If color color determining unit 65 has determined is blue, using the first phase difference pixel B L to generate image data for L focus detection, the R focus detection using a second phase difference pixel B R Generate image data. The L focus detection image and the R focus detection image coincide with each other at the time of focusing, but when they are not focused, they are shifted in the left-right direction according to the degree.
- the AF detection unit 26 analyzes the L focus detection image data and the R focus detection image data, obtains the shift direction and shift amount of the L focus detection image and the R focus detection image, and adjusts the focus of the lens unit 13.
- the amount (defocus amount) is calculated.
- the AF control unit 27 performs focus adjustment by moving the focus lens 17 in the optical axis direction by the focus mechanism 19 via the lens driver 21 based on the focus adjustment amount calculated by the AF detection unit 26.
- the moving direction of the focus lens 17 is determined according to the positive / negative of the focus adjustment amount.
- This phase difference AF is described in detail in Japanese Patent No. 2959142, Japanese Patent Application Laid-Open No. 2009-128892, Japanese Patent Application Laid-Open No. 2007-158597, and the detailed description thereof is omitted here.
- This AF control is repeatedly performed in a predetermined cycle while displaying a through image.
- the parallax image generation unit 59 In the parallax imaging mode, the parallax image generation unit 59 generates L viewpoint image data and R viewpoint image data. The L viewpoint image data and the R viewpoint image data are compressed into one image file as parallax image data and recorded in the memory card 31. In the wide DR imaging mode, wide DR image data is generated by the wide DR image generation unit 60. The wide DR image data is recorded on the memory card 31 after being compressed.
- the first and second eccentric opening 46a, by 46b, a first phase difference pixels R L, G L, B L , and the second phase difference pixel R R, G R, the sensitivity of B R is the direction of the incident light
- the directionality of the incident light may be given by changing the shape and arrangement of the microlenses.
- the first phase difference pixels R L , G L , and B L include the first eccentric microlens 68a, and the second phase difference pixels R R , G R , B R has a second eccentric microlenses 68b.
- Each of the first phase difference pixels R L , G L , B L and the second phase difference pixels R R , G R , BR has a normal opening 45.
- These eccentric microlenses 68a, 68b are typically pixels R N, G N, it is smaller in size than the microlenses 52 of the B N.
- the first eccentric microlens 68a is formed at a position shifted leftward from the center of the PD 41 below.
- the first eccentric microlens 68a collects the incident light 54L on the PD 41 below the first eccentric microlens 68a.
- the second eccentric microlens 68a is formed at a position shifted rightward from the center of the PD 41 below.
- the second eccentric microlens 68b collects the incident light 54R on the PD 41 below the second eccentric microlens 68b.
- the first phase difference pixels R L, G L, B L is sensitive to incident light 54L
- the second phase difference pixel R R, G R is B R sensitive to incident light 54R .
- the first and second phase pixels are arranged in the diagonal direction of each 2 ⁇ 2 pixel block.
- the arrangement is not limited to this, and the four pixels of each pixel block are arranged.
- the two pixels may be the first and second phase pixels.
- the pixel arrangement is a so-called EXR arrangement pattern.
- the solid-state imaging device 70 has a first pixel row 71, a second pixel row 72, a third pixel row 73, and a fourth pixel row 74, which are repeatedly arranged in the column direction with this arrangement pattern.
- the normal pixels B N and the normal pixels GN are alternately arranged at a pitch P.
- the second pixel row 72 the first phase difference pixel B L, first phase difference pixel G L, the second phase difference pixel B R, the second phase difference pixel G R, are repeatedly arranged at a pitch P in this order .
- the normal pixels GN and the normal pixels RN are alternately arranged at a pitch P.
- the first phase difference pixel G R , the first phase difference pixel R R , the second phase difference pixel G L , and the second phase difference pixel RL are repeatedly arranged at the pitch P in this order. .
- the first phase difference pixel R L, G L, B L , and the second phase difference pixel R R, G R, B R is located in even-numbered rows, the normal pixels located odd rows R N, G N , B N are arranged at positions shifted by a half pitch (P / 2) in the row direction. That is, the first phase difference pixels R L is a square array, G L, B L, and the second phase difference pixel R R, G R, B R and, usually pixel R N is a square array, G N, B N Are superimposed at positions shifted by a half pitch in the row and column directions. Normally pixel R N, G N, B N , the first phase difference pixels R L, G L, B L , and the second phase difference pixel R R, G R, the structure of B R, a 3-5 The same.
- the L and R focus detection images, the normal image, the parallax image, and the wide DR image are generated.
- various array patterns such as a honeycomb array pattern can be used in addition to the EXR array pattern.
- the display part 32 what performs 2D image display, such as a liquid crystal display, or what performs 3D image display is used.
- a lenticular method, a parallax barrier method, a parallax barrier method, an anaglyph method, a frame sequential method, a light direction method, or the like is used.
- the color dependence characteristic calculation unit 64 averages the output signals from the normal pixels R N , G N , and B N included in the central region of the imaging surface 20a for each color of the color filter and average output P R , P G , P B are obtained, and the average signals P R , P G , P are obtained by averaging the output signals from the normal pixels R N , G N , B N included in the region other than the central region and the entire region. B may be obtained.
- the color dependence characteristic calculation unit 64 includes the first phase difference pixels R L , G L , B L and the second phase difference pixels R R , G R , B
- the average output P R , P G , P B may be obtained by averaging the output signals from R.
- the color dependence characteristic calculation unit 64 is not limited to the average value of the output signal, and may calculate an integrated value of the output signal.
- the color dependence characteristic calculation unit 64 and the color determination unit 65 are provided in the image processing circuit 22, but these may be incorporated in the solid-state imaging devices 20, 67, 70 and CPU 11.
- a high-speed imaging mode is, for example, a mode in which so-called thinning readout is performed in which pixels in odd-numbered or even-numbered rows of the solid-state imaging device 20 are read out.
- the normal pixels R N , G N , B N , the first phase difference pixels R L , G L , B L , and the second phase difference are provided in both the odd and even rows. because it contains all of the pixels R R, G R, B R is in the high-speed imaging mode, the normal image, the parallax image, the wide-DR image can be fast read.
- each imaging is performed in a short time, although the resolution is lowered.
- the phase difference pixel is selected according to the main color of the subject.
- the values of ⁇ , ⁇ , and ⁇ may be determined so that green is normally selected. Then, when red of the subject is considerably strong or blue is considerably strong, red or blue is selected, and AF control is performed from the phase difference pixel of the selected color. Further, only the phase difference pixels used for the AF control may exist at the center of the screen, that is, at the center of the imaging surface of the solid-state imaging device.
- the solid-state imaging devices 20, 67, and 70 have primary color filters 50R, 50G, and 50B for red, green, and blue. Instead, complementary color filters for yellow, magenta, and cyan are used. It may be used. Furthermore, a color filter of four or more colors may be used. Furthermore, the solid-state imaging devices 20, 67, and 70 are not limited to the CMOS type, but may be a CCD type.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
色相が片寄った被写体であっても、正確に焦点調節を行う。 固体撮像装置(20)は、通常画素(RN,GN,BN)と、第1位相差画素(RL,GL,BL)と、第2位相差画素(RR,GR,BR)有している。R,G,Bは、各画素に設けられたカラーフィルタの色を表している。色依存特性算出部(64)は、画面中央の通常画素(RN,GN,BN)からの出力信号を色ごとに平均化して、平均出力(PR,PG,PB)を算出する。色決定部(65)は、3原色の中から平均出力(PR,PG,PB)に基づいて、被写体の主たる色を決定する。AF制御部(27)は、第1位相差画素(RL,GL,BL)及び第2位相差画素(RR,GR,BR)のうち、決定された色の出力信号に基づき、撮影レンズ(14)の焦点調節を行う。
Description
本発明は、位相差方式の自動焦点調節を行うデジタルカメラに関する。
デジタルカメラの殆どは、焦点調節を自動的に行うオートフォーカス装置(AF装置)を備えている。このAF装置は、撮影レンズの結像状態を調べて、撮影レンズの全体またはその一部であるフォーカスレンズを移動して、CCDやCMOS等の固体撮像装置の撮像面上に、主要被写体の像を鮮明に結像させる。
AF装置には、コントラスト方式と、位相差方式とがある。コントラスト方式は、フォーカスレンズを光軸方向に移動しながら、隣接する画素間の信号差の積分値が最大となるレンズ位置を合焦位置と判断するものである。位相差方式は、撮影レンズの異なった部分を透過した光の入射位置のズレの有無とその大きさから、合焦位置を求めるものである。コントラスト方式は、固体撮像装置の画素信号を使用して合焦検出をするものであるから、安価に実施することが可能である。位相差方式では、フォーカスレンズを移動することなく、合焦状態を知ることができるため、迅速なAF制御が可能である。しかし、位相差センサが必要であるため、高級な機種に採用される傾向にある。
位相差方式のAF装置を備えたデジタルカメラは、例えば特許文献1及び2に記載されている。また、通常の画素の他に、2種類の位相差画素(第1位相差画素と第2位相差画素)を設け、特別な位相差センサを不要にした固体撮像装置も知られている(特許文献3~5)。通常画素は、フォトダイオードの受光面の中心上に位置する通常開口部を有しており、この通常開口部を通して入射した光を光電変換する。第1位相差画素は、フォトダイオードの受光面の中心位置に対し第1の方向に偏心した第1偏心開口部を有している。第2位相差画素は、第1の方向とは反対側の第2の方向に偏心した第2偏心開口部を有している。
これらの通常開口部、第1偏心開口部、及び第2偏心開口部は、フォトダイオードが形成された半導体基板上を覆う遮光膜に形成されている。第1及び第2偏心開口部のサイズは、通常開口部のサイズよりも小さい。
位相差画素は、画素の中心線に対して斜め方向から入射する光に対して感度が高い。例えば、第1位相差画素は右斜め上からの入射光に対して感度が高く、第2位相差画素は左斜め上からの入射光に対して感度が高い。
第1位相差画素により得られる画像と第2位相差画素により得られる画像とは、撮影レンズの合焦状態に応じて左右方向にシフトする。この2つの画像の間のずれ量は、撮影レンズの焦点のずれ量に対応している。2つの画像は、撮影レンズが合焦しているときには一致してずれ量がゼロとなり、焦点がずれるほどそのずれ量は大きくなる。従って、第1及び第2位相差画素により得られる各画像のずれ方向と、各画像間のずれ量を検知することで、撮影レンズの焦点調節量を求めることができる。
特許文献3~5に記載の固体撮像装置では、通常画素に加えて、第1及び第2位相差画素にもカラーフィルタが設けられている。この固体撮像装置を備えたデジタルカメラは、通常画像の撮像時には、通常画素、第1位相差画素、及び第2位相差画素のすべての画素を用いて通常画像の撮像を行うことができる。
しかしながら、特許文献3~5に記載の固体撮像装置では、第1及び第2位相差画素がカラーフィルタを有しているため、被写体の色によっては第1及び第2位相差画素からの出力レベルが著しく低下して、焦点調節量が正確に求まらないという問題がある。例えば、第1及び第2位相差画素が、赤色、緑色、及び青色の3色のカラーフィルタを有している場合に、赤色の被写体を撮像すると、緑色及び青色カラーフィルタを有する第1及び第2位相差画素の出力レベルが小さい。
本発明は、色相が片寄った被写体であっても、正確に焦点調節を行うことができるデジタルカメラを提供することを目的とする。
上記目的を達成するため、本発明のデジタルカメラは、撮影レンズと、固体撮像装置と、色依存特性算出部と、色決定部と、オートフォーカス検出部と、フォーカス機構とを備える。撮影レンズは、被写体の像を結像する。固体撮像装置は、光の入射方向に依存しない感度を有する複数の通常画素と、第1の入射方向に対して高い感度を有する複数の第1位相差画素と、第1の入射方向とは逆の第2の入射方向に対して高い感度を有する複数の第2位相差画素との3種類の画素が撮像面に配置され、各画素は少なくとも3原色のうちの1色のカラーフィルタを有する。色依存特性算出部は、被写体像のカラー撮像後に、通常画素と、第1及び第2位相差画素との一方または両方の出力信号を色毎に演算し、出力信号の色依存特性を算出する。色決定部は、色依存特性に基づいて特定な色を決定する。オートフォーカス検出部は、複数の第1及び第2位相差画素のうち、特定な色のカラーフィルタを有するものの出力に基づいて、撮影レンズの焦点調節量を求める。フォーカス機構は、焦点調節量に応じて、撮影レンズを合焦位置にセットする。
色依存特性算出部は、3原色を構成する赤色、緑色、青色の各色毎に、各画素の出力信号を平均化して、赤色平均出力PRと、緑色平均出力PGと、青色平均出力PBとを求め、そのうちの2色の出力比PR/PBと、PR/PGと、PB/PGとの大きさから、特定色を決定することが好ましい。また、色依存特性算出部は、撮像面の中央領域内に存在する各画素の出力信号を用いて色依存特性を算出することが好ましい。
通常画素からの出力信号に基づき2次元の通常画像を生成する通常画像生成部を備えることが好ましい。また、通常画素からの出力信号と、第1及び第2位相差画素からの出力信号とに基づいて、通常画像よりもダイナミックレンジの広い広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部を備えることが好ましい。さらに、第1及び第2位相差画素からの出力信号に基づいて視差画像を生成する視差画像生成部を備えることが好ましい。
撮像面上の複数の画素は、2×2の画素ブロックに区画され、この各画像ブロックは、2つの通常画素と、第1及び第2位相差画素を有することが好ましい。3原色は、第1色、第2色、第3色であり、各画素ブロックは、同色のカラーフィルタを有することが好ましい。
画素ブロックは、第1の第1色画素ブロックと、第2の第1色画素ブロックと、第1の第2色画素ブロックと、第2の第2色画素ブロックと、第1の第3色画素ブロックと、第2の第3色画素ブロックとの6種であることが好ましい。第1の第N色画素ブロックは、第1の対角方向に配列された2つの通常画素と、第2の対角方向に配列された第1及び第2位相差画素とからなり、第N色のカラーフィルタを有する。第2の第N色画素ブロックは、第1の第N色画素ブロックとは、第1及び第2位相差画素の位置が逆に配置されている。
第1画素ブロック行と第2画素ブロック行とを有し、第1画素ブロック行と第2画素ブロック行とは、列方向に交互に配列されていることが好ましい。第1画素ブロック行には、第1の第1色画素ブロック、第1の第2色画素ブロック、第2の第1色画素ブロック、第2の第2色画素ブロックが、この順に行方向に繰り返し配列されている。第2画素ブロック行には、第1の第2色画素ブロック、第1の第3色画素ブロック、第2の第2色画素ブロック、第2の第3色画素ブロックが、この順に行方向に繰り返し配列されている。この場合には、第1色は緑色、第2色は青色、第3色は赤色であることが好ましい。
通常画素は、奇数行に所定のピッチで配置されており、第1及び第2位相差画素は、偶数行に上記ピッチで配置されており、第1及び第2位相差画素は、通常画素に対して、行方向に上記ピッチの半分だけずれた位置に配置されていてもよい。
この場合、3原色は、第1色、第2色、第3色であり、列方向に繰り返し配列された第1~第4画素行を有することが好ましい。第1画素行には、第1色のカラーフィルタを有する通常画素と、第2色のカラーフィルタを有する通常画素とが上記ピッチで交互に配列されている。第2画素行には、第1色のカラーフィルタを有する第1位相差画素と、第2色のカラーフィルタを有する第1位相差画素と、第1色のカラーフィルタを有する第2位相差画素と、第2色のカラーフィルタを有する第2位相差画素とが、この順に上記ピッチで繰り返し配列されている。第3画素行には、第2色のカラーフィルタを有する通常画素と、第3色のカラーフィルタを有する通常画素とが上記ピッチで交互に配列されている。第4画素行には、第2色のカラーフィルタを有する第1位相差画素と、第3色のカラーフィルタを有する第1位相差画素と、第2色のカラーフィルタを有する第2位相差画素と、第3色のカラーフィルタを有する第2位相差画素とが、この順に上記ピッチで繰り返し配列されている。この場合、第1色は青色、第2色は緑色、第3色は赤色であることが好ましい。
通常画素、第1位相差画素、第2位相差画素のそれぞれは、フォトダイオードと、遮光膜と、カラーフィルタ上に配置されたマイクロレンズとを有することが好ましい。この遮光膜は、通常画素のフォトダイオードの中心上に形成された通常開口と、第1位相差画素のフォトダイオードの中心上から一方向にずれた位置に形成された第1偏心開口と、第2位相差画素のフォトダイオードの中心上から一方向とは反対の方向にずれた位置に形成された第2偏心開口とを有する。
各通常画素は、フォトダイオードと、このフォトダイオード上の遮光膜に形成された開口と、この開口の中心線上に配置されたマイクロレンズとを有し、各第1位相差画素は、フォトダイオードと、このフォトダイオード上の遮光膜に形成された開口と、この開口の中心線から一方向にずれて配置された径が小さいマイクロレンズとを有し、各第2位相差画素は、フォトダイオードと、このフォトダイオード上の遮光膜に形成された開口と、この開口の中心線から一方向とは反対側にずれて配置された径が小さいマイクロレンズとを有するものであってもよい。
本発明によれば、各色毎に、通常画素と、第1及び第2位相差画素とのいずれか一方または両方からの出力信号を演算して、出力信号の色依存特性を算出する。この算出された色依存特性に基づいて複数色の中から1つの色を決定し、決定された色と同じカラーフィルタを有する第1及び第2位相差画素からの出力信号に基づいて焦点調節量を求めるので、色相の片寄った被写体でも、正確に焦点調節を行うことができる。
図1において、デジタルカメラ10はCPU11を有する。CPU11は、シャッタボタンや各種操作ボタンを含む操作部12からの制御信号に基づき、メモリ(図示せず)から読み出した各種プログラムを逐次実行して、デジタルカメラ10の各部を統括的に制御する。
デジタルカメラ10は、通常撮像モードと、視差撮像モードと、広ダイナミックレンジ画像撮像モードを有している。通常撮像モードは、通常画像(2次元の静止画)を生成する。視差撮像モードは、立体視用の視差画像を生成する。広DR撮像モードは、通常画像よりもダイナミックレンジが広い広ダイナミックレンジ画像(以下、広DR画像という)を生成する。デジタルカメラ10の撮像モードの切り替えは操作部12で行われる。
レンズユニット13には、撮影レンズ14及びメカシャッタ15が組み込まれている。撮影レンズ14には、変倍レンズ16とフォーカスレンズ17が含まれている。変倍レンズ16及びフォーカスレンズ17は、それぞれ変倍機構18及びフォーカス機構19により駆動され、撮影光軸O1の方向に移動する。メカシャッタ15、変倍機構18、及びフォーカス機構19は、レンズドライバ21を介してCPU11によって動作制御される。ズーミング時には、変倍レンズ16とフォーカスレンズ17とが光軸方向に移動する。焦点調節時には、フォーカスレンズ17が光軸方向に移動する。なお、撮影レンズ14の全体を移動して焦点調節をすることも可能である。
メカシャッタ15は、固体撮像装置20への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動するシャッタ羽根(図示せず)を有する。メカシャッタ15は、シャッタ羽根を各位置に移動させることによって、撮影レンズ14から固体撮像装置20へと至る光路を開放または遮断する。また、レンズユニット13には、固体撮像装置20に入射する被写体光の光量を制御する絞り(図示せず)が含まれている。
固体撮像装置20は、CMOS型イメージセンサであり、撮影レンズ14からの被写体光を電気的な信号に変換して出力する。CMOSドライバ23は、CPU11の制御の下で固体撮像装置20の駆動を制御する。
画像処理回路22は、固体撮像装置20からの撮像信号に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施して画像データを生成する。また、画像処理回路22は、通常撮像モード時には、画像処理された画像データから通常画像を生成する。視差撮像モード時には、L視点画像とR視点画像で構成される視差画像を生成する。広DR撮像モード時には広DR画像を生成する。また、画像処理回路22は、焦点調節のために、各撮像モード中に、L焦点検出用画像データとR焦点検出用画像データを生成する。
AF検出部26は、L焦点検出用画像データとR焦点検出用画像データに基づき、撮影レンズ14を合焦させるための焦点調節量(デフォーカス量)を求める。CPU11のAF制御部27は、AF検出部26が求めた焦点調節量に基づき、レンズドライバ21を介してフォーカスレンズ17を移動させて焦点調節を行う。なお、焦点調節量の調節量の符号からフォーカスレンズ17の移動方向が定まる。
圧縮伸長処理回路29は、画像処理回路22で処理された各画像の画像データに対して圧縮処理を施す。また、圧縮伸長処理回路29は、メディアI/F30を介してメモリカード31から読み出された圧縮画像データに対して伸長処理を施す。メディアI/F30は、メモリカード31に対する各画像データの記録及び読み出しを行う。表示部32は、液晶ディスプレイなどであり、スルー画(ライブビュー画像)や再生画像などを表示する。この表示部32は、視差画像に対しては立体画像を表示する。
図2において、固体撮像装置20の撮像面20aには、通常画素RN,GN,BNと、第1位相差画素RL,GL,BLと、第2位相差画素RR,GR,BRが配置されている。これらの画素は、正方配列されている。ここで、R,G,Bは、各画素に設けられたカラーフィルタの3原色を表している。Rは赤色、Gは緑色、Bは青色を表す。各画素は、カラーフィルタの色に対応した波長の光を選択的に受光する。
通常画素RN,GN,BNは、通常撮像モード時に、通常画像(静止画)データの生成に用いられる画素である。通常画素RN,GN,BNの感度は、入射光の入射方向には依存しない。なお、この通常画素RN,GN,BNのうち、画面の中央部にあるものは、AF時の色の決定にも用いられる。
第1位相差画素RL,GL,BLと第2位相差画素RR,GR,BRは、視差画像データの作成及び焦点検出用画像データの作成に用いられる画素である。第1位相差画素RL,GL,BLと第2位相差画素RR,GR,BRの感度は、入射光の入射方向に依存する。第1位相差画素RL,GL,BLと、第2位相差画素RR,GR,BRとは、互いに異なる特定の方向からの入射光に対して感度が高い。
2×2の正方配列された4つの画素により、第1R画素ブロック34R1、第2R画素ブロック34R2、第1G画素ブロック34G1、第2G画素ブロック34G2、第1B画素ブロック34B1、第2B画素ブロック34B2がそれぞれ構成されている。
第1R画素ブロック34R1は、第1の対角方向(右上から左下に向かう方向)に配列された2つの通常画素RNと、第2の対角方向(左上から右下に向かう方向)に配列された第1位相差画素RL及び第2位相差画素RRを有している。第2R画素ブロック34R2は、第1位相差画素RL及び第2位相差画素RRの位置が第1R画素ブロック34R1と逆であること以外は、第1R画素ブロック34R1と同一である。
第1G画素ブロック34G1は、第1の対角方向に配列された2つの通常画素GNと、第2の対角方向に配列された第1位相差画素GL及び第2位相差画素GRを有している。第2G画素ブロック34G2は、第1位相差画素GL及び第2位相差画素GRの位置が第1G画素ブロック34G1と逆であること以外は、第1G画素ブロック34G1と同一である。
第1B画素ブロック34B1は、第1の対角方向に配列された2つの通常画素BNと、第2の対角方向に配列された第1位相差画素BL及び第2位相差画素BRを有している。第2B画素ブロック34B2は、第1位相差画素BL及び第2位相差画素BRの位置が第1B画素ブロック34B1と逆であること以外は、第1B画素ブロック34B1と同一である。
第1G画素ブロック34G1、第1B画素ブロック34B1、第2G画素ブロック34G2、第2B画素ブロック34B2が、この順に行方向に繰り返し配列され、第1画素ブロック行36が構成されている。また、第1R画素ブロック34R1、第1G画素ブロック34G1、第2R画素ブロック34R2、第2G画素ブロック34G2が、この順に行方向に繰り返し配列され、第2画素ブロック行37が構成されている。第1画素ブロック行36と第2画素ブロック行37は、列方向に交互に配列されている。
固体撮像装置20の各画素には、周知のように、画素回路(図示せず)が設けられている。この画素回路は、各画素のフォトダイオード41(図3、4参照)に蓄積された信号電荷を信号電圧に変換して出力する。また、固体撮像装置20には、画素回路を駆動するための複数の駆動線(図示せず)と、各画素から信号電圧を読み出すための複数の信号線(図示せず)が設けられている。なお、信号線に読み出された信号電圧は、出力回路やアンプ(いずれも図示せず)を経て出力信号として画像処理回路22に出力される。
図3及び図4において、P型シリコンで形成された半導体基板(Psub)40の表層には、N型層により形成されたフォトダイオード(PD)41が設けられている。また、半導体基板40内には、図示は省略するが、上記の画素回路が形成されている。
半導体基板40上には、例えば酸化シリコン(SiO2)で形成された透明な絶縁膜43が設けられている。絶縁膜43上には、例えばタングステンで形成された遮光膜44が設けられている。
図5に示すように、遮光膜44には、通常開口45と、第1偏心開口46aと、第2偏心開口46bとが形成されている。これらの開口は、円形である。第1及び第2偏心開口46a,46bは、通常開口45よりも開口径が小さい。
通常開口45は、通常画素RN,GN,BNに設けられており、その中心は、PD41の中心線上に位置している。これにより、通常画素RN,GN,BNは、PD41の表面上が全て開口されている。
第1偏心開口46aは、第1位相差画素RL,GL,BLに設けられており、その中心は、PD41の中心線から右方向にずれている。これにより、第1位相差画素RL,GL,BLは、PD41の表面上の右側領域が開口されている。
第2偏心開口46bは、第2位相差画素RR,GR,BRに設けられており、その中心は、PD41の中心線から左方向にずれている。これにより、第2位相差画素RR,GR,BRは、PD41の表面上の左側領域が開口されている。
遮光膜44上には、表面が平坦で透明な平坦化層48が設けられている。この平坦化層48上にはカラーフィルタアレイ50が設けられている。カラーフィルタアレイ50は、赤色カラーフィルタ50Rと、緑色カラーフィルタ50Gと、青色カラーフィルタ50Bで構成されている。
赤色カラーフィルタ50Rは、通常画素RN、第1位相差画素RL、第2位相差画素RRのPD41の上方に配置されており、これらのPD41には赤色光が入射する。緑色カラーフィルタ50Gは、通常画素GN、第1位相差画素GL、第2位相差画素GRのPD41の上方に配置されており、これらのPD41には緑色光が入射する。青色カラーフィルタ50Bは、通常画素BN、第1位相差画素BL、第2位相差画素BRのPD41の上方に配置されており、これらのPD41には青色光が入射する。
カラーフィルタアレイ50上には、各PD41の中心線に光軸O2が一致するようにマイクロレンズ52がそれぞれ設けられている。
通常画素RN,GN,BNのマイクロレンズ52に左斜め方向から入射した入射光54LはPD41の右側領域に集光され、右斜め方向から入射した入射光54RはPD41の左側領域に集光される。このため、通常画素RN,GN,BNは、入射光54Lと入射光54Rの両方に対して感度が高く、入射光の方向依存性はない。なお、光軸O2に沿って入射する入射光は、PD41の中央に入射する。
第1位相差画素RL,GL,BLのマイクロレンズ52に左斜め方向から入射した入射光54Lは第1偏心開口46aを通過してPD41の右側領域に集光されるが、右斜め方向から入射した入射光54Rは遮光膜44により遮光される。このため、第1位相差画素RL,GL,BLは、入射光54Lに対して感度が高い。
第2位相差画素RR,GR,BRのマイクロレンズ52に右斜め方向から入射した入射光54Rは第2偏心開口46bを通過してPD41の左側領域に集光されるが、左斜め方向から入射した入射光54Lは遮光膜44により遮光される。このため、第2位相差画素RR,GR,BRは、入射光54Rに対して感度が高い。
図6において、画像処理回路22は、通常画像生成部58と、視差画像生成部59と、広DR画像生成部60と、焦点検出用画像生成部61とを有している。
通常画像生成部58は、通常撮像モード時に動作する。通常画像生成部58は、通常画素RN,GN,BNのからの出力信号に基づき、通常画像データを生成する。
視差画像生成部59は、視差撮像モード時に動作する。視差画像生成部59は、第1位相差画素RL,GL,BLからの出力信号に基づいてL視点画像データを生成し、第2位相差画素RR,GR,BRからの出力信号に基づいてR視点画像データを生成する。これにより、L,R視点画像データを有する視差画像データが得られる。
広DR画像生成部60は、広DR撮像モード時に動作する。広DR画像生成部60は、通常画素RN,GN,BN、第1位相差画素RL,GL,BL、及び第2位相差画素RR,GR,BRのすべての出力信号に基づいて、広DR画像データを生成する。
前述のように、第1及び第2偏心開口46a,46bは、通常開口45より開口径が小さいため、第1位相差画素RL,GL,BL及び第2位相差画素RR,GR,BRへの入射光量は、通常画素RN,GN,BNへの入射光量よりも少ない。このため、第1位相差画素RL,GL,BL及び第2位相差画素RR,GR,BRは低感度画素であり、通常画素RN,GN,BNは高感度画素である。低感度画素からの出力信号と高感度画素からの出力信号とを加算することにより、広DR画像データが得られる。この方法は、特開2011-059337号などで知られている。
通常撮像モード時または広DR撮像モード時には、撮像動作が所定のサイクルで繰り返し行われ、通常画像または広DR画像が表示部32に出力され、スルー画表示が行われる。また、視差撮像モード時には、L視点画像及びR視点画像が所定のサイクルで作成され、表示部32に送られて立体画像が表示される。なお、表示部32が立体表示用でない場合には、L視点画像またはR視点画像の一方が表示部32に表示される。これにより、表示部32に2次元画像または3次元画像のスルー画が表示される。
焦点検出用画像生成部61は、全ての撮像モード時に動作する。焦点検出用画像生成部61は、第1位相差画素RL,GL,BL及び第2位相差画素RR,GR,BRからの出力信号に基づき、位相差AFに用いられるL焦点検出用画像データ及びR焦点検出用画像データを生成する。具体的には、焦点検出用画像生成部61は、第1位相差画素RL,GL,BL及び第2位相差画素RR,GR,BRから、赤(R)、緑(G)、青(B)のいずれか1色に対応する出力信号のみを用いてL焦点検出用画像データ及びR焦点検出用画像データを生成する。
焦点検出用画像生成部61は、色依存特性算出部64と色決定部65を有する。色依存特性算出部64は、撮像面20aの中央領域に含まれる通常画素RN,GN,BNからの出力信号を、対応する色ごとに平均化して平均値(平均出力)を求める。具体的には、中央領域に含まれる通常画素RNの出力信号を平均化して赤色平均出力PRを求める。同様に、中央領域に含まれる通常画素GNの出力信号から緑色平均出力PGを求め、中央領域に含まれる通常画素BNの出力信号から青色平均出力PBを求める。
色決定部65は、色依存特性算出部64により得られた各平均出力PR,PG,PBに基づき、赤色、緑色、青色から1つの色を決定する。具体的には、色決定部65は、赤色平均出力PRと青色平均出力PBとの出力比(PR/PB)、赤色平均出力PRと緑平均出力PGとの出力比(PR/PG)、青色平均出力PBと緑色平均出力PGとの出力比(PB/PG)をそれぞれ求め、所定値α,β,γと比較判定することにより1つの色を決定する。PR/PB>αでかつPR/PG>βである場合には赤色に決定する。PR/PB>αでかつPR/PG<βである場合、またはPR/PB<αでかつPB/PG<γである場合には緑色に決定する。そして、PR/PB<αでかつPB/PG>γである場合には青色に決定する。
焦点検出用画像生成部61は、第1位相差画素RL,GL,BL及び第2位相差画素RR,GR,BRのうち、色決定部65が決定した色に対応する画素からの出力信号に基づき、L焦点検出用画像データ及びR焦点検出用画像データを生成する。例えば、赤色に決定されたときには、第1位相差画素RLと第2位相差画素RRを用いてL焦点検出用画像データ及びR焦点検出用画像データを作成する。これらの画像データは、AF検出部26に出力される。
所定値α,β,γは「1」よりも大きいことが好ましい。この場合には、被写体の主たる色が色決定部65により決定され、この色に対応した第1及び第2位相差画素からの出力信号に基づいてL焦点検出用画像データ及びR焦点検出用画像データが生成される。例えば、画面の中央に存在する主要被検体の主たる色が緑色の場合には、緑色が色決定部65により決定される。これにより、主要被写体の色が片寄ったものであっても、正確に焦点調節量が求められる。
次に、図7及び図8のフローチャートを参照しながらデジタルカメラ10の作用を説明する。操作部12により通常撮像モード、視差撮像モード、広DR撮像モードのうちいずれか1つが選択されると、CPU11は、レンズドライバ21を介してメカシャッタ16の動作を制御するとともに、CMOSドライバ23を介して固体撮像装置20を駆動する。
メカシャッタ15が開放されると、固体撮像装置20に被写体からの光が入射する。通常画素RN,GN,BN、第1位相差画素RL,GL,BL、及び第2位相差画素RR,GR,BRの各PD41は、入射光を光電変換して信号電荷を発生し、これを蓄積する。これらの信号電荷は、CMOSドライバ23の制御の下、画素回路により信号電圧として時系列に読み出される。読み出された各信号電圧は、出力回路(図示せず)を経て、固体撮像装置20から撮像信号として出力される。この撮像信号は、アンプ、A/D変換器(いずれも図示せず)を経て、画像信号として画像処理回路22に送られる。
この画像処理回路22は、各色の画像信号に対して画像処理(階調変換、ホワイトバランス補正、γ補正、色補正等)を施す。初期状態では通常撮像モードであるため、画像処理された3色の画像データは、通常画像生成部58に送られる。この通常画像生成部58は、撮影前はスルー画を生成し、表示部32に表示する。
スルー画の表示中に、画像処理回路22の色依存特性算出部64は、撮像面20aの中央領域に含まれる通常画素RN,GN,BNからの出力信号を、対応する色ごとに平均化して平均出力PG,PB,PRを算出する。得られた各平均出力PG,PB,PRは色決定部65に送られる。
色決定部65は、平均出力PG,PB,PRに基づき、PR/PB>αでかつPR/PG>βである場合には、被写体の主要な色が赤色であると決定する。PR/PB>αでかつPR/PG<βである場合、またはPR/PB<αでかつPB/PG<γである場合には、被写体の主要な色が緑色であると決定する。そして、PR/PB<αでかつPB/PG>γである場合には青色に決定する。
焦点検出用画像生成部61は、色決定部65が決定した色が赤色である場合には、全領域内の第1位相差画素RLを用いてL焦点検出用画像データを生成し、全領域内の第2位相差画素RRを用いてR焦点検出用画像データを生成する。同様に、色決定部65が決定した色が緑色である場合には、第1位相差画素GLを用いてL焦点検出用画像データを生成し、第2位相差画素GRを用いてR焦点検出用画像データを生成する。色決定部65が決定した色が青色である場合には、第1位相差画素BLを用いてL焦点検出用画像データを生成し、第2位相差画素BRを用いてR焦点検出用画像データを生成する。L焦点検出用画像とR焦点検出用画像は、合焦時には一致しているが、合焦していない場合には、その程度に応じて左右方向にずれている。
AF検出部26は、L焦点検出用画像データとR焦点検出用画像データを解析して、L焦点検出用画像とR焦点検出用画像のずれ方向及びずれ量を求め、レンズユニット13の焦点調節量(デフォーカス量)を算出する。
AF制御部27は、AF検出部26により算出された焦点調節量に基づき、レンズドライバ21を介して、フォーカス機構19によりフォーカスレンズ17を光軸方向に移動することで焦点調節を行う。なお、フォーカスレンズ17の移動方向は、焦点調節量の正負に応じて決まる。この位相差AFは、特許第2959142号、特開2009-128892号、特開2007-158597号などに詳細に記載されているので、ここでは詳しい説明を省略する。このAF制御は、スルー画の表示中に所定のサイクルで繰り返し行われる。
操作部12のレリーズボタンが押下されて撮影が指示されると、固体撮像装置20の各画素が強制的にリセットされてから、信号電荷の蓄積を開始する。そして、被写体の明るさに応じた露光時間が経過すると、メカシャッタ15が閉じて露光が終了する。この後に、固体撮像装置20から1フレーム分の出力信号が取り出され、通常画像生成部58により通常画像データが生成される。この通常画像データは、圧縮伸張処理回路29にて圧縮された後、メディアI/F30を経由してメモリカード31に記録される。なお、固体撮像装置20からの信号取り出し後に、メカシャッタ15が開口し、スルー画の撮像が再開される。
視差撮像モード時には、視差画像生成部59によりL視点画像データ及びR視点画像データが生成される。このL視点画像データ及びR視点画像データは、視差画像データとして1つの画像ファイルに圧縮されて、メモリカード31に記録される。また、広DR撮像モード時には、広DR画像生成部60により広DR画像データが生成される。この広DR画像データは、圧縮された後、メモリカード31に記録される。
なお、第1及び第2偏心開口46a,46bによって、第1位相差画素RL,GL,BL、及び第2位相差画素RR,GR,BRの感度が入射光の方向性依存を得るように構成しているが、これに代えて、マイクロレンズの形状や配置を変更することにより、入射光の方向性依存を与えてもよい。
例えば、図9に示す固体撮像装置67では、第1位相差画素RL,GL,BLは、第1偏心マイクロレンズ68aを有しており、第2位相差画素RR,GR,BRは、第2偏心マイクロレンズ68bを有している。第1位相差画素RL,GL,BL及び第2位相差画素RR,GR,BRは、いずれも通常開口45を有している。これらの偏心マイクロレンズ68a,68bは、通常画素RN,GN,BNのマイクロレンズ52よりもサイズが小さい。
第1偏心マイクロレンズ68aは、その下方のPD41の中心から左方向にずれた位置に形成されている。第1偏心マイクロレンズ68aは、その下方のPD41に入射光54Lを集光させる。また、第2偏心マイクロレンズ68aは、その下方のPD41の中心から右方向にずれた位置に形成されている。第2偏心マイクロレンズ68bは、その下方のPD41に入射光54Rを集光させる。これにより、第1位相差画素RL,GL,BLは入射光54Lに対して感度が高く、第2位相差画素RR,GR,BRは入射光54Rに対して感度が高い。
図2に示す固体撮像装置20では、2×2の各画素ブロックの対角方向に第1及び第2位相画素を配置しているが、この配置に限られず、各画素ブロックの4つの画素のうち、2つの画素が第1及び第2位相画素であればよい。
次に、図10を用いて固体撮像装置の別の例について説明する。この固体撮像装置70では、画素配列が、いわゆるEXR配列パターンとなっている。固体撮像装置70は、第1画素行71、第2画素行72、第3画素行73、第4画素行74を有し、この配列パターンで列方向に繰り返し配列されている。第1画素行71では、通常画素BNと通常画素GNがピッチPで交互に配列されている。第2画素行72では、第1位相差画素BL、第1位相差画素GL、第2位相差画素BR、第2位相差画素GRが、この順にピッチPで繰り返し配列されている。第3画素行73では、通常画素GNと通常画素RNがピッチPで交互に配列されている。第4画素行74では、第1位相差画素GR、第1位相差画素RR、第2位相差画素GL、第2位相差画素RLが、この順にピッチPで繰り返し配列されている。
第1位相差画素RL,GL,BL、及び第2位相差画素RR,GR,BRは、偶数行に位置しており、奇数行に位置する通常画素RN,GN,BNに対して、行方向に半ピッチ(P/2)だけずれた位置に配列されている。すなわち、正方配列である第1位相差画素RL,GL,BL、及び第2位相差画素RR,GR,BRと、正方配列である通常画素RN,GN,BNとが、行方向及び列方向に半ピッチだけずらして位置に重ねられている。なお、通常画素RN,GN,BN、第1位相差画素RL,GL,BL、及び第2位相差画素RR,GR,BRの構成は、図3~5と同じである。
この固体撮像装置70においても、固体撮像装置20と同様に、L及びR焦点検出用画像、通常画像、視差画像、及び広DR画像の生成が行われる。
固体撮像装置の画素配列としては、このEXR配列パターン以外に、ハニカム配列パターン等の各種配列パターンを用いることができる。
なお、表示部32としては、液晶ディスプレイなどの2次元画像表示を行うもの、または、3次元画像表示を行うものが用いられる。この3次元画像表示には、レンチキュラ方式、視差バリア方式、パララックスバリア方式、アナグリフ方式、フレームシーケンシャル方式、ライトディレクション方式などが用いられている。
上記実施形態では、色依存特性算出部64は、カラーフィルタの色別に、撮像面20aの中央領域に含まれる通常画素RN,GN,BNからの出力信号を平均化して平均出力PR,PG,PBを求めているが、中央領域以外の領域や全領域に含まれる通常画素RN,GN,BNからの出力信号を平均化して平均出力PR,PG,PBを求めてもよい。
また、色依存特性算出部64は、通常画素RN,GN,BNに加えて、第1位相差画素RL,GL,BL及び第2位相差画素RR,GR,BRからの出力信号を平均化して平均出力PR,PG,PBを求めてもよい。また、色依存特性算出部64は、第1位相差画素RL,GL,BL及び第2位相差画素RR,GR,BRからの出力信号のみを平均化して平均出力PR,PG,PBを求めてもよい。さらに、色依存特性算出部64は、出力信号の平均値に限られず、出力信号の積算値等を算出してもよい。
また、上記実施形態では、画像処理回路22に色依存特性算出部64と色決定部65を設けているが、これらを固体撮像装置20,67,70やCPU11に組み込んでもよい。
撮像モードとしては、通常撮像モード、視差撮像モード、広DR撮像モードの他に、高速撮像モードを設けてもよい。この高速撮像モードは、例えば、固体撮像装置20の奇数行または偶数行の画素の読み出しを行う、いわゆる間引き読み出しを行うモードである。なお、図2に示す画素配列では、奇数行と偶数行のいずれにも、通常画素RN,GN,BN、第1位相差画素RL,GL,BL、及び第2位相差画素RR,GR,BRのすべてが含まれているため、高速撮像モードでは、通常画像、視差画像、広DR画像を高速読み出しすることができる。なお、高速撮像モードでは、解像度は低下するものの、短時間で各撮像が行われる。
また、上記実施形態では、被写体の主たる色に応じて位相差画素を選択しているが、普通は緑色が選択されるように、α、β、γの値を定めてもよい。そして、被写体の赤色が相当に強い場合または青色が相当に強い場合に、赤色または青色を選択し、選択した色の位相差画素からAF制御を行う。また、AF制御に利用する位相差画素は、画面の中央、すなわち、固体撮像装置の撮像面の中央に存在するものだけを用いてもよい。
また、固体撮像装置20,67,70は、赤色、緑色、青色の原色カラーフィルタ50R,50G,50Bを有しているが、これに代えて、黄色、マゼンタ色、シアン色の補色カラーフィルタを用いてもよい。さらに、4色以上のカラーフィルタを用いてもよい。さらに、固体撮像装置20,67,70は、CMOS型に限られず、CCD型であってもよい。
10 デジタルカメラ
17 フォーカスレンズ
20,67,70 固体撮像装置
34R1 第1R画素ブロック
34R2 第2R画素ブロック
34G1 第1G画素ブロック
34G2 第2G画素ブロック
34B1 第1B画素ブロック
34B2 第2B画素ブロック
41 フォトダイオード
44 遮光膜
45 通常開口
46a,46b 第1,第2偏心開口
50,71 カラーフィルタアレイ
50G,50B,50R カラーフィルタ
RN,GN,BN 通常画素
RL,GL,BL 第1位相差画素
RR,GR,BR 第2位相差画素
17 フォーカスレンズ
20,67,70 固体撮像装置
34R1 第1R画素ブロック
34R2 第2R画素ブロック
34G1 第1G画素ブロック
34G2 第2G画素ブロック
34B1 第1B画素ブロック
34B2 第2B画素ブロック
41 フォトダイオード
44 遮光膜
45 通常開口
46a,46b 第1,第2偏心開口
50,71 カラーフィルタアレイ
50G,50B,50R カラーフィルタ
RN,GN,BN 通常画素
RL,GL,BL 第1位相差画素
RR,GR,BR 第2位相差画素
Claims (16)
- 被写体の像を結像する撮影レンズと、
光の入射方向に依存しない感度を有する複数の通常画素と、第1の入射方向に対して高い感度を有する複数の第1位相差画素と、前記第1の入射方向とは逆の第2の入射方向に対して高い感度を有する複数の第2位相差画素との3種類の画素が撮像面に配置され、各画素は少なくとも3原色のうちの1色のカラーフィルタを有する固体撮像装置と、
前記被写体像のカラー撮像後に、前記通常画素と、前記第1及び第2位相差画素との一方または両方の出力信号を色毎に演算し、前記出力信号の色依存特性を算出する色依存特性算出部と、
前記色依存特性に基づいて特定な色を決定する色決定部と、
前記複数の第1及び第2位相差画素のうち、前記特定な色のカラーフィルタを有するものの出力に基づいて、前記撮影レンズの焦点調節量を求めるオートフォーカス検出部と、
前記焦点調節量に応じて、前記撮影レンズを合焦位置にセットするフォーカス機構と、
を備えることを特徴とするデジタルカメラ。 - 前記色依存特性算出部は、前記3原色を構成する赤色、緑色、青色の各色毎に、前記各画素の出力信号を平均化して、赤色平均出力PRと、緑色平均出力PGと、青色平均出力PBとを求め、そのうちの2色の出力比PR/PBと、PR/PGと、PB/PGとの大きさから、前記特定色を決定することを特徴とする請求の範囲第1項に記載のデジタルカメラ。
- 前記色依存特性算出部は、前記撮像面の中央領域内に存在する前記各画素の前記出力信号を用いて前記色依存特性を算出することを特徴とする請求の範囲第1項に記載のデジタルカメラ。
- 前記通常画素からの出力信号に基づき2次元の通常画像を生成する通常画像生成部を備えることを特徴とする請求の範囲第1項に記載のデジタルカメラ。
- 前記通常画素からの出力信号と、前記第1及び第2位相差画素からの出力信号とに基づいて、前記通常画像よりもダイナミックレンジの広い広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部を備えることを特徴とする請求の範囲第4項に記載のデジタルカメラ。
- 前記第1及び第2位相差画素からの出力信号に基づいて視差画像を生成する視差画像生成部を備えることを特徴とする請求の範囲第5項に記載のデジタルカメラ。
- 前記撮像面上の前記複数の画素は、2×2の画素ブロックに区画され、
この各画像ブロックは、2つの前記通常画素と、前記第1及び第2位相差画素を有することを特徴とする請求の範囲第1項に記載のデジタルカメラ。 - 前記3原色は、第1色、第2色、第3色であり、前記各画素ブロックは、同色のカラーフィルタを有することを特徴とする請求の範囲第7項に記載のデジタルカメラ。
- 前記画素ブロックは、
第1の対角方向に配列された2つの前記通常画素と、第2の対角方向に配列された前記第1及び第2位相差画素とからなり、前記第1色のカラーフィルタを有する第1の第1色画素ブロックと、
前記第1の第1色画素ブロックとは、前記第1及び第2位相差画素の位置が逆に配置された第2の第1色画素ブロックと、
第1の対角方向に配列された2つの前記通常画素と、第2の対角方向に配列された前記第1及び第2位相差画素とからなり、前記第2色のカラーフィルタを有する第1の第2色画素ブロックと、
前記第1の第2色画素ブロックとは、前記第1及び第2位相差画素の位置が逆に配置された第2の第2色画素ブロックと、
第1の対角方向に配列された2つの前記通常画素と、第2の対角方向に配列された前記第1及び第2位相差画素とからなり、前記第3色のカラーフィルタを有する第1の第3色画素ブロックと、
前記第1の第3色画素ブロックとは、前記第1及び第2位相差画素の位置が逆に配置された第2の第3色画素ブロックと、
の6種であることを特徴とする請求の範囲第8項に記載のデジタルカメラ。 - 前記第1の第1色画素ブロック、前記第1の第2色画素ブロック、前記第2の第1色画素ブロック、前記第2の第2色画素ブロックが、この順に行方向に繰り返し配列された第1画素ブロック行と、
前記第1の第2色画素ブロック、前記第1の第3色画素ブロック、前記第2の第2色画素ブロック、前記第2の第3色画素ブロックが、この順に行方向に繰り返し配列された第2画素ブロック行とを有し、
前記第1画素ブロック行と前記第2画素ブロック行とは、列方向に交互に配列されている、
ことを特徴とする請求の範囲第9項に記載のデジタルカメラ。 - 前記第1色は緑色、前記第2色は青色、前記第3色は赤色であることを特徴とする請求の範囲第10項に記載のデジタルカメラ。
- 前記通常画素は、奇数行に所定のピッチで配置されており、前記第1及び第2位相差画素は、偶数行に前記ピッチで配置されており、
前記第1及び第2位相差画素は、前記通常画素に対して、行方向に前記ピッチの半分だけずれた位置に配置されている、
ことを特徴とする請求の範囲第1項に記載のデジタルカメラ。 - 前記3原色は、第1色、第2色、第3色であり、
前記第1色のカラーフィルタを有する前記通常画素と、前記第2色のカラーフィルタを有する前記通常画素とが前記ピッチで交互に配列された第1画素行と、
前記第1色のカラーフィルタを有する前記第1位相差画素と、前記第2色のカラーフィルタを有する前記第1位相差画素と、前記第1色のカラーフィルタを有する前記第2位相差画素と、前記第2色のカラーフィルタを有する前記第2位相差画素とが、この順に前記ピッチで繰り返し配列された第2画素行と、
前記第2色のカラーフィルタを有する前記通常画素と、前記第3色のカラーフィルタを有する前記通常画素とが前記ピッチで交互に配列された第3画素行と、
前記第2色のカラーフィルタを有する前記第1位相差画素と、前記第3色のカラーフィルタを有する前記第1位相差画素と、前記第2色のカラーフィルタを有する前記第2位相差画素と、前記第3色のカラーフィルタを有する前記第2位相差画素とが、この順に前記ピッチで繰り返し配列された第4画素行とを有し、
前記第1~第4画素行は、この順に列方向に繰り返し配列されている、
ことを特徴とする請求の範囲第12項に記載のデジタルカメラ。 - 前記第1色は青色、前記第2色は緑色、前記第3色は赤色であることを特徴とする請求の範囲第13項に記載のデジタルカメラ。
- 前記通常画素、前記第1位相差画素、前記第2位相差画素のそれぞれは、フォトダイオードと、遮光膜と、前記カラーフィルタ上に配置されたマイクロレンズとを有し、
前記遮光膜は、前記通常画素の前記フォトダイオードの中心上に形成された通常開口と、前記第1位相差画素の前記フォトダイオードの中心上から一方向にずれた位置に形成された第1偏心開口と、前記第2位相差画素の前記フォトダイオードの中心上から前記一方向とは反対の方向にずれた位置に形成された第2偏心開口とを有することを特徴とする請求の範囲第1項から第14項いずれか1項に記載のデジタルカメラ。 - 前記各通常画素は、フォトダイオードと、このフォトダイオード上の遮光膜に形成された開口と、この開口の中心線上に配置されたマイクロレンズとを有し、
前記各第1位相差画素は、フォトダイオードと、このフォトダイオード上の遮光膜に形成された開口と、この開口の中心線から一方向にずれて配置された径が小さいマイクロレンズとを有し、
前記各第2位相差画素は、フォトダイオードと、このフォトダイオード上の遮光膜に形成された開口と、この開口の中心線から前記一方向とは反対側にずれて配置された径が小さいマイクロレンズとを有する、
ことを特徴とする請求の範囲第1項から第14項いずれか1項に記載のデジタルカメラ。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201280042422.4A CN103782213B (zh) | 2011-09-22 | 2012-08-30 | 数字相机 |
JP2013534650A JP5547349B2 (ja) | 2011-09-22 | 2012-08-30 | デジタルカメラ |
US14/191,578 US8866954B2 (en) | 2011-09-22 | 2014-02-27 | Digital camera |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-207576 | 2011-09-22 | ||
JP2011207576 | 2011-09-22 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/191,578 Continuation US8866954B2 (en) | 2011-09-22 | 2014-02-27 | Digital camera |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013042518A1 true WO2013042518A1 (ja) | 2013-03-28 |
Family
ID=47914295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/071958 WO2013042518A1 (ja) | 2011-09-22 | 2012-08-30 | デジタルカメラ |
Country Status (4)
Country | Link |
---|---|
US (1) | US8866954B2 (ja) |
JP (1) | JP5547349B2 (ja) |
CN (1) | CN103782213B (ja) |
WO (1) | WO2013042518A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2806629A1 (en) * | 2013-05-21 | 2014-11-26 | Samsung Electronics Co., Ltd. | Electronic sensor and method for controlling the same |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI422020B (zh) * | 2008-12-08 | 2014-01-01 | Sony Corp | 固態成像裝置 |
JPWO2014112002A1 (ja) * | 2013-01-15 | 2017-01-19 | オリンパス株式会社 | 撮像素子、及び撮像装置 |
JP6372983B2 (ja) * | 2013-09-02 | 2018-08-15 | キヤノン株式会社 | 焦点検出装置およびその制御方法、撮像装置 |
KR101373132B1 (ko) * | 2013-09-03 | 2014-03-14 | (주)실리콘화일 | 마이크로 렌즈를 이용한 위상차 검출 픽셀 |
JP6405243B2 (ja) * | 2014-03-26 | 2018-10-17 | キヤノン株式会社 | 焦点検出装置及びその制御方法 |
JP2016009043A (ja) * | 2014-06-24 | 2016-01-18 | ソニー株式会社 | イメージセンサ、演算方法、および電子装置 |
US9646365B1 (en) | 2014-08-12 | 2017-05-09 | Amazon Technologies, Inc. | Variable temporal aperture |
US9749532B1 (en) | 2014-08-12 | 2017-08-29 | Amazon Technologies, Inc. | Pixel readout of a charge coupled device having a variable aperture |
US9787899B1 (en) | 2014-08-12 | 2017-10-10 | Amazon Technologies, Inc. | Multiple captures with a variable aperture |
JP6523656B2 (ja) * | 2014-10-30 | 2019-06-05 | オリンパス株式会社 | 焦点調節装置および焦点調節方法 |
US9973678B2 (en) | 2015-01-14 | 2018-05-15 | Invisage Technologies, Inc. | Phase-detect autofocus |
JP6518071B2 (ja) * | 2015-01-26 | 2019-05-22 | キヤノン株式会社 | 固体撮像装置およびカメラ |
KR20160109694A (ko) * | 2015-03-12 | 2016-09-21 | 삼성전자주식회사 | 이미지 센서 및 상기 이미지 센서를 포함하는 이미지 처리 시스템 |
US10002899B2 (en) * | 2015-09-16 | 2018-06-19 | Taiwan Semiconductor Manufacturing Co., Ltd. | Microlens for a phase detection auto focus (PDAF) pixel of a composite grid structure |
JP6981410B2 (ja) * | 2016-06-28 | 2021-12-15 | ソニーグループ株式会社 | 固体撮像装置、電子機器、レンズ制御方法および車両 |
KR20180033003A (ko) * | 2016-09-23 | 2018-04-02 | 삼성전자주식회사 | 입사광의 파장 스펙트럼을 검출하는 방법 및 이를 수행하는 전자 장치 |
CN106341670B (zh) * | 2016-11-29 | 2017-09-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106504218B (zh) | 2016-11-29 | 2019-03-12 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106454054B (zh) * | 2016-11-29 | 2019-03-19 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106506969B (zh) | 2016-11-29 | 2019-07-19 | Oppo广东移动通信有限公司 | 摄像模组、通过其进行人像追踪的方法以及电子设备 |
CN106454289B (zh) * | 2016-11-29 | 2018-01-23 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
US10187600B2 (en) * | 2017-06-15 | 2019-01-22 | SmartSens Technology (U.S.), Inc. | Four shared pixel with phase detection and full array readout modes |
JP7009091B2 (ja) | 2017-06-20 | 2022-01-25 | キヤノン株式会社 | 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム |
JP2019086775A (ja) * | 2017-11-06 | 2019-06-06 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム及び記憶媒体 |
CN109819144B (zh) * | 2017-11-22 | 2021-02-05 | 浙江舜宇智能光学技术有限公司 | Tof摄像模组及其设计方法 |
JP6953297B2 (ja) * | 2017-12-08 | 2021-10-27 | キヤノン株式会社 | 撮像装置及び撮像システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003007994A (ja) * | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP2007158597A (ja) * | 2005-12-02 | 2007-06-21 | Nikon Corp | 焦点検出用信号の生成機能を有する固体撮像装置、および電子カメラ |
JP2008312073A (ja) * | 2007-06-16 | 2008-12-25 | Nikon Corp | 固体撮像素子及びこれを用いた撮像装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8035721B2 (en) * | 2004-08-05 | 2011-10-11 | Panasonic Corporation | Imaging apparatus |
JP4721769B2 (ja) * | 2005-05-17 | 2011-07-13 | Hoya株式会社 | デジタルカメラ |
JP2007158579A (ja) * | 2005-12-02 | 2007-06-21 | Canon Inc | 撮像装置 |
JP4976160B2 (ja) * | 2007-02-22 | 2012-07-18 | パナソニック株式会社 | 撮像装置 |
JP4957413B2 (ja) * | 2007-07-04 | 2012-06-20 | 株式会社ニコン | 固体撮像素子及びこれを用いた撮像装置 |
JP4978449B2 (ja) * | 2007-12-10 | 2012-07-18 | ソニー株式会社 | 撮像装置 |
JP5034936B2 (ja) * | 2007-12-27 | 2012-09-26 | 株式会社ニコン | 固体撮像素子及びこれを用いた撮像装置 |
JP5219865B2 (ja) * | 2008-02-13 | 2013-06-26 | キヤノン株式会社 | 撮像装置及び焦点制御方法 |
JP5146295B2 (ja) * | 2008-12-15 | 2013-02-20 | ソニー株式会社 | 撮像装置および合焦制御方法 |
JP2010252277A (ja) | 2009-04-20 | 2010-11-04 | Panasonic Corp | 固体撮像装置及び電子カメラ |
JP2011090143A (ja) * | 2009-10-22 | 2011-05-06 | Nikon Corp | 焦点検出装置およびカメラ |
-
2012
- 2012-08-30 WO PCT/JP2012/071958 patent/WO2013042518A1/ja active Application Filing
- 2012-08-30 JP JP2013534650A patent/JP5547349B2/ja not_active Expired - Fee Related
- 2012-08-30 CN CN201280042422.4A patent/CN103782213B/zh not_active Expired - Fee Related
-
2014
- 2014-02-27 US US14/191,578 patent/US8866954B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003007994A (ja) * | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP2007158597A (ja) * | 2005-12-02 | 2007-06-21 | Nikon Corp | 焦点検出用信号の生成機能を有する固体撮像装置、および電子カメラ |
JP2008312073A (ja) * | 2007-06-16 | 2008-12-25 | Nikon Corp | 固体撮像素子及びこれを用いた撮像装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2806629A1 (en) * | 2013-05-21 | 2014-11-26 | Samsung Electronics Co., Ltd. | Electronic sensor and method for controlling the same |
US9571760B2 (en) | 2013-05-21 | 2017-02-14 | Samsung Electronics Co., Ltd. | Electronic sensor and method for controlling the same |
Also Published As
Publication number | Publication date |
---|---|
US20140176780A1 (en) | 2014-06-26 |
CN103782213A (zh) | 2014-05-07 |
JPWO2013042518A1 (ja) | 2015-03-26 |
JP5547349B2 (ja) | 2014-07-09 |
US8866954B2 (en) | 2014-10-21 |
CN103782213B (zh) | 2015-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5547349B2 (ja) | デジタルカメラ | |
JP7298635B2 (ja) | 撮像素子、及び撮像装置 | |
US8988576B2 (en) | Solid-state imaging device and digital camera | |
JP5621056B2 (ja) | カラー撮像素子 | |
JP5513326B2 (ja) | 撮像素子及び撮像装置 | |
US20150358593A1 (en) | Imaging apparatus and image sensor | |
WO2012039180A1 (ja) | 撮像デバイス及び撮像装置 | |
JP5525107B2 (ja) | 撮像装置 | |
JP5621059B2 (ja) | カラー撮像素子及び撮像装置 | |
JP5834398B2 (ja) | 撮像素子及び撮像装置 | |
WO2012073727A1 (ja) | 撮像装置及びその合焦位置検出方法 | |
WO2013069445A1 (ja) | 立体撮像装置及び画像処理方法 | |
JP2012003009A (ja) | 固体撮像素子及びその製造方法並びに撮影装置 | |
JP2012211942A (ja) | 固体撮像素子及び撮像装置 | |
WO2013042606A1 (ja) | デジタルカメラ及び固体撮像装置 | |
JP5961208B2 (ja) | 撮像素子及び撮像装置 | |
JP5907668B2 (ja) | 撮像装置及び撮像素子 | |
JP5929307B2 (ja) | 撮像装置およびデジタルカメラ | |
JP2018046563A (ja) | 撮像素子 | |
JP5961720B2 (ja) | 撮像装置 | |
JP2014215526A (ja) | 撮像素子およびカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12833871 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2013534650 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12833871 Country of ref document: EP Kind code of ref document: A1 |