WO2012133106A1 - 撮像装置、撮像素子、画像処理方法、絞り制御方法、およびプログラム - Google Patents

撮像装置、撮像素子、画像処理方法、絞り制御方法、およびプログラム Download PDF

Info

Publication number
WO2012133106A1
WO2012133106A1 PCT/JP2012/057332 JP2012057332W WO2012133106A1 WO 2012133106 A1 WO2012133106 A1 WO 2012133106A1 JP 2012057332 W JP2012057332 W JP 2012057332W WO 2012133106 A1 WO2012133106 A1 WO 2012133106A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parallax
pixel
pair
diaphragm
Prior art date
Application number
PCT/JP2012/057332
Other languages
English (en)
French (fr)
Inventor
山崎 知洋
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011071605A external-priority patent/JP5757128B2/ja
Priority claimed from JP2011071606A external-priority patent/JP5757129B2/ja
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP12764074.6A priority Critical patent/EP2693756B1/en
Priority to US14/002,028 priority patent/US9544571B2/en
Priority to KR1020137023705A priority patent/KR101917403B1/ko
Priority to CN201280025027.5A priority patent/CN103563366B/zh
Publication of WO2012133106A1 publication Critical patent/WO2012133106A1/ja
Priority to US15/298,104 priority patent/US9826215B2/en
Priority to US15/684,811 priority patent/US10397547B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • G03B35/10Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00Exposure-making shutters; Diaphragms
    • G03B9/02Diaphragms
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present technology relates to an imaging device, and more particularly, to an imaging device that generates a stereoscopic image, an imaging element, an image processing method, an aperture control method, and a program that causes a computer to execute the method.
  • an imaging apparatus such as a digital still camera or a digital video camera (camera integrated recorder) that generates image data for displaying a stereoscopic image that can obtain stereoscopic vision using the parallax between the left and right eyes has been used. Proposed.
  • an imaging apparatus that includes two lenses and one imaging element and generates two images (left-eye viewing image and right-eye viewing image) for displaying a stereoscopic image has been proposed (for example, , See Patent Document 1).
  • two images (a left-eye viewing image and a right-eye viewing image) can be generated using two lenses and one imaging device.
  • the polarizing filter since the polarizing filter is used, the amount of light may be reduced. Further, there is a possibility that light from subject light (for example, reflected light from glass or reflected light from the water surface) having specific polarization cannot be received.
  • This technology was created in view of such a situation, and aims to reduce the deterioration of the image quality of a stereoscopic image and improve the image quality.
  • the present technology has been made to solve the above-described problems, and the first side thereof detects parallax by receiving subject light with a plurality of light receiving elements covered by one microlens.
  • An image sensor including a parallax detection pixel that generates a signal for generating a signal for generating a signal for generating a planar image by receiving the subject light, and a signal generated by the parallax detection pixel The parallax is detected, the planar image is generated based on the signal generated by the image generation pixel, and the positions of the subject images included in the generated planar image are adjusted based on the detected parallax.
  • An imaging apparatus and an image processing method including a stereoscopic image generation unit that generates a stereoscopic image, and a program for causing a computer to execute the method. Accordingly, the parallax is detected based on the signal generated by the parallax detection pixel, the plane image is generated based on the signal generated by the image generation pixel, and each of the subject images included in the plane image is detected based on the detected parallax. This brings about the effect of adjusting the position to generate a stereoscopic image.
  • the first aspect further includes a posture detection unit that detects a posture of the imaging device, and the parallax detection pixels are arranged side by side on a line in a row direction and a line in a column direction in the imaging device.
  • the stereoscopic image generation unit determines a direction in which the parallax is detected based on the posture detected by the posture detection unit from either the row direction or the column direction of the image sensor, and the determined direction is Information on the parallax may be generated based on a signal generated by the arranged parallax detection pixels. Accordingly, the direction in which the parallax is detected is determined based on the posture detected by the posture detection unit, and information on the parallax is generated based on the signal generated by the parallax detection pixels arranged in the determined direction. .
  • a focusing determination unit that performs focusing determination on a focused object based on a signal generated by the parallax detection pixel may be further included. This brings about the effect
  • the image sensor may be arranged such that the parallax detection pixels are adjacent to each other on a line in a specific direction. This brings about the effect
  • the image sensor may be arranged such that the parallax detection pixels are arranged at predetermined intervals on a line in a specific direction. This brings about the effect that the parallax detection pixels are arranged in an island shape.
  • one microlens that covers the plurality of light receiving elements in the parallax detection pixel is moved in the optical axis direction of the microlens based on the relationship between the imaging element and the size of the exit pupil. You may make it further comprise the control part to be made. This brings about the effect that parallax is detected for a plurality of exit pupils of different sizes.
  • the plurality of light receiving elements in the parallax detection pixel may be covered with the same color filter. This brings about the effect
  • the plurality of light receiving elements in the parallax detection pixel may be covered with a green filter that blocks light outside the wavelength region indicating green. This brings about the effect
  • the plurality of light receiving elements in the parallax detection pixel may be covered with a white filter or a transparent layer that transmits light in the visible light region. This brings about the effect
  • the image generation pixel may include one light receiving element for each pixel unit. This brings about the effect
  • the object light collected by the one microlens covering the plurality of light receiving elements in the parallax detection pixel is collected at each position of the plurality of light receiving elements.
  • the microlens may cover the plurality of light receiving elements for each of the plurality of light receiving elements.
  • the parallax detection pixel has one microlens that covers the plurality of light receiving elements, and a microlens for further collecting the subject light condensed by the one microlens at each position of the plurality of light receiving elements. It brings about the effect that and are provided.
  • the microlens that covers the light receiving element in the image generation pixel is an optical axis direction of the microlens that covers the plurality of light receiving elements in the parallax detection pixel for each of the plurality of light receiving elements. It may be arranged on the same plane orthogonal to. Thereby, the microlens which covers each of the light receiving elements of the parallax detection pixel and the microlens in the image generation pixel are provided in the same layer.
  • the microlens covering the light receiving element in the image generation pixel is on the same plane orthogonal to the optical axis direction of the one microlens covering the plurality of light receiving elements in the parallax detection pixel. You may make it arrange
  • the second aspect of the present technology generates a signal for detecting parallax used when generating a stereoscopic image by receiving subject light by a plurality of light receiving elements covered by one microlens. And a parallax detection pixel that is used to generate the stereoscopic image using the parallax by receiving the subject light by a light receiving element that is covered in pixel units by a microlens smaller than the microlens. And an image generation pixel that generates a signal for generating a signal.
  • the imaging element is provided with a parallax detection pixel including a plurality of light receiving elements covered by one microlens and an image generation pixel including a light receiving element covered by a small microlens in a pixel unit.
  • the parallax is a displacement amount of each position of the subject image when the stereoscopic image is generated by adjusting each position of the subject image in the planar image in the parallax direction.
  • the parallax detection pixels may be arranged on a line in the parallax direction. This brings about the effect that the signal from the parallax detection pixels arranged on the line in the parallax direction is used for calculating the amount of shifting the position of the subject image in the planar image.
  • a stereoscopic image is generated by receiving a diaphragm that forms a pair of opening areas for generating a stereoscopic image and subject light that passes through the pair of opening areas.
  • An image sensor for generating a signal for controlling the distance between the center of gravity of the pair of opening areas, and a control unit that independently controls increase / decrease in the amount of light of the subject light passing through the pair of opening areas The present invention is an image pickup apparatus provided, a diaphragm control method related to the image pickup apparatus, and a program for causing a computer to execute the method.
  • the diaphragm is formed with the pair of opening areas adjacent to each other in the parallax direction in the stereoscopic image
  • the control unit includes a peripheral edge of the pair of opening areas.
  • the position of the peripheral edge corresponding to both ends in the parallax direction and the position of the peripheral edge adjacent to each other between the pair of opening regions may be changed and controlled.
  • a pair of opening areas are formed adjacent to each other in the parallax direction in the stereoscopic image, and the positions of the peripheral edges corresponding to both ends in the parallax direction and the positions of the peripheral edges adjacent to each other between the pair of opening areas are changed. The effect is to control.
  • the control unit when the control unit increases or decreases the amount of light, the control unit relates to one opening region of the pair of opening regions with a constant distance between the centers of gravity. You may make it change the length between the peripheral edge corresponding to both ends, and the said adjacent peripheral edge, and the length between the peripheral edge corresponding to the said both ends which concern on another opening area
  • the distance between the centers of gravity being constant, the length between the peripheral edge corresponding to both ends of one opening area of the pair of opening areas and the adjacent peripheral edge This brings about the effect of changing the length between the peripheral edge corresponding to both ends of the other opening region and the adjacent peripheral edge.
  • a length between a peripheral edge corresponding to the both ends related to one of the opening areas of the pair of opening areas and the adjacent peripheral edge is related to the other opening area.
  • the length between the peripheral edge corresponding to both ends and the adjacent peripheral edge may be the same.
  • the length between the peripheral edge corresponding to both ends of one opening area of the pair of opening areas and the adjacent peripheral edge is set to be equal to the peripheral edge corresponding to both ends of the other opening area and the adjacent peripheral edge. It brings about the effect of making it the same as the length between.
  • the control unit when the control unit changes the distance between the centroids, the control unit is adjacent to a peripheral edge corresponding to the both ends of the opening region of the pair of opening regions. You may make it change the distance between the said gravity centers in the state which made constant the length between peripheral edges. Thereby, when changing the distance between the center of gravity, the center of gravity is kept constant with the length between the peripheral edge corresponding to both ends of the opening area of one of the pair of opening areas and the adjacent peripheral edge. It brings about the effect of changing the distance between.
  • the third side surface further includes an adjustment unit that adjusts a distance between the centroids, and the control unit is configured to adjust the distance between the centroids after the adjustment by the adjustment unit. May be controlled. This brings about the effect
  • the diaphragm includes a first member in which a pair of members each having a notch is arranged so that the notches are opposed to each other, and a pair of members having a protrusion are the protrusions.
  • the aperture is configured.
  • the first member and the second member may be driven in an orthogonal direction orthogonal to the parallax direction.
  • the 1st member and the 2nd member bring about the effect
  • the notch has a concave shape with one point on a straight line passing through the center of the distance between the centroids and parallel to the driving direction of the first member as a peak of a mountain shape.
  • the protrusion may have a convex shape having a point on the straight line passing through the center of the distance between the centers of gravity and parallel to the driving direction of the second member.
  • the notch has a concave shape with a point on the straight line parallel to the driving direction of the first member passing through the center of the distance between the centroids, and the protruding portion has a distance between the centroids.
  • the third aspect further includes a posture detection unit that detects a posture of the imaging device, and the diaphragm includes a pair of members each having a cutout portion arranged so that the cutout portions face each other.
  • a third member that shields a part of the subject light in the case of vertical shooting, and a pair of members including protrusions is provided with a third member disposed so that the protrusions face each other;
  • the driving direction of the second member and the driving direction of the third member are orthogonal to each other, and the control unit determines whether the horizontal position shooting or the vertical position shooting is based on the detected posture.
  • the pair of open areas It may be Gosuru. Accordingly, there is an effect that a pair of opening regions are formed in the parallax direction in both the horizontal position
  • the stop may be arranged in an optical path of the subject light collected by a monocular lens system.
  • the diaphragm is arranged in the optical path of the subject light condensed by the monocular lens system.
  • a fourth aspect of the present technology is a diaphragm including a pair of members each including a pair of notch portions adjacent to each other in the parallax direction in the stereoscopic image, and the pair of opening regions when the notch portions face each other.
  • the imaging apparatus includes a control unit that controls the diaphragm by driving the pair of members in orthogonal directions orthogonal to the parallax direction.
  • the stereoscopic image is generated by receiving an aperture that forms an opening region whose longitudinal direction is the parallax direction in the stereoscopic image and subject light that passes through the opening region.
  • An image sensor that generates a signal of the above and a control unit that controls the diaphragm so that the length of the opening region in the parallax direction is longer than the length of the opening region in the orthogonal direction orthogonal to the parallax direction.
  • An imaging apparatus is provided. Accordingly, there is an effect that the stereoscopic light is generated by receiving the subject light passing through the aperture area of the diaphragm that forms the aperture area having the parallax direction in the stereoscopic image as the longitudinal direction.
  • the diaphragm includes a pair of members each having a cutout portion so that the cutout portions are opposed to each other to form the opening region, and the control unit is configured to move the pair of members in the orthogonal direction.
  • the diaphragm may be controlled by driving each. Accordingly, there is an effect that a stereoscopic image is generated by receiving subject light passing through an opening region formed by a pair of members having cutout portions facing each other.
  • the notch may be a rectangle having a long side in the parallax direction, a triangle having the parallax direction as a base, or a semicircle having the parallax direction as one side.
  • the subject light passing through the opening area formed by the rectangular shape having the long side in the parallax direction, the triangle having the base side in the parallax direction, or the semicircular cutout having the parallax direction as one side is received and stereoscopically viewed. The effect is that an image is generated.
  • the diaphragm includes a pair of first members that have sides parallel to the parallax direction, the sides face each other, and sides that are parallel to the orthogonal direction, and the sides face each other.
  • the opening region may be formed by a pair of second members.
  • the present technology it is possible to achieve an excellent effect that the deterioration of the image quality of the stereoscopic image can be reduced and the image quality can be improved.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the imaging apparatus 100 according to the first embodiment of the present technology.
  • FIG. It is a mimetic diagram showing an example of pixel arrangement with which image sensor 200 in a 1st embodiment of this art is provided. It is a mimetic diagram showing an example of an image generation pixel and a parallax detection pixel with which image pick-up element 200 in a 1st embodiment of this art is provided. It is a mimetic diagram showing an example of section composition of an image generation pixel and a parallax detection pixel in a 1st embodiment of this art. It is a figure showing typically subject light which a parallax detection pixel in a 1st embodiment of this art receives.
  • 12 is a flowchart illustrating an example of an imaging process procedure when a stereoscopic image is captured by the imaging device 100 according to the first embodiment of the present technology.
  • 12 is a flowchart illustrating an example of a processing procedure of a stereoscopic image generation process (step S920) in the imaging processing procedure according to the first embodiment of the present technology.
  • It is a block diagram showing an example of functional composition of imaging device 400 of a 2nd embodiment of this art. It is a figure which shows typically the concept of the autofocus using the pixel value of nine pixel circuits in the parallax detection pixel 230 in 2nd Embodiment of this technique.
  • FIG. 12 is a flowchart illustrating an example of an imaging process procedure when a stereoscopic image is captured by the imaging apparatus 400 according to the second embodiment of the present technology.
  • 22 is a flowchart illustrating an example of a processing procedure of a focusing process (step S940) in an imaging processing procedure according to the second embodiment of the present technology.
  • step S940 a processing procedure of a focusing process
  • FIG. 22 is a flowchart illustrating an example of an imaging process procedure when a stereoscopic image is captured by the imaging apparatus 500 according to the third embodiment of the present technology. It is a block diagram showing an example of functional composition of imaging device 600 of a 4th embodiment of this art. It is a figure showing typically an example of diaphragm 610 of a 4th embodiment of this art.
  • First embodiment imaging control: an example in which parallax is detected by a parallax detection pixel and a 3D image is generated
  • Second Embodiment Imaging Control: Example of performing phase difference detection using pixel values of parallax detection pixels
  • Modified example 4.
  • Third Embodiment Aperture Control: Example in which brightness and baseline length are independently controlled in horizontal position shooting
  • Fourth Embodiment Aperture Control: Example in which brightness and baseline length are independently controlled in both horizontal position shooting and vertical position shooting
  • FIG. 1 is a block diagram illustrating an example of a functional configuration of the imaging apparatus 100 according to the first embodiment of the present technology.
  • the imaging device 100 is an imaging device that generates a 3D image with a single eye.
  • the imaging apparatus 100 is an imaging apparatus that captures an image of a subject, generates image data (captured image), and records the generated image data as 2D or 3D image content (still image content or moving image content).
  • image content still image file
  • image file image file
  • the imaging apparatus 100 includes a lens unit 110, an operation receiving unit 120, a control unit 130, an imaging element 200, a signal processing unit 300, a posture detection unit 140, a display unit 151, a storage unit 152, and a driving unit. 170.
  • the lens unit 110 is for condensing light from the subject (subject light).
  • the lens unit 110 includes a zoom lens 111, a diaphragm 112, and a focus lens 113.
  • the zoom lens 111 adjusts the magnification of the subject included in the captured image by moving in the optical axis direction by driving the driving unit 170 to change the focal length.
  • the diaphragm 112 is a shield for adjusting the amount of subject light incident on the image sensor 200 by changing the degree of opening by driving the driving unit 170.
  • the focus lens 113 adjusts the focus by moving in the optical axis direction by driving of the driving unit 170.
  • the operation reception unit 120 receives an operation from the user. For example, when a shutter button (not shown) is pressed, the operation receiving unit 120 supplies a signal related to the pressing to the control unit 130 as an operation signal.
  • the control unit 130 controls the operation of each unit in the imaging apparatus 100. In FIG. 1, only main signal lines are shown, and others are omitted. For example, when the shutter button is pressed and an operation signal for starting still image recording is received, the control unit 130 supplies a signal related to still image recording execution to the signal processing unit 300.
  • the image sensor 200 is an image sensor that photoelectrically converts received subject light into an electrical signal.
  • the imaging device 200 is realized by, for example, an xy address type sensor such as a CMOS (Complementary Metal Oxide Semiconductor) sensor, a CCD (Charge Coupled Device) sensor, or the like.
  • the imaging element 200 includes a pixel (image generation pixel) that generates a signal for generating a captured image based on the received subject light, and a pixel (parallax detection pixel) for detecting parallax for generating a 3D image. ) And are arranged.
  • the image sensor 200 will be described with reference to FIG.
  • the image generation pixel and the parallax detection pixel will be described with reference to FIGS.
  • the image sensor 200 supplies an electric signal (image signal) generated by photoelectric conversion to the signal processing unit 300 for each frame (image data).
  • the signal processing unit 300 performs predetermined signal processing on the electric signal supplied from the image sensor 200. For example, the signal processing unit 300 performs black level correction, defect correction, shading correction, color mixing correction, and the like after the electric signal supplied from the image sensor 200 is converted into a digital electric signal (pixel value). In addition, the signal processing unit 300 generates a 3D image (stereoscopic image) on the basis of the electrical signal that has been subjected to each correction.
  • the signal processing unit 300 includes a 2D image generation unit 310, a parallax detection unit 320, and a 3D image generation unit 330 as functional configurations for generating a 3D image.
  • the signal processing unit 300 is an example of a stereoscopic image generation unit described in the claims.
  • the 2D image generation unit 310 generates a 2D image (planar image) based on the electrical signal (pixel value) of the image generation pixel.
  • the 2D image generation unit 310 interpolates an electric signal (pixel value) corresponding to the position of the parallax detection pixel based on the electric signal (pixel value) of the image generation pixel, and performs a demosaic process to obtain a planar image. Generate.
  • the 2D image generation unit 310 supplies the generated planar image to the 3D image generation unit 330.
  • the parallax detection unit 320 generates a parallax information image based on the electrical signal (pixel value) of the parallax detection pixel.
  • the parallax information image is an image including information (parallax information) regarding a difference (parallax) between the left eye image and the right eye image.
  • the parallax detection unit 320 supplies the generated parallax information image to the 3D image generation unit 330.
  • the 3D image generation unit 330 generates a 3D image (stereoscopic image) based on the parallax information image and the 2D image.
  • the 3D image generation unit 330 generates a left eye image and a right eye image as a 3D image.
  • the 3D image generation unit 330 generates a 3D image by shifting the position of the image of each captured object in the 2D image based on the parallax information indicated by the parallax information image.
  • the 3D image generation unit 330 causes the storage unit 152 to store the generated left eye image data (left eye image data) and right eye image data (right eye image data) as stereoscopic image content.
  • the 3D image generation unit 330 causes the display unit 151 to display the left eye image data and the right eye image data as stereoscopic image content.
  • the posture detection unit 140 detects the posture (tilt) of the imaging device 100.
  • the posture detection unit 140 is realized by, for example, a gyro sensor or an acceleration sensor.
  • the posture detection unit 140 supplies information (posture information) regarding the detected posture of the imaging device 100 to the parallax detection unit 320.
  • the display unit 151 displays an image based on the stereoscopic image content supplied from the 3D image generation unit 330.
  • the display unit 151 is realized by a color liquid crystal panel, for example.
  • the storage unit 152 records the stereoscopic image content supplied from the 3D image generation unit 330.
  • a removable recording medium such as a disk such as a DVD (Digital Versatile Disk) or a semiconductor memory such as a memory card can be used as the storage unit 152.
  • these recording media may be built in the imaging apparatus 100 or may be detachable from the imaging apparatus 100.
  • the driving unit 170 drives the zoom lens 111, the aperture 112, and the focus lens 113. For example, when a command for moving the focus lens 113 is supplied from the control unit 130, the driving unit 170 moves the focus lens 113 based on the command.
  • FIG. 2 is a schematic diagram illustrating an example of an arrangement of pixels provided in the image sensor 200 according to the first embodiment of the present technology.
  • the pixel arrangement on the light receiving surface of the image sensor is described (for example, FIG. 2, FIG. 3, FIG. 7), from the back side of the light receiving surface of the image sensor for convenience of explanation. A case of viewing will be schematically illustrated and described.
  • the direction from the back to the front is the + side of the Z axis.
  • the Z-axis is an axis parallel to the optical axis, and the plus direction of the Z-axis is the traveling direction of the subject light traveling from the subject to the image sensor.
  • the signal reading direction in the image sensor 200 is the X-axis direction (read out in units of rows), the long side direction of the image sensor 200 is the X-axis direction, and the short side direction is the Y-axis direction. It shall be.
  • FIG. 5B a region (region 250) in which the pixel arrangement shown in the region 210 is repeated in the X-axis direction and the Y-axis direction is schematically shown.
  • (A) of the figure shows a pixel arrangement of image generation pixels and parallax detection pixels in a partial region (region 210) of the image sensor 200.
  • one pixel circuit is indicated by one square (the smallest square in (a) of the figure). Note that, in the first embodiment of the present technology, with respect to the image generation pixel, since one pixel circuit constitutes one pixel, one square indicates one image generation pixel.
  • the image sensor 200 includes, as image generation pixels, a pixel (R pixel) that receives red light by a color filter that transmits red (R) light, and a green filter that transmits green (G) light. Pixels that receive light (G pixels) are arranged.
  • the imaging element 200 includes a pixel (B pixel) that receives blue light by a color filter that transmits blue (B) light as an image generation pixel.
  • the R pixel, the G pixel, and the B pixel are indicated by a square with a dot, a square with a white, and a square with a gray (see, for example, a pixel in the region 220). .
  • the parallax detection pixel 230 is a pixel that detects parallax for generating a 3D image.
  • the parallax detection pixel 230 includes nine pixel circuits.
  • the parallax detection pixel 230 includes one microlens that covers nine pixel circuits. Note that the image generation pixel is not provided with a microlens that covers these nine pixels.
  • nine pixel circuits are uniformly covered with a color filter that transmits green (G) light.
  • G green
  • the parallax detection pixel 230 encloses nine pixel circuits (9 smallest squares) with thick squares, and adds one thick circle (representing a microlens) in the thick squares. Is shown.
  • the parallax detection pixels 230 are arranged in the reference).
  • the layer generation pixels will be described with reference to FIG. 3A using the region 225 in FIG. Further, the parallax detection pixel will be described with reference to FIG. The cross-sectional configurations of the image layer generation pixel and the parallax detection pixel will be described with reference to FIG.
  • FIG. 2 (b) shows a region where the region 210 shown in FIG. 2 (a) is repeated in the X-axis direction and the Y-axis direction.
  • the pixel arrangement in the image sensor 200 is a pixel arrangement in which the region shown in FIG. 5A is repeated in the X-axis direction and the Y-axis direction.
  • the parallax detection pixels 230 are lined at an arbitrary pixel period with respect to the row direction and the column direction of the image sensor 200 as indicated by a thick line (parallax detection pixel line 234) in the region 250 of FIG. Arranged in a pattern (lattice pattern).
  • FIG. 3 is a schematic diagram illustrating an example of an image generation pixel and a parallax detection pixel included in the image sensor 200 according to the first embodiment of the present technology.
  • FIG. 1 shows nine image generation pixels in the region 225 of (a) of FIG.
  • the image generation pixels R pixel, G pixel, B pixel
  • the image generation pixels have a sign (R, G, B) and a pattern (R pixel is a gray area, G pixel is white) Regions and B pixels are indicated by dots).
  • the G pixel the G pixel in the row (line) including the R pixel (R pixel 226) is shown as a Gr pixel 227, and the G pixel in the row (line) including the B pixel (B pixel 229) is a Gb pixel. It is shown as 228.
  • microlens arranged in each image generation pixel is indicated by a broken-line circle (microlens 261).
  • the imaging element 200 is provided with two microlens layers to form two types of microlenses.
  • the microlens 261 is formed of a microlens layer close to a color filter layer.
  • the image generation pixels are arranged in a Bayer array. Each image generation pixel is provided with one microlens covering each pixel.
  • parallax detection pixel 230 shows a parallax detection pixel (parallax detection pixel 230).
  • the nine pixel circuits in the parallax detection pixel 230 are indicated by squares (referred to as pixel circuits 1 to 9) denoted by reference numerals 1 to 9.
  • pixel circuits 1 to 9 all the pixel circuits are uniformly covered with a color filter that transmits green (G) light.
  • the microlens provided in each pixel circuit is indicated by a broken-line circle (microlens 261).
  • the microlens 261 in the parallax detection pixel 230 is the same as the microlens (microlens 261) in the image generation pixel, and is formed by a microlens layer close to the color filter layer.
  • the parallax detection pixel 230 is provided with one large microlens so as to cover all nine microlenses 261 in the parallax detection pixel 230 (so as to cover all the pixel circuits 1 to 9).
  • this large microlens is indicated by a thick circle (micro lens 231 for parallax detection).
  • one large microlens is arranged so as to cover nine pixel circuits.
  • nine pixel circuits are uniformly covered with a color filter that transmits green (G) light.
  • FIG. 4 is a schematic diagram illustrating an example of a cross-sectional configuration of the image generation pixel and the parallax detection pixel according to the first embodiment of the present technology.
  • (A) of the figure shows a pixel circuit of 3 rows ⁇ 9 columns viewed from the back side of the light receiving surface of the image sensor 200, in order to explain the cross-sectional position of the cross-sectional configuration shown in (b) of FIG. (B) is a cross-sectional position (a-b line).
  • the pixel circuit in the middle three columns among the pixel circuits of 3 rows ⁇ 9 columns is a parallax detection pixel. .
  • FIG. 5B shows a cross-sectional configuration along the ab line in (a) of the figure.
  • (b) in the figure shows a microlens layer S1 and a parallax detection microlens layer S2.
  • the microlens 261 is a lens for condensing subject light on the light receiving element. One microlens 261 is provided for each pixel circuit.
  • the microlens 261 is a microlens layer S1 (a layer closer to the light receiving element 264) of two microlens layers (microlens layer S1 and parallax detection microlens layer S2) provided in the image sensor. Provided.
  • the light receiving element 264 generates an electric signal having a strength corresponding to the amount of received light by converting the received light into an electric signal (photoelectric conversion).
  • the light receiving element 264 is configured by, for example, a photodiode (PD: Photo Diode).
  • PD Photo Diode
  • One light receiving element 264 is provided for each pixel circuit. That is, nine light receiving elements are provided in the parallax detection pixel 230 including nine pixel circuits.
  • the R filter 262, the G filter 263, and the G filter 232 are color filters that transmit light in a specific wavelength range.
  • the R filter 262 is a color filter that transmits light in the wavelength region indicating red (R), and causes the light receiving element of the R pixel to receive light in the wavelength region indicating red.
  • the G filter 263 and the G filter 232 are color filters that transmit light in a wavelength region indicating green (G).
  • the G filter 263 causes the light receiving element of the G pixel to receive light in the wavelength region indicating green
  • the G filter 232 causes the light receiving element of the parallax detection pixel 230 to receive light in the wavelength region indicating green.
  • the color filter is provided with a filter (R filter 262, G filter 263, or B filter) corresponding to light in a wavelength region (R, G, or B) received by the image generation pixel.
  • the G filter 263 covers all nine pixel circuits in the parallax detection pixel.
  • the wiring 269 is a wiring for connecting each circuit in each pixel circuit.
  • the wiring for connecting these circuits for example, three wirings are arranged in a layered manner with respect to the optical axis, such as a wiring 269 shown in FIG. Further, since the wiring 269 is made of metal, it also functions as a light shielding layer that shields subject light that leaks into adjacent pixels.
  • the wiring 269 is arranged at the end of each pixel circuit so as not to block light incident on the light receiving element.
  • the parallax detection microlens 231 is a lens that collects subject light in order to detect parallax.
  • the parallax detection microlens 231 is formed in a layer far from the light receiving element (parallax detection microlens layer S2) of the two microlens layers. That is, in the parallax detection pixel 230, the parallax detection microlens 231 is disposed on the microlens (microlens 261) of the parallax detection pixel 230 (minus in the Z-axis direction) so as to cover the microlens 261. . Note that a microlens is not formed at the position of the image generation pixel in the parallax detection microlens layer S2, and a flat surface that does not prevent the passage of light is formed.
  • FIG. 5 is a diagram schematically illustrating subject light received by the parallax detection pixel according to the first embodiment of the present technology.
  • the cross-sectional configuration of the parallax detection pixel 230 is shown in FIG. 5B, and the exit pupil (exit pupil E1) that is the shape of the diaphragm viewed from the parallax detection pixel 230 is schematically shown in FIG. Has been shown.
  • the exit pupil is originally a shape close to a circle, but for convenience of explanation, (a) in the figure shows an exit pupil (elliptical) with the Y-axis direction shortened. The exit pupil is shown when viewed from the image sensor 200 side.
  • the cross-sectional configuration of the parallax detection pixel 230 shown in FIG. 4B is the same as the cross-sectional configuration of the parallax detection pixel 230 shown in FIG. 4B, the light receiving element of the pixel circuit 4 (see FIG. 3B) is shown as the light receiving element (4) 291 and the light receiving element of the pixel circuit 5 is shown as the light receiving element (5) 292.
  • the light receiving element of the pixel circuit 6 is shown as a light receiving element (6) 293.
  • (b) in the figure shows a part of subject light received by the light receiving element (4) 291 by a region (region R23) with many dots.
  • a part of subject light received by the light receiving element (5) 292 is indicated by a grayed area (area R22).
  • a part of the subject light received by the light receiving element (6) 293 is indicated by a region (region R21) with few dots.
  • the area through which the subject light (subject light received by the pixel circuit 6) indicated by the area 21 in (b) of FIG. This is indicated by a region (region R11) with a small number of symbols.
  • the region through which the subject light indicated by the region 22 (the subject light received by the pixel circuit 5) passes is indicated by the grayed region (region R12) in the exit pupil E1, and the subject light indicated by the region 23.
  • a region through which (the subject light received by the pixel circuit 4) passes is indicated by a region (region R13) with many points on the exit pupil E1.
  • regions 14 to 19 indicate regions through which subject light received by other pixel circuits passes through the exit pupil E1.
  • the parallax detection microlens 231 emits subject light so that subject light that has passed through a specific region (region corresponding to each light receiving element) in the exit pupil E1 is received by each light receiving element of the pixel circuits 1 to 9. It plays the role of condensing. Thereby, the light receiving element (light receiving element (4) 291) of the pixel circuit 4 receives the subject light that has passed through the region R13.
  • the light receiving element (light receiving element (5) 292) of the pixel circuit 5 receives the subject light that has passed through the region R12, and the light receiving element (light receiving element (6) 293) of the pixel circuit 6 has passed through the region R11. Receives subject light. The same applies to the pixel circuits 1 to 3 and the pixel circuits 7 to 9 not shown.
  • the light receiving element of the pixel circuit 1 receives the subject light that has passed through the region 19
  • the light receiving element of the pixel circuit 2 receives the subject light that has passed through the region 18, and the light receiving element of the pixel circuit 3 has received the subject light that has passed through the region 17. Is received.
  • the light receiving element of the pixel circuit 7 receives the subject light that has passed through the region 16, the light receiving element of the pixel circuit 8 receives the subject light that has passed through the region 15, and the light receiving element of the pixel circuit 9 has passed through the region 14. Receives subject light.
  • FIG. 6 is a diagram schematically illustrating the principle of parallax detection by the parallax detection pixel 230 according to the first embodiment of the present technology.
  • the imaging position on the image plane of subject light (corresponding to subject light received by the user's left eye) passing through the left side of the exit pupil (exit pupil E1) is schematically shown. It is shown. Further, in (b) and (d) of the figure, the imaging position on the image plane of the subject light passing through the right side of the exit pupil (exit pupil E1) (corresponding to the subject light received by the user's right eye) is schematically shown. Has been shown.
  • the focused object is a black rectangle (focused object) above the exit pupil E1 (minus side of the exit pupil E1 in the Z-axis direction). 271).
  • an object (near position object) located closer to the imaging device 100 than the focused object 271 is a circle (near position object 272) with a point at a position above the exit pupil E1 and below the focused object 271. ).
  • the in-focus object 271 and the near-position object 272 are lines that pass through the center of the exit pupil E1 and are parallel to the optical axis of the lens (in FIGS. It is assumed that it is above the chain line.
  • the optical path of light from the focused object 271 and the near-position object 272 passes through the exit pupil E1 and extends to the image plane (the focused object 271 is a solid line (line L1 or line L3)), and the near-position object 272 Is indicated by a broken line (line L2 or line L4).
  • the imaging positions of the in-focus object 271 and the near-position object 272 on the image plane are indicated by black rectangles and circles with dots at positions where the lines L1 to L4 intersect the image plane.
  • bonding position at the time of assuming that it is focusing with respect to this near position object 272 is in the position where a broken line (line L2 or line L4) and a chain line cross
  • FIGS. 6C and 6D show images (images 281) when the image plane shown in FIGS. 6A and 6B is viewed from the back side (opposite the light receiving surface of the image sensor 200). And 282) are shown schematically. In the image 281, a black rectangle and a circle with dots are shown, and the distance ( ⁇ X) between the black rectangle and the circle with dots is shown. Similarly, the image 282 shows a black rectangle, a circle with dots, and a distance (+ ⁇ X).
  • the optical path (lines L1 and L3) of the light from the focused object 271 showing the optical path when the focus is achieved (focused) will be described.
  • the subject light that has passed through the exit pupil E1 has an image plane corresponding to the position of the object regardless of the position through which the subject light passes through the exit pupil E1. Incident (condensed) to the position. That is, the imaging position of light from the focused object 271 that passes through the left side of the exit pupil E1 and the imaging position of light from the focused object 271 that passes through the right side of the exit pupil E1 are the same position.
  • the incident position on the image plane differs depending on the difference in the position where the subject light passes through the exit pupil E1.
  • the image plane receives light that is condensed on a plane different from the image plane (the dotted circles below the image plane in FIGS.
  • the position where light enters is shifted according to the degree of focus shift.
  • the rear focal plane (the plane on which the dotted circle is located) is behind the image plane (the positive side in the Z-axis direction).
  • the light (line L2) that enters the image plane from the near-position object 272 through the left side of the exit pupil E1 is shifted to the left from the position where the light from the focused object 271 is incident on the image plane. It enters the position (see (a) of the figure).
  • the light (line L4) incident on the image plane through the right side of the exit pupil E1 from the near-position object 272 is shifted to the right from the position where the light from the focused object 271 is incident on the image plane. It enters the position (see (b) of the figure).
  • the incident position on the image plane is between the light from the object that has passed through the left side of the exit pupil and the light from the object that has passed through the right side. It shifts according to the degree of deviation. Due to this shift, the image generated from the signal of the image generation pixel is blurred when the focus is shifted.
  • the light passing through the left side of the exit pupil is the right column (pixel circuits 3, 6, 9 in FIG. 3B) among the pixel circuits of 3 rows ⁇ 3 columns (9).
  • the light received by the light receiving element of the pixel circuit in FIG. 3 and passed through the right side of the exit pupil is received by the light receiving element of the pixel circuit in the left column (pixel circuit 1, 4, 6 in FIG. 3B). Received light.
  • information on the image of the left eye can be generated by a signal from the pixel circuit in the right column (third column) of the parallax detection pixel 230.
  • information on the right eye image can be generated by a signal from the pixel circuit in the left column (first column) of the parallax detection pixel 230.
  • images 281 and 282 it is possible to generate two images whose images are shifted according to the distance of the object.
  • FIG. 7 is a diagram schematically illustrating an example of the direction of parallax detection performed by the parallax detection pixel 230 in the case of performing horizontal position shooting using the imaging device 100 according to the first embodiment of the present technology.
  • FIG. 1 shows the posture of the imaging apparatus 100 assumed in the figure.
  • the image pickup apparatus 100 is set horizontally (the left and right are in the X-axis direction, the top and bottom are in the Y-axis direction), and the long side of the image is in the horizontal direction and the short side in the vertical direction. It is assumed that shooting is performed (horizontal position shooting).
  • the posture of the image sensor 200 when performing horizontal position shooting and a line (parallax detection line (row direction) 235) indicating the parallax detection pixel 230 used for parallax detection in this posture are shown. It is shown. 2B, the region 250 shown in FIG. 2B is shown as it is, and is shown as the pixel arrangement in the image sensor 200.
  • FIG. (B) of the figure shows an image sensor 200 whose long side direction (X-axis direction) is left and right (horizontal) and whose short side direction (Y-axis direction) is up and down.
  • a line on which the parallax detection pixels 230 used for parallax detection in horizontal position shooting are arranged with a thick solid line ( This is indicated by the parallax detection pixel line (row direction) 235).
  • parallax is detected using parallax detection pixels 230 arranged in a line in the row direction of the image sensor 200. Thereby, parallax in the horizontal direction (left and right) can be detected.
  • FIG. 8C shows the posture of the parallax detection pixel 230 when performing horizontal position shooting.
  • a pixel circuit that generates a signal related to the right eye is indicated by a rectangle (pixel circuits 1, 4, and 7) with many dots.
  • pixel circuits that generate information about the left eye are indicated by rectangles (pixel circuits 3, 6, and 9) with few dots.
  • the broken-line circle (microlens 261) shown in FIG. 3B is omitted for convenience of explanation.
  • the parallax is detected using the parallax detection pixels 230 arranged in the row direction of the image sensor 200.
  • FIG. 8 is a diagram schematically illustrating an example of the direction of parallax detection by the parallax detection pixel 230 when performing vertical position shooting using the imaging apparatus 100 according to the first embodiment of the present technology.
  • FIG. 7A shows the posture of the imaging apparatus 100 assumed in the figure.
  • the imaging device 100 in FIG. 7A is in a posture in which the imaging device 100 in FIG. 7A is rotated 90 ° counterclockwise.
  • FIG. 8 it is assumed that imaging (vertical position imaging) is performed with the imaging device 100 in the vertical direction (left and right are in the Y-axis direction and vertical is in the X-axis direction), as illustrated in FIG. .
  • (B) of the figure shows the posture of the image sensor 200 when performing vertical position shooting, and a line (parallax detection line (column direction) 236) indicating the parallax detection pixels 230 used in this posture. Yes.
  • FIG. 7B shows an image sensor 200 whose long side direction (X-axis direction) is up and down and whose short side direction (X-axis direction) is right and left (horizontal).
  • the image sensor 200 in FIG. 7B is obtained by rotating the image sensor 200 in FIG. 7B counterclockwise by 90 °.
  • the parallax detection pixels 230 used for parallax detection in vertical position shooting are arranged in the imaging device 200 in FIG. 8B.
  • the line is indicated by a thick solid line (parallax detection pixel line (column direction) 236).
  • parallax is detected using parallax detection pixels 230 arranged in a line in the column direction of the image sensor 200.
  • (C) in the figure shows the posture of the parallax detection pixel 230 when performing vertical position shooting.
  • the parallax detection pixel 230 in (c) of the figure is obtained by rotating the parallax detection pixel 230 in (c) of FIG. 7 by 90 ° counterclockwise.
  • the pixel circuit that generates a signal relating to the right eye is indicated by a rectangle (pixel circuits 1 to 3) with many dots.
  • pixel circuits that generate information about the left eye are indicated by rectangles (pixel circuits 7 to 9) with few dots.
  • parallax is detected using the parallax detection pixels 230 arranged in a line in the column direction of the image sensor 200.
  • information corresponding to the left eye and the right eye when the person is standing upright can be generated as in the case of horizontal position shooting.
  • FIG. 9 is a schematic diagram illustrating an example of generating a 3D image in the imaging device 100 according to the first embodiment of the present technology.
  • the figure shows images generated by the 2D image generation unit 310, the parallax detection unit 320, and the 3D image generation unit 330, respectively, based on image data generated by the image sensor 200 that images the subject. Also, in the drawing, the flow until a stereoscopic image (a left eye image and a right eye image) is generated based on the image data generated by the image sensor 200 using these images will be described in order. In this figure, it is assumed that the image is taken by lateral position photography as shown in FIG.
  • (A) of the figure is a plane image generated by the 2D image generation unit 310 based on the signal generated by the image generation pixel in the image sensor 200, and is a plane before interpolation of the signal of the parallax detection pixel.
  • An image (planar image 311) is shown.
  • two persons a person 351 and a person 352 are shown as captured objects.
  • an image is captured while the person 352 is in focus.
  • the person 351 is closer to the lens than the person 352. That is, it is assumed that there is a focus shift with respect to the person 351.
  • a broken line surrounding the person 351 in a quadruple manner schematically shows blurring of an image due to a focus shift.
  • the planar image 311 has a plurality of images indicating that there is no image generation signal (no pixel value) at the position where the parallax detection pixel is arranged, and that there is no data (pixel value) in the planar image 311. This is indicated by a gray line (pixel value missing line 353).
  • an image (planar image 311) in which the pixel value at the position of the parallax detection pixel is missing is generated from the signal generated by the image generation pixel. Therefore, the 2D image generation unit 310 interpolates the pixel value at the position of the parallax detection pixel, and generates a planar image in which missing pixel values are interpolated.
  • FIG. 9B shows an image (planar image 312) after the 2D image generation unit 310 performs an interpolation process on the planar image 311 shown in FIG. 9A.
  • the 2D image generation unit 310 performs an interpolation process on the planar image 311
  • the pixel value where the pixel value is missing (the pixel value missing line 353 in (a) of the figure) is interpolated.
  • other interpolation processing and demosaic processing are performed, and the same planar image (planar image 312) as the image captured by the imaging element (general imaging element) having only the image generation pixel not including the parallax detection pixel. Is generated.
  • the generated planar image 312 is supplied to the 3D image generation unit 330.
  • FIG. (C) in the figure shows two images generated by the parallax detection unit 320 based on signals generated by the parallax detection pixels in the image sensor 200, and are the two images (left) that are the basis of the parallax information image.
  • An eye information image 321 and a right eye information image 322) are shown.
  • the left eye information image 321 is an image generated based on a signal from a pixel circuit that has received subject light corresponding to light received by the user's left eye among the nine pixel circuits in the parallax detection pixels.
  • the right-eye information image 322 is an image generated based on a signal from a pixel circuit that has received subject light corresponding to light received by the user's right eye among the nine pixel circuits in the parallax detection pixels. .
  • the left eye information image 321 shows a person 361 corresponding to the person 351 shown in (a) of the figure and a person 362 corresponding to the person 352 of (a) of the figure.
  • the right eye information image 322 shows a person 363 corresponding to the person 351 in FIG. 5A and a person 364 corresponding to the person 352 in FIG.
  • the parallax detection unit 320 determines a pixel circuit that has generated a signal that becomes the left-eye information image 321 and a pixel circuit that has generated a signal that becomes the right-eye information image 322. .
  • the parallax detection unit 320 performs pixel circuit in the right column (pixel circuits 3, 6, and 9 in FIG. 7B) as shown in FIG.
  • the left eye information image 321 is generated from the signal.
  • the right eye information image 322 is generated from the signals of the pixel circuits in the left column (pixel circuits 1, 4, and 7 in FIG. 7B).
  • the parallax detection part 320 produces
  • 9D schematically shows a parallax information image (parallax information image 323) generated based on the left eye information image 321 and the right eye information image 322.
  • parallax information image 323 an image (person 371) including parallax detected based on the person 361 in the left eye information image 321 and the person 363 in the right eye information image 322 is shown. Similarly, in the parallax information image 323, an image (person 372) including parallax detected based on the person 362 in the left eye information image 321 and the person 364 in the right eye information image 322 is shown.
  • parallax information image 323 will be described by focusing on the two images (person 371 and person 372) shown in the parallax information image 323.
  • the person 371 has a parallax so that the person 361 in the left eye information image 321 and the person 363 in the right eye information image 322 overlap (as if the images of the two persons are slightly shifted from each other on the left and right). This is shown in the information image 323.
  • An interval between two dotted lines extending up and down from the person 371 (distance 373) indicates an interval between two images that are overlapped with being slightly shifted left and right.
  • the object indicated by the person 371 is out of focus (see the person 351 in FIGS. 9A and 9B). That is, as shown in FIG.
  • a distance 373 in (d) of FIG. 9 schematically shows this positional deviation (parallax).
  • the person 372 is illustrated in the parallax information image 323 so that the person 362 in the left-eye information image 321 and the person 364 in the right-eye information image 322 exactly match each other (like an image of one person).
  • the object indicated by the person 372 the person 362 and the person 364 is in focus (see the person 352 in (a) and (b) in the figure), there is no parallax with respect to the image of this person. (Parallax is “0”). That is, the position of the person 362 in the left eye information image 321 and the position of the person 364 in the right eye information image 322 are the same. That is, (d) in the figure shows that the image of the person 372 in the parallax information image 323 has no information on parallax.
  • the parallax information image 323 shown in (d) of the figure is generated and then supplied to the 3D image generation unit 330.
  • the 3D image generator 330 generates a left eye (L) image (left eye image 331) and a right eye (R) image (based on the planar image 312 and the parallax information image 323).
  • a right eye image 332) is schematically shown.
  • Various methods can be considered for generating a stereoscopic image based on a planar image and a parallax information image.
  • the position of each object in the planar image is shifted based on the parallax information image.
  • An example of generating a left eye image and a right eye image will be described.
  • the left eye image 331 is an image to be displayed on the left eye of the user who views the captured image.
  • a person 382 is shown at the same position as the position of the person 352 in the planar image 312 and the position of the person 372 in the parallax information image 323.
  • the person 381 is shown at the same position as the position on the right side of the person 371 in the parallax information image 323 (the position of the person 361 in the left eye information image 321).
  • This person 381 is an image obtained by shifting the position of the person 351 in the planar image 312.
  • (b) in the figure shows a dotted line (line L11) extending upward and downward from the center of the person 381 in order to schematically show the position of the person 381.
  • the right eye image 332 is an image to be displayed on the right eye of the user who views the captured image.
  • the right eye image 332 shows a person 384 at the same position as the position of the person 352 in the planar image 312 and the position of the person 372 in the parallax information image 323.
  • a person 383 is shown at the same position as the position on the left side of the person 371 in the parallax information image 323 (the position of the person 363 in the right eye information image 322).
  • This person 383 is an image obtained by shifting the position of the person 351 in the planar image 312.
  • (b) in the figure shows a dotted line (line L12) extending upward and downward from the center of the person 383 in order to schematically show the position of the person 383, and further, a line L11, a line L12, and An arrow (distance 373) indicating the distance between is shown. That is, the person 383 is shown at a position shifted to the left by a distance 373 from the person 381 in the left eye image 331.
  • the 3D image generation unit 330 generates a stereoscopic image (3D image) composed of the left eye image 331 and the right eye image 332 shown in (e) of the figure based on the planar image 312 and the parallax information image 323. That is, the 3D image generation unit 330 generates the left eye image 331 and the right eye image 332 by shifting the position of each object in the planar image 312 according to the parallax indicated by the parallax information image 323.
  • the 3D image generation unit 330 Since the person 372 in the parallax information image 323 has no parallax information, the 3D image generation unit 330 leaves the position of the person 352 in the planar image 312 (the person 382 and the person 384) as it is, and the left eye image 331 and the right eye image 332. Is generated. Further, the 3D image generation unit 330 shifts the position of the person 351 in the planar image 312 according to the parallax indicated by the person 371 in the parallax information image 323 (person 381 and person 383), and the left eye image 331 and right eye image 332 Is generated. The 3D image generation unit 330 supplies the generated stereoscopic image (the left eye image 331 and the right eye image 332) to the display unit 151 and the storage unit 152 as stereoscopic image content.
  • the signal processing unit 300 generates a stereoscopic image based on the planar image and the parallax information image.
  • FIG. 10 is a flowchart illustrating an example of an imaging process procedure when a stereoscopic image is captured by the imaging apparatus 100 according to the first embodiment of the present technology.
  • control unit 130 determines whether an instruction to start an imaging operation for capturing a stereoscopic image is given by the user (step S901). If it is determined that the user has not given an instruction to start an imaging operation to capture an image (step S901), the imaging process procedure ends.
  • step S901 when it is determined that an instruction to start an imaging operation for capturing a stereoscopic image is given by the user (step S901), the live view image is displayed on the display unit 151 in order to determine the composition of the stereoscopic image. It is displayed (step S902). Subsequently, the control unit 130 determines whether or not the shutter button is half-pressed by the user who has determined the composition of the stereoscopic image (step S903). If it is determined that the shutter button is not half-pressed (step S903), the process proceeds to step S908.
  • step S903 when it is determined that the shutter button is half-pressed (step S903), the focusing process is performed to drive the focus lens 113 to focus on the object to be focused (focused object). (Step S904).
  • the control unit 130 determines whether or not the shutter button has been fully pressed by the user (step S903). If it is determined that the shutter button has not been fully pressed (step S905), the process returns to step S902.
  • step S905 when it is determined that the shutter button has been fully pressed (step S905), the subject is imaged by the image sensor 200 (step S906). Then, a stereoscopic image generation process for generating a stereoscopic image (3D image) based on the image data obtained by the imaging is performed by the signal processing unit 300 (step S920). Note that the stereoscopic image generation process (step S920) will be described with reference to FIG.
  • step S907 the generated stereoscopic image is stored in the storage unit 152 (step S907). And it is judged by the control part 130 whether the completion
  • step S908 when it is determined that an instruction to end the imaging operation for capturing a stereoscopic image is given by the user (step S908), the imaging processing procedure ends.
  • FIG. 11 is a flowchart illustrating a processing procedure example of the stereoscopic image generation processing (step S920) in the imaging processing procedure according to the first embodiment of the present technology.
  • a planar image (2D image) is generated by the 2D image generation unit 310 (step S921). Subsequently, the pixel value at the position of the parallax detection pixel in the generated planar image is interpolated by the 2D image generation unit 310 (step S922).
  • information related to the posture when the image sensor 200 images the subject is acquired from the posture detection unit 140 by the parallax detection unit 320 (step S923).
  • a pixel circuit that detects left-right direction (horizontal direction) based on posture information and generates left-eye data out of nine pixel circuits in the parallax detection pixel; and a pixel circuit that generates right-eye data; Is determined by the parallax detection unit 320 (step S924).
  • the left-eye information image is generated by the parallax detection unit 320 based on the pixel value of the pixel circuit that generates the left-eye data among the pixel values in the image data supplied from the image sensor 200 (step S925). ).
  • the right-eye information image is generated by the parallax detection unit 320 based on the pixel value of the pixel circuit that generates the right-eye data among the pixel values in the image data supplied from the image sensor 200 (step S926). .
  • a parallax information image is generated by the parallax detection unit 320 (step S927). Note that steps S925, S926, and S927 are an example of a procedure for detecting the parallax described in the claims. Steps S921 and S922 are an example of a procedure for generating a flat image described in the claims.
  • step S928 is an example of a stereoscopic image generation procedure described in the claims.
  • a stereoscopic image with high resolution is obtained by moving the position of each object in the image generated by the image generation pixel based on the parallax detected by the parallax detection pixel. Can be generated.
  • the image sensor 200 is arranged on the lines in the row direction and the column direction at predetermined intervals, so that the larger the interval between lines, the more effective A decrease in the number of pixels can be suppressed.
  • image generation pixels that constitute one pixel by one pixel circuit are arranged in the image sensor 200, a planar image (2D image) can be captured, and a stereoscopic image and a planar image can be captured according to the user's purpose. Images can be selected.
  • the phase difference detection means that the light passing through the imaging lens is divided into pupils to form a pair of images, and the interval between the formed images (the amount of deviation between the images) is measured (the phase difference is detected). ) To detect the degree of focus.
  • FIGS. 12 to 16 an example of an imaging apparatus that performs focus determination by phase difference detection using parallax detection pixels in addition to generation of a stereoscopic image. I will explain.
  • FIG. 12 is a block diagram illustrating an example of a functional configuration of the imaging apparatus 400 according to the second embodiment of the present technology.
  • the imaging apparatus 400 shown in the figure includes a focusing determination unit 410 in addition to the components of the imaging apparatus 100 shown in FIG.
  • Each configuration other than the focus determination unit 410 in FIG. 12 is the same as each configuration shown in FIG. 1, and therefore, the focus determination unit 410 will be described here.
  • the in-focus determination unit 410 determines whether or not the focus is in focus based on a signal from the parallax detection pixel by phase difference detection.
  • the focus determination unit 410 applies an object (focus target object) in an area (focus area) to be focused based on the pixel values of nine pixel circuits of parallax detection pixels in the imaging data supplied from the image sensor 200. It is determined whether or not it is in focus.
  • the in-focus determination unit 410 supplies information indicating the in-focus state to the drive unit 170 as in-focus determination result information.
  • the focus determination unit 410 calculates a focus shift amount (defocus amount) and indicates the calculated defocus amount. Information is supplied to the drive unit 170 as focus determination result information.
  • the drive unit 170 calculates the drive amount of the focus lens 113 based on the focus determination result information output from the focus determination unit 410, and moves the focus lens 113 according to the calculated drive amount.
  • the drive unit 170 maintains the current position of the focus lens 113 when in focus.
  • the drive unit 170 calculates a drive amount (movement distance) based on the focus determination result information indicating the defocus amount and the position information of the focus lens 113, and the drive amount is calculated as the drive amount. In response, the focus lens 113 is moved.
  • FIG. 13 is a diagram schematically illustrating a concept of autofocus using pixel values of nine pixel circuits in the parallax detection pixel 230 in the second embodiment of the present technology.
  • FIG. (A) of the figure shows a planar image (imaging planar image 440) of image data captured by the image sensor 200 for focus determination.
  • imaging plane image 440 an automobile (automobile 441), a person (person 443), and a tree (tree 444) are shown as imaging objects.
  • the picked-up plane image 440 shows a chain-line rectangle (focus area 442) indicating the focus area.
  • focus area 442 indicating the focus area.
  • the person 443 is surrounded by a double broken line
  • the automobile 441 is surrounded by a four broken line.
  • the number of broken lines surrounding the car 441, the person 443, and the tree 444 indicates the degree of focus shift, and the greater the number, the greater the focus shift. That is, in the same figure, when the imaging plane image 440 is captured, the tree 444 is focused, and the person 443 and the automobile 441 are out of focus (the automobile 441 is more greatly displaced). Is assumed.
  • FIG. 2 of the figure shows two images schematically shown as a pair of images corresponding to the imaging planar image 440 shown in (a) of the figure, with respect to the pair of images generated by the focus determination unit 410.
  • Images (left eye information image 450 and right eye information image 460) are shown. Since the parallax detection pixels 230 are arranged in a line shape in the row direction and the column direction in the image sensor 200 (see FIG. 2), the images as shown in the left eye information image 450 and the right eye information image 460 are actually Not generated. However, in FIG. 9, for convenience of description, a pair of images are schematically illustrated and described over the entire surface of the captured image (captured planar image 440).
  • the left eye information image 450 shows an image generated based on the pixel value of the pixel corresponding to the left eye among the nine pixel circuits in the parallax detection pixel 230.
  • the left-eye information image 450 corresponds to a car 451 corresponding to the car 441 in FIG. 13A, a person 453 corresponding to the person 443 in FIG. 13A, and a tree 444 in FIG. A tree 454 is shown.
  • the right eye information image 460 shows an image generated based on the pixel value of the pixel corresponding to the right eye among the nine pixel circuits in the parallax detection pixel 230.
  • the right eye information image 460 corresponds to the car 461 corresponding to the car 441 in FIG. 13A, the person 463 corresponding to the person 443 in FIG. 13A, and the tree 444 in FIG. A tree 464 is shown.
  • FIG. C shows an image (comparative image 470) schematically showing the measurement of the distance between the pair of images (shift amount between the images) by the focus determination unit 410.
  • this comparative image 470 an image as if the left eye information image 450 and the right eye information image 460 shown in (b) of the figure are superimposed is shown, and an automobile 471, a person 473, and a tree 474 are shown.
  • the car 471 is shown as an image where a dark car is to the left of a light car.
  • the person 473 is also shown as an image in which a dark person is on the left of a thin person.
  • the tree 474 is shown as an image in which a dark tree and a thin tree match.
  • the focus determination unit 410 compares a pair of images (left eye information image 450 and right eye information image 460 in the figure).
  • the focus determination unit 410 calculates a focus shift amount (defocus amount) from the shift amount (interval between edges) of the pair of images in the in-focus object (person 473). By driving the focus lens 113 based on this defocus amount, the focus is matched to the in-focus object.
  • the comparative image 480 after driving the lens an image schematically showing the measurement of the distance between the pair of images after driving the lens by the comparative image 470 is shown.
  • this comparison image 470 a dark tree is shown on the right side of the thin tree 484, a person 483 shown that the dark person and the thin person match, and a dark car is light.
  • a car with a single broken line (automobile 491), a person without a broken line (person 493), a tree with a four-line broken line (tree 494), A focus area 492 is shown.
  • the broken line schematically shows the degree of focus shift as described in FIG. That is, in the captured planar image 490 after driving the lens, it is indicated that the person 493 that is the focusing object is in focus.
  • the focus lens 113 is driven so that the pair of images coincide with each other on the in-focus object (person), thereby performing autofocus.
  • FIG. 14 is a diagram schematically illustrating in-focus determination by phase difference detection by the in-focus determination unit 410 according to the second embodiment of the present technology.
  • the same figure demonstrates the focus determination by the focus determination part 410 in the case shown in FIG.
  • the parallax detection pixels 230 used when forming a pair of images are one line.
  • FIG. 1 shows signals relating to a pair of one (right eye) and the other (left eye) when a pair of images are formed on the left and right (horizontal direction) as shown in (b) of FIG.
  • a pixel circuit for generating the image is shown in each of the parallax detection pixels 230.
  • a pixel circuit that generates a signal related to one image (right eye) is indicated by a rectangle (pixel circuits 1, 4, and 7) with many dots, and a signal related to the other image (left eye).
  • the pixel circuit for generating is shown by rectangles (pixel circuits 3, 6, 9) with few dots.
  • FIG. 14B shows a parallax in which the pixel value is used in the focus determination unit 410 (a pair of images are formed from the pixel value) in order to calculate the defocus amount for the set in-focus object.
  • the position of the detection pixel 230 (focus determination line 421) is shown.
  • a pair of images is formed by using the pixel value of each pixel circuit of the parallax detection pixel 230 in the focus determination line 421 as shown in FIG.
  • the focus determination unit 410 determines a direction in which a shift between the pair of images is detected based on the pixel value related to the parallax detection pixel 230 of the image data supplied from the image sensor 200.
  • the focus determination unit 410 forms a pair of images based on the pixel values from the parallax detection pixels 230 arranged in a line in a direction in which an image shift can be accurately detected.
  • FIG. 13C shows a graph schematically showing the calculation of the defocus amount in the focus determination unit 410.
  • description will be made on the assumption that the in-focus object is located on the lens side (rear pin) as shown in FIG.
  • the focus determination unit 410 generates the horizontal axis as the pixel position of the parallax detection pixel 230 in the image sensor 200 and the vertical axis as the output gradation indicating the intensity of the output signal.
  • a graph showing a pair of images by pixel value distribution data is shown.
  • This graph shows pixel value distribution data (right eye signal distribution data 431) generated based on the pixel values of the pixel circuits 1, 4, and 7 (corresponding to the right eye) shown in FIG. Has been.
  • This graph also shows pixel value distribution data (left eye signal distribution data 432) generated based on the pixel values of the pixel circuits 3, 6, and 9 (corresponding to the left eye) shown in FIG. It is shown.
  • the focus determination unit 410 generates right eye signal distribution data 431 and left eye signal distribution data 432 from the pixel values of the parallax detection pixels 230 in the focus determination line 421. Then, the focus determination unit 410 determines the defocus amount from the distance (distance A1) between the peak (edge) position in the right eye signal distribution data 431 and the peak (edge) position in the left eye signal distribution data 432. Is calculated. Then, the focus determination unit 410 supplies the calculated defocus amount to the drive unit 170 as focus determination result information, and drives the focus lens 113 by an amount corresponding to the defocus amount.
  • the focus lens 113 is driven based on the distribution data (a pair of images) shown in (c) of the figure, and the distribution data (right) when the in-focus object is focused.
  • Eye signal distribution data 433 and left eye signal distribution data 434) are shown.
  • the edges of the right eye signal distribution data 433 and the left eye signal distribution data 434 are at the same position.
  • the parallax detection pixel 230 is driven by driving the focus lens 113 so that the positions of the edges of the pair of images (distribution data) generated as illustrated in FIG.
  • the autofocus can be performed using the pixel values. That is, the imaging apparatus 400 can realize a focus detection method using a phase difference detection method, thereby enabling high-speed and high-precision autofocus.
  • the in-focus determination line is one line.
  • the present invention is not limited to this, and the accuracy is improved by using a plurality of lines. Also good.
  • FIG. 15 is a flowchart illustrating an example of an imaging process procedure when a stereoscopic image is captured by the imaging apparatus 400 according to the second embodiment of the present technology.
  • the flowchart of the imaging processing procedure example illustrated in FIG. 10 is a modification of the flowchart of the imaging processing procedure example of the first embodiment of the present technology illustrated in FIG. 10.
  • the focusing process (step S904) shown in FIG. 10 is the focusing process (step S940). Therefore, processes other than the focusing process (step S940) are denoted by the same reference numerals and description thereof is omitted, and the focusing process (step S940) will be described with reference to FIG.
  • FIG. 16 is a flowchart illustrating an example of a processing procedure of the focusing processing (step S940) in the imaging processing procedure according to the second embodiment of the present technology.
  • a subject is imaged by the image sensor 200, and an image used for focus determination is captured (step S941).
  • the focus determination unit 410 determines the line direction (row direction or column direction) of the parallax detection pixels that generate a pair of images according to the in-focus object (step S942).
  • the position of the parallax detection pixel for comparing the pair of images is determined according to the position of the in-focus object (the position of the focus area) (step S943).
  • a pair of images is generated from the pixel value of the pixel circuit of the parallax detection pixel at the position where the determined pair of images are compared (step S944). Then, an interval between edges in the generated pair of images is detected, and a defocus amount is calculated from the interval (step S945). Subsequently, based on the calculated defocus amount, the drive amount of the focus lens 113 is calculated by the drive unit 170 (step S945). Then, the focus lens 113 is driven based on the calculated driving amount (step S947), and the focusing processing procedure is ended.
  • the second embodiment of the present technology it is possible to perform focus determination by phase difference detection based on the pixel values of the nine pixel circuits constituting the parallax detection pixel. That is, according to the second embodiment of the present technology, it is possible to realize an imaging apparatus that generates a 3D image with a high number of pixels and performs high-speed and high-precision autofocus by phase difference detection.
  • the microlens that collects light on each pixel circuit is a color filter.
  • the example in which the microlens layer closer to (the light receiving element) is formed has been described.
  • the present technology is not limited to this, and various examples of the arrangement of the microlenses can be considered.
  • the microlens that collects light on each pixel circuit may be formed in the same layer as the parallax detection microlens.
  • various F values can be captured in an imaging apparatus in which the imaging lens is replaceable (for example, a single-lens camera). It can correspond to a lens. Accordingly, an example of the arrangement of microlenses different from the first and second embodiments will be described as third to fifth modifications with reference to FIG.
  • the example of the nine pixel circuits provided with the G filter is described as the parallax detection pixel, but the present invention is not limited to this.
  • the parallax detection pixels different from those in the first and second embodiments will be described as sixth to ninth modifications with reference to FIG.
  • FIG. 17 is a diagram schematically illustrating an example of an imaging element in which parallax detection pixels are arranged in a line shape only in the row direction as a first modification of the first and second embodiments of the present technology. .
  • (A) of the figure shows a region (region 810) corresponding to the region 250 of (b) of FIG. That is, a thick line (parallax detection pixel line 811) in the region 810 indicates a line where the parallax detection pixel is arranged. As indicated by the parallax detection pixel line 811, in this modification, the parallax detection pixels are arranged in a line only in the row direction at an arbitrary pixel period.
  • FIG. 17B is an enlarged view of the region 815 shown in FIG. 17A, and shows a region corresponding to the region 210 of FIG. It is shown that the pixels are arranged in a line only in the row direction.
  • an imaging apparatus for example, a camcorder
  • parallax detection pixels are arranged in a line in the column direction, they are rarely used for parallax detection. Therefore, by disposing only the line of the parallax detection pixels in the row direction, the number of parallax detection pixels can be reduced and the number of image generation pixels can be increased, thereby improving the image quality of the captured image, and In addition, it is possible to reduce the interpolation processing of the pixel value at the position of the parallax detection pixel.
  • FIG. 18 is a diagram schematically illustrating an example of an image sensor in which parallax detection pixels are arranged at predetermined intervals in the row direction and the column direction (arranged in an island shape) as a second modification example of the present technology. It is.
  • FIG. 820 shows an area (area 820) corresponding to the area 250 of (b) of FIG.
  • black dots (points 821) each indicate a position where one parallax detection pixel is arranged. That is, as indicated by a point 821, in this modified example, the parallax detection pixels are arranged at predetermined intervals in the row direction and the column direction (arranged in an island shape).
  • FIG. 18 (b) is an enlarged view of the region 825 shown in FIG. 18 (a), and shows a region corresponding to the region 210 in FIG. 2 (a).
  • This region 825 indicates that one parallax detection pixel is arranged in an island shape.
  • the number of parallax detection pixels is reduced more than in the first modification example, thereby reducing the number of image generation pixels.
  • the image quality of the captured image can be improved, and the interpolation processing of the pixel value at the position of the parallax detection pixel can be lightened.
  • FIG. 19 is a diagram schematically illustrating modifications of the cross-sectional configurations of the image generation pixel and the parallax detection pixel as third to fifth modifications of the present technology.
  • FIG. 4A is a modification of the cross-sectional configuration shown in FIG. 4B, and instead of the parallax detection microlens layer S2 in FIG. 4B, the optical axis of the microlens.
  • the only difference is that it includes a microlens layer (parallax detection microlens placement portion 831) that can move in the direction.
  • FIG. 19A the same components as those in FIG. 4B are denoted by the same reference numerals, and description thereof is omitted here, and only the parallax detection microlens arrangement unit 831 is described.
  • the parallax detection microlens placement unit 831 moves in the optical axis direction of the microlens to change the distance between the parallax detection microlens 231 and the light receiving element of the pixel circuit of the parallax detection pixel.
  • Layer That is, there is an air layer (air layer 832) between the imaging element.
  • air layer air layer 832
  • FIG. 19B as a fourth modification of the present technology, an imaging element in which a microlens that collects subject light on a light receiving element of an image generation pixel is also provided in a parallax detection microlens layer.
  • An example of a cross-sectional configuration is shown. Since the configuration other than the microlens (microlens 833) provided in the parallax detection microlens layer for condensing the subject light on the light receiving element of the image generation pixel is the same as (b) of FIG. The description is omitted in FIG.
  • the micro lens 833 is a micro lens having a curvature different from that of the parallax detection micro lens.
  • the subject light can be appropriately condensed on the microlens 261 of the image generation pixel even when the focus is adjusted by giving priority to the image formation on the parallax detection pixel. That is, by providing the microlens 833, the microlens 261 can appropriately collect subject light on the light receiving element, and deterioration of the light collection efficiency of the image generation pixel can be prevented. Thereby, the image quality can be improved.
  • FIG. 19C shows an example of a cross-sectional configuration of an image pickup element that does not include the microlens layer S1 in the image pickup element shown in FIG. 19B as a fifth modification of the present technology.
  • the parallax can be detected only by the parallax detection microlens 231 and the subject light can be condensed on the light receiving element of the image generation pixel only by the microlens 833, the microlens layer S1 can be omitted.
  • FIG. 20 is a schematic diagram illustrating modifications of the parallax detection pixels as sixth to ninth modifications of the present technology.
  • (A) of the figure shows, as a sixth modification of the present technology, a parallax detection pixel provided with a color filter layer that transmits all light in the visible light region (for example, a transparent layer or a W filter).
  • a parallax detection pixel 841 is shown.
  • (B) of the figure shows a parallax detection pixel (parallax detection pixel 842) provided with an R filter as a seventh modification of the present technology.
  • the filter of the parallax detection pixel may be set according to the purpose. For example, as shown in (a) of the figure, disparity information with less color dependence can be obtained by providing a light that transmits all light in the visible light region. Further, when all the light in the visible light region is transmitted, the amount of light may be excessive as compared with the image generation pixel. Therefore, a neutral density filter may be provided for exposure adjustment.
  • a color filter other than the G filter may be provided in the parallax detection pixel.
  • parallax detection pixel (parallax detection pixel 843) comprised from many pixel circuits as the 8th modification of this technique.
  • the parallax detection pixels 843 are configured by 5 ⁇ 5 pixel circuits (pixel circuits 1 to 25). In the pixel circuits 1 to 25, three primary color filters (R filter, G filter, B filter) are arranged in a Bayer array.
  • one parallax detection pixel is constituted by a number of pixel circuits, and further, three primary color filters are arranged in a Bayer arrangement, thereby obtaining parallax information including color information. be able to.
  • parallax detection pixel 844 can also be configured by a pixel circuit of 2 rows ⁇ 2 columns.
  • the number of pixel circuits used for one parallax detection pixel can be reduced and the number of image generation pixels and parallax detection pixels can be reduced as compared with a case where the pixel circuit is composed of 3 rows ⁇ 3 columns.
  • the imaging device that generates a stereoscopic image using parallax detection pixels arranged in a line in the imaging device has been described.
  • the imaging device described in the first and second embodiments is a monocular imaging device.
  • the stereoscopic effect of the stereoscopic image is between the center of gravity of the area of the exit pupil through which the left eye light passes and the position of the center of gravity of the exit pupil through which the right eye light passes.
  • the parallax detection pixels shown in the first and second embodiments are composed of pixel circuits of 3 rows ⁇ 3 columns.
  • the baseline length When detecting left and right parallax, the distance between the center of gravity of the exit pupil of the subject light received by the left pixel circuit and the center of gravity of the exit pupil of the subject light received by the right pixel circuit is the baseline length. It becomes. In other words, in order to increase the baseline length, it is necessary to provide an imaging lens with a low F value (large exit pupil) or an imaging lens with a long focal length.
  • the F value is a parameter for setting the brightness
  • the focal length is a parameter for setting the angle of view. Therefore, the F value cannot be set freely only for the base line length (for stereoscopic effect).
  • FIG. 21 is a block diagram illustrating an example of a functional configuration of an imaging apparatus 500 according to the third embodiment of the present technology.
  • the imaging apparatus 500 shown in the figure includes a diaphragm 510 instead of the diaphragm 112 of the imaging apparatus 100 shown in FIG.
  • the imaging apparatus 500 further includes a baseline length setting unit 520 and an aperture drive setting unit 530 in addition to the components of the imaging apparatus 100. Further, the imaging apparatus 500 does not include the attitude detection unit 140 of the imaging apparatus 100.
  • the diaphragm 510, the baseline length setting unit 520, and the diaphragm drive setting unit 530 will be described.
  • the imaging apparatus 500 is used only for lateral position imaging. Therefore, it is assumed that the parallax detection pixels in the imaging device 200 of the imaging device 500 are arranged in a line shape only in the row direction of the imaging device 200 as illustrated in FIG. Furthermore, it is assumed that the parallax detection pixels of the imaging device 200 of the imaging device 500 are configured by pixel circuits of 2 rows ⁇ 2 columns as illustrated in FIG. That is, it is assumed that the parallax detection pixel can divide the exit pupil into left and right parts.
  • the diaphragm 510 described in the third embodiment is an imaging device that generates a stereoscopic image by separating the exit pupil into left and right by some means (for example, a polarizing element, a shutter, a mirror, light vector information, etc.). If so, it can be applied. That is, the third embodiment is not limited to the imaging device that generates a stereoscopic image using the parallax detection pixels described in the first and second embodiments of the present technology. However, in the third embodiment of the present technology, the diaphragm 510 provided in the imaging apparatus that generates a stereoscopic image using the parallax detection pixels will be described.
  • the diaphragm 510 is a shield for adjusting the light amount and the baseline length of subject light incident on the image sensor 200 by changing the degree of opening by driving the driving unit 170.
  • the diaphragm 510 can adjust the position of the opening to set the base length, and can adjust the amount of the subject light by changing the degree of the opening at the set base length. That is, the aperture 510 can independently set the increase / decrease in the amount of subject light and the length of the base line length.
  • the diaphragm 510 will be described with reference to FIGS.
  • the baseline length setting unit 520 sets the baseline length adjusted by the aperture 510.
  • the base line length setting unit 520 calculates a base line length according to the intensity of the stereoscopic effect designated by the user via the operation receiving unit 120, and sets information on the calculated base line length (base line length information) to the aperture drive setting unit. 530.
  • the aperture drive setting unit 530 sets the aperture state of the aperture 510. For example, the aperture drive setting unit 530 calculates an appropriate amount of light (automatic exposure (AE)) based on image data supplied from the image sensor 200. Then, the aperture drive setting unit 530 determines the aperture state of the aperture 510 based on the baseline length information supplied from the baseline length setting unit 520 and the calculated light quantity. That is, the aperture drive setting unit 530 controls the increase / decrease in the light amount of the subject light and the length of the baseline length independently by setting the aperture state of the aperture 510. The aperture drive setting unit 530 supplies information related to the determined aperture state (aperture aperture state information) to the drive unit 170 and causes the drive unit 170 to drive the aperture 510.
  • AE automatic exposure
  • FIG. 22 is a diagram schematically illustrating an example of a diaphragm 510 according to the third embodiment of the present technology.
  • the diaphragm 510 includes a first diaphragm composed of two blades that form an outer frame of the aperture area of the diaphragm, and a second that shields the vicinity of the center of the diaphragm in the vertical direction in order to generate left and right aperture areas.
  • FIG. 5A shows the diaphragm 510 in a state where two opening portions are formed by the first diaphragm and the second diaphragm. Further, in FIG. 5B, only the first diaphragm (first diaphragm 511) is shown and the shape of the two blades of the first diaphragm is shown. In FIG. 5C, only the second diaphragm (second diaphragm 515) is shown and the shape of the two blades of the second diaphragm is shown.
  • FIG. 22 (a) four blades constituting the diaphragm 510 (first diaphragm upper blade 512, first diaphragm lower blade 513, second diaphragm upper blade 516, second diaphragm lower blade 517) are used.
  • a diaphragm 510 is shown with two openings formed therein. Also, (a) in the figure shows the position of the center of gravity (centers of gravity P1 and P2) of the two openings generated by the four blades and the distance between the two centers of gravity (baseline length L21). ing.
  • FIG. (B) of the figure shows only two blades (the first diaphragm upper blade 512 and the first diaphragm lower blade 513) constituting the first diaphragm (first diaphragm 511).
  • the first diaphragm upper blade 512 and the first diaphragm lower blade 513 are disposed so that triangular (mountain) concave notches are opposed to each other.
  • the triangular concave cutout is a straight line perpendicular to the parallax direction (left-right direction), and is formed such that the apex of the triangular cutout is positioned on a line passing through the stop position of the baseline length.
  • the pair of blades of the first diaphragm 511 (the first diaphragm upper blade 512 and the first diaphragm lower blade 513) have an aperture opening surface of a 45 ° diagonal square.
  • Flat light shielding member
  • (c) in the figure shows only two blades (second diaphragm upper blade 516 and second diaphragm lower blade 517) constituting the second diaphragm (second diaphragm 515).
  • the pair of blades of the second diaphragm 515 (the second diaphragm upper blade 516 and the second diaphragm lower blade 517) are shielded from the vicinity of the center of the diaphragm 510 by protruding from above and below. It is a flat light shielding member that can be used.
  • the second diaphragm upper blade 516 and the second diaphragm lower blade 517 are arranged such that the convex protrusions of a triangle (mountain shape) face each other.
  • the triangular convex protrusion is a straight line perpendicular (orthogonal) to the parallax direction, and is formed so that the apex of the triangular cut is positioned on a line passing through the base line length stop position.
  • the pair of blades of the second diaphragm 515 has a shape such that the light shielding portions increase from the vicinity of the center of the diaphragm 510 toward the left and right ends as it protrudes. In the figure, as an example, a 45-degree diagonal light-shielding member is shown.
  • the diaphragm 510 includes two blades of the first diaphragm 511 (the first diaphragm upper blade 512 and the first diaphragm lower blade 513) and the second diaphragm 515.
  • the two blades (the second diaphragm upper blade 516 and the second diaphragm lower blade 517).
  • the diaphragm 510 forms a pair of opening regions adjacent to each other in the parallax direction.
  • the first diaphragm 511 has a half edge corresponding to both sides (both ends) in the parallax direction of both opening areas (a left opening area is a left half edge, a right edge) of edges (peripheries) of a pair of opening areas.
  • the opening region of the right half forms the edge of the right half).
  • the second diaphragm 515 has a half edge corresponding to an inner side (a side where the pair of opening areas are close to each other) in the parallax direction of both opening areas among the edges of the pair of opening areas (the left opening area is the right half edge)
  • the right opening area forms the left half edge).
  • the first diaphragm 511 forms a position of a peripheral edge corresponding to both ends in the parallax direction among the peripheral edges of the pair of opening areas
  • the second diaphragm 515 is a peripheral edge adjacent between the pair of opening areas. Form a position.
  • both the cutout of the first diaphragm 511 and the protrusion of the second diaphragm 515 are straight lines that are perpendicular (orthogonal) to the parallax direction and have a vertex located on a line that passes through the base line length stop position. Therefore, the shape of the pair of opening regions is the same.
  • FIG. 23 schematically illustrates the driving directions of the first diaphragm 511 and the second diaphragm 515 when the diaphragm 510 according to the third embodiment of the present technology is driven such that only the aperture area changes while the base line length is constant.
  • (A) of the figure shows a diaphragm 510 before driving (referred to as a standard state).
  • FIG. 5B shows a diaphragm 510 that is driven so that the base line length is constant and the opening area is reduced.
  • the driving of the stop 510 for reducing the opening area while keeping the base line length (base line length L31) constant is to stop the first stop (the first stop operation direction 551) and perform the second operation. This can be done by narrowing the aperture (second aperture operation direction 552).
  • FIG. 6C shows a diaphragm 510 that is driven so as to increase the opening area while keeping the base line length constant.
  • the driving of the diaphragm 510 that increases the aperture area while keeping the base line length (base line length L31) constant opens the first diaphragm (first diaphragm operation direction 553) and the second This can be done by opening the aperture (second aperture operation direction 554).
  • the first aperture stops according to the movement of the position of the edge in the parallax direction.
  • the position of the edge in the parallax direction formed by the two diaphragms is moved in the same direction as the movement direction of the edge position of the first diaphragm.
  • the right edge of the left opening area moves in the opposite direction to the left edge of the left opening area according to the movement of the left edge of the left opening area, and the right edge of the right opening area moves according to the movement of the right edge of the right opening area.
  • the left end of the right opening region moves by the same amount in the opposite direction to the right end of the right opening region.
  • the setting of the edge of the opening region can be realized by driving the first diaphragm and the second diaphragm in the same direction, as shown in FIGS.
  • the aperture surface of the diaphragm 510 By setting the aperture surface of the diaphragm 510 in this way, the amount of light can be increased or decreased without changing the position of the center of gravity of the aperture region.
  • FIG. 24 schematically illustrates the driving directions of the first diaphragm 511 and the second diaphragm 515 when the diaphragm 510 according to the third embodiment of the present technology is driven such that only the base line length is changed while the aperture area is constant.
  • (A) of the figure shows a diaphragm 510 in a standard state.
  • FIG. 5B shows a diaphragm 510 that is driven so that the base line length is shortened from the standard state (from the base line length L31 to the base line length L32) with a constant opening area.
  • the driving of the diaphragm 510 that shortens the base line length while keeping the opening area constant narrows the first diaphragm (first diaphragm operation direction 561), and opens the second diaphragm (second diaphragm). 2 diaphragm operation directions 562).
  • FIG. 5C shows a diaphragm 510 that is driven so that the base line length is increased from the standard state (from the base line length L31 to the base line length L33) with a constant opening area.
  • the driving of the diaphragm 510 that increases the baseline length while keeping the opening area constant opens the first diaphragm (first diaphragm operation direction 563) and the second diaphragm (the first diaphragm). 2 diaphragm operation directions 564).
  • the first aperture is changed according to the movement of the position of the edge in the parallax direction.
  • the position of the edge in the parallax direction formed by the two diaphragms is moved by the same amount in the same direction as the movement direction of the edge position of the first diaphragm.
  • the right edge of the left opening area moves in the same direction as the left edge of the left opening area according to the movement of the left edge of the left opening area, and the right edge of the right opening area moves according to the movement of the right edge of the right opening area.
  • the left end of the right opening area moves in the same direction as the right end of the right opening area by the same amount.
  • the setting of the edge of the opening region can be realized by driving the first diaphragm and the second diaphragm in opposite directions, as shown in FIGS. Thereby, the length between the right end in the left opening region and the left end of this region, and the length between the right end in the right opening region and the left end of this region can be made constant, and the opening region The opening area can be made constant.
  • FIG. 25 is a diagram schematically illustrating a case where the shape of the opening portion of the diaphragm 510 according to the third embodiment of the present technology is a shape suitable for capturing a planar image.
  • (A) of the figure shows a diaphragm 510 in a standard state.
  • FIG. 5B shows a diaphragm 510 that is driven so as to have a shape of an opening suitable for capturing a planar image.
  • second diaphragm second diaphragm driving direction 571
  • the diaphragm 510 moves the first diaphragm and the second diaphragm individually, thereby reducing the opening area (F value) of the opening portion and the base length (three-dimensional effect).
  • F value opening area
  • the second aperture is opened to form one aperture, and the aperture area is controlled by the first aperture, so that It can be used in the same manner as the aperture of.
  • the stereoscopic effect (3D intensity) can be set by the aperture 510.
  • a 2D image plane image
  • the user can select an image to be captured (2D image or 3D image) and set a stereoscopic effect.
  • FIG. 26 is a diagram schematically illustrating a captured image setting screen and a 3D intensity setting screen displayed on the display unit 151 in the third embodiment of the present technology.
  • FIG. 580 shows a setting screen (setting screen 580) in which the user sets whether to capture a 2D image or a 3D image.
  • a radio button radio button 582 for selecting a 3D image mode for capturing a 3D image
  • a radio button radio button 583 for selecting a 2D image mode for capturing a 2D image
  • a determination button for determining the selection decision button 584) and a button for quitting the selection change (return button 585) are shown.
  • the user can select whether the image to be captured is a 2D image or a 3D image.
  • FIG. 26 (b) shows a setting screen (setting screen 590) on which the user sets the 3D intensity (3D level).
  • a slide bar indicating the 3D level (slide bar 591), a determination button for determining selection (decision button 594), and a button for quitting the selection change (return button 595) are shown.
  • the slide bar 591 shows a bar (bar 592) indicating the current set 3D level.
  • the user can select the 3D level.
  • the 3D level is weakened (the bar 592 is brought close to “weak” of the slide bar 591), as shown in FIG. 24B, the diaphragm 510 is controlled so that the base line length becomes short.
  • the 3D level is increased (the bar 592 is brought closer to the “strong” of the slide bar 591), as shown in FIG. 24C, the diaphragm 510 is controlled so that the base line length becomes longer.
  • the user can select the 3D level.
  • FIG. 27 is a diagram schematically illustrating a change in an image due to a change in the baseline length by the diaphragm 510 according to the third embodiment of the present technology.
  • (A) and (b) of the same figure schematically show the optical path from the imaging target and the imaging position on the image plane of the imaging target when the diaphragm 510 is controlled so that the base line length becomes long.
  • (c) and (d) in the figure schematically show the optical path from the imaging target and the imaging position on the image plane of the imaging target when the diaphragm 510 is controlled so that the baseline length is shortened. Is shown in
  • FIGS. 6A and 6C correspond to FIG. 6A, and among the subject light from the imaging target, an aperture surface corresponding to the left eye of the diaphragm 510 (left-eye aperture surface).
  • the optical path of the subject light passing through and the imaging position on the image plane are schematically shown.
  • (b) and (d) in FIG. 27 correspond to (b) in FIG. 6, and the aperture surface corresponding to the right eye of the diaphragm 510 (right-eye aperture surface) of the subject light from the imaging object.
  • the pupil E21 shown in FIGS. 27A to 27D schematically shows the shape of the exit pupil (that is, the shape of the imaging lens) when both the first diaphragm and the second diaphragm of the diaphragm 510 are opened. This corresponds to the exit pupil E1 of FIG.
  • the exit pupils E31 and E32 in FIGS. 27A and 27B are a pair of exit pupils (exit pupil E31 is an exit pupil of the left eye opening surface) when the diaphragm 510 is controlled so that the baseline length becomes long.
  • the exit pupil E32 indicates the exit pupil of the right eye opening surface.
  • the exit pupils E41 and E42 in (c) and (d) of the same figure are a pair of exit pupils (exit pupil E41 of the left eye opening surface) when the diaphragm 510 is controlled so that the baseline length is shortened.
  • the exit pupil and exit pupil E42 indicate the exit pupil of the right eye opening surface.
  • 6A to 6D similarly to FIG. 6, the optical paths of light from the focused object 271 and the near-position object 272 are broken lines and solid lines (lines L51 to L58) extending from the respective objects. Is indicated by
  • the stereoscopic effect can be adjusted by providing the diaphragm 510.
  • FIG. 28 is a diagram schematically illustrating a difference between the aperture surface of the diaphragm 510 according to the third embodiment of the present technology and the aperture surface of the conventional diaphragm.
  • FIG. 1 shows a change in the opening surface due to opening and closing of a diaphragm (aperture 190) provided in a conventional imaging apparatus.
  • the diaphragm 190 includes a pair of blades (a diaphragm upper blade 191 and a diaphragm lower blade 192), and adjusts the area of the opening surface by moving the pair of blades (light shielding members) in directions opposite to each other.
  • the conventional diaphragm 190 has a long base line length when the aperture area is large (see the base line length L91 shown in FIG. 9A), but the base line length becomes short when the aperture area is small (see FIG. (See the baseline length L92 in (a)).
  • FIG. 28B shows a change in the opening surface due to opening and closing of the diaphragm 510 in the third embodiment of the present technology.
  • the figure shown in (b) of the figure is the figure which put together FIG. 23 and FIG. Therefore, in FIG. 28B, the same reference numerals as those in FIGS. 23 and 24 are given, and detailed description thereof is omitted here.
  • the brightness (size of the opening area) and the base line length (distance between the centers of gravity of the pair of opening surfaces) can be independently controlled by the diaphragm 510.
  • FIG. 29 is a flowchart illustrating an example of an imaging process procedure when a stereoscopic image is captured by the imaging apparatus 500 according to the third embodiment of the present technology.
  • the flowchart of the imaging processing procedure example illustrated in FIG. 10 is a modification of the flowchart of the imaging processing procedure example of the first embodiment of the present technology illustrated in FIG. 10. Therefore, the same processes are denoted by the same reference numerals, description thereof is omitted, and only a process procedure example relating to newly added automatic exposure will be described.
  • step S901 When it is determined that the user has instructed the start of the stereoscopic image capturing operation (step S901), the length of the base line length is set based on the intensity of the stereoscopic effect designated in advance by the user, The diaphragm 510 is driven according to the length (step S961). In step S902, a live view is displayed.
  • step S904 the aperture drive setting unit 530 performs exposure adjustment based on the image captured during the focusing process, and the aperture 510 is controlled automatically.
  • An exposure process is performed (step S962). Then, after step S962, the process proceeds to step S905, where it is determined whether or not the shutter button has been fully pressed.
  • the brightness (the size of the opening area) and the base line length (the distance between the centers of gravity of the pair of opening surfaces) can be controlled independently.
  • the first diaphragm provided with two blades (light shielding member) and the second diaphragm provided with two blades have been described.
  • the present invention is not limited to this. It is not a thing.
  • the first diaphragm may be any one that opens and closes so that the aperture area decreases from the outer periphery to the center of the diaphragm (so that the F value decreases).
  • a square opening shape rotated by 45 degrees can be approximated to a circular opening shape.
  • the second diaphragm only needs to form a pair of openings by shielding the vicinity of the center of the diaphragm, and by using two or more blades, the shape of the pair of openings can be made close to a circle. It is also possible to do that
  • the diaphragm (aperture 510) in which the brightness and the base line length can be freely set when the horizontal position photographing is performed using the imaging device has been described.
  • the aperture 510 when shooting in the vertical position as shown in the first embodiment of the present technology, the second aperture must be opened to make only the first aperture (the same use method as the conventional aperture). ), Parallax in the horizontal direction cannot be obtained.
  • FIG. 30 is a block diagram illustrating an example of a functional configuration of an imaging apparatus 600 according to the fourth embodiment of the present technology.
  • the imaging apparatus 600 shown in the figure includes a diaphragm 610 instead of the diaphragm 510 of the imaging apparatus 500 shown in FIG.
  • the imaging apparatus 600 further includes a posture detection unit 140 illustrated in FIG.
  • the diaphragm 610 will be described with reference to FIGS.
  • the posture detection unit 140 detects the posture of the imaging device 600, and transmits information (posture information) related to the detected posture of the imaging device 600 to the parallax detection unit 320 and the diaphragm drive. It supplies to the setting part 530.
  • the aperture drive setting unit 530 shown in FIG. 30 detects whether the image is in the vertical position shooting or the horizontal position shooting (the attitude of the imaging apparatus 600) based on the attitude information supplied from the attitude detection unit 140.
  • the driving of the diaphragm 610 is set according to the detected posture.
  • FIG. 31 is a diagram schematically illustrating an example of the diaphragm 610 according to the fourth embodiment of the present technology.
  • FIG. 31A shows the diaphragm 610 in a state where two opening portions are formed on the upper and lower sides.
  • (b) in the figure shows only the first diaphragm (first diaphragm 511) and shows the shape of two blades of the first diaphragm
  • (c) in the figure shows the second diaphragm (second diaphragm 515).
  • Only, and the shape of the two blades of the second diaphragm is shown.
  • only the third diaphragm (third diaphragm 611) is shown to show the shape of the two blades of the third diaphragm.
  • FIG. (A) of the figure shows a diaphragm 610 in which a pair of openings are formed in the vertical direction.
  • the third diaphragm is disposed so that the right end of the third diaphragm left blade 612 and the left edge of the third diaphragm right blade 613 are in contact with each other near the center of the diaphragm 610.
  • the second diaphragm upper blade 516 and the second diaphragm lower blade 517 are in an open state and are disposed so as not to block subject light.
  • the third aperture 611 shields the vicinity of the center of the aperture 610 from the left and right directions, whereby a pair of opening portions can be formed in the vertical direction of the aperture 610.
  • FIG. D of the figure shows only two blades (the third diaphragm left blade 612 and the third diaphragm right blade 613) constituting the third diaphragm (third diaphragm 611).
  • the third diaphragm 611 is obtained by rotating the arrangement direction of the second diaphragm 515 (see (c) of the figure) 90 degrees clockwise (the driving direction is orthogonal). To do).
  • the third diaphragm left blade 612 and the third diaphragm right blade 613 are arranged such that the convex protrusions of a triangle (mountain shape) face each other.
  • the convex protrusion of the triangle (mountain) is a straight line parallel to the parallax direction, and is formed so that the apex of the triangular cut is positioned on a line passing through the base line stop position. .
  • a pair of opening portions can be provided in the vertical direction.
  • FIG. 32 is a diagram schematically illustrating an example of the shape of the opening formed by the diaphragm 610 according to the fourth embodiment of the present technology.
  • FIG. 1 A of the figure schematically shows the positions of the blades of the diaphragm 610 in the case of performing horizontal position shooting using the imaging device 600.
  • the third diaphragm (the third diaphragm left blade 612 and the third diaphragm right blade 613) is opened as shown in FIG.
  • the second diaphragm (the second diaphragm upper blade 516 and the second diaphragm lower blade 517) is narrowed (closed) so as to form a pair of opening portions as shown in FIGS.
  • the brightness and the base line length are separately controlled in the horizontal position shooting, similarly to the diaphragm 510 shown in FIGS. I can do it.
  • FIG. 32 (b) schematically shows the position of each blade of the diaphragm 610 in the case of taking a vertical position image using the imaging device 600.
  • FIG. 5B When shooting in the vertical position, as shown in FIG. 5B, the second diaphragm is opened, and the third diaphragm is narrowed (closed) so that a pair of opening portions are formed. Then, by opening and closing the third diaphragm and the first diaphragm while the second diaphragm is opened, it is possible to perform the same opening and closing as in FIG. That is, as shown in FIG. 5B, the brightness and the base line length can be controlled separately in vertical position shooting by opening and closing the third aperture and the first aperture with the second aperture open. I can do it.
  • FIG. (C) of the figure schematically shows the position of each blade of the diaphragm 610 when a 2D image is picked up using the image pickup apparatus 600.
  • the second aperture and the third aperture are opened as shown in FIG. Then, only the first aperture is opened and closed. This makes it possible to capture a 2D image without blocking unnecessary subject light.
  • FIG. 33 is a diagram schematically illustrating an example of a diaphragm having a simple configuration suitable for capturing a 3D image, as a modification of the third and fourth embodiments of the present technology.
  • (A) and (b) of the figure show a diaphragm that can control the brightness while maintaining the baseline length.
  • (A) of the figure shows a diaphragm having two blades and forming a rectangular opening surface that is long in the parallax detection direction by protrusions at both ends in the parallax detection direction (left and right) (inner side is a rectangular cut).
  • the rectangular opening surface of the diaphragm is formed by two blades facing each other with a rectangular cutout having a long side in the parallax direction.
  • (b) in the figure is provided with two blades, and a pair of opening portions (left and right) in the parallax detection direction (left and right) by two ridged projections (two valleys (a pair of adjacent notches)).
  • a stop forming a square that is rotated 45 degrees is shown. Brightness can be controlled while maintaining the baseline length by opening and closing a diaphragm as shown in (a) and (b) in the figure in the vertical direction (perpendicular to the parallax detection direction).
  • FIG. 2C shows a diaphragm that forms an elliptical opening that is long in the left-right direction (parallax detection direction) and short in the up-down direction.
  • the elliptical opening portion of the diaphragm is formed by two blades facing each other in a semicircular cutout having one side (long diameter) in the parallax direction.
  • (d) in the figure shows a diaphragm that forms a rhombus opening that is long in the left-right direction (parallax detection direction) and short in the up-down direction.
  • the diamond-shaped opening of the diaphragm is formed by two blades whose triangular notches having the base in the parallax direction face each other.
  • the apertures shown in (c) and (d) of the figure are opened and closed in the vertical direction, so that they are compared with the apertures of the conventional circular aperture and the apertures of the square aperture rotated 45 degrees.
  • the base line length can be increased.
  • (E) of the figure shows a diaphragm that can control the brightness and the base line length independently, as in the third and fourth embodiments of the present technology, and shows the third and fourth embodiments.
  • An aperture that is easier to control than the aperture is shown.
  • two blades are closed from both ends (left and right ends) in the parallax detection direction (left and right) toward the center of the stop, and from both upper and lower ends (upper and lower ends) to the center of the stop. Two blades are shown closed. Note that the two blades that close from the left end and the right end toward the center of the stop are a pair of blades whose sides parallel to the orthogonal direction orthogonal to the parallax direction face each other.
  • the two blades that close from the upper end and the lower end toward the center of the stop are a pair of blades whose sides parallel to the parallax direction face each other.
  • the aperture shown in (e) of FIG. 5 increases the baseline length when the left and right apertures are opened, and the brightness increases when the upper and lower apertures are opened.
  • a good 3D image can be captured.
  • the description has been made on the assumption of an imaging device that captures a still image.
  • the present technology can be similarly applied to an imaging device that captures a moving image.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium for storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray Disc (Blu-ray Disc (registered trademark)), or the like can be used.
  • a parallax detection pixel that generates a signal for detecting parallax by receiving subject light by a plurality of light receiving elements covered by one microlens, and a microlens smaller than the microlens in pixel units.
  • An image sensor comprising: an image generating pixel that generates a signal for generating a planar image by receiving the subject light by a covered light receiving element; The parallax is detected based on the signal generated by the parallax detection pixel, the planar image is generated based on the signal generated by the image generation pixel, and is included in the generated planar image based on the detected parallax.
  • An imaging apparatus comprising: a stereoscopic image generation unit that generates a stereoscopic image by adjusting each position of a subject image.
  • a posture detecting unit that detects the posture of the imaging device is further provided, The parallax detection pixels are arranged side by side on a line in a row direction and a line in a column direction in the image sensor, The stereoscopic image generation unit determines a direction in which the parallax is detected based on the posture detected by the posture detection unit from either a row direction or a column direction of the image sensor, and is arranged in the determined direction.
  • the imaging device according to (1), wherein information regarding the parallax is generated based on a signal generated by the parallax detection pixel.
  • the imaging apparatus further including a focus determination unit that performs focus determination on a focused object based on a signal generated by the parallax detection pixel.
  • a focus determination unit that performs focus determination on a focused object based on a signal generated by the parallax detection pixel.
  • the imaging device according to any one of (1) to (3), wherein the parallax detection pixels are arranged adjacent to each other on a line in a specific direction.
  • a control unit that moves the one microlens covering the plurality of light receiving elements in the parallax detection pixel in the optical axis direction of the microlens based on the relationship between the imaging element and the size of the exit pupil.
  • the imaging apparatus according to any one of (1) to (5).
  • the imaging device according to any one of (1) to (6), wherein the plurality of light receiving elements in the parallax detection pixel are covered with the same color filter.
  • the imaging device wherein the plurality of light receiving elements in the parallax detection pixel are covered with a green filter that blocks light outside a wavelength region indicating green.
  • the imaging device wherein the plurality of light receiving elements in the parallax detection pixel are covered with a white filter or a transparent layer that transmits light in a visible light region.
  • the imaging device according to any one of (1) to (9), wherein the image generation pixel includes one light receiving element for each pixel unit.
  • the plurality of microlenses for condensing the subject light collected by the one microlens covering the plurality of light receiving elements in the parallax detection pixels at respective positions of the plurality of light receiving elements.
  • the imaging device according to any one of (1) to (10), wherein the light receiving element is covered for each of the plurality of light receiving elements.
  • the microlens that covers the light receiving element in the image generation pixel is on the same plane orthogonal to the optical axis direction of the microlens that covers the plurality of light receiving elements in the parallax detection pixel for each of the plurality of light receiving elements.
  • the imaging apparatus which is disposed in (13)
  • the microlens that covers the light receiving element in the image generation pixel is disposed on the same plane orthogonal to the optical axis direction of the one microlens that covers the plurality of light receiving elements in the parallax detection pixel.
  • the imaging device according to any one of (1) to (11).
  • a parallax detection pixel that generates a signal for detecting parallax used when generating a stereoscopic image by receiving subject light by a plurality of light receiving elements covered by one microlens; A signal for generating a planar image used when generating the stereoscopic image using the parallax by receiving the subject light by a light receiving element covered in a pixel unit by a microlens smaller than the microlens.
  • An image sensor comprising: an image generation pixel that generates (15)
  • the parallax is information regarding a shift amount of each position of the subject image when the stereoscopic image is generated by adjusting each position of the subject image in the planar image in the parallax direction,
  • the imaging device according to (14), wherein the parallax detection pixels are arranged on a line in the parallax direction.
  • a parallax detection pixel that generates a signal for detecting parallax by a plurality of light receiving elements covered by one microlens, and an image that generates a signal for generating a planar image by receiving subject light
  • An image processing method comprising: a stereoscopic image generation procedure for generating a stereoscopic image by adjusting each position of a captured object in the planar image based on the detected parallax.
  • a parallax detection pixel that generates a signal for detecting parallax by a plurality of light receiving elements covered by one microlens, and an image that generates a signal for generating a planar image by receiving subject light
  • a diaphragm that forms a pair of opening regions for generating a stereoscopic image
  • An image sensor for receiving a subject light passing through the pair of aperture regions and generating a signal for generating the stereoscopic image
  • An imaging apparatus comprising: a control unit that independently controls a distance between the centers of gravity of the pair of opening areas and an increase / decrease in the amount of light of the subject light passing through the pair of opening areas.
  • the pair of opening regions are formed adjacent to each other in the parallax direction in the stereoscopic image
  • the control unit changes and controls a position of a peripheral edge corresponding to both ends in the parallax direction and a position of a peripheral edge adjacent between the pair of opening areas, out of the peripheral edges of the pair of opening areas.
  • (20) When the control unit increases or decreases the amount of light, the distance between the centroids is constant, and a peripheral edge corresponding to the both ends related to one opening region of the pair of opening regions.
  • the imaging device according to (19) wherein a length between the adjacent peripheral edges and a length between a peripheral edge corresponding to the both ends of the other opening region and the adjacent peripheral edges are changed.
  • a length between a peripheral edge corresponding to the both ends related to one opening area of the pair of opening areas and a peripheral edge adjacent thereto is a peripheral edge corresponding to the both ends related to the other opening area.
  • the control unit changes the distance between the centroids, a length between a peripheral edge corresponding to the both ends of the opening area of the pair of opening areas and the adjacent peripheral edge.
  • the imaging device according to any one of (19) to (22), wherein the control unit controls the pair of opening regions so as to be a distance between the centers of gravity after adjustment by the adjustment unit.
  • the aperture is A first member having a pair of members each provided with a notch, the notch being disposed so as to face each other;
  • the imaging device according to any one of (18) to (23), wherein the pair of members including the protrusions includes a second member arranged so that the protrusions face each other.
  • the imaging device according to (24), wherein the first member and the second member are driven in an orthogonal direction orthogonal to the parallax direction.
  • the notch is a concave shape having a point on a straight line passing through the center of the distance between the centroids and parallel to the driving direction of the first member,
  • a posture detection unit that detects the posture of the imaging device is further provided,
  • the aperture is A first member having a pair of members each provided with a notch, the notch being disposed so as to face each other;
  • a second member that shields part of the subject light in the case of lateral position shooting, and a pair of members provided with protrusions are arranged so that the protrusions face each other;
  • a third member that shields a part of the subject light in the case of vertical position shooting, and a pair of members including protrusions is provided with a third member arranged so that the protrusions face each other;
  • the driving direction of the second member and the driving direction of the third member are orthogonal to each other,
  • the control unit determines any one of the horizontal position shooting and the vertical position shooting based on the detected posture, and controls the pair of opening areas, any of (18) to (23)
  • the imaging device according to any one of (18) to (27), wherein the diaphragm is disposed in an optical path of the subject light condensed by a monocular lens system.
  • a diaphragm formed of a pair of members each having a pair of notch portions adjacent to each other in the parallax direction in the stereoscopic image, the diaphragm forming a pair of opening regions when the notch portions face each other;
  • An image sensor for receiving a subject light passing through the pair of aperture regions and generating a signal for generating the stereoscopic image;
  • An imaging apparatus comprising: a control unit that controls the diaphragm by driving the pair of members in an orthogonal direction orthogonal to the parallax direction so that the distance between the centers of gravity of the pair of opening regions is constant.
  • a diaphragm that forms an opening region whose longitudinal direction is the parallax direction in the stereoscopic image;
  • An image sensor that receives a subject light passing through the opening region and generates a signal for generating the stereoscopic image;
  • An imaging apparatus comprising: a control unit that controls the diaphragm so that a length of the opening area in the parallax direction is longer than a length of the opening area in an orthogonal direction orthogonal to the parallax direction.
  • the diaphragm is configured such that a pair of members including a notch portion forms the opening region when the notch portions face each other,
  • the imaging device according to (30), wherein the control unit controls the diaphragm by driving the pair of members in the orthogonal direction.
  • the imaging device wherein the notch is a rectangle having a long side in the parallax direction, a triangle having the parallax direction as a base, or a semicircle having the parallax direction as one side.
  • the diaphragm includes a pair of first members having sides parallel to the parallax direction, and the pair of second members having sides parallel to the orthogonal direction, and the sides facing each other.
  • the imaging device wherein the opening region is formed by: (34) a first control procedure for controlling a distance between the centers of gravity of the pair of opening areas in a diaphragm that forms the pair of opening areas for generating a stereoscopic image; A second control procedure for controlling an increase or decrease in the amount of light of the subject light passing through the pair of opening regions independently of the distance between the centroids; A diaphragm control method comprising: (35) a first control procedure for controlling a distance between the centers of gravity of the pair of opening areas in a diaphragm that forms the pair of opening areas for generating a stereoscopic image; A second control procedure for controlling an increase or decrease in the amount of light of the subject light passing through the pair of opening regions independently of the distance between the centroids; A program that causes a computer to execute.
  • DESCRIPTION OF SYMBOLS 100 Image pick-up device 110 Lens part 111 Zoom lens 112 Aperture 113 Focus lens 120 Operation reception part 130 Control part 140 Posture detection part 151 Display part 152 Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本技術は、立体視画像の画質の劣化を低減させることができる撮像装置、撮像素子、画像処理方法、絞り制御方法、およびプログラムに関する。視差検出画素230は、1つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより視差を検出するための信号を生成する。G画像227、228と、R画素226と、B画素229とは、被写体光を受光することにより平面画像を生成するための信号を生成する。視差検出部320は、視差検出画素230が生成した信号に基づいて視差を検出する。2D画像生成部310は、画像生成画素が生成した信号に基づいて平面画像を生成する。3D画像生成部330は、検出された視差に基づいて平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成する。

Description

撮像装置、撮像素子、画像処理方法、絞り制御方法、およびプログラム
 本技術は、撮像装置に関し、特に、立体視画像を生成する撮像装置、撮像素子、画像処理方法、絞り制御方法、ならびに当該方法をコンピュータに実行させるプログラムに関する。
 従来、左右眼の視差を利用して立体的な視覚を得ることができる立体視画像を表示するための画像データを生成するデジタルスチルカメラやデジタルビデオカメラ(カメラ一体型レコーダ)等の撮像装置が提案されている。
 例えば、2つのレンズと1つの撮像素子とを備え、立体視画像を表示するための2つの画像(左眼視用画像および右眼視用画像)を生成する撮像装置が提案されている(例えば、特許文献1参照)。
特開2004-309868号公報
 上述の従来技術によれば、2つのレンズと1つの撮像素子とを用いて2つの画像(左眼視用画像および右眼視用画像)を生成することができる。しかしながら、偏光フィルタを用いているため、光量が減少するおそれがある。また、特定の偏光を備えている被写体光(例えば、ガラスからの反射光や水面からの反射光)からの光を受光することができないおそれがある。
 また、2つのレンズを設けているため、光学系が複雑になる。そこで、1つのレンズを用いて立体視画像を生成する撮像装置も提案されている。しかしながら、このような撮像装置では、1つのレンズにおいて左右に被写体光を分離するため、絞りを絞って明るさの調整を優先させると、立体感が減少してしまう。すなわち、立体視画像の画質を向上させるためには、立体感を減少させないで明るさを調整することが必要になる。
 本技術はこのような状況に鑑みて生み出されたものであり、立体視画像の画質の劣化を低減させ、画質の向上させることを目的とする。
 本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、1つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより視差を検出するための信号を生成する視差検出画素と、上記被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子と、上記視差検出画素が生成した信号に基づいて上記視差を検出し、上記画像生成画素が生成した信号に基づいて上記平面画像を生成し、上記検出した視差に基づいて上記生成した平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成する立体視画像生成部とを具備する撮像装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、視差検出画素が生成した信号に基づいて視差を検出し、画像生成画素が生成した信号に基づいて平面画像を生成し、検出した視差に基づいて平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成させるという作用をもたらす。
 また、この第1の側面において、上記撮像装置の姿勢を検出する姿勢検出部をさらに具備し、上記視差検出画素は、上記撮像素子における行方向のライン上および列方向のライン上に並んで配置され、上記立体視画像生成部は、上記姿勢検出部が検出した姿勢に基づいて上記視差を検出する方向を上記撮像素子の行方向および列方向のいずれかから決定し、当該決定された方向に配置された上記視差検出画素が生成した信号に基づいて上記視差に関する情報を生成するようにしてもよい。これにより、姿勢検出部が検出した姿勢に基づいて視差を検出する方向を決定させ、決定された方向に配置された視差検出画素が生成した信号に基づいて視差に関する情報を生成させるという作用をもたらす。
 また、この第1の側面において、上記視差検出画素が生成した信号に基づいて合焦対象物に対する合焦判定を行う合焦判定部をさらに具備するようにしてもよい。これにより、視差検出画素が生成した信号に基づいて合焦対象物に対する合焦判定を行なわせるという作用をもたらす。
 また、この第1の側面において、上記撮像素子は、上記視差検出画素が特定方向におけるライン上に隣接して配置されるようにしてもよい。これにより、視差検出画素が特定方向におけるライン上に隣接して配置されるという作用をもたらす。
 また、この第1の側面において、上記撮像素子は、上記視差検出画素が特定方向におけるライン上に所定の間隔置きに配置されるようにしてもよい。これにより、視差検出画素がアイランド状に配置されるという作用をもたらす。
 また、この第1の側面において、上記撮像素子と上記射出瞳の大きさとの関係に基づいて、上記視差検出画素における複数の受光素子を覆う1つのマイクロレンズを当該マイクロレンズの光軸方向へ移動させる制御部をさらに具備するようにしてもよい。これにより、複数の大きさの射出瞳に対して視差が検出されるという作用をもたらす。
 また、この第1の側面において、上記視差検出画素における複数の受光素子は、同一のカラーフィルタにより覆われているようにしてもよい。これにより、視差検出画素における複数の受光素子を同一の分光特性にさせるという作用をもたらす。また、この場合において、上記視差検出画素における複数の受光素子は、緑を示す波長領域以外の光を遮光する緑フィルタによって覆われているようにしてもよい。これにより、視差検出画素における複数の受光素子のカラーフィルタとして緑フィルタを設けさせるという作用をもたらす。
 また、この場合において、上記視差検出画素における複数の受光素子は、可視光領域の光を透過させる白フィルタまたは透明層によって覆われているようにしてもよい。これにより、視差検出画素における複数の受光素子のカラーフィルタとして白フィルタまたは透明層を設けさせるという作用をもたらす。
 また、この第1の側面において、上記画像生成画素は、上記画素単位ごとに1つの受光素子を備えるようにしてもよい。これにより、画素単位ごとに1つの受光素子を備える画像生成画素が生成した信号に基づいて平面画像を生成させるという作用をもたらす。
 また、この第1の側面において、上記視差検出画素における上記複数の受光素子を覆う上記1つのマイクロレンズにより集光された上記被写体光を上記複数の受光素子のそれぞれの位置に集光するためのマイクロレンズが、当該複数の受光素子を当該複数の受光素子ごとに覆うようにしてもよい。これにより、視差検出画素には、複数の受光素子を覆う1つのマイクロレンズと、この1つのマイクロレンズが集光した被写体光を複数の受光素子のそれぞれの位置にさらに集光するためのマイクロレンズとが設けられるという作用をもたらす。
 また、この第1の側面において、上記画像生成画素における上記受光素子を覆う上記マイクロレンズは、上記視差検出画素における上記複数の受光素子を当該複数の受光素子ごとに覆う上記マイクロレンズの光軸方向と直交する同一面上に配置されるようにしてもよい。これにより、視差検出画素の複数の受光素子のそれぞれを覆うマイクロレンズと、画像生成画素におけるマイクロレンズとが同じ層に設けられるという作用をもたらす。
 また、この第1の側面において、上記画像生成画素における上記受光素子を覆う上記マイクロレンズは、上記視差検出画素における上記複数の受光素子を覆う上記1つのマイクロレンズの光軸方向と直交する同一面上に配置されるようにしてもよい。これにより、視差検出画素における複数の受光素子を覆う1つのマイクロレンズと、画像生成画素のマイクロレンズとが同じ層に設けられるという作用をもたらす。
 また、本技術の第2の側面は、1つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより立体視画像を生成する際に用いられる視差を検出するための信号を生成する視差検出画素と、前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより前記視差を用いて前記立体視画像を生成する際に用いられる平面画像を生成するための信号を生成する画像生成画素とを具備する撮像素子である。これにより、1つのマイクロレンズにより覆われた複数の受光素子を備える視差検出画素と、小さいマイクロレンズにより画素単位で覆われた受光素子を備える画像生成画素とを撮像素子に具備させるという作用をもたらす。
 また、この第2の側面において、前記視差は、前記平面画像における被写体像のそれぞれの位置を前記視差方向に調整して前記立体視画像を生成する際における前記被写体像のそれぞれの位置のずれ量に関する情報であり、前記視差検出画素は、前記視差方向にライン上に配置されるようにしてもよい。これにより、視差方向にライン上に配置された視差検出画素からの信号が平面画像における被写体像のそれぞれの位置をずらす量の算出に用いられるという作用をもたらす。
 また、本技術の第3の側面は、立体視画像を生成するための一対の開口領域を形成する絞りと、前記一対の開口領域を通過する被写体光をそれぞれ受光して前記立体視画像を生成するための信号を生成する撮像素子と、前記一対の開口領域の重心間の距離と、前記一対の開口領域を通過する前記被写体光の光量の増減とをそれぞれ独立して制御する制御部とを具備する撮像装置およびこの撮像装置に関する絞り制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、立体視画像を生成するための一対の開口領域を形成する絞りを通過する被写体光をそれぞれ受光して立体視画像を生成させるという作用をもたらす。
 また、この第3の側面において、前記絞りには、前記立体視画像における視差方向において前記一対の開口領域が隣接して形成され、前記制御部は、前記一対の開口領域のそれぞれの周縁のうち、前記視差方向における両端に対応する周縁の位置と、前記一対の開口領域間で近接する周縁の位置とをそれぞれ変更して制御するようにしてもよい。これにより、立体視画像における視差方向において一対の開口領域が隣接して形成され、視差方向における両端に対応する周縁の位置と、一対の開口領域間で近接する周縁の位置とをそれぞれ変更して制御させるという作用をもたらす。
 また、この第3の側面において、前記制御部は、前記光量を増減させる場合には、前記重心間の距離を一定にした状態で、前記一対の開口領域のうちの1つの開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さと、他の開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さとを変更させるようにしてもよい。これにより、光量を増減させる場合には、重心間の距離を一定にした状態で、一対の開口領域のうちの1つの開口領域に係る両端に対応する周縁と近接する周縁との間の長さと、他の開口領域に係る両端に対応する周縁と近接する周縁との間の長さとを変更させるという作用をもたらす。
 また、この第3の側面において、前記一対の開口領域のうちの1つの開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さは、前記他の開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さと同一であるようにしてもよい。これにより、一対の開口領域のうちの1つの開口領域に係る両端に対応する周縁と近接する周縁との間の長さを、他の開口領域に係る両端に対応する周縁と近接する周縁との間の長さと同一にさせるという作用をもたらす。
 また、この第3の側面において、前記制御部は、前記重心間の距離を変更させる場合には、前記一対の開口領域のうちの1つの開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さを一定にした状態で、前記重心間の距離を変更させるようにしてもよい。これにより、重心間の距離を変更させる場合には、一対の開口領域のうちの1つの開口領域に係る両端に対応する周縁と近接する周縁との間の長さを一定にした状態で、重心間の距離を変更させるという作用をもたらす。
 また、この第3の側面において、前記重心間の距離を調整する調整部をさらに具備し、前記制御部は、前記調整部による調整後の前記重心間の距離となるように前記一対の開口領域を制御するようにしてもよい。これにより、重心間の距離を調整する調整部による調整後の前記重心間の距離となるように一対の開口領域が制御されるという作用をもたらす。
 また、この第3の側面において、前記絞りは、切欠部を備える一対の部材が前記切欠部が互いに対向するように配置される第1部材と、突出部を備える一対の部材が前記突出部が互いに対向するように配置される第2部材とを備えるようにしてもよい。これにより、切欠部を備える一対の部材が切欠部が互いに対向するように配置される第1部材と、突出部を備える一対の部材が突出部が互いに対向するように配置される第2部材とにより絞りが構成されるという作用をもたらす。
 また、この第3の側面において、前記第1部材および前記第2部材は、前記視差方向に対して直交する直交方向に駆動されるようにしてもよい。これにより、第1部材および第2部材は、視差方向に対して直交する直交方向に駆動されるという作用をもたらす。
 また、この第3の側面において、前記切欠部は、前記重心間の距離の中心を通過して前記第1部材の駆動方向に平行な直線上の1点を山形の頂点とする凹形状であり、前記突出部は、前記重心間の距離の中心を通過して前記第2部材の駆動方向に平行な直線上の1点を山形の頂点とする凸形状であるようにしてもよい。これにより、切欠部が重心間の距離の中心を通過して第1部材の駆動方向に平行な直線上の1点を山形の頂点とする凹形状であり、前記突出部が重心間の距離の中心を通過して第2部材の駆動方向に平行な直線上の1点を山形の頂点とする凸形状である第1部材および第2部材が駆動されるという作用をもたらす。
 また、この第3の側面において、前記撮像装置の姿勢を検出する姿勢検出部をさらに具備し、前記絞りは、切欠部を備える一対の部材が前記切欠部が互いに対向するように配置される第1部材と、横位置撮影の場合において前記被写体光の一部を遮光する第2部材であって、突出部を備える一対の部材が当該突出部が互いに対向するように配置される第2部材と、縦位置撮影の場合において前記被写体光の一部を遮光する第3部材であって、突出部を備える一対の部材が当該突出部が互いに対向するように配置される第3部材とを備え、前記第2部材の駆動方向と、前記第3部材の駆動方向とは直交し、前記制御部は、前記検出された姿勢に基づいて前記横位置撮影または前記縦位置撮影のいずれであるかを決定して前記一対の開口領域を制御するようにしてもよい。これにより、横位置撮影または前記縦位置撮影のいずれにおいても視差方向に一対の開口領域が形成されるという作用をもたらす。
 また、この第3の側面において、前記絞りは、単眼のレンズ系により集光される前記被写体光の光路に配置されるようにしてもよい。これにより、単眼のレンズ系により集光される被写体光の光路に絞りが配置されるという作用をもたらす。
 また、本技術の第4の側面は、立体視画像における視差方向において隣接する一対の切欠部をそれぞれ備える一対の部材からなる絞りであって、前記切欠部が互いに対向することにより一対の開口領域を形成する絞りと、前記一対の開口領域を通過する被写体光をそれぞれ受光して前記立体視画像を生成するための信号を生成する撮像素子と、前記一対の開口領域の重心間の距離が一定となるように、前記視差方向と直交する直交方向に前記一対の部材をそれぞれ駆動させて前記絞りを制御する制御部とを具備する撮像装置である。これにより、立体視画像における視差方向において隣接する一対の切欠部をそれぞれ備える一対の部材からなる絞りの一対の開口領域を通過する被写体光がそれぞれ受光されて立体視画像が生成されるという作用をもたらす。
 また、本技術の第5の側面は、立体視画像における視差方向を長手方向とする開口領域を形成する絞りと、前記開口領域を通過する被写体光を受光して前記立体視画像を生成するための信号を生成する撮像素子と、前記視差方向における前記開口領域の長さが、前記視差方向と直交する直交方向における前記開口領域の長さよりも長くなるように前記絞りを制御する制御部とを具備する撮像装置である。これにより、立体視画像における視差方向を長手方向とする開口領域を形成する絞りの開口領域を通過する被写体光を受光して立体視画像が生成されるという作用をもたらす。
 また、この第5の側面において、前記絞りは、切欠部を備える一対の部材が前記切欠部が互いに対向することにより前記開口領域を形成し、前記制御部は、前記一対の部材を前記直交方向へそれぞれ駆動させて前記絞りを制御するようにしてもよい。これにより、切欠部を備える一対の部材が互いに対向することにより形成された開口領域を通過する被写体光を受光して立体視画像が生成されるという作用をもたらす。
 また、この第5の側面において、前記切欠部は、前記視差方向を長辺とする矩形、前記視差方向を底辺とする三角形、または、前記視差方向を一辺とする半円形であるようにしてもよい。これにより、視差方向を長辺とする矩形、視差方向を底辺とする三角形、または、視差方向を一辺とする半円形の切欠部により形成された開口領域を通過する被写体光を受光して立体視画像が生成されるという作用をもたらす。
 また、この第5の側面において、前記絞りは、前記視差方向に平行な辺を備え、当該辺が対向する一対の第1部材と、前記直交方向に平行な辺を備え、当該辺が対向する一対の第2部材とにより前記開口領域を形成するようにしてもよい。これにより、視差方向に平行な辺を備え、当該辺が対向する一対の第1部材と、直交方向に平行な辺を備え、当該辺が対向する一対の第2部材とにより形成された開口領域を通過する被写体光を受光して立体視画像が生成されるという作用をもたらす。
 本技術によれば、立体視画像の画質の劣化を低減させ、画質を向上させることができるという優れた効果を奏し得る。
本技術の第1の実施の形態における撮像装置100の機能構成の一例を示すブロック図である。 本技術の第1の実施の形態における撮像素子200に備えられる画素の配置の一例を示す模式図である。 本技術の第1の実施の形態における撮像素子200に備えられる画像生成画素および視差検出画素の一例を示す模式図である。 本技術の第1の実施の形態における画像生成画素および視差検出画素の断面構成の一例を示す模式図である。 本技術の第1の実施の形態における視差検出画素が受光する被写体光を模式的に示す図である。 本技術の第1の実施の形態における視差検出画素230による視差検出の原理を模式的に示す図である。 本技術の第1の実施の形態における撮像装置100を用いて横位置撮影を行う場合における視差検出画素230による視差検出の方向の一例を模式的に示す図である。 本技術の第1の実施の形態における撮像装置100を用いて縦位置撮影を行う場合における視差検出画素230による視差検出の方向の一例を模式的に示す図である。 本技術の第1の実施の形態の撮像装置100における3D画像の生成例を示す模式図である。 本技術の第1の実施の形態における撮像装置100によって立体画像を撮像する際の撮像処理手順例を示すフローチャートである。 本技術の第1の実施の形態の撮像処理手順における立体画像生成処理(ステップS920)の処理手順例を示すフローチャートである。 本技術の第2の実施の形態の撮像装置400の機能構成の一例を示すブロック図である。 本技術の第2の実施の形態において視差検出画素230における9つの画素回路の画素値を用いたオートフォーカスの概念を模式的に示す図である。 本技術の第2の実施の形態における合焦判定部410による位相差検出による合焦判定を模式的に示す図である。 本技術の第2の実施の形態における撮像装置400による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。 本技術の第2の実施の形態の撮像処理手順における合焦処理(ステップS940)の処理手順例を示すフローチャートである。 本技術の第1および第2の実施の形態の第1の変形例として、視差検出画素が行方向にのみライン状に配置される撮像素子の一例を模式的に示す図である。 本技術の第2の変形例として、視差検出画素が、行方向および列方向に所定の間隔ずつ離れて配置(アイランド状に配置)される撮像素子の一例を模式的に示す図である。 本技術の第3乃至第5の変形例として、画像生成画素および視差検出画素の断面構成の変形例を模式的に示す図である。 本技術の第6乃至第9の変形例として、視差検出画素の変形例を示す模式図である。 本技術の第3の実施の形態の撮像装置500の機能構成の一例を示すブロック図である。 本技術の第3の実施の形態の絞り510の一例を模式的に示す図である。 本技術の第3の実施の形態の絞り510を、基線長は一定にして開口面積のみが変化するように駆動する場合の第1絞り511および第2絞り515の駆動方向を模式的に示す図である。 本技術の第3の実施の形態の絞り510を、開口面積を一定にして基線長のみが変化するように駆動する場合の第1絞り511および第2絞り515の駆動方向を模式的に示す図である。 本技術の第3の実施の形態の絞り510における開口部分の形状を平面画像を撮像するのに適した形状にする場合を模式的に示す図である。 本技術の第3の実施の形態において表示部151に表示される撮像画像の設定画面および3D強度の設定画面を模式的に示す図である。 本技術の第3の実施の形態における絞り510による基線長の変化による像の変化を模式的に示す図である。 本技術の第3の実施の形態における絞り510における開口面と、従来の絞りにおける開口面との違いを模式的に示す図である。 本技術の第3の実施の形態における撮像装置500による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。 本技術の第4の実施の形態の撮像装置600の機能構成の一例を示すブロック図である。 本技術の第4の実施の形態の絞り610の一例を模式的に示す図である。 本技術の第4の実施の形態の絞り610が形成する開口部分の形状の一例を模式的に示す図である。 本技術の第3および第4の実施の形態の変形例として、3D画像の撮像に適した簡単な構成の絞りの例を模式的に示す図である。
 以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。
説明は以下の順序により行う。
 1.第1の実施の形態(撮像制御:視差検出画素により視差を検出して3D画像を生成する例)
 2.第2の実施の形態(撮像制御:視差検出画素の画素値を用いて位相差検出を行う例)
 3.変形例
 4.第3の実施の形態(絞り制御:横位置撮影において明るさと基線長を独立して制御する例)
 5.第4の実施の形態(絞り制御:横位置撮影および縦位置撮影の両方において明るさと基線長とを独立して制御する例)
 6.変形例
 <1.第1の実施の形態>
 [撮像装置の機能構成例]
 図1は、本技術の第1の実施の形態における撮像装置100の機能構成の一例を示すブロック図である。撮像装置100は、単眼で3Dの画像を生成する撮像装置である。この撮像装置100は、被写体を撮像して画像データ(撮像画像)を生成し、生成された画像データを2Dまたは3Dの画像コンテンツ(静止画コンテンツまたは動画コンテンツ)として記録する撮像装置である。なお、以下では、画像コンテンツ(画像ファイル)として静止画コンテンツ(静止画ファイル)を記録する例を主に示す。
 撮像装置100は、レンズ部110と、操作受付部120と、制御部130と、撮像素子200と、信号処理部300と、姿勢検出部140と、表示部151と、記憶部152と、駆動部170とを備える。
 レンズ部110は、被写体からの光(被写体光)を集光するためのものである。このレンズ部110は、ズームレンズ111と、絞り112と、フォーカスレンズ113とを備える。
 ズームレンズ111は、駆動部170の駆動により光軸方向に移動することにより焦点距離を変動させて、撮像画像に含まれる被写体の倍率を調整するものである。
 絞り112は、駆動部170の駆動により開口の度合いを変化させて、撮像素子200に入射する被写体光の光量を調整するための遮蔽物である。
 フォーカスレンズ113は、駆動部170の駆動により光軸方向に移動することによりフォーカスを調整するものである。
 操作受付部120は、ユーザからの操作を受け付けるものである。この操作受付部120は、例えば、シャッターボタン(図示せず)が押下された場合には、その押下に関する信号を、操作信号として制御部130に供給する。
 制御部130は、撮像装置100における各部動作を制御するものである。なお、図1では、主要な信号線のみを示し、他は省略する。例えば、この制御部130は、シャッターボタンが押下されて、静止画像の記録を開始するための操作信号を受け付けた場合には、静止画像の記録実行に関する信号を、信号処理部300に供給する。
 撮像素子200は、受光した被写体光を電気信号に光電変換するイメージセンサである。この撮像素子200は、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサなどのx-yアドレス型のセンサや、CCD(Charge Coupled Device)センサなどにより実現される。撮像素子200には、受光した被写体光に基づいて撮像画像を生成するための信号を生成する画素(画像生成画素)と、3D画像を生成するための視差を検出するための画素(視差検出画素)とが配置される。なお、撮像素子200については、図2を参照して説明する。また、画像生成画素および視差検出画素については、図3乃至図6を参照して説明する。撮像素子200は、光電変換により発生した電気信号(画像信号)を、フレーム(画像データ)ごとに信号処理部300に供給する。
 信号処理部300は、撮像素子200から供給された電気信号に所定の信号処理を施すものである。この信号処理部300は、例えば、撮像素子200から供給された電気信号をデジタルの電気信号(画素値)に変換した後に、黒レベル補正、欠陥補正、シェーディング補正、混色補正等を行う。また、この信号処理部300は、各補正を行った電気信号に基づいて、3D画像(立体画像)を生成する。この信号処理部300は、3D画像を生成するための機能構成として、2D画像生成部310と、視差検出部320と、3D画像生成部330とを備える。なお、信号処理部300は、請求の範囲に記載の立体視画像生成部の一例である。
 2D画像生成部310は、画像生成画素の電気信号(画素値)に基づいて、2D画像(平面画像)を生成するものである。この2D画像生成部310は、視差検出画素の位置に対応する電気信号(画素値)を、画像生成画素の電気信号(画素値)に基づいて補間し、そしてデモザイク処理を行うことにより平面画像を生成する。2D画像生成部310は、生成した平面画像を3D画像生成部330に供給する。
 視差検出部320は、視差検出画素の電気信号(画素値)に基づいて、視差情報画像を生成するものである。ここで、視差情報画像とは、左眼画像と右眼画像との間の差(視差)に関する情報(視差情報)を含む画像である。視差検出部320は、生成した視差情報画像を3D画像生成部330に供給する。
 3D画像生成部330は、視差情報画像および2D画像に基づいて、3D画像(立体画像)を生成するものである。この3D画像生成部330は、3D画像として、左眼画像および右眼画像を生成する。3D画像生成部330は、例えば、視差情報画像が示す視差情報に基づいて2D画像における撮像された各撮像物体の像の位置をずらすことにより3D画像を生成する。3D画像生成部330は、生成した左眼画像のデータ(左眼画像データ)および右眼画像のデータ(右眼画像データ)を、立体画像コンテンツとして記憶部152に記憶させる。また、3D画像生成部330は、左眼画像データおよび右眼画像データを、立体画像コンテンツとして表示部151に表示させる。
 姿勢検出部140は、撮像装置100の姿勢(傾き)を検出するものである。この姿勢検出部140は、例えば、ジャイロセンサーや加速度センサにより実現される。姿勢検出部140は、検出した撮像装置100の姿勢に関する情報(姿勢情報)を視差検出部320に供給する。
 表示部151は、3D画像生成部330から供給された立体画像コンテンツに基づいて、画像を表示するものである。この表示部151は、例えば、カラー液晶パネルにより実現される。
 記憶部152は、3D画像生成部330から供給された立体画像コンテンツを記録するものである。例えば、この記憶部152として、DVD(Digital Versatile Disk)等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体(1または複数の記録媒体)を用いることができる。また、これらの記録媒体は、撮像装置100に内蔵するようにしてもよく、撮像装置100から着脱可能とするようにしてもよい。
 駆動部170は、ズームレンズ111、絞り112およびフォーカスレンズ113を駆動させるものである。例えば、駆動部170は、制御部130からフォーカスレンズ113を移動させるための命令が供給された場合には、その命令に基づいて、フォーカスレンズ113を移動させる。
 [撮像素子における画素の配置例]
 図2は、本技術の第1の実施の形態における撮像素子200に備えられる画素の配置の一例を示す模式図である。なお、本技術の実施の形態では、撮像素子における受光面上の画素配置を説明する場合(例えば、図2、図3、図7)には、説明の便宜上、撮像素子における受光面の裏側から見た場合を模式的に図示して説明する。
 同図では、上下方向をY軸とし、左右方向をX軸とするXY軸を想定して説明する。また、同図において、左下隅をXY軸における原点とし、下から上へ向かう方向をY軸の+側とし、左から右へ向かう方向をX軸の+側とする。なお、同図では、撮像素子200における特定方向(撮像画像の水平方向(左右方向)に対応する方向)をX軸方向とし、特定方向と直交する直交方向(撮像画像の垂直方向(上下方向)に対応する方向)をY軸方向とする。また、同図では、奥から手前へ向かう方向をZ軸の+側とする。なおZ軸は、光軸と平行な軸であり、Z軸のプラス方向は、被写体から撮像素子に向かう被写体光の進行方向とする。また、この撮像素子200における信号の読み出し方向は、X軸方向(行単位で読み出される)であり、また、撮像素子200の長辺方向はX軸方向であり、短辺方向はY軸方向であるものとする。
 同図の(a)では、説明の便宜上、撮像素子200を構成する各画素のうちの一部の画素の領域(領域210)を用いて画素配置を説明する。なお、撮像素子200における画素の配置は、領域210において示す画素配置を1つの単位として、この単位に対応する画素配置(領域210に対応する画素配置)が、X軸方向およびY軸方向に繰り返される配置である。なお、同図の(b)では、領域210に示す画素配置がX軸方向およびY軸方向に繰り返された領域(領域250)が模式的に示されている。
 同図の(a)には、撮像素子200における一部の領域(領域210)における画像生成画素および視差検出画素の画素配置が示されている。
 同図では、1つの画素回路を1つの正方形(同図の(a)における最も小さい正方形)で示す。なお、本技術の第1の実施の形態において、画像生成画素については、1つの画素回路が1つの画素を構成するため、1つの正方形が1つの画像生成画素を示す。
 撮像素子200には、画像生成画素として、赤色(R)の光を透過するカラーフィルタにより赤色の光を受光する画素(R画素)と、緑色(G)の光を透過するカラーフィルタにより緑色の光を受光する画素(G画素)とが配置される。また、撮像素子200には、R画素およびG画素の他に、画像生成画素として、青色(B)の光を透過するカラーフィルタにより青色の光を受光する画素(B画素)が配置される。領域210において、R画素、G画素およびB画素は、点が付された正方形、白が付された正方形、グレーが付された正方形により示されている(例えば、領域220内の画素を参照)。
 視差検出画素230は、3D画像を生成するための視差を検出する画素である。この視差検出画素230は、9つの画素回路により構成される。この視差検出画素230には、9つの画素回路を覆う1つのマイクロレンズが備えられる。なお、画像生成画素にはこの9つの画素を覆うマイクロレンズは備えられない。視差検出画素230は、緑色(G)の光を透過するカラーフィルタにより9つの画素回路が均一に覆われている。領域210において、視差検出画素230は、9つの画素回路(9つの最も小さい正方形)を太線の正方形で囲み、さらに、太線の正方形の中に太線の1つの円形(マイクロレンズを表す)を付して示されている。すなわち、領域210における画素回路の行のうちの真ん中の3行(同図の(a)の行R1)と、画素回路の列のうちの真ん中の3行(同図の(a)の列C1参照)とに視差検出画素230が配置される。
 なお、画層生成画素については、同図の(a)における領域225を用いて、図3の(a)を参照して説明する。また、視差検出画素については、図3の(b)を参照して説明する。また、画層生成画素および視差検出画素の断面構成については、図4の(b)を参照して説明する。
 図2の(b)には、同図の(a)において示した領域210がX軸方向およびY軸方向に繰り返された領域が示されている。撮像素子200における画素配置は、同図の(a)において示した領域が、X軸方向およびY軸方向に繰り返される画素配置である。これにより、視差検出画素230は、同図の(b)の領域250における太線(視差検出画素ライン234)に示すように、撮像素子200の行方向および列方向に対して任意の画素周期でライン状(格子模様状)に配置される。
 [画像生成画素および視差検出画素の一例]
 図3は、本技術の第1の実施の形態における撮像素子200に備えられる画像生成画素および視差検出画素の一例を示す模式図である。
 同図の(a)には、図2の(a)の領域225における9つの画像生成画素が示されている。同図の(a)では、画像生成画素(R画素、G画素、B画素)が、符号(R、G、B)および模様(R画素はグレーを付した領域、G画素は白を付した領域、B画素は点を付した領域)により示されている。なお、G画素については、R画素(R画素226)を含む行(ライン)におけるG画素がGr画素227として示され、B画素(B画素229)を含む行(ライン)におけるG画素がGb画素228として示されている。
 また、同図の(a)では、各画像生成画素に配置されるマイクロレンズが、破線の円(マイクロレンズ261)により示されている。撮像素子200には、2種類のマイクロレンズを形成するため2つのマイクロレンズの層が設けられるが、マイクロレンズ261は、カラーフィルタの層に近いマイクロレンズの層により形成される。なお、画像生成画素の断面図を図4の(b)において説明するため、ここでの詳細な説明を省略する。
 領域225(図2の(a)も参照)に示すように、画像生成画素は、ベイヤー配列により配置される。また、各画像生成画素には、それぞれの画素をそれぞれ覆うマイクロレンズが1つずつ備えられる。
 図3の(b)には、視差検出画素(視差検出画素230)が示されている。同図の(b)において示す視差検出画素230では、視差検出画素230における9つの画素回路を、1乃至9の符号を付した正方形(画素回路1乃至9と称する)により示す。この画素回路1乃至9は、緑色(G)の光を透過するカラーフィルタにより全ての画素回路が均一に覆われている。
 また、視差検出画素230には、各画素回路に備えられるマイクロレンズが、破線の円(マイクロレンズ261)により示されている。視差検出画素230におけるマイクロレンズ261は、画像生成画素におけるマイクロレンズ(マイクロレンズ261)と同様のものであり、カラーフィルタの層に近いマイクロレンズの層により形成される。
 さらに、視差検出画素230には、視差検出画素230における9つのマイクロレンズ261を全て覆うように(画素回路1乃至9を全て覆うように)、1つの大きなマイクロレンズが備えられる。同図の(b)では、この大きなマイクロレンズが、太い円(視差検出用マイクロレンズ231)により示されている。
 同図の(b)に示すように、視差検出画素230では、1つの大きなマイクロレンズが、9つの画素回路を覆うように配置される。また、視差検出画素230では、緑色(G)の光を透過するカラーフィルタにより9つの画素回路が均一に覆われている。
 [画像生成画素および視差検出画素の断面構成例]
 図4は、本技術の第1の実施の形態における画像生成画素および視差検出画素の断面構成の一例を示す模式図である。
 同図の(a)には、同図の(b)において示す断面構成の断面位置を説明するため、撮像素子200の受光面の裏側から見た3行×9列の画素回路と、同図の(b)の断面位置(a-b線)とが示されている。同図の(b)では、同図の(a)に示すように、3行×9列の画素回路のうち、真ん中の3列における画素回路が視差検出画素であることを想定して説明する。
 同図の(b)には、同図の(a)におけるa-b線に沿った断面構成が示されている。同図の(b)では、マイクロレンズ261と、Rフィルタ262と、Gフィルタ263と、受光素子264と、配線269と、視差検出画素230と、視差検出用マイクロレンズ231と、Gフィルタ232とが示されている。また、同図の(b)には、マイクロレンズ層S1および視差検出用マイクロレンズ層S2とが示されている。
 マイクロレンズ261は、被写体光を受光素子に集光するためのレンズである。このマイクロレンズ261は、各画素回路に1つずつ設けられる。また、マイクロレンズ261は、撮像素子に設けられる2つのマイクロレンズの層(マイクロレンズ層S1および視差検出用マイクロレンズ層S2)のうちの、マイクロレンズ層S1(受光素子264に近い方の層)に設けられる。
 受光素子264は、受けた光を電気信号に変換(光電変換)することによって、受けた光の量に応じた強さの電気信号を生成するものである。この受光素子264は、例えば、フォトダイオード(PD:Photo Diode)により構成される。受光素子264は、各画素回路に1つずつ設けられる。すなわち、9つの画素回路から構成される視差検出画素230には、9つの受光素子が設けられている。
 Rフィルタ262、Gフィルタ263およびGフィルタ232は、特定の波長域の光を透過するカラーフィルタである。Rフィルタ262は、赤色(R)を示す波長域の光を透過するカラーフィルタであり、R画素の受光素子に赤色を示す波長域の光を受光させる。また、Gフィルタ263およびGフィルタ232は、緑色(G)を示す波長域の光を透過するカラーフィルタである。Gフィルタ263はG画素の受光素子に緑色を示す波長域の光を受光させ、Gフィルタ232は視差検出画素230の受光素子に緑色を示す波長域の光を受光させる。カラーフィルタは、画像生成画素においては、画像生成画素が受光する波長域(R、GまたはB)の光に応じたフィルタ(Rフィルタ262、Gフィルタ263、またはBフィルタ)が設けられる。また、視差検出画素においては、Gフィルタ263により、視差検出画素における9つの画素回路全てが覆われる。
 配線269は、各画素回路における各回路を接続するための配線である。この各回路を接続するための配線は、例えば、同図の(b)に示す配線269のように、3本の配線が光軸に対して層状に配置される。また、配線269は、メタルであるため、隣接する画素へ洩れ込む被写体光を遮光する遮光層としても機能する。また、配線269は、各画素回路の端において、受光素子に入射する光を妨げないように配置される。
 視差検出用マイクロレンズ231は、視差を検出するために被写体光を集光するレンズである。この視差検出用マイクロレンズ231は、2つのマイクロレンズの層のうちの、受光素子から遠い方の層(視差検出用マイクロレンズ層S2)において形成される。すなわち、視差検出画素230において、視差検出用マイクロレンズ231は、視差検出画素230のマイクロレンズ(マイクロレンズ261)の上(Z軸方向においてマイナス側)に、マイクロレンズ261を覆うように配置される。なお、視差検出用マイクロレンズ層S2における画像生成画素の位置には、マイクロレンズは形成されずに、光の通過を妨げない平坦な面となる。
 次に、視差検出画素の視差検出用マイクロレンズに入射する被写体光と画素回路との関係について、図5を参照して説明する。
 [視差検出画素へ入射する被写体光の例]
 図5は、本技術の第1の実施の形態における視差検出画素が受光する被写体光を模式的に示す図である。
 同図では、視差検出画素230の断面構成が同図の(b)に示され、この視差検出画素230からみた絞りの形状である射出瞳(射出瞳E1)が同図の(a)に模式的に示されている。なお、射出瞳は、本来は円形に近い形であるが、説明の便宜上、同図の(a)では、Y軸方向を短くした射出瞳(楕円形)を示す。また、射出瞳については、撮像素子200側から見た場合の図を示す。
 なお、同図の(b)において示す視差検出画素230の断面構成は、図4の(b)における視差検出画素230の断面構成と同じである。また、図4の(b)では、画素回路4(図3の(b)参照)の受光素子が受光素子(4)291として示され、画素回路5の受光素子が受光素子(5)292として示され、画素回路6の受光素子が受光素子(6)293として示されている。
 さらに、同図の(b)には、受光素子(4)291が受光する被写体光の一部が、点を多く付した領域(領域R23)により示されている。また、受光素子(5)292が受光する被写体光の一部が、グレーを付した領域(領域R22)により示されている。さらに、受光素子(6)293が受光する被写体光の一部が、点を少なく付した領域(領域R21)により示されている。
 また、同図の(a)の射出瞳E1には、同図の(b)の領域21により示した被写体光(画素回路6が受光する被写体光)が通過する領域が、射出瞳E1における点を少なく付した領域(領域R11)により示されている。同様に、領域22により示した被写体光(画素回路5が受光する被写体光)が通過する領域が、射出瞳E1におけるグレーを付した領域(領域R12)により示され、領域23により示した被写体光(画素回路4が受光する被写体光)が通過する領域が、射出瞳E1における点を多く付した領域(領域R13)により示されている。さらに射出瞳E1にはその他の画素回路により受光される被写体光が通過する領域が、領域14乃至19により示されている。
 ここで、受光素子(4)乃至(6)291乃至293がそれぞれ受光する被写体光と、射出瞳E1における領域R11乃至R13との間の関係について説明する。視差検出用マイクロレンズ231は、射出瞳E1における特定の領域(それぞれの受光素子に対応する領域)を通過した被写体光が画素回路1乃至9のそれぞれの受光素子に受光されるように被写体光を集光する役割を果たす。これにより、画素回路4の受光素子(受光素子(4)291)は、領域R13を通過した被写体光を受光する。また、画素回路5の受光素子(受光素子(5)292)は、領域R12を通過した被写体光を受光し、画素回路6の受光素子(受光素子(6)293)は、領域R11を通過した被写体光を受光する。なお、図示はしていない画素回路1乃至3および画素回路7乃至9についても同様である。画素回路1の受光素子は領域19を通過した被写体光を受光し、画素回路2の受光素子は領域18を通過した被写体光を受光し、画素回路3の受光素子は領域17を通過した被写体光を受光する。また、画素回路7の受光素子は領域16を通過した被写体光を受光し、画素回路8の受光素子は領域15を通過した被写体光を受光し、画素回路9の受光素子は領域14を通過した被写体光を受光する。
 [視差検出画素による視差検出の原理の一例]
 図6は、本技術の第1の実施の形態における視差検出画素230による視差検出の原理を模式的に示す図である。
 同図の(a)および(c)では、射出瞳(射出瞳E1)の左側を通過する被写体光(ユーザの左眼が受光する被写体光に相当)の像面における結像位置が模式的に示されている。また、同図の(b)および(d)では、射出瞳(射出瞳E1)の右側を通過する被写体光(ユーザの右眼が受光する被写体光に相当)の像面における結像位置が模式的に示されている。
 同図の(a)および(b)には、フォーカスが合っている物体(合焦物体)が、射出瞳E1の上方(Z軸方向において射出瞳E1よりマイナス側)の黒い矩形(合焦物体271)により示されている。また、合焦物体271より撮像装置100に近い位置にある物体(近位置物体)が、射出瞳E1の上方であって合焦物体271より下の位置の点を付した円形(近位置物体272)により示されている。なお、合焦物体271および近位置物体272は、説明の便宜上、射出瞳E1の中心を通過する線であって、レンズの光軸に平行な線(同図の(a)および(b)における鎖線)の上にあることを想定する。
 また、合焦物体271および近位置物体272からの光の光路が、射出瞳E1を通過して、像面まで伸びる線(合焦物体271は実線(線L1または線L3)、近位置物体272は破線(線L2または線L4))により示されている。そして、合焦物体271および近位置物体272の像面における結像位置が、線L1乃至L4と像面とが交差する位置の黒い矩形および点を付した円形により示されている。なお、近位置物体272からの光については、この近位置物体272に対して合焦していることを想定した場合の結合位置が、破線(線L2または線L4)と鎖線が交差する位置における破線の円形により模式的に示されている。
 また、図6の(c)および(d)には、同図の(a)および(b)において示した像面を裏側(撮像素子200の受光面の反対側)から見た像(画像281および282)が模式的に示されている。画像281には、黒い矩形および点を付した円形が示され、また、黒い矩形と点を付した円形との間の距離(-ΔX)が示されている。同様に、画像282には、黒い矩形と、点を付した円形と、距離(+ΔX)とが示されている。
 ここで、射出瞳E1の左側を通過する被写体光の結像位置および右側を通過する被写体光の結像位置について、同図の(a)乃至(d)を用いて説明する。
 まず、フォーカスが合っている場合(合焦)の光路を示している合焦物体271からの光の光路(線L1およびL3)について説明する。撮像する物体に対して合焦している場合には、射出瞳E1を通過した被写体光は、射出瞳E1における被写体光の通過する位置にかかわらずに、その物体の位置に対応する像面の位置へ入射(集光)する。すなわち、射出瞳E1の左側を通過する合焦物体271からの光の結像位置と、射出瞳E1の右側を通過する合焦物体271からの光の結像位置とは同じ位置になる。
 一方、撮像する物体に対してフォーカスがずれている場合には、射出瞳E1における被写体光の通過する位置の違いに応じて、像面における入射位置が異なる。本来、像面とは異なる面上で集光(同図の(a)および(b)の像面の下の点線の円形が集光位置)する光を像面で受光するため、像面においては、フォーカスのずれの度合いに応じて光の入射する位置がずれる。同図の(a)および(b)の近位置物体272、線L2および線L4により示すように、前側焦点面(合焦物体271が位置する面)よりレンズ側に撮像物体がある場合には、後側焦点面(点線の円形が位置する面)は、像面の後ろ(Z軸方向のプラス側)となる。すなわち、近位置物体272から射出瞳E1の左側を通過して像面に入射する光(線L2)は、像面において、合焦物体271からの光が入射する位置よりも、左にずれた位置に入射する(同図の(a)参照)。また、近位置物体272から射出瞳E1の右側を通過して像面に入射する光(線L4)は、像面において、合焦物体271からの光が入射する位置よりも、右にずれた位置に入射する(同図の(b)参照)。
 このように、フォーカスがずれている物体を撮像すると、射出瞳の左側を通過したその物体からの光と、右側を通過したその物体からの光との間で、像面における入射位置が、フォーカスのずれの度合いに応じてずれる。このずれにより、画像生成画素の信号から生成される画像では、ピントがずれるとボケが生じる。一方、視差検出画素230では、射出瞳の左側を通過した光は3行×3列(9個)の画素回路のうちの右の列(図3の(b)の画素回路3、6、9)の画素回路の受光素子により受光される、また、射出瞳の右側を通過した光は、左の列(図3の(b)の画素回路1、4、6)の画素回路の受光素子により受光される。
 すなわち、視差検出画素230の右の列(3列目)の画素回路からの信号により、同図の(a)および(c)に示すように、左眼の像の情報を生成することができる。また、視差検出画素230の左の列(1列目)の画素回路からの信号により、同図の(b)および(d)に示すように、右眼の像の情報を生成することができる。このように、視差検出画素230からの信号に基づいて画像を生成すると、画像281および282に示すように、物体の距離に応じて像がずれている2枚の画像を生成することができる。
 [横位置撮影における視差検出方向の例]
 図7は、本技術の第1の実施の形態における撮像装置100を用いて横位置撮影を行う場合における視差検出画素230による視差検出の方向の一例を模式的に示す図である。
 同図の(a)には、同図において想定する撮像装置100の姿勢が示されている。同図では、同図の(a)に示すように、撮像装置100を横(左右がX軸方向、上下がY軸方向)にして、画像の長辺が水平方向で短辺が垂直方向になるように撮影(横位置撮影)することを想定する。
 なお、撮像装置100を反時計回りに90°回転させて、撮像装置100を縦にして撮影(縦位置撮影)を行う場合については、図8において説明する。
 同図の(b)には、横位置撮影を行う場合の撮像素子200の姿勢と、この姿勢において視差検出に用いられる視差検出画素230を示すライン(視差検出ライン(行方向)235)とが示されている。なお、同図の(b)では、図2の(b)において示した領域250をそのまま示して、撮像素子200における画素の配置として示している。
 同図の(b)では、長辺方向(X軸方向)が左右(水平)であり、短辺方向(Y軸方向)が上下である撮像素子200が示されている。また、撮像素子200には、行および列方向にライン状に配置される視差検出画素230のうち、横位置撮影における視差検出に用いられる視差検出画素230が配置されているラインが、太い実線(視差検出画素ライン(行方向)235)により示されている。
 同図の(b)に示すように、横位置撮影の場合には、撮像素子200の行方向にライン状に配置された視差検出画素230を用いて視差が検出される。これにより、水平方向(左右)における視差を検出することができる。
 同図の(c)には、横位置撮影を行う場合における視差検出画素230の姿勢が示されている。また、視差検出画素230では、右眼に関する信号を生成する画素回路を、点を多く付した矩形(画素回路1、4、7)により示している。同様に、左眼に関する情報を生成する画素回路を、点を少なく付した矩形(画素回路3、6、9)により示している。なお、同図の(c)では、説明の便宜上、図3の(b)において示した破線の円(マイクロレンズ261)は省略して示す。
 図7の(c)に示すように、横位置撮影を行う場合には、撮像素子200の行方向に配置された視差検出画素230を用いて視差が検出される。
 [縦位置撮影における視差検出方向の例]
 図8は、本技術の第1の実施の形態における撮像装置100を用いて縦位置撮影を行う場合における視差検出画素230による視差検出の方向の一例を模式的に示す図である。
 同図の(a)には、同図において想定する撮像装置100の姿勢が示されている。同図の(a)における撮像装置100は、図7の(a)における撮像装置100を反時計回りに90°回転させた姿勢である。このように、図8では、同図の(a)に示すように、撮像装置100を縦(左右がY軸方向、上下がX軸方向)にして撮影(縦位置撮影)することを想定する。
 同図の(b)には、縦位置撮影を行う場合の撮像素子200の姿勢と、この姿勢において用いられる視差検出画素230を示すライン(視差検出ライン(列方向)236)とが示されている。
 同図の(b)では、長辺方向(X軸方向)が上下であり、短辺方向(X軸方向)が左右(水平)である撮像素子200が示されている。同図の(b)における撮像素子200は、図7の(b)における撮像素子200を反時計回りに90°回転させたものである。また、図8の(b)の撮像素子200には、行および列方向にライン状に配置される視差検出画素230のうち、縦位置撮影における視差検出に用いられる視差検出画素230が配置されているラインが、太い実線(視差検出画素ライン(列方向)236)により示されている。
 同図の(b)に示すように、縦位置撮影の場合には、撮像素子200の列方向にライン状に配置された視差検出画素230を用いて視差が検出される。これにより、撮像装置100を縦(画像の長辺が上下、短辺が左右)にして用いている場合においても、水平方向(左右)における視差を検出することができる。
 同図の(c)には、縦位置撮影を行う場合における視差検出画素230の姿勢が示されている。この同図の(c)における視差検出画素230は、図7の(c)における視差検出画素230を反時計回りに90°回転させたものである。また、図8の(c)の視差検出画素230では、右眼に関する信号を生成する画素回路を、点を多く付した矩形(画素回路1乃至3)により示している。同様に、左眼に関する情報を生成する画素回路を、点を少なく付した矩形(画素回路7乃至9)により示している。
 このように、縦位置撮影を行う場合には、撮像素子200の列方向にライン状に配置された視差検出画素230を用いて視差が検出される。これにより、横位置撮影の場合と同様に、人間が直立している場合の左眼および右眼に対応した情報(視差が水平方向の情報)を生成することができる。
 [3D画像の生成例]
 図9は、本技術の第1の実施の形態の撮像装置100における3D画像の生成例を示す模式図である。
 同図では、被写体を撮像した撮像素子200が生成する画像データに基づいて、2D画像生成部310、視差検出部320および3D画像生成部330がそれぞれ生成する画像を示す。また、同図では、これらの画像を用いて、撮像素子200が生成した画像データに基づいて立体画像(左眼画像および右眼画像)が生成されるまでの流れを順に説明する。なお、同図では、図7のように、横位置撮影により撮影したことを想定する。
 まず、2D画像生成部310による2D画像(平面画像)の生成について、同図の(a)および(b)を参照して説明する。
 同図の(a)には、撮像素子200における画像生成画素が生成した信号に基づいて2D画像生成部310により生成される平面画像であって、視差検出画素の信号の補間を行う前の平面画像(平面画像311)が示されている。平面画像311には、撮像された物体として、2人の人物(人物351および人物352)が示されている。同図では、人物352に合焦している状態で撮像したことを想定する。また、同図では、人物351は、人物352よりもレンズに近い位置にいることを想定する。すなわち、人物351に対してはフォーカスずれが生じていることを想定する。人物351を4重に囲んでいる破線は、フォーカスずれによる像のぼけを模式的に示されている。
 また、平面画像311には、視差検出画素が配置されていた位置において画像生成用の信号が無い(画素値が無い)ことが、平面画像311においてデータ(画素値)が無いことを示す複数の灰色のライン(画素値欠落ライン353)により示されている。
 このように、画像生成画素が生成した信号からは、視差検出画素の位置の画素値が欠落した画像(平面画像311)が生成される。そこで、2D画像生成部310は、視差検出画素の位置の画素値を補間して、画素値の欠落が補間された平面画像を生成する。
 図9の(b)には、同図の(a)において示した平面画像311に対して2D画像生成部310が補間処理を行った後の画像(平面画像312)が示されている。平面画像311に対して2D画像生成部310が補間処理を行うことにより、画素値が欠落(同図の(a)の画素値欠落ライン353)していたところにおける画素値が補間される。さらに、その他の補間処理やデモザイク処理が行われて、視差検出画素を備えていない画像生成画素のみの撮像素子(一般的な撮像素子)により撮像された画像と同様の平面画像(平面画像312)が生成される。そして、この生成された平面画像312は、3D画像生成部330に供給される。
 次に、視差検出部320による視差情報画像の生成について、同図の(c)および(d)を参照して説明する。
 同図の(c)には、撮像素子200における視差検出画素が生成した信号に基づいて視差検出部320により生成される2つの画像であって、視差情報画像の元となる2つの画像(左眼情報画像321および右眼情報画像322)が示されている。
 左眼情報画像321は、視差検出画素における9つの画素回路のうち、ユーザの左眼が受光する光に相当する被写体光を受光した画素回路からの信号に基づいて生成される画像である。また、右眼情報画像322は、視差検出画素における9つの画素回路のうち、ユーザの右眼が受光する光に相当する被写体光を受光した画素回路からの信号に基づいて生成される画像である。
 また、左眼情報画像321には、同図の(a)において示した人物351に対応する人物361と、同図の(a)の人物352に対応する人物362が示されている。同様に、右眼情報画像322には、同図の(a)の人物351に対応する人物363と、同図の(a)の人物352に対応する人物364とが示されている。
 ここで、視差検出部320による左眼情報画像321および右眼情報画像322の生成について説明する。
 視差検出部320は、姿勢検出部140から供給される姿勢情報に基づいて、左眼情報画像321となる信号を生成した画素回路および右眼情報画像322となる信号を生成した画素回路を決定する。同図では横位置撮影により画像が撮像されるため、視差検出部320は、図7において示したように、右の列の画素回路(図7の(b)の画素回路3、6、9)の信号から左眼情報画像321を生成する。また、左の列の画素回路(図7の(b)の画素回路1、4、7)の信号から右眼情報画像322を生成する。そして、視差検出部320は、これらの生成した画像(左眼情報画像321、右眼情報画像322)に基づいて、視差情報画像を生成する。
 図9の(d)には、左眼情報画像321および右眼情報画像322に基づいて生成された視差情報画像(視差情報画像323)が模式的に示されている。
 視差情報画像323には、左眼情報画像321における人物361と、右眼情報画像322における人物363とに基づいて検出された視差を含む像(人物371)が示されている。同様に、視差情報画像323には、左眼情報画像321における人物362と、右眼情報画像322における人物364とに基づいて検出された視差を含む像(人物372)が示されている。
 ここで、視差情報画像323について、視差情報画像323において示されている2つの像(人物371および人物372)に着目して説明する。
 人物371は、左眼情報画像321における人物361と、右眼情報画像322における人物363とが重なり合っているように(2つの人物の像が、左右に少しずれて重なっているように)、視差情報画像323において図示されている。人物371から上下に伸びている2本の点線の間隔(距離373)は、左右に少しずれて重なっている2つの像の間隔を示している。同図において、人物371が示す物体にはフォーカスがずれている(同図の(a)および(b)の人物351を参照)。すなわち、図6に示したように視差が発生し、左眼情報画像321における人物361と、右眼情報画像322における人物363との間には、フォーカスのずれ量に応じた位置のずれが生じる。図9の(d)の距離373は、この位置のずれ(視差)を模式的に示している。
 一方、人物372は、左眼情報画像321における人物362と、右眼情報画像322における人物364とがぴったり一致しているように(1つの人物の像のように)、視差情報画像323において図示されている。同図において、人物372(人物362および人物364)が示す物体には合焦しているため(同図の(a)および(b)の人物352を参照)、この人物の像に対する視差は無い(視差が「0」)。すなわち、左眼情報画像321における人物362の位置と、右眼情報画像322における人物364の位置とは一致している。すなわち、同図の(d)では、視差情報画像323における人物372の像には視差に関する情報が無いことが示されている。
 同図の(d)において示した視差情報画像323は、生成された後に、3D画像生成部330に供給される。
 次に、3D画像生成部330による立体画像(左眼画像および右眼画像)の生成について、同図の(e)を参照して説明する。
 同図の(e)には、3D画像生成部330において、平面画像312および視差情報画像323に基づいて生成された左眼(L)画像(左眼画像331)および右眼(R)画像(右眼画像332)が模式的に示されている。なお、平面画像と視差情報画像とに基づいて立体画像を生成する方法については、種々の方法が考えられるが、ここでは、一例として、視差情報画像に基づいて平面画像における各物体の位置をずらして左眼画像および右眼画像を生成する例について説明する。
 左眼画像331は、撮像した画像を視聴するユーザの左眼に対して表示するための画像である。左眼画像331には、平面画像312の人物352の位置および視差情報画像323の人物372の位置と同じ位置に人物382が示されている。また、左眼画像331には、視差情報画像323の人物371の右側の位置(左眼情報画像321の人物361の位置)と同じ位置に、人物381が示されている。この人物381は、平面画像312の人物351の位置をずらした像である。なお、同図の(b)には、人物381の位置を模式的に示すために、人物381の中心から上下に向けて伸びる点線(線L11)が示されている。
 右眼画像332は、撮像した画像を視聴するユーザの右眼に対して表示するための画像である。右眼画像332には、平面画像312の人物352の位置および視差情報画像323の人物372の位置と同じ位置に人物384が示されている。また、右眼画像332には、視差情報画像323の人物371の左側の位置(右眼情報画像322の人物363の位置)と同じ位置に、人物383が示されている。この人物383は、平面画像312の人物351の位置をずらした像である。なお、同図の(b)には、人物383の位置を模式的に示すために、人物383の中心から上下に向けて伸びる点線(線L12)が示され、さらに、線L11と線L12との間の距離を示す矢印(距離373)が示されている。すなわち、左眼画像331の人物381から距離373ほど左にずれた位置に人物383が示されている。
 同図の(e)において示す左眼画像331および右眼画像332から構成される立体画像(3D画像)を、3D画像生成部330は、平面画像312および視差情報画像323に基づいて生成する。すなわち、3D画像生成部330は、平面画像312における各物体の位置を視差情報画像323が示す視差に応じてずらして、左眼画像331および右眼画像332を生成する。視差情報画像323における人物372は視差情報が無いため、3D画像生成部330は、平面画像312の人物352の位置をそのままにして(人物382および人物384)、左眼画像331および右眼画像332を生成する。また、3D画像生成部330は、平面画像312の人物351の位置を視差情報画像323における人物371が示す視差に応じてずらして(人物381および人物383)、左眼画像331および右眼画像332を生成する。3D画像生成部330は、生成した立体画像(左眼画像331および右眼画像332)を、立体画像コンテンツとして、表示部151および記憶部152に供給する。
 このように、信号処理部300によって、平面画像および視差情報画像に基づいて、立体画像が生成される。
 [撮像装置の動作例]
 次に、本技術の第1の実施の形態における撮像装置100の動作について図面を参照して説明する。
 図10は、本技術の第1の実施の形態における撮像装置100によって立体画像を撮像する際の撮像処理手順例を示すフローチャートである。
 まず、立体画像を撮像するための撮像動作の開始指示がユーザによりされたか否かが、制御部130により判断される(ステップS901)。そして、画像を撮像するための撮像動作の開始指示がユーザによりされていないと判断された場合には(ステップS901)、撮像処理手順は終了する。
 一方、立体画像を撮像するための撮像動作の開始指示がユーザによりされていると判断された場合には(ステップS901)、立体画像の構図を決定するために、ライブビュー画像が表示部151に表示される(ステップS902)。続いて、立体画像の構図を決定したユーザによりシャッターボタンが半押しされているか否かが、制御部130により判断される(ステップS903)。そして、シャッターボタンが半押しされていないと判断された場合には(ステップS903)、ステップS908に進む。
 一方、シャッターボタンが半押しされていると判断された場合には(ステップS903)、フォーカスレンズ113を駆動させてフォーカスを合わせる対象物(合焦対象物)にフォーカスを合わせる合焦処理が行われる(ステップS904)。次に、ユーザによりシャッターボタンが全押しされたか否かが、制御部130により判断される(ステップS903)。そして、シャッターボタンが全押しされていないと判断された場合には(ステップS905)、ステップS902に戻る。
 一方、シャッターボタンが全押しされていると判断された場合には(ステップS905)、撮像素子200により被写体が撮像される(ステップS906)。そして、その撮像による画像データに基づいて立体画像(3D画像)を生成する立体画像生成処理が、信号処理部300により行われる(ステップS920)。なお、立体画像生成処理(ステップS920)については、図11を参照して説明する。
 続いて、生成された立体画像が、記憶部152により記憶される(ステップS907)。そして、立体画像を撮像するための撮像動作の終了指示がユーザによりされたか否かが、制御部130により判断される(ステップS908)。そして、立体画像を撮像するための撮像動作の終了指示がユーザによりされていないと判断された場合には(ステップS908)、ステップS902に戻る。
 一方、立体画像を撮像するための撮像動作の終了指示がユーザによりされていると判断された場合には(ステップS908)、撮像処理手順は終了する。
 図11は、本技術の第1の実施の形態の撮像処理手順における立体画像生成処理(ステップS920)の処理手順例を示すフローチャートである。
 まず、撮像素子200から供給される画像データにおける画像生成画素の画素値に基づいて、平面画像(2D画像)が2D画像生成部310により生成される(ステップS921)。続いて、生成された平面画像における視差検出画素の位置の画素値が、2D画像生成部310により補間される(ステップS922)。
 次に、撮像素子200が被写体を撮像した際の姿勢に関する情報(姿勢情報)が、視差検出部320により姿勢検出部140から取得される(ステップS923)。そして、姿勢情報に基づいて左右方向(水平方向)を検出し、視差検出画素における9つの画素回路のうちから、左眼のデータを生成する画素回路と、右眼のデータを生成する画素回路とが、視差検出部320により決定される(ステップS924)。
 続いて、撮像素子200から供給される画像データにおける画素値のうち、左眼のデータを生成する画素回路の画素値に基づいて、左眼情報画像が視差検出部320により生成される(ステップS925)。また、撮像素子200から供給される画像データにおける画素値のうち、右眼のデータを生成する画素回路の画素値に基づいて、右眼情報画像が視差検出部320により生成される(ステップS926)。次に、生成された左眼情報画像および右眼情報画像に基づいて、視差情報画像が視差検出部320により生成される(ステップS927)。なお、ステップS925、S926およびS927は、請求の範囲に記載の視差を検出する手順の一例である。また、ステップS921およびステップS922は、請求の範囲に記載の平面画像を生成する手順の一例である。
 続いて、平面画像および視差情報画像に基づいて、左眼画像および右眼画像が3D画像生成部330により生成される(ステップS928)。そして、ステップS928の後に、立体画像生成処理手順は終了する。なお、ステップS928は、請求の範囲に記載の立体視画像生成手順の一例である。
 このように、本技術の第1の実施の形態によれば、視差検出画素が検出した視差に基づいて画像生成画素が生成した画像における各物体の位置を移動させることにより、解像度が高い立体画像を生成することができる。特に、本技術の第1の実施の形態によれば、視差検出画素を用いて立体画像を生成する撮像装置において、有効画素数の減少を抑制することができる。例えば、撮像素子における全ての画素が3行×3列の画素回路から構成される視差検出画素である撮像素子では、有効画素数は9分の1になってしまう。それに対して、本技術の第1の実施の形態における撮像素子200では、所定の間隔置きに行方向および列方向にライン上に配置されるため、ライン間の間隔を大きくすればするほど、有効画素数の減少を抑えることができる。また、1つの画素回路で1つの画素を構成する画像生成画素が撮像素子200に配置されるため、平面画像(2D画像)も撮像することができ、ユーザの目的に合わせて、立体画像と平面画像とを選択することができる。
 <2.第2の実施の形態>
 本技術の第1の実施の形態では、視差検出画素を構成する9つの画素回路が生成する画素値に基づいて立体画像を生成する例について説明した。なお、視差検出画素における9つの画素回路の生成する画素値は、フォーカスのずれに関する情報を含んでいるため、これらの画素値を位相差検出方式による合焦判定に用いることもできる。ここで、位相差検出とは、撮像レンズを通過した光を瞳分割して1対の像を形成し、その形成された像の間隔(像の間のずれ量)を計測(位相差を検出)することによって合焦の度合いを検出する焦点検出の方法である。
 そこで、本技術の第2の実施の形態では、立体画像の生成に加えて、視差検出画素を用いて位相差検出による合焦判定を行う撮像装置の例について、図12乃至図16を参照して説明する。
 [撮像装置の機能構成例]
 図12は、本技術の第2の実施の形態の撮像装置400の機能構成の一例を示すブロック図である。
 同図において示す撮像装置400は、図1において示した撮像装置100の各構成に加えて、合焦判定部410を備える。図12における合焦判定部410以外の各構成は、図1において示した各構成と同様のものであるため、ここでは、合焦判定部410に着目して説明する。
 合焦判定部410は、視差検出画素からの信号に基づいて、フォーカスが合焦しているか否かを位相差検出により判定するものである。この合焦判定部410は、撮像素子200から供給される撮像データにおける視差検出画素の9つの画素回路の画素値に基づいて、フォーカシングを行う領域(フォーカスエリア)における物体(合焦対象物)に対して合焦しているか否か判定する。合焦判定部410は、合焦していると判定した場合には、合焦していることを示す情報を合焦判定結果情報として、駆動部170に供給する。また、合焦判定部410は、合焦対象物に対してフォーカスがずれていると判定した場合には、フォーカスのずれの量(デフォーカス量)を算出し、その算出したデフォーカス量を示す情報を合焦判定結果情報として、駆動部170に供給する。
 なお、駆動部170は、合焦判定部410から出力された合焦判定結果情報に基づいて、フォーカスレンズ113の駆動量を算出し、その算出した駆動量に応じてフォーカスレンズ113を移動させる。駆動部170は、フォーカスが合っている場合には、フォーカスレンズ113の現在の位置を維持させる。また、駆動部170は、フォーカスがずれている場合には、デフォーカス量を示す合焦判定結果情報およびフォーカスレンズ113の位置情報に基づいて駆動量(移動距離)を算出し、その駆動量に応じてフォーカスレンズ113を移動させる。
 [視差検出画素を用いたオートフォーカスの概念例]
 図13は、本技術の第2の実施の形態において視差検出画素230における9つの画素回路の画素値を用いたオートフォーカスの概念を模式的に示す図である。
 なお、同図では、横位置撮影で撮像した際の水平方向(同図の左右方向)に一対の像を生成してフォーカスを検出することを想定する。
 同図の(a)には、合焦判定のために撮像素子200が撮像した画像データの平面画像(撮像平面画像440)が示されている。この撮像平面画像440には、撮像対象物として、自動車(自動車441)と、人物(人物443)と、木(木444)とが示されている。また、撮像平面画像440には、フォーカスエリアを示す鎖線の矩形(フォーカスエリア442)が示されている。なお、フォーカスのずれを模式的に示すために、人物443が2重の破線により囲まれ、自動車441が4重の破線により囲まれている。
 なお、同図では、自動車441、人物443および木444を囲む破線の数は、フォーカスのずれの度合いを示し、数が多いほどフォーカスが大きくずれていることを示している。すなわち、同図では、撮像平面画像440を撮像した際には木444に対して合焦しており、人物443および自動車441はフォーカスがずれている(自動車441の方が大きくずれている)ことを想定する。
 同図の(b)には、合焦判定部410において生成される一対の像について、同図の(a)において示した撮像平面画像440に対応する一対の画像として模式的に示した2つの画像(左眼情報画像450および右眼情報画像460)が示されている。視差検出画素230は撮像素子200において行方向および列方向にライン状に配置されている(図2参照)ため、実際には、左眼情報画像450および右眼情報画像460に示すような像は生成されない。しかしながら、図9では、説明の便宜上、撮像した画像(撮像平面画像440)全面で一対の像を模式的に図示して説明する。
 左眼情報画像450は、視差検出画素230における9つの画素回路のうちの左眼に対応する画素の画素値に基づいて生成される画像を示している。左眼情報画像450では、図13の(a)の自動車441に対応する自動車451と、同図の(a)の人物443に対応する人物453と、同図の(a)の木444に対応する木454とが示されている。
 また、右眼情報画像460は、視差検出画素230における9つの画素回路のうちの右眼に対応する画素の画素値に基づいて生成される画像を示している。右眼情報画像460では、図13の(a)の自動車441に対応する自動車461と、同図の(a)の人物443に対応する人物463と、同図の(a)の木444に対応する木464とが示されている。
 同図の(c)には、合焦判定部410による一対の像の間隔(像の間のずれ量)の計測を模式的に示す画像(比較画像470)が示されている。この比較画像470では、同図の(b)において示した左眼情報画像450および右眼情報画像460を重ねたような像が図示され、自動車471と、人物473と、木474とが示されている。自動車471は、濃い自動車が薄い自動車の左にあるような像で示されている。また、人物473も、濃い人物が薄い人物の左にあるような像で示されている。一方、木474は、濃い木と薄い木とが一致しているような像で示されている。
 比較画像470に示すように、合焦判定部410では、一対の像(同図では、左眼情報画像450および右眼情報画像460)を比較する。
 そして、合焦判定部410は、合焦対象物(人物473)における一対の像のずれ量(エッジ間の間隔)からフォーカスのずれ量(デフォーカス量)を算出する。このデフォーカス量に基づいてフォーカスレンズ113が駆動されることにより、合焦対象物に対してフォーカスが一致する。
 同図の(d)には、同図の(c)の比較画像470に基づいてフォーカスレンズ113が駆動された後の撮像画像(レンズ駆動後撮像平面画像490)と、この撮像に基づいて行われる合焦判定(像の比較)を示す画像(レンズ駆動後比較画像480)とが示されている。
 レンズ駆動後比較画像480では、比較画像470によりレンズを駆動した後の一対の像の間隔の計測を模式的に示す画像が示されている。この比較画像470では、濃い木が薄い木の右にあるように示されている木484と、濃い人物と薄い人物とが一致しているように示されている人物483と、濃い自動車が薄い自動車の左にあるように示されている自動車481とが示されている。
 レンズ駆動後撮像平面画像490には、1重の破線が付された自動車(自動車491)と、破線がない人物(人物493)と、4重の破線が付された木(木494)と、フォーカスエリア492とが示されている。破線は、同図の(a)において説明したように、フォーカスのずれの度合いを模式的に示している。すなわち、レンズ駆動後撮像平面画像490では、合焦対象物である人物493に合焦していることが示されている。
 このように、撮像装置400では、合焦対象物(人物)において一対の像が一致するようにフォーカスレンズ113が駆動されることにより、オートフォーカスが行われる。
 なお、図13では、視差検出画素230における9つの画素回路の画素値を用いたオートフォーカスの概念について説明した。次に、図14では、合焦判定部410により行われる合焦判定の際のデータの比較に着目して説明する。
 [合焦判定部による合焦判定の一例]
 図14は、本技術の第2の実施の形態における合焦判定部410による位相差検出による合焦判定を模式的に示す図である。
 なお、同図では、図13に示した場合における合焦判定部410による合焦判定を説明する。なお、同図では、説明の便宜上、一対の像を形成する際に用いられる視差検出画素230は1ラインであることを想定して説明する。
 同図の(a)には、図13の(b)のように左右(水平方向)に一対の像を形成する場合において、一対の一方(右眼)および他方(左眼)の像に関する信号を生成する画素回路が視差検出画素230にそれぞれ示されている。この視差検出画素230では、一方の像(右眼)に関する信号を生成する画素回路が点を多く付した矩形(画素回路1、4、7)により示され、他方の像(左眼)に関する信号を生成する画素回路が点を少なく付した矩形(画素回路3、6、9)により示されている。
 図14の(b)には、設定された合焦対象物に対するデフォーカス量を算出するために、合焦判定部410において画素値が用いられる(画素値から一対の像が形成される)視差検出画素230の位置(合焦判定ライン421)が示されている。この合焦判定ライン421における視差検出画素230の各画素回路の画素値を同図の(a)のように用いることにより、一対の像が形成される。
 ここで、合焦判定部410による位相差を検出する方向(左右または上下)の決定について、簡単に説明する。
 合焦判定部410は、撮像素子200から供給された画像データの視差検出画素230に関する画素値に基づいて、一対の像のずれを検出する方向を決定する。合焦対象物の形状や模様によって、左右方向(水平方向)に一対の像を形成すると像のずれを精度よく検出できる場合や、上下方向(重力方向)に一対の像を形成する像のずれを精度よく検出できる場合がある。そこで、合焦判定部410は、像のずれを精度よく検出できる方向にライン状に配置されている視差検出画素230からの画素値に基づいて一対の像を形成する。
 同図では、ずれ量を精度よく検出できる方向は左右方向(水平方向)であることを想定しているため、行方向の視差検出画素ラインのうち、合焦対象物が撮像されているラインにおける視差検出画素230からの画素値に基づいて一対の像を形成する。なお、合焦対象物(人物422)のエッジのずれを検出できればデフォーカス量が算出できるため、フォーカスエリア付近に位置する視差検出画素(合焦判定ライン421)の画素値から一対の像は形成される。
 同図の(c)には、合焦判定部410におけるデフォーカス量の算出を模式的に示すグラフが示されている。同図の(c)では、図13のように、フォーカス面よりも合焦対象物はレンズ側に位置している(後ピン)ことを想定して説明する。
 図14の(c)において示すグラフには、横軸を撮像素子200における視差検出画素230の画素位置とし、縦軸を出力信号の強度を示す出力階調として、合焦判定部410が生成する一対の像を画素値の分布データにより示すグラフが示されている。このグラフには、同図の(a)に示す画素回路1、4、7(右眼に対応)の画素値に基づいて生成された画素値の分布データ(右眼信号分布データ431)が示されている。また、このグラフには、同図の(a)に示す画素回路3、6、9(左眼に対応)の画素値に基づいて生成された画素値の分布データ(左眼信号分布データ432)が示されている。
 合焦判定部410は、合焦判定ライン421における視差検出画素230の画素値から右眼信号分布データ431および左眼信号分布データ432を生成する。そして、合焦判定部410は、右眼信号分布データ431におけるピーク(エッジ)の位置と、左眼信号分布データ432におけるピーク(エッジ)の位置との間の距離(距離A1)からデフォーカス量を算出する。そして、合焦判定部410は、算出したデフォーカス量を、合焦判定結果情報として駆動部170に供給し、デフォーカス量に応じた量ほどフォーカスレンズ113を駆動させる。
 同図の(d)には、同図の(c)に示す分布データ(一対の像)に基づいてフォーカスレンズ113が駆動され、合焦対象物に対して合焦した場合の分布データ(右眼信号分布データ433および左眼信号分布データ434)が示されている。同図の(d)のグラフに示すように、合焦対象物に対して合焦すると、右眼信号分布データ433および左眼信号分布データ434のエッジは、同じ位置になる。
 このように、撮像装置400では、同図の(d)に示すように生成した一対の像(分布データ)のエッジの位置が一致するようにフォーカスレンズ113を駆動することにより、視差検出画素230の画素値を用いて、オートフォーカスを行うことができる。すなわち、撮像装置400では、位相差検出方式の焦点検出方法を実現することができ、これにより、高速で高精度なオートフォーカスが可能となる。
 なお、同図では、説明の便宜上により合焦判定ラインは1ラインであることを想定して説明したが、これに限定されるものではなく、複数のラインを用いて精度を向上させるようにしてもよい。
 [撮像装置の動作例]
 次に、本技術の第2の実施の形態における撮像装置400の動作について図面を参照して説明する。
 図15は、本技術の第2の実施の形態における撮像装置400による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。なお、同図において示す撮像処理手順例のフローチャートは、図10において示した本技術の第1の実施の形態の撮像処理手順例のフローチャートの変形例である。図10において示した合焦処理(ステップS904)が、合焦処理(ステップS940)である点のみが異なる。そこで、合焦処理(ステップS940)以外の処理については同一の符号を付して説明を省略し、合焦処理(ステップS940)については図16を参照して説明する。
 図16は、本技術の第2の実施の形態の撮像処理手順における合焦処理(ステップS940)の処理手順例を示すフローチャートである。
 まず、撮像素子200により被写体が撮像され、合焦判定に用いる画像が撮像される(ステップS941)。続いて、合焦対象物に応じて、一対の像を生成する視差検出画素のラインの方向(行方向または列方向)が、合焦判定部410により決定される(ステップS942)。そして、合焦対象物の位置(フォーカスエリアの位置)に応じて、一対の像を比較する視差検出画素の位置(例えば、図14の合焦判定ライン421)が決定される(ステップS943)。
 次に、決定された一対の像を比較する位置の視差検出画素の画素回路の画素値から一対の像が生成される(ステップS944)。そして、生成された一対の像におけるエッジ間の間隔が検出され、その間隔からデフォーカス量が算出される(ステップS945)。続いて、その算出されたデフォーカス量に基づいて、フォーカスレンズ113の駆動量が駆動部170により算出される(ステップS945)。そして、その算出された駆動量に基づいてフォーカスレンズ113が駆動され(ステップS947)、合焦処理手順は終了する。
 このように、本技術の第2の実施の形態によれば、視差検出画素を構成する9つの画素回路の画素値に基づいて、位相差検出による合焦判定を行うことができる。すなわち、本技術の第2の実施の形態によれば、高い画素数の3D画像を生成するとともに、位相差検出による高速で高精度なオートフォーカスを行う撮像装置を実現することができる。
 <3.変形例>
 本技術の第1および第2の実施の形態では、視差検出画素230が行方向および列方向にライン状に配置される撮像素子200の例について説明した。しかしながら、視差検出画素230の配置はこれに限定されるものではなく、被写体の視差が取得できるように配置すればよい。そこで、第1および第2の実施の形態とは異なる視差検出画素の配置の一例について、第1および第2の変形例として、図17および図18を参照して説明する。
 また、本技術の第1および第2の実施の形態では、図4の(b)に示すように、マイクロレンズの層は2層あり、各画素回路に光を集光するマイクロレンズはカラーフィルタに近い方(受光素子に近い方)のマイクロレンズ層において形成される例を説明した。しかしながら、本技術はこれに限定されるものではなく、マイクロレンズの配置の仕方については種々の例が考えられる。例えば、各画素回路に光を集光するマイクロレンズは、視差検出用マイクロレンズと同じ層に形成する場合が考えられる。また、視差検出用マイクロレンズと、視差検出画素の9つの受光素子との間の距離を可変にすることにより、撮像レンズが交換式の撮像装置(例えば、一眼カメラ)において様々なF値の撮像レンズに対応することができる。そこで、第1および第2の実施の形態とは異なるマイクロレンズの配置の一例について、第3乃至第5の変形例として、図19を参照して説明する。
 また、本技術の第1および第2の実施の形態では、視差検出画素は、Gフィルタが備えられた9つの画素回路の例について説明したが、これに限定されるものではない。第1および第2の実施の形態とは異なる視差検出画素について、第6乃至第9の変形例として、図20を参照して説明する。
 [撮像素子における画素の配置の変形例]
 図17は、本技術の第1および第2の実施の形態の第1の変形例として、視差検出画素が行方向にのみライン状に配置される撮像素子の一例を模式的に示す図である。
 同図の(a)には、図2の(b)の領域250に対応する領域(領域810)が示されている。すなわち、領域810における太線(視差検出画素ライン811)は、視差検出画素が配置されるラインを示している。視差検出画素ライン811が示すように、この変形例では、視差検出画素は任意の画素周期で行方向にのみライン状に配置される。
  図17の(b)には、同図の(a)において示されている領域815の拡大図であって、図2の(a)の領域210に対応する領域が示されており、視差検出画素が行方向にのみライン状に配置されることが示されている。
 縦位置撮影に用いることがほとんどないような撮像装置(例えば、カムコーダ)においては、列方向に視差検出画素をライン状に配置しても、視差検出に用いることは殆どない。そこで、視差検出画素のラインを行方向の配置のみとすることにより、視差検出画素の数を少なくして画像生成画素の数を増やし、これにより、撮像画像の画質を向上させることができ、かつ、視差検出画素の位置の画素値の補間処理を軽くすることができる。
 図18は、本技術の第2の変形例として、視差検出画素が、行方向および列方向に所定の間隔ずつ離れて配置(アイランド状に配置)される撮像素子の一例を模式的に示す図である。
 同図の(a)には、図2の(b)の領域250に対応する領域(領域820)が示されている。この領域820において、黒い点(点821)は、それぞれが1つの視差検出画素の配置される位置を示している。すなわち、点821により示すように、この変形例では、視差検出画素が行方向および列方向に所定の間隔ずつ離れて配置(アイランド状に配置)される。 
 図18の(b)には、同図の(a)において示されている領域825の拡大図であって、図2の(a)の領域210に対応する領域が示されている。この領域825には、1つの視差検出画素がアイランド状に配置されることが示されている。
 図18に示すように、視差検出画素を行方向および列方向に所定の間隔ずつ離して配置することにより、第1の変形例以上に視差検出画素の数を少なくして画像生成画素の数を増やし、これにより、撮像画像の画質を向上させることができ、かつ、視差検出画素の位置の画素値の補間処理を軽くすることができる。
 これらのように、撮像素子における視差検出画素の配置については、種々のパターンが考えられる。
 [画像生成画素および視差検出画素の断面構成の変形例]
 図19は、本技術の第3乃至第5の変形例として、画像生成画素および視差検出画素の断面構成の変形例を模式的に示す図である。
 同図の(a)には、本技術の第3の変形例として、視差検出用マイクロレンズと、視差検出画素の9つの画素回路との間の距離を可変にすることができる撮像素子の断面構成の一例が示されている。なお、同図の(a)は、図4の(b)において示した断面構成の変形例であり、図4の(b)の視差検出用マイクロレンズ層S2に代えて、マイクロレンズの光軸方向に移動可能なマイクロレンズ層(視差検出用マイクロレンズ配置部831)を備えている点のみが異なる。そこで、図19の(a)では、図4の(b)と同一のものについては同一の符号を付してここでの説明を省略し、視差検出用マイクロレンズ配置部831についてのみ説明する。
 視差検出用マイクロレンズ配置部831は、マイクロレンズの光軸方向に移動することにより、視差検出用マイクロレンズ231と、視差検出画素の画素回路の受光素子との間の距離を可変可能なマイクロレンズの層である。すなわち、撮像素子との間には、空気の層(空気層832)がある。このように、視差検出用マイクロレンズ231と、視差検出画素の画素回路の受光素子との間の距離を変更可能とすることにより、F値や焦点距離が異なる交換レンズに対応できるようになる。
 図19の(b)には、本技術の第4の変形例として、画像生成画素の受光素子に被写体光を集光するマイクロレンズが、視差検出用マイクロレンズの層にも備えられる撮像素子の断面構成の一例が示されている。画像生成画素の受光素子に被写体光を集光するために視差検出用マイクロレンズ層に備えられるマイクロレンズ(マイクロレンズ833)以外の構成は、図4の(b)と同一のものであるため、図19の(b)では説明を省略する。
 マイクロレンズ833は、視差検出用マイクロレンズとは曲率が異なるマイクロレンズである。このマイクロレンズ833を備えることにより、視差検出画素における結像を優先させてフォーカスを調整した場合においても、画像生成画素のマイクロレンズ261に被写体光を適切に集光することができる。すなわち、このマイクロレンズ833を備えることにより、マイクロレンズ261が受光素子に被写体光を適切に集光することができ、画像生成画素の集光効率の劣化を防ぐことができる。これにより、画質を向上させることができる。
 図19の(c)には、本技術の第5の変形例として、同図の(b)の撮像素子におけるマイクロレンズ層S1を備えていない撮像素子の断面構成の一例が示されている。視差検出用マイクロレンズ231のみにより視差が検出できるとともに、マイクロレンズ833のみにより画像生成画素の受光素子に被写体光を集光できる場合には、マイクロレンズ層S1を省くことができる。
 これらのように、撮像素子におけるマイクロレンズの配置については、種々のパターンが考えられる。
 [視差検出画素の一例]
 図20は、本技術の第6乃至第9の変形例として、視差検出画素の変形例を示す模式図である。
 同図の(a)には、本技術の第6の変形例として、カラーフィルタの層に可視光領域の光は全て透過するもの(例えば、透明層やWフィルタなど)が備えられる視差検出画素(視差検出画素841)が示されている。
 同図の(b)には、本技術の第7の変形例として、Rフィルタが備えられる視差検出画素(視差検出画素842)が示されている。
 視差検出画素は、視差が検出できればよいため、視差検出画素のフィルタは目的に応じて設定すればよい。例えば、同図の(a)のように、可視光領域の光は全て透過するものを設けることにより、色依存の少ない視差情報を得るようにすることができる。また、この可視光領域の光を全て透過する場合は、画像生成画素と比較すると光量が多すぎることがあるため、露光調整のために減光フィルタを設けるようにしてもよい。
 また、同図の(b)に示すように、視差検出画素にGフィルタ以外のカラーフィルタを設けるようにしてもよい。
 同図の(c)には、本技術の第8の変形例として、数多くの画素回路から構成される視差検出画素(視差検出画素843)が示されている。この視差検出画素843は、5行×5列の画素回路(画素回路1乃至25)から構成される。また、画素回路1乃至25には、3原色のカラーフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が、ベイヤー配列により配置されている。
 同図の(c)に示すように、1つの視差検出画素を数多くの画素回路で構成し、さらに、3原色のカラーフィルタをベイヤー配列により配置することにより、色情報を含めて視差情報を得ることができる。
 同図の(d)には、本技術の第9の変形例として、2行×2列の画素回路から構成される視差検出画素(視差検出画素844)が示されている。このように、視差検出画素844を2行×2列の画素回路から構成することもできる。この場合には、3行×3列の画素回路から構成する場合と比較して、視差検出画素1個に用いられる画素回路の数を減らすことができ、画像生成画素や視差検出画素の数を増やすことができる。すなわち、画像生成画素の数を増やすことによる画質の向上や、視差検出画素の数を増やすことによる視差検出の精度の向上などをすることができる。
 <4.第3の実施の形態>
 本技術の第1および第2の実施の形態では、撮像素子においてライン状に配置される視差検出画素を用いて立体画像を生成する撮像装置について説明した。第1および第2の実施の形態において説明した撮像装置は、単眼の撮像装置である。
 この単眼の撮像装置において、立体画像の立体感は、射出瞳における左眼の光が通過する領域の重心位置と、射出瞳における右眼の光が通過する領域の重心位置との間の重心間距離(基線長)に依存する。この基線長が長いほど視差量が増加し、その結果、立体画像の立体感が増加する。
 第1および第2の実施の形態において示した視差検出画素では、3行×3列の画素回路から構成されている。左右に視差を検出する場合には、左側の画素回路が受光する被写体光の射出瞳における重心位置と、右側の画素回路が受光する被写体光の射出瞳における重心位置との間の距離が基線長となる。すなわち、基線長を長くするためには、F値が低い(射出瞳が大きい)撮像レンズを備えるか、焦点距離が長い撮像レンズを備える必要がある。F値は、明るさを設定するパラメータであり、焦点距離は画角を設定するパラメータであるため、基線長のため(立体感のため)だけに自由に設定できるものではない。
 例えば、明るいシーンを撮像する際に、絞りを絞ることによりF値を大きくして(射出瞳を小さくして)撮像すると、白トビがない良好な画像が得られるものの、基線長が小さくなり、立体感が得られなくなる。また、この明るいシーンを撮像する際に、基線長のために絞りを開いてF値を小さくして撮像すると、基線長が長くなり立体感が増すものの、白トビが発生して画質が劣化する。
 すなわち、基線長の自由な変更と明るさの自由な変更とが両立できる単眼撮像装置が求められる。そこで、本技術の第3の実施の形態では、横位置撮影において視差を検出する単眼撮像装置において、基線長および明るさを調整することができる絞りを備える例について図21乃至図29を参照して説明する。
 [撮像装置の機能構成例]
 図21は、本技術の第3の実施の形態の撮像装置500の機能構成の一例を示すブロック図である。
 同図において示す撮像装置500は、図1において示した撮像装置100の絞り112に代えて、絞り510を備える。また、撮像装置500は、撮像装置100の各構成に加えて、さらに、基線長設定部520および絞り駆動設定部530を備える。また、撮像装置500は、撮像装置100の姿勢検出部140を備えていない。図21では、絞り510、基線長設定部520および絞り駆動設定部530について説明する。
 なお、撮像装置500は、横位置撮影にのみ用いられることを想定する。そのため、撮像装置500の撮像素子200における視差検出画素は、図17の(b)に示すように、撮像素子200の行方向のみにライン状に配置されていることを想定する。さらに、撮像装置500の撮像素子200の視差検出画素は、図20の(d)に示すように、2行×2列の画素回路から構成されていることを想定する。すなわち、視差検出画素は、射出瞳を左右に2分割することができることを想定する。
また、この第3の実施の形態において説明する絞り510は、射出瞳を何らかの手段(例えば、偏光素子、シャッター、ミラー、光ベクトル情報など)により左右に分離することで立体画像を生成する撮像装置であれば適用することができる。すなわち、第3の実施の形態は、本技術の第1および第2の実施の形態において説明した視差検出画素により立体画像を生成する撮像装置に限定されるものではない。しかしながら、本技術の第3の実施の形態では、視差検出画素により立体画像を生成する撮像装置において備えられた絞り510について説明する。
 絞り510は、駆動部170の駆動により開口の度合いを変化させて、撮像素子200に入射する被写体光の光量および基線長を調整するための遮蔽物である。この絞り510は、開口の位置を調整して基線長を設定することができるとともに、それぞれ設定された基線長における開口の度合いを変化させて被写体光の光量を調整することができる。すなわち、絞り510は、被写体光の光量の増減と、基線長の長さとを独立して設定することができる。なお、絞り510については、図22乃至図25を参照して説明する。
 基線長設定部520は、絞り510により調整される基線長を設定するものである。例えば、基線長設定部520は、ユーザが操作受付部120を介して指定した立体感の強度に応じて基線長を算出し、その算出した基線長に関する情報(基線長情報)を絞り駆動設定部530に供給する。
 絞り駆動設定部530は、絞り510の開口状態を設定するものである。この絞り駆動設定部530は、例えば、撮像素子200から供給された画像データに基づいて、適切な光量を算出(自動露光(AE:Automatic Exposure))する。そして、絞り駆動設定部530は、基線長設定部520から供給された基線長情報と、算出した光量とに基づいて、絞り510の開口状態を決定する。すなわち、絞り駆動設定部530は、絞り510の開口状態を設定することにより、被写体光の光量の増減と、基線長の長さとを独立して制御する。絞り駆動設定部530は、その決定した開口状態に関する情報(絞り開口状態情報)を、駆動部170に供給し、駆動部170に絞り510を駆動させる。 
 [絞りの一例]
 図22は、本技術の第3の実施の形態の絞り510の一例を模式的に示す図である。
 絞り510は、絞りにおける開口領域の外枠を形成する2枚の羽根から構成される第1絞りと、左右の開口領域を生成するために絞りの中心付近を上下方向に向けて遮光する第2絞りとを備える。同図の(a)では、第1絞りおよび第2絞りにより2つの開口部分が形成されている状態の絞り510を示す。また、同図の(b)では、第1絞り(第1絞り511)のみを示して第1絞りの2枚の羽根の形状を示す。そして、同図の(c)では、第2絞り(第2絞り515)のみを示して第2絞りの2枚の羽根の形状を示す。
 図22の(a)には、絞り510を構成する4枚の羽根(第1絞り上側羽根512、第1絞り下側羽根513、第2絞り上側羽根516、第2絞り下側羽根517)により2つの開口部分が形成されている状態の絞り510が示されている。また、同図の(a)には、4枚の羽根により生成された2つの開口部分の重心位置(重心P1およびP2)と、この2つの重心間の距離(基線長L21)とが示されている。
 同図の(b)には、第1絞り(第1絞り511)を構成する2枚の羽根(第1絞り上側羽根512および第1絞り下側羽根513)のみが示されている。第1絞り上側羽根512および第1絞り下側羽根513は、三角形(山形)の凹形状の切欠部が互いに対向するように配置される。なお、この三角形の凹形状の切欠部は、視差方向(左右方向)に垂直な直線であって、基線長の中止位置を通過する線の上に三角形の切り込みの頂点が位置するように形成される。同図の(b)に示すように、第1絞り511の一対の羽根(第1絞り上側羽根512および第1絞り下側羽根513)は、絞りの開口面が45度斜めの正方形になるような平板状の遮光部材である。
 また、同図の(c)には、第2絞り(第2絞り515)を構成する2枚の羽根(第2絞り上側羽根516および第2絞り下側羽根517)のみが示されている。同図の(c)に示すように、第2絞り515の一対の羽根(第2絞り上側羽根516および第2絞り下側羽根517)は、上下から突出することにより絞り510の中心付近から遮光できるような平板状の遮光部材である。第2絞り上側羽根516および第2絞り下側羽根517は、三角形(山形)の凸形状の突出部が互いに対向するように配置される。なお、この三角形の凸形状の突出部は、視差方向に垂直(直交)な直線であって、基線長の中止位置を通過する線の上に三角形の切り込みの頂点が位置するように形成される。この第2絞り515の一対の羽根は、突出するにつれて、絞り510の中心付近から左右の両端に向けて遮光部分が増加するような形状である。同図では、一例として、45度斜めの正方形の遮光部材が示されている。
 同図の(a)乃至(c)に示すように、絞り510は、第1絞り511の2枚の羽根(第1絞り上側羽根512および第1絞り下側羽根513)と、第2絞り515の2枚の羽根(第2絞り上側羽根516および第2絞り下側羽根517)とから構成される。これにより、絞り510は、視差方向に隣接する一対の開口領域を形成する。また、第1絞り511は、一対の開口領域の縁(周縁)のうち、両方の開口領域の視差方向における両側(両端)に対応する半分の縁(左の開口領域は左半分の縁、右の開口領域は右半分の縁)を形成する。第2絞り515は、一対の開口領域の縁のうち、両方の開口領域の視差方向における内側(一対の開口領域が近接する側)に対応する半分の縁(左の開口領域は右半分の縁、右の開口領域は左半分の縁)を形成する。すなわち、第1絞り511は、一対の開口領域のそれぞれの周縁のうち、前記視差方向における両端に対応する周縁の位置を形成し、第2絞り515は、一対の開口領域間で近接する周縁の位置を形成する。なお、第1絞り511の切り欠けおよび第2絞り515の突出の両方ともが、視差方向に垂直(直交)な直線であって基線長の中止位置を通過する線の上に頂点が位置する三角形であるため、一対の開口領域の形状が同じになる。
 次に、絞り510の第1絞り511および第2絞り515を駆動することによる開口形状の変化について、図23乃至図25を参照して説明する。
 [基線長を一定にして開口面積を変化させる例]
 図23は、本技術の第3の実施の形態の絞り510を、基線長は一定にして開口面積のみが変化するように駆動する場合の第1絞り511および第2絞り515の駆動方向を模式的に示す図である。
 同図の(a)には、駆動前(標準状態と称する)の絞り510が示されている。
 同図の(b)には、基線長を一定にして開口面積が小さくなるように駆動された絞り510が示されている。同図の(b)に示すように、基線長(基線長L31)を一定にして開口面積を小さくする絞り510の駆動は、第1絞りを絞る(第1絞り動作方向551)とともに、第2絞りを絞る(第2絞り動作方向552)ことにより行うことができる。
 同図の(c)には、基線長を一定にして開口面積が大きくなるように駆動された絞り510が示されている。同図の(c)に示すように、基線長(基線長L31)を一定にして開口面積を大きくする絞り510の駆動は、第1絞りを開く(第1絞り動作方向553)とともに、第2絞りを開く(第2絞り動作方向554)ことにより行うことができる。
 すなわち、同図の(b)および(c)に示すように、基線長を一定にして光量を増減させる場合には、第1絞りが形成する視差方向の縁の位置の移動に応じて、第2絞りが形成する視差方向の縁の位置を、第1絞りの縁の位置の移動方向と反対方向に同量移動させる。これにより、左の開口領域の左端の移動に応じて左の開口領域の右端が左の開口領域の左端と反対方向に同量ほど移動し、また、右の開口領域の右端の移動に応じて右の開口領域の左端が右の開口領域の右端と反対方向に同量ほど移動する。この開口領域の縁の設定は、同図の(b)および(c)に示すように、第1絞りと第2絞りとを同じ方向に駆動させることにより実現することができる。このように絞り510の開口面を設定することにより、開口領域の重心位置を変化させずに、光量を増減させることができる。
 [開口面積を一定にして基線長を変化させる例]
 図24は、本技術の第3の実施の形態の絞り510を、開口面積を一定にして基線長のみが変化するように駆動する場合の第1絞り511および第2絞り515の駆動方向を模式的に示す図である。
 同図の(a)には、標準状態の絞り510が示されている。
 同図の(b)には、開口面積を一定にして、標準状態から基線長が短くなる(基線長L31から基線長L32へ)ように駆動された絞り510が示されている。同図の(b)に示すように、開口面積を一定にして基線長を短くする絞り510の駆動は、第1絞りを絞る(第1絞り動作方向561)とともに、第2絞りを開く(第2絞り動作方向562)ことにより行うことができる。
 同図の(c)には、開口面積を一定にして、標準状態から基線長が長くなる(基線長L31から基線長L33へ)ように駆動された絞り510が示されている。同図の(c)に示すように、開口面積を一定にして基線長を長くする絞り510の駆動は、第1絞りを開く(第1絞り動作方向563)とともに、第2絞りを絞る(第2絞り動作方向564)ことにより行うことができる。
 すなわち、同図の(b)および(c)に示すように、光量を一定にして基線長を変更する場合には、第1絞りが形成する視差方向の縁の位置の移動に応じて、第2絞りが形成する視差方向の縁の位置を、第1絞りの縁の位置の移動方向と同じ方向に同量ほど移動させる。これにより、左の開口領域の左端の移動に応じて左の開口領域の右端が左の開口領域の左端と同じ方向に同量ほど移動し、また、右の開口領域の右端の移動に応じて右の開口領域の左端が右の開口領域の右端と同じ方向に同量ほど移動する。この開口領域の縁の設定は、同図の(b)および(c)に示すように、第1絞りと第2絞りとを反対方向に駆動させることにより実現することができる。これにより、左の開口領域における右端とこの領域の左端との間の長さ、および、右の開口領域における右端とこの領域の左端との間の長さを一定にすることができ、開口領域の開口面積を一定にすることができる。このように絞り510の開口面を設定することにより、開口領域の開口面積を変化させずに、重心位置を変化させることができる。
 [第2絞りを開いて開口部分を1つにする例]
 図25は、本技術の第3の実施の形態の絞り510における開口部分の形状を平面画像を撮像するのに適した形状にする場合を模式的に示す図である。
 同図の(a)には、標準状態の絞り510が示されている。
 同図の(b)には、平面画像を撮像するのに適した開口部分の形状となるように駆動された絞り510が示されている。同図の(b)に示すように、第2絞りを開放する(第2絞り駆動方向571)ことで、従来の絞りと同様に、1つの開口部分の絞りとすることができる。
 すなわち、図23および図24に示したように、絞り510は、第1絞りと第2絞りを個別に動かすことにより、開口部分の開口面積(F値)と、基線長(立体感)とを独立に設定することができる。例えば、非常に明るいシーンの撮影において、基線長を一定にしながら明るさを減少させたい場合には、図23の(b)に示したように、第1絞りを絞るとともに第2絞りを絞ることにより達成できる。また、明るさを維持して立体感を強調したい場合には、図24の(c)に示したように、第1絞りを開くとともに、第2絞りを絞ることにより達成できる。
 さらに、図25に示したように、立体画像ではなく平面画像を撮像する場合には、第2絞りを開放して1つの開口部分にして、第1絞りにより開口面積を制御することにより、従来の絞りと同様に用いることができる。
 このように、絞り510によって立体感(3D強度)の設定を行うことができる。また、視差検出画素および画像生成画素が撮像素子200に配置される本技術の第3の実施の形態によれば、画像生成画素の画素値に基づいて、2D画像(平面画像)を生成することができる。すなわち、絞り510を撮像装置に備えることにより、ユーザが、撮像する画像の選択(2D画像か3D画像か)や、立体感の設定を行うことができる。
 そこで、画像や3D強度をユーザが設定する際の設定画面(ユーザインターフェース)の例について、図26を参照して説明する。
 [表示部における設定画面例]
 図26は、本技術の第3の実施の形態において表示部151に表示される撮像画像の設定画面および3D強度の設定画面を模式的に示す図である。
 同図の(a)には、2D画像または3D画像のどちらを撮像するかをユーザが設定する設定画面(設定画面580)が示されている。この設定画面580では、3D画像を撮像する3D画像モードを選択するラジオボタン(ラジオボタン582)と、2D画像を撮像する2D画像モードを選択するラジオボタン(ラジオボタン583)とが示されている。さらに、選択を決定する決定ボタン(決定ボタン584)と、選択の変更を辞めるボタン(戻るボタン585)とが示されている。
 設定画面580において、3D画像モードがユーザにより選択されると、図23および図24に示したように、3D画像の撮像に適した絞りの制御が行われる。一方、2D画像モードがユーザにより選択されると、図25に示したように第2絞りは開放され、2D画像の撮像に適した絞りの制御(従来の絞りと同様の制御)が行われる。
 このように、撮像装置500では、撮像する画像が2D画像であるか3D画像であるかをユーザに選択させることができる。
 図26の(b)には、3D強度(3Dレベル)をユーザが設定する設定画面(設定画面590)が示されている。この設定画面590では、3Dレベルを示すスライドバー(スライドバー591)と、選択を決定する決定ボタン(決定ボタン594)と、選択の変更を辞めるボタン(戻るボタン595)とが示されている。また、スライドバー591には、現在の設定3Dレベルを示すバー(バー592)が示されている。
 設定画面590において、バー592をスライドさせることにより、ユーザは3Dレベルを選択することができる。3Dレベルを弱める(バー592をスライドバー591の「弱」に近づける)と、図24の(b)に示したように、基線長が短くなるように絞り510が制御される。一方、3Dレベルを強める(バー592をスライドバー591の「強」に近づける)と、図24の(c)に示したように、基線長が長くなるように絞り510が制御される。
 このように、撮像装置500では、3Dレベルをユーザに選択させることができる。
 [基線長の変更による3Dレベルの変化例]
 図27は、本技術の第3の実施の形態における絞り510による基線長の変化による像の変化を模式的に示す図である。
 同図の(a)および(b)には、基線長が長くなるように絞り510が制御された場合の撮像対象物からの光路および撮像対象物の像面における結像位置が模式的に示されている。また、同図の(c)および(d)には、基線長が短くなるように絞り510が制御された場合の撮像対象物からの光路および撮像対象物の像面における結像位置が模式的に示されている。
 なお、同図の(a)および(c)は、図6の(a)に対応し、撮像対象物からの被写体光のうち、絞り510の左眼に相当する開口面(左眼開口面)を通過する被写体光の光路および像面における結像位置が模式的に示されている。同様に、図27の(b)および(d)は、図6の(b)に対応し、撮像対象物からの被写体光のうち、絞り510の右眼に相当する開口面(右眼開口面)を通過する被写体光の光路および像面における結像位置が模式的に示されている。そこで、図6の(a)および(b)と同様のものには、同一の符号を付してここでの説明を省略する。
 図27の(a)乃至(d)において示す瞳E21は、絞り510の第1絞りおよび第2絞りを両方とも開放にした時の射出瞳の形状(すなわち撮像レンズの形状)を模式的に示し、図6の射出瞳E1に相当する。図27の(a)および(b)の射出瞳E31およびE32は、基線長が長くなるように絞り510が制御された場合の一対の射出瞳(射出瞳E31は左眼開口面の射出瞳、射出瞳E32は右眼開口面の射出瞳)を示している。同様に、同図の(c)および(d)の射出瞳E41およびE42は、基線長が短くなるように絞り510が制御された場合の一対の射出瞳(射出瞳E41は左眼開口面の射出瞳、射出瞳E42は右眼開口面の射出瞳)を示している。そして、同図の(a)乃至(d)には、図6と同様に、合焦物体271および近位置物体272からの光の光路が、各物体から伸びる破線および実線(線L51乃至L58)により示されている。
 図27の(a)および(b)に示すように、基線長が長くなると(左側開口面および右側開口面がお互いに離れると)、デフォーカス量に応じてずれる結像位置のずれ量が大きくなり、立体感が大きくなる。一方、同図の(c)および(d)に示すように、基線長が短くなると(左側開口面および右側開口面がお互いに近づくと)、デフォーカス量に応じてずれる結像位置のずれ量が小さくなり、立体感が小さくなる。
 このように、絞り510を設けることにより、立体感を調整することができる。
 [絞りにおける開口面の変化例]
 図28は、本技術の第3の実施の形態における絞り510における開口面と、従来の絞りにおける開口面との違いを模式的に示す図である。
 同図の(a)には、従来の撮像装置に備えられる絞り(絞り190)の開閉による開口面の変化が示されている。絞り190は、一組の羽根(絞り上側羽根191および絞り下側羽根192)から構成され、この一組の羽根(遮光部材)を互いに逆方向に移動させることにより開口面の面積を調整する。この従来の絞り190は、開口面積が広い時は基線長が長くなる(同図の(a)において示す基線長L91を参照)が、開口面積が小さくになると基線長が短くなる(同図の(a)の基線長L92を参照)。
 同図の(b)には、本技術の第3の実施の形態における絞り510の開閉による開口面の変化が示されている。なお、同図の(b)において示す図は、図23および図24をまとめた図である。そこで、図28の(b)では、図23および図24と同一の符号を付して、ここでの詳細な説明を省略する。
 図28の(b)に示すように、絞り510によって、明るさ(開口面積の大きさ)と、基線長(一対の開口面の重心間距離)とを独立に制御することができる。
 [撮像装置の動作例]
 次に、本技術の第3の実施の形態における撮像装置500の動作について図面を参照して説明する。
 図29は、本技術の第3の実施の形態における撮像装置500による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。なお、同図において示す撮像処理手順例のフローチャートは、図10において示した本技術の第1の実施の形態の撮像処理手順例のフローチャートの変形例である。そこで、同一の処理については同一の符号を付して説明を省略し、新たに追加した自動露光に関する処理手順例についてのみ説明する。
 立体画像の撮像動作の開始指示がユーザによりされたと判断されると(ステップS901)、ユーザが予め指定した立体感の強度に基づいて基線長の長さが設定され、その設定された基線長の長さに応じて絞り510が駆動される(ステップS961)。そして、ステップS902に進み、ライブビューの表示が行われる。
 また、合焦処理が行われた後に(ステップS904)、その合焦処理の際に撮像された画像に基づいて露光の調整が絞り駆動設定部530により行われて、絞り510が制御される自動露光処理が行われる(ステップS962)。そして、ステップS962の後に、ステップS905に進み、シャッターボタンが全押しされたか否かが判断される。
 このように、本技術の第3の実施の形態によれば、明るさ(開口面積の大きさ)と、基線長(一対の開口面の重心間距離)とを独立に制御することができる。なお、本技術の第3の実施の形態では、2枚の羽根(遮光部材)を備える第1絞りと、2枚の羽根を備える第2絞りとを想定して説明したがこれに限定されるものではない。第1絞りは、従来の絞りと同様に、絞りの外周から中心に向けて開口面積が狭くなるように(F値が小さくなるように)開閉するものであればよい。羽根の枚数を増やすことにより、45度回転した正方形の開口形状から円形に近い開口形状に近づけることができる。また、第2絞りも、絞りの中心付近を遮光して一対の開口部分を形成するものであればよく、2枚以上の羽根を用いることにより、一対の開口部分の形状を円形に近づけることができることも考えられる。
 <5.第4の実施の形態>
 本技術の第3の実施の形態では、撮像装置を用いて横位置撮影を撮影した際に明るさおよび基線長を自由に設定できる絞り(絞り510)について説明した。しかしながら、この絞り510では、本技術の第1の実施において示したように縦位置撮影をする場合には、第2絞りを開放して第1絞りのみにしないと(従来の絞りと同じ使用方法にする)、水平方向の視差を取得することが出ない。
 そこで、本技術の第4の実施の形態では、横位置撮影および縦位置撮影の両方において明るさおよび基線長を自由に設定できる絞りについて、図30乃至図32を参照して説明する。
 [撮像装置の機能構成例]
 図30は、本技術の第4の実施の形態の撮像装置600の機能構成の一例を示すブロック図である。
 同図において示す撮像装置600は、図21において示した撮像装置500の絞り510に代えて、絞り610を備える。また、撮像装置600は、撮像装置500の各構成に加えて、さらに、図1において示した姿勢検出部140を備える。なお、絞り610については、図31および図32において説明する。
 姿勢検出部140は、図1において示した姿勢検出部140と同様に、撮像装置600の姿勢を検出し、検出した撮像装置600の姿勢に関する情報(姿勢情報)を、視差検出部320および絞り駆動設定部530に供給する。
 なお、図30において示す絞り駆動設定部530では、姿勢検出部140から供給された姿勢情報に基づいて、縦位置撮影および横位置撮影のどちらであるか(撮像装置600の姿勢)を検出し、その検出した姿勢に応じて絞り610の駆動を設定する。
 [絞りの一例]
 図31は、本技術の第4の実施の形態の絞り610の一例を模式的に示す図である。
 絞り610は、図22において示した絞り510と同じものである第1絞りおよび第2絞りに加えて、上下に一対の開口部分を生成するために、左右方向から突出することにより絞りの中心付近を遮光する第3絞りを備える。図31の(a)では、上下に2つの開口部分が形成されている状態の絞り610を示す。
 また、同図の(b)では第1絞り(第1絞り511)のみを示して第1絞りの2枚の羽根の形状を示し、同図の(c)では第2絞り(第2絞り515)のみを示して第2絞りの2枚の羽根の形状を示す。さらに、同図の(d)では、第3絞り(第3絞り611)のみを示して第3絞りの2枚の羽根の形状を示す。
 なお、同図の(b)および(c)は、図22において示した(b)および(c)と同様のものであるため、ここでは、図31の(a)および(d)について説明する。
 同図の(a)には、上下方向に一対の開口部分が形成されている状態の絞り610が示されている。この絞り610では、第3絞り左側羽根612の右端と第3絞り右側羽根613の左端とが絞り610の中心付近でお互いに接するように第3絞りが配置されている。一方、第2絞り上側羽根516および第2絞り下側羽根517は、開放状態となり、被写体光を遮光しないように配置される。このように、第3絞り611により絞り610の中心付近を左右方向から遮光することにより、絞り610の上下方向に一対の開口部分を形成することができる。
 同図の(d)には、第3絞り(第3絞り611)を構成する2枚の羽根(第3絞り左側羽根612および第3絞り右側羽根613)のみが示されている。同図の(d)に示すように、第3絞り611は、第2絞り515(同図の(c)を参照)の配置方向を、90度時計回りに回転させたもの(駆動方向が直交するもの)となる。すなわち、第3絞り左側羽根612および第3絞り右側羽根613は、三角形(山形)の凸形状の突出部が互いに対向するように配置される。なお、この三角形(山形)の凸形状の突出部は、視差方向に平行な直線であって、基線長の中止位置を通過する線の上に三角形の切り込みの頂点が位置するように形成される。
 このように、左右方向から絞り610の中心付近を遮光する第3絞り611を設けることにより、上下方向に一対の開口部分を設けることができる。
 [絞りにおける開口面の変化例]
 図32は、本技術の第4の実施の形態の絞り610が形成する開口部分の形状の一例を模式的に示す図である。
 同図の(a)には、撮像装置600を用いて横位置撮影をする場合における絞り610の各羽根の位置が模式的に示されている。横位置撮影をする場合には、同図の(a)に示すように、第3絞り(第3絞り左側羽根612および第3絞り右側羽根613)を開放状態にする。また、第2絞り(第2絞り上側羽根516および第2絞り下側羽根517)を、図22乃至図24において示したように、一対の開口部分が形成されるように絞る(閉じる)。そして、第3絞りを開いたまま第2絞りおよび第1絞りを開閉することにより、図22乃至図24において示した絞り510と同様に、横位置撮影において明るさと基線長とを別々に制御することが出来る。
 図32の(b)には、撮像装置600を用いて縦位置撮影をする場合における絞り610の各羽根の位置が模式的に示されている。縦位置撮影をする場合には、同図の(b)に示すように、第2絞りを開放状態にし、第3絞りを、一対の開口部分が形成されるように絞る(閉じる)。そして、第2絞りを開いたまま第3絞りおよび第1絞りを開閉することにより、一対の開口部分の方向が異なる以外は同図の(a)と同様の開閉をすることが出来る。すなわち、同図の(b)に示すように、第2絞りを開放状態にして第3絞りおよび第1絞りを開閉することにより、縦位置撮影において明るさと基線長とを別々に制御することが出来る。
 同図の(c)には、撮像装置600を用いて2D画像を撮像する場合における絞り610の各羽根の位置が模式的に示されている。2D画像を撮像する場合には、同図の(c)に示すように、第2絞りおよび第3絞りを開放状態にする。そして、第1絞りのみを開閉させる。これにより、不要な被写体光の遮光を行わずに2D画像を撮像することができる。
 このように、本技術の第4の実施の形態によれば、横位置撮影および縦位置撮影のいずれにおいても明るさと基線長とを独立して制御することができる。
 <6.絞りの変形例>
 本技術の第3および第4の実施の形態では、一対の開口部分を形成するとともに、明るさおよび基線長を自由に設定できる絞りについて説明した。なお、第3および第4の実施の形態において示した絞りは、明るさと基線長とを自由に組み合わせることができるが、簡便な3D撮像装置においては、そこまでの性能を必要としない場合が考えられる。この場合には、3D画像の撮像に適したより簡単な構成の絞りが求められる。
 そこで、第3および第4の実施の形態より簡単な構成の絞りを、図33を参照して説明する。
 [絞りの一例]
 図33は、本技術の第3および第4の実施の形態の変形例として、3D画像の撮像に適した簡単な構成の絞りの例を模式的に示す図である。
 同図の(a)および(b)には、基線長を保持したまま明るさを制御することができる絞りが示されている。同図の(a)には、2枚の羽根を備え、視差検出方向(左右)における両端の突出(中側は矩形の切り込み)により視差検出方向に長い長方形の開口面を形成する絞りが示されている。この絞りの長方形の開口面は、視差方向を長辺とする矩形の切欠部が互いに対向する2枚の羽根により形成される。また、同図の(b)には、2枚の羽根を備え、山切り状の突出(谷が2つ(隣接する一対の切欠部))により視差検出方向(左右)に一対の開口部分(45度回転した正方形)を形成する絞りが示されている。同図の(a)および(b)に示すような絞りを、上下方向(視差検出方向に対して垂直方向)に開閉することにより、基線長を維持しながら明るさを制御することができる。
 同図の(c)および(d)には、従来の絞りよりも基線長を長くすることができる絞りが示されている。同図の(c)には、左右方向(視差検出方向)に長く、上下方向に短い楕円形の開口部分を形成する絞りが示されている。この絞りの楕円形の開口部分は、視差方向を一辺(長い直径)とする半円形の切欠部が互いに対向する2枚の羽根により形成される。また、同図の(d)には、左右方向(視差検出方向)に長く、上下方向に短い菱形の開口部分を形成する絞りが示されている。この絞りの菱形の開口部分は、視差方向を底辺とする三角形の切欠部が互いに対向する2枚の羽根により形成される。同図の(c)および(d)に示すような絞りを、上下方向に開閉することにより、従来の円形状の開口部分の絞りや、45度回転した正方形状の開口部分の絞りと比較して、基線長を長くすることができる。
 同図の(e)には、本技術の第3および第4の実施の形態と同様に、明るさと基線長とを独立に制御できる絞りであって、第3および第4の実施の形態の絞りよりも制御が簡単な絞りが示されている。この同図の(e)では、視差検出方向(左右)の両端(左端および右端)から絞りの中心に向かって閉じる2枚の羽根と、上下の両端(上端および下端)から絞りの中心に向かって閉じる2枚の羽根とが示されている。なお、左端および右端から絞りの中心に向かって閉じる2枚の羽根は、視差方向に直交する直交方向に平行な辺が対向する一対の羽根である。また、上端および下端から絞りの中心に向かって閉じる2枚の羽根は、視差方向に平行な辺が対向する一対の羽根である。同図の(e)で示す絞りは、左右の絞りを開くと基線長が広がり、上下の絞りを開くと明るさが大きくなる。
 このような3D画像の撮像に適した絞りを撮像装置に設けることにより、良好な立体感の3D画像を撮像することができる。
 このように、本技術の実施の形態によれば、良好な3D画像を撮像することができる。なお、本技術の実施の形態においては、静止画を撮像する撮像装置を想定して説明したが、動画を撮像する撮像装置においても同様に実施することができる。
 なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
 また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
 なお、本技術は以下のような構成もとることができる。
(1) 1つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより視差を検出するための信号を生成する視差検出画素と、前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子と、
 前記視差検出画素が生成した信号に基づいて前記視差を検出し、前記画像生成画素が生成した信号に基づいて前記平面画像を生成し、前記検出した視差に基づいて前記生成した平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成する立体視画像生成部と
を具備する撮像装置。
(2) 前記撮像装置の姿勢を検出する姿勢検出部をさらに具備し、
 前記視差検出画素は、前記撮像素子における行方向のライン上および列方向のライン上に並んで配置され、
 前記立体視画像生成部は、前記姿勢検出部が検出した姿勢に基づいて前記視差を検出する方向を前記撮像素子の行方向および列方向のいずれかから決定し、当該決定された方向に配置された前記視差検出画素が生成した信号に基づいて前記視差に関する情報を生成する
前記(1)に記載の撮像装置。
(3) 前記視差検出画素が生成した信号に基づいて合焦対象物に対する合焦判定を行う合焦判定部をさらに具備する
前記(1)または(2)に記載の撮像装置。
(4) 前記撮像素子は、前記視差検出画素が特定方向におけるライン上に隣接して配置される前記(1)から(3)のいずれかに記載の撮像装置。
(5) 前記撮像素子は、前記視差検出画素が特定方向におけるライン上に所定の間隔置きに配置される前記(1)から(3)のいずれかに記載の撮像装置。
(6) 前記撮像素子と前記射出瞳の大きさとの関係に基づいて、前記視差検出画素における複数の受光素子を覆う前記1つのマイクロレンズを当該マイクロレンズの光軸方向へ移動させる制御部をさらに具備する前記(1)から(5)のいずれかに記載の撮像装置。
(7) 前記視差検出画素における複数の受光素子は、同一のカラーフィルタにより覆われている前記(1)から(6)のいずれかに記載の撮像装置。
(8) 前記視差検出画素における複数の受光素子は、緑を示す波長領域以外の光を遮光する緑フィルタによって覆われている前記(7)に記載の撮像装置。
(9) 前記視差検出画素における複数の受光素子は、可視光領域の光を透過させる白フィルタまたは透明層によって覆われている前記(7)に記載の撮像装置。
(10) 前記画像生成画素は、前記画素単位ごとに1つの受光素子を備える前記(1)から(9)のいずれかに記載の撮像装置。
(11) 前記視差検出画素における前記複数の受光素子を覆う前記1つのマイクロレンズにより集光された前記被写体光を前記複数の受光素子のそれぞれの位置に集光するためのマイクロレンズが、当該複数の受光素子を当該複数の受光素子ごとに覆う前記(1)から(10)のいずれかに記載の撮像装置。
(12) 前記画像生成画素における前記受光素子を覆う前記マイクロレンズは、前記視差検出画素における前記複数の受光素子を当該複数の受光素子ごとに覆う前記マイクロレンズの光軸方向と直交する同一面上に配置される前記(11)に記載の撮像装置。
(13) 前記画像生成画素における前記受光素子を覆う前記マイクロレンズは、前記視差検出画素における前記複数の受光素子を覆う前記1つのマイクロレンズの光軸方向と直交する同一面上に配置される前記(1)から(11)のいずれかに記載の撮像装置。
(14) 1つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより立体視画像を生成する際に用いられる視差を検出するための信号を生成する視差検出画素と、
 前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより前記視差を用いて前記立体視画像を生成する際に用いられる平面画像を生成するための信号を生成する画像生成画素と
を具備する撮像素子。
(15) 前記視差は、前記平面画像における被写体像のそれぞれの位置を前記視差方向に調整して前記立体視画像を生成する際における前記被写体像のそれぞれの位置のずれ量に関する情報であり、
 前記視差検出画素は、前記視差方向にライン上に配置される
前記(14)に記載の撮像素子。
(16) 1つのマイクロレンズにより覆われた複数の受光素子により視差を検出するための信号を生成する視差検出画素と、被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子における前記視差検出画素が生成した信号に基づいて視差を検出する手順と、
 前記撮像素子における前記画像生成画素が生成した信号に基づいて前記平面画像を生成する手順と、
 前記検出した視差に基づいて前記平面画像における撮像された物体のそれぞれの位置を調整して立体視画像を生成する立体視画像生成手順と
を具備する画像処理方法。
(17) 1つのマイクロレンズにより覆われた複数の受光素子により視差を検出するための信号を生成する視差検出画素と、被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子における前記視差検出画素が生成した信号に基づいて視差を検出する手順と、
 前記撮像素子における前記画像生成画素が生成した信号に基づいて前記平面画像を生成する手順と、
 前記検出した視差に基づいて前記平面画像における撮像された物体のそれぞれの位置を調整して立体視画像を生成する立体視画像生成手順と
をコンピュータに実行させるプログラム。
(18) 立体視画像を生成するための一対の開口領域を形成する絞りと、
 前記一対の開口領域を通過する被写体光をそれぞれ受光して前記立体視画像を生成するための信号を生成する撮像素子と、
 前記一対の開口領域の重心間の距離と、前記一対の開口領域を通過する前記被写体光の光量の増減とをそれぞれ独立して制御する制御部と
を具備する撮像装置。
(19) 前記絞りには、前記立体視画像における視差方向において前記一対の開口領域が隣接して形成され、
 前記制御部は、前記一対の開口領域のそれぞれの周縁のうち、前記視差方向における両端に対応する周縁の位置と、前記一対の開口領域間で近接する周縁の位置とをそれぞれ変更して制御する
前記(18)に記載の撮像装置。
(20) 前記制御部は、前記光量を増減させる場合には、前記重心間の距離を一定にした状態で、前記一対の開口領域のうちの1つの開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さと、他の開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さとを変更させる前記(19)に記載の撮像装置。
(21) 前記一対の開口領域のうちの1つの開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さは、前記他の開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さと同一である前記(20)に記載の撮像装置。
(22) 前記制御部は、前記重心間の距離を変更させる場合には、前記一対の開口領域のうちの1つの開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さを一定にした状態で、前記重心間の距離を変更させる前記(19)から(21)のいずれかに記載の撮像装置。
(23) 前記重心間の距離を調整する調整部をさらに具備し、
 前記制御部は、前記調整部による調整後の前記重心間の距離となるように前記一対の開口領域を制御する
前記(19)から(22)のいずれかに記載の撮像装置。
(24) 前記絞りは、
 切欠部を備える一対の部材が前記切欠部が互いに対向するように配置される第1部材と、
 突出部を備える一対の部材が前記突出部が互いに対向するように配置される第2部材とを備える前記(18)から(23)のいずれかに記載の撮像装置。
(25) 前記第1部材および前記第2部材は、前記視差方向に対して直交する直交方向に駆動される前記(24)に記載の撮像装置。
(26) 前記切欠部は、前記重心間の距離の中心を通過して前記第1部材の駆動方向に平行な直線上の1点を山形の頂点とする凹形状であり、
 前記突出部は、前記重心間の距離の中心を通過して前記第2部材の駆動方向に平行な直線上の1点を山形の頂点とする凸形状である
前記(25)に記載の撮像装置。
(27) 前記撮像装置の姿勢を検出する姿勢検出部をさらに具備し、
 前記絞りは、
 切欠部を備える一対の部材が前記切欠部が互いに対向するように配置される第1部材と、
 横位置撮影の場合において前記被写体光の一部を遮光する第2部材であって、突出部を備える一対の部材が当該突出部が互いに対向するように配置される第2部材と、
 縦位置撮影の場合において前記被写体光の一部を遮光する第3部材であって、突出部を備える一対の部材が当該突出部が互いに対向するように配置される第3部材と
を備え、
 前記第2部材の駆動方向と、前記第3部材の駆動方向とは直交し、
 前記制御部は、前記検出された姿勢に基づいて前記横位置撮影または前記縦位置撮影のいずれであるかを決定して前記一対の開口領域を制御する
前記(18)から(23)のいずれかに記載の撮像装置。
(28) 前記絞りは、単眼のレンズ系により集光される前記被写体光の光路に配置される前記(18)から(27)のいずれかに記載の撮像装置。
(29) 立体視画像における視差方向において隣接する一対の切欠部をそれぞれ備える一対の部材からなる絞りであって、前記切欠部が互いに対向することにより一対の開口領域を形成する絞りと、
 前記一対の開口領域を通過する被写体光をそれぞれ受光して前記立体視画像を生成するための信号を生成する撮像素子と、
 前記一対の開口領域の重心間の距離が一定となるように、前記視差方向と直交する直交方向に前記一対の部材をそれぞれ駆動させて前記絞りを制御する制御部と
を具備する撮像装置。
(30) 立体視画像における視差方向を長手方向とする開口領域を形成する絞りと、
 前記開口領域を通過する被写体光を受光して前記立体視画像を生成するための信号を生成する撮像素子と、
 前記視差方向における前記開口領域の長さが、前記視差方向と直交する直交方向における前記開口領域の長さよりも長くなるように前記絞りを制御する制御部と
を具備する撮像装置。
(31) 前記絞りは、切欠部を備える一対の部材が前記切欠部が互いに対向することにより前記開口領域を形成し、
 前記制御部は、前記一対の部材を前記直交方向へそれぞれ駆動させて前記絞りを制御する
前記(30)に記載の撮像装置。
(32) 前記切欠部は、前記視差方向を長辺とする矩形、前記視差方向を底辺とする三角形、または、前記視差方向を一辺とする半円形である前記(30)に記載の撮像装置。
(33) 前記絞りは、前記視差方向に平行な辺を備え、当該辺が対向する一対の第1部材と、前記直交方向に平行な辺を備え、当該辺が対向する一対の第2部材とにより前記開口領域を形成する前記(30)に記載の撮像装置。
(34) 立体視画像を生成するための一対の開口領域を形成する絞りにおける前記一対の開口領域の重心間の距離を制御する第1制御手順と、
 前記一対の開口領域を通過する前記被写体光の光量の増減を、前記重心間の距離とは独立して制御する第2制御手順と、
を具備する絞り制御方法。
(35) 立体視画像を生成するための一対の開口領域を形成する絞りにおける前記一対の開口領域の重心間の距離を制御する第1制御手順と、
 前記一対の開口領域を通過する前記被写体光の光量の増減を、前記重心間の距離とは独立して制御する第2制御手順と、
をコンピュータに実行させるプログラム。
 100 撮像装置
 110 レンズ部
 111 ズームレンズ
 112 絞り
 113 フォーカスレンズ
 120 操作受付部
 130 制御部
 140 姿勢検出部
 151 表示部
 152 記憶部
 170 駆動部
 200 撮像素子
 230 視差検出画素
 300 信号処理部
 310 2D画像生成部
 320 視差検出部
 330 3D画像生成部
 400 撮像装置
 410 合焦判定部
 500 撮像装置
 510 絞り
 520 基線長設定部
 530 絞り駆動設定部

Claims (35)

  1.  1つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより視差を検出するための信号を生成する視差検出画素と、前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより画像を生成するための信号を生成する画像生成画素とを備える撮像素子と、
     前記視差検出画素が生成した信号に基づいて前記視差を検出し、前記画像生成画素が生成した信号に基づいて平面画像を生成し、前記検出した視差に基づいて前記生成した平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成する立体視画像生成部と
    を具備する撮像装置。
  2.  前記撮像装置の姿勢を検出する姿勢検出部をさらに具備し、
     前記視差検出画素は、前記撮像素子における行方向のライン上および列方向のライン上に並んで配置され、
     前記立体視画像生成部は、前記姿勢検出部が検出した姿勢に基づいて前記視差を検出する方向を前記撮像素子の行方向および列方向のいずれかから決定し、当該決定された方向に配置された前記視差検出画素が生成した信号に基づいて前記視差に関する情報を生成する
    請求項1記載の撮像装置。
  3.  前記視差検出画素が生成した信号に基づいて合焦対象物に対する合焦判定を行う合焦判定部をさらに具備する
    請求項1記載の撮像装置。
  4.  前記撮像素子は、前記視差検出画素が特定方向におけるライン上に隣接して配置される
    請求項1記載の撮像装置。
  5.  前記撮像素子は、前記視差検出画素が特定方向におけるライン上に所定の間隔置きに配置される
    請求項1記載の撮像装置。
  6.  前記撮像素子と前記射出瞳の大きさとの関係に基づいて、前記視差検出画素における前記複数の受光素子を覆う前記1つのマイクロレンズを当該マイクロレンズの光軸方向へ移動させる制御部をさらに具備する
    請求項1記載の撮像装置。
  7.  前記視差検出画素における複数の受光素子は、同一のカラーフィルタにより覆われている
    請求項1記載の撮像装置。
  8.  前記視差検出画素における複数の受光素子は、緑を示す波長領域以外の光を遮光する緑フィルタによって覆われている
    請求項7記載の撮像装置。
  9.  前記視差検出画素における複数の受光素子は、可視光領域の光を透過させる白フィルタまたは透明層によって覆われている
    請求項7記載の撮像装置。
  10.  前記画像生成画素は、前記画素単位ごとに1つの受光素子を備える
    請求項1記載の撮像装置。
  11.  前記視差検出画素における前記複数の受光素子を覆う前記1つのマイクロレンズにより集光された前記被写体光を前記複数の受光素子のそれぞれの位置に集光するためのマイクロレンズが、当該複数の受光素子を当該複数の受光素子ごとに覆う
    請求項1記載の撮像装置。
  12.  前記画像生成画素における前記受光素子を覆う前記マイクロレンズは、前記視差検出画素における前記複数の受光素子を当該複数の受光素子ごとに覆う前記マイクロレンズの光軸方向と直交する同一面上に配置される
    請求項11記載の撮像装置。
  13.  前記画像生成画素における前記受光素子を覆う前記マイクロレンズは、前記視差検出画素における前記複数の受光素子を覆う前記1つのマイクロレンズの光軸方向と直交する同一面上に配置される
    請求項1記載の撮像装置。
  14.  1つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより立体視画像を生成する際に用いられる視差を検出するための信号を生成する視差検出画素と、
     前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより前記視差を用いて前記立体視画像を生成する際に用いられる平面画像を生成するための信号を生成する画像生成画素と
    を具備する撮像素子。
  15.  前記視差は、前記平面画像における被写体像のそれぞれの位置を前記視差方向に調整して前記立体視画像を生成する際における前記被写体像のそれぞれの位置のずれ量に関する情報であり、
     前記視差検出画素は、前記視差方向にライン上に配置される
    請求項14記載の撮像素子。
  16.  1つのマイクロレンズにより覆われた複数の受光素子により視差を検出するための信号を生成する視差検出画素と、被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子における前記視差検出画素が生成した信号に基づいて視差を検出する手順と、
     前記撮像素子における前記画像生成画素が生成した信号に基づいて前記平面画像を生成する手順と、
     前記検出した視差に基づいて前記平面画像における撮像された物体のそれぞれの位置を調整して立体視画像を生成する立体視画像生成手順と
    を具備する画像処理方法。
  17.  1つのマイクロレンズにより覆われた複数の受光素子により視差を検出するための信号を生成する視差検出画素と、被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子における前記視差検出画素が生成した信号に基づいて視差を検出する手順と、
     前記撮像素子における前記画像生成画素が生成した信号に基づいて前記平面画像を生成する手順と、
     前記検出した視差に基づいて前記平面画像における撮像された物体のそれぞれの位置を調整して立体視画像を生成する立体視画像生成手順と
    をコンピュータに実行させるプログラム。
  18.  立体視画像を生成するための一対の開口領域を形成する絞りと、
     前記一対の開口領域を通過する被写体光をそれぞれ受光して前記立体視画像を生成するための信号を生成する撮像素子と、
     前記一対の開口領域の重心間の距離と、前記一対の開口領域を通過する前記被写体光の光量の増減とをそれぞれ独立して制御する制御部と
    を具備する撮像装置。
  19.  前記絞りには、前記立体視画像における視差方向において前記一対の開口領域が隣接して形成され、
     前記制御部は、前記一対の開口領域のそれぞれの周縁のうち、前記視差方向における両端に対応する周縁の位置と、前記一対の開口領域間で近接する周縁の位置とをそれぞれ変更して制御する
    請求項18記載の撮像装置。
  20.  前記制御部は、前記光量を増減させる場合には、前記重心間の距離を一定にした状態で、前記一対の開口領域のうちの1つの開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さと、他の開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さとを変更させる
    請求項19記載の撮像装置。
  21.  前記一対の開口領域のうちの1つの開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さは、前記他の開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さと同一である
    請求項20記載の撮像装置。
  22.  前記制御部は、前記重心間の距離を変更させる場合には、前記一対の開口領域のうちの1つの開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さを一定にした状態で、前記重心間の距離を変更させる
    請求項19記載の撮像装置。
  23.  前記重心間の距離を調整する調整部をさらに具備し、
     前記制御部は、前記調整部による調整後の前記重心間の距離となるように前記一対の開口領域を制御する
    請求項19記載の撮像装置。
  24.  前記絞りは、
     切欠部を備える一対の部材が前記切欠部が互いに対向するように配置される第1部材と、
     突出部を備える一対の部材が前記突出部が互いに対向するように配置される第2部材とを備える
    請求項18記載の撮像装置。
  25.  前記第1部材および前記第2部材は、前記視差方向に対して直交する直交方向に駆動される
    請求項24記載の撮像装置。
  26.  前記切欠部は、前記重心間の距離の中心を通過して前記第1部材の駆動方向に平行な直線上の1点を山形の頂点とする凹形状であり、
     前記突出部は、前記重心間の距離の中心を通過して前記第2部材の駆動方向に平行な直線上の1点を山形の頂点とする凸形状である
    請求項25記載の撮像装置。
  27.  前記撮像装置の姿勢を検出する姿勢検出部をさらに具備し、
     前記絞りは、
     切欠部を備える一対の部材が前記切欠部が互いに対向するように配置される第1部材と、
     横位置撮影の場合において前記被写体光の一部を遮光する第2部材であって、突出部を備える一対の部材が当該突出部が互いに対向するように配置される第2部材と、
     縦位置撮影の場合において前記被写体光の一部を遮光する第3部材であって、突出部を備える一対の部材が当該突出部が互いに対向するように配置される第3部材と
    を備え、
     前記第2部材の駆動方向と、前記第3部材の駆動方向とは直交し、
     前記制御部は、前記検出された姿勢に基づいて前記横位置撮影または前記縦位置撮影のいずれであるかを決定して前記一対の開口領域を制御する
    請求項18記載の撮像装置。
  28.  前記絞りは、単眼のレンズ系により集光される前記被写体光の光路に配置される
    請求項18記載の撮像装置。
  29.  立体視画像における視差方向において隣接する一対の切欠部をそれぞれ備える一対の部材からなる絞りであって、前記切欠部が互いに対向することにより一対の開口領域を形成する絞りと、
     前記一対の開口領域を通過する被写体光をそれぞれ受光して前記立体視画像を生成するための信号を生成する撮像素子と、
     前記一対の開口領域の重心間の距離が一定となるように、前記視差方向と直交する直交方向に前記一対の部材をそれぞれ駆動させて前記絞りを制御する制御部と
    を具備する撮像装置。
  30.  立体視画像における視差方向を長手方向とする開口領域を形成する絞りと、
     前記開口領域を通過する被写体光を受光して前記立体視画像を生成するための信号を生成する撮像素子と、
     前記視差方向における前記開口領域の長さが、前記視差方向と直交する直交方向における前記開口領域の長さよりも長くなるように前記絞りを制御する制御部と
    を具備する撮像装置。
  31.  前記絞りは、切欠部を備える一対の部材が前記切欠部が互いに対向することにより前記開口領域を形成し、
     前記制御部は、前記一対の部材を前記直交方向へそれぞれ駆動させて前記絞りを制御する
    請求項30記載の撮像装置。
  32.  前記切欠部は、前記視差方向を長辺とする矩形、前記視差方向を底辺とする三角形、または、前記視差方向を一辺とする半円形である
    請求項31記載の撮像装置。
  33.  前記絞りは、前記視差方向に平行な辺を備え、当該辺が対向する一対の第1部材と、前記直交方向に平行な辺を備え、当該辺が対向する一対の第2部材とにより前記開口領域を形成する
    請求項30記載の撮像装置。
  34.  立体視画像を生成するための一対の開口領域を形成する絞りにおける前記一対の開口領域の重心間の距離を制御する第1制御手順と、
     前記一対の開口領域を通過する前記被写体光の光量の増減を、前記重心間の距離とは独立して制御する第2制御手順と、
    を具備する絞り制御方法。
  35.  立体視画像を生成するための一対の開口領域を形成する絞りにおける前記一対の開口領域の重心間の距離を制御する第1制御手順と、
     前記一対の開口領域を通過する前記被写体光の光量の増減を、前記重心間の距離とは独立して制御する第2制御手順と、
    をコンピュータに実行させるプログラム。
PCT/JP2012/057332 2011-03-29 2012-03-22 撮像装置、撮像素子、画像処理方法、絞り制御方法、およびプログラム WO2012133106A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP12764074.6A EP2693756B1 (en) 2011-03-29 2012-03-22 Image pickup apparatus, image pickup device, image processing method, aperture control method, and program
US14/002,028 US9544571B2 (en) 2011-03-29 2012-03-22 Image pickup unit, image pickup device, picture processing method, diaphragm control method, and program
KR1020137023705A KR101917403B1 (ko) 2011-03-29 2012-03-22 촬상 장치, 촬상 소자, 화상 처리 방법, 조리개 제어 방법 및 프로그램
CN201280025027.5A CN103563366B (zh) 2011-03-29 2012-03-22 图像拾取装置、图像拾取设备、图像处理方法、光圈控制方法及程序
US15/298,104 US9826215B2 (en) 2011-03-29 2016-10-19 Stereoscopic image pickup unit, image pickup device, picture processing method, control method, and program utilizing diaphragm to form pair of apertures
US15/684,811 US10397547B2 (en) 2011-03-29 2017-08-23 Stereoscopic image pickup unit, image pickup device, picture processing method, control method, and program utilizing diaphragm to form pair of apertures

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011071605A JP5757128B2 (ja) 2011-03-29 2011-03-29 撮像装置、撮像素子、画像処理方法およびプログラム
JP2011071606A JP5757129B2 (ja) 2011-03-29 2011-03-29 撮像装置、絞り制御方法およびプログラム
JP2011-071605 2011-03-29
JP2011-071606 2011-03-29

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/002,028 A-371-Of-International US9544571B2 (en) 2011-03-29 2012-03-22 Image pickup unit, image pickup device, picture processing method, diaphragm control method, and program
US15/298,104 Continuation US9826215B2 (en) 2011-03-29 2016-10-19 Stereoscopic image pickup unit, image pickup device, picture processing method, control method, and program utilizing diaphragm to form pair of apertures

Publications (1)

Publication Number Publication Date
WO2012133106A1 true WO2012133106A1 (ja) 2012-10-04

Family

ID=46930834

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/057332 WO2012133106A1 (ja) 2011-03-29 2012-03-22 撮像装置、撮像素子、画像処理方法、絞り制御方法、およびプログラム

Country Status (6)

Country Link
US (3) US9544571B2 (ja)
EP (1) EP2693756B1 (ja)
KR (1) KR101917403B1 (ja)
CN (1) CN103563366B (ja)
TW (1) TW201245768A (ja)
WO (1) WO2012133106A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140118505A1 (en) * 2012-10-26 2014-05-01 Reald Inc. Stereoscopic image capture
WO2014112002A1 (ja) * 2013-01-15 2014-07-24 オリンパス株式会社 撮像素子、及び撮像装置
US20150185308A1 (en) * 2014-01-02 2015-07-02 Katsuhiro Wada Image processing apparatus and image processing method, image pickup apparatus and control method thereof, and program
JP6549366B2 (ja) * 2014-09-19 2019-07-24 株式会社リコー 光電変換素子、画像読取装置及び画像形成装置
US10416289B2 (en) * 2015-02-19 2019-09-17 Philips Photonics Gmbh Infrared laser illumination device
US20160269662A1 (en) * 2015-03-12 2016-09-15 Semiconductor Components Industries, Llc Image sensors with increased stack height for phase detection pixels
JP6442362B2 (ja) * 2015-05-29 2018-12-19 キヤノン株式会社 撮像装置及び撮像素子の制御方法
US10044959B2 (en) * 2015-09-24 2018-08-07 Qualcomm Incorporated Mask-less phase detection autofocus
JP6586239B2 (ja) * 2016-08-29 2019-10-02 株式会社日立製作所 撮影装置及び撮影方法
KR20180024604A (ko) 2016-08-30 2018-03-08 삼성전자주식회사 이미지 센서 및 그 구동 방법
EP3606021B1 (en) * 2017-03-24 2023-10-25 Nippon Sheet Glass Company, Limited Image sensor unit and image reading device
JP7207303B2 (ja) * 2017-07-12 2023-01-18 ソニーグループ株式会社 撮像装置、画像生成方法、撮像システム
JP7005209B2 (ja) * 2017-07-26 2022-01-21 キヤノン株式会社 撮像装置、及びその制御方法
KR101991277B1 (ko) * 2017-12-18 2019-06-20 한국기술교육대학교 산학협력단 마커를 이용한 자동차 부품 품질 보증 방법 및 장치
CN112526801B (zh) * 2019-09-03 2022-01-25 宏达国际电子股份有限公司 双镜头成像模块及其提取方法
KR20210028808A (ko) 2019-09-04 2021-03-15 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치
US11128796B1 (en) * 2020-03-03 2021-09-21 Semiconductor Components Industries, Llc High dynamic range image sensor with a neutral density filter
CN111464804A (zh) * 2020-04-08 2020-07-28 北京小米松果电子有限公司 一种全向视差视图合成方法、装置及存储介质
CN111638600B (zh) * 2020-06-30 2022-04-12 京东方科技集团股份有限公司 一种近眼显示的方法、装置及可穿戴设备
CN112859046B (zh) * 2021-01-19 2024-01-12 Oppo广东移动通信有限公司 光接收模组、飞行时间装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004309868A (ja) 2003-04-08 2004-11-04 Sony Corp 撮像装置及び立体映像生成装置
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置
JP2010041720A (ja) * 2008-08-06 2010-02-18 Samsung Electronics Co Ltd 立体イメージセンサのピクセルアレイ

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1206724B (de) * 1963-07-27 1965-12-09 Prontor Werk Gauthier Gmbh Photographische Kamera mit Einstellern fuer Entfernung und Blende
US4067638A (en) * 1971-12-08 1978-01-10 Canon Kabushiki Kaisha Multi-color holographic stereograms
JPS4980252U (ja) * 1972-10-28 1974-07-11
US4113359A (en) * 1977-03-16 1978-09-12 Hiroshi Koike Automatic diaphragm assembly
US4290675A (en) * 1978-12-04 1981-09-22 Leo Beiser Anaglyph stereoscopy
US4222653A (en) * 1978-12-04 1980-09-16 Leo Beiser Visual effects optical relay
DE3643870C2 (de) * 1986-12-22 1994-11-17 Broadcast Television Syst Verfahren und Schaltung zur automatischen Belichtungsregelung einer Fernsehkamera
US6348994B1 (en) * 1995-03-02 2002-02-19 Carl Zeiss Jena Gmbh Method for generating a stereoscopic image of an object and an arrangement for stereoscopic viewing
JPH08248305A (ja) * 1995-03-10 1996-09-27 Nikon Corp 長焦点マイクロレンズ
JP3816632B2 (ja) * 1997-05-14 2006-08-30 オリンパス株式会社 走査型顕微鏡
US6220730B1 (en) * 1998-07-01 2001-04-24 Light & Sound Design, Ltd. Illumination obscurement device
AU6500999A (en) * 1998-09-28 2000-04-17 Rose Research, L.L.C. Method and apparatus for displaying three-dimensional images
US6396873B1 (en) * 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
US20050140820A1 (en) * 1999-08-20 2005-06-30 Koichi Takeuchi Lens unit and camera
JP2001061165A (ja) * 1999-08-20 2001-03-06 Sony Corp レンズ装置及びカメラ
JP4200408B2 (ja) * 1999-10-21 2008-12-24 ソニー株式会社 撮像装置
JP4305598B2 (ja) * 2000-06-05 2009-07-29 富士フイルム株式会社 カメラの絞り制御方法及び装置、並びにカメラ
JP2001351844A (ja) * 2000-06-06 2001-12-21 Matsushita Electric Ind Co Ltd 露光装置及び露光方法
WO2002088841A1 (fr) * 2001-04-25 2002-11-07 Matsushita Electric Industrial Co., Ltd. Dispositif d'affichage par projection
EP1395063A4 (en) * 2001-05-15 2008-06-04 Matsushita Electric Ind Co Ltd FIGURE APPARATUS AND SIGNAL PROCESSING METHOD THEREFOR
US7250973B2 (en) * 2002-02-21 2007-07-31 Canon Kabushiki Kaisha Image pickup apparatus for reflecting light at an area between successive refractive areas
JP4228646B2 (ja) * 2002-10-02 2009-02-25 株式会社セガ 立体視画像生成方法および立体視画像生成装置
JP2004138865A (ja) * 2002-10-18 2004-05-13 Tamron Co Ltd 絞り装置、撮像装置および絞り装置の製造方法
GB2399653A (en) * 2003-03-21 2004-09-22 Sharp Kk Parallax barrier for multiple view display
GB2403367A (en) * 2003-06-28 2004-12-29 Sharp Kk Multiple view display
US7106529B2 (en) * 2004-08-24 2006-09-12 Microalign Technologies, Inc. Flat wide-angle lens system
TWI256518B (en) * 2004-07-30 2006-06-11 Young Optics Inc Projector display and aperture-controllable diaphragm therein
JP4202991B2 (ja) * 2004-09-29 2008-12-24 株式会社東芝 立体画像用データの記録方法及び表示再生方法
EP1835747B1 (en) * 2005-01-07 2019-05-08 Nippon Telegraph And Telephone Corporation Video encoding method and device, video decoding method and device, program thereof, and recording medium containing the program
US7697187B2 (en) * 2006-09-29 2010-04-13 Sony Corporation Electrowetting device and varifocal lens, optical pickup device, optical recording/reproduction device, droplet operation device, optical element, zoom lens, imaging device, light modulating device, and display device using the same
WO2008153127A1 (ja) * 2007-06-15 2008-12-18 Kabushiki Kaisha Toshiba 被測定物の検査測定装置
JP5264131B2 (ja) * 2007-09-14 2013-08-14 キヤノン株式会社 撮像装置
JP5215675B2 (ja) 2008-01-16 2013-06-19 興和株式会社 眼科撮影装置
US20090219432A1 (en) * 2008-02-29 2009-09-03 Palum Russell J Sensor with multi-perspective image capture
EP2133726B1 (en) * 2008-06-10 2011-06-01 Thomson Licensing Multi-image capture system with improved depth image resolution
JP5448617B2 (ja) * 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP4538766B2 (ja) * 2008-08-21 2010-09-08 ソニー株式会社 撮像装置、表示装置および画像処理装置
JP2010056865A (ja) * 2008-08-28 2010-03-11 Fujifilm Corp 撮像装置
JP5531483B2 (ja) * 2008-08-29 2014-06-25 ソニー株式会社 撮像装置および映像記録再生システム
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
JP5185097B2 (ja) * 2008-12-19 2013-04-17 富士フイルム株式会社 撮影装置および合焦位置決定方法
JP5604122B2 (ja) * 2009-03-06 2014-10-08 パナソニック株式会社 駆動装置、レンズ鏡筒及びカメラ
JP5621303B2 (ja) 2009-04-17 2014-11-12 ソニー株式会社 撮像装置
JP2010252277A (ja) * 2009-04-20 2010-11-04 Panasonic Corp 固体撮像装置及び電子カメラ
ATE551841T1 (de) * 2009-04-22 2012-04-15 Raytrix Gmbh Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
JP5249149B2 (ja) * 2009-07-17 2013-07-31 富士フイルム株式会社 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム
US8648948B2 (en) * 2009-09-30 2014-02-11 Infrared Newco, Inc. Imaging systems with multiple imaging pixel types and related methods
JP5173979B2 (ja) * 2009-10-20 2013-04-03 キヤノン株式会社 絞り装置およびそれを有するレンズ鏡筒並びに撮像装置
US8514491B2 (en) * 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5446834B2 (ja) * 2009-12-18 2014-03-19 ソニー株式会社 撮像装置および撮像方法
US8629945B2 (en) * 2010-03-17 2014-01-14 3Dv Co., Ltd. 3D liquid crystal display system
US8284293B2 (en) * 2010-07-07 2012-10-09 Aptina Imaging Corporation Image sensors with graded refractive index microlenses
JP5538553B2 (ja) * 2010-09-29 2014-07-02 富士フイルム株式会社 固体撮像素子及び撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004309868A (ja) 2003-04-08 2004-11-04 Sony Corp 撮像装置及び立体映像生成装置
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置
JP2010041720A (ja) * 2008-08-06 2010-02-18 Samsung Electronics Co Ltd 立体イメージセンサのピクセルアレイ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2693756A4

Also Published As

Publication number Publication date
US10397547B2 (en) 2019-08-27
US9826215B2 (en) 2017-11-21
CN103563366A (zh) 2014-02-05
TW201245768A (en) 2012-11-16
EP2693756B1 (en) 2018-05-02
EP2693756A4 (en) 2015-05-06
US20170041588A1 (en) 2017-02-09
KR101917403B1 (ko) 2018-11-09
CN103563366B (zh) 2016-10-19
US9544571B2 (en) 2017-01-10
KR20140049512A (ko) 2014-04-25
US20170359567A1 (en) 2017-12-14
US20130335533A1 (en) 2013-12-19
EP2693756A1 (en) 2014-02-05

Similar Documents

Publication Publication Date Title
WO2012133106A1 (ja) 撮像装置、撮像素子、画像処理方法、絞り制御方法、およびプログラム
JP5628913B2 (ja) 撮像装置および撮像方法
JP5640143B2 (ja) 撮像装置及び撮像方法
JP5180407B2 (ja) 立体撮像装置および視差画像復元方法
JP5421829B2 (ja) 撮像装置
US8786676B2 (en) Imaging device for generating stereoscopic image
WO2012039180A1 (ja) 撮像デバイス及び撮像装置
JP5368350B2 (ja) 立体撮像装置
JP2012182332A (ja) 撮像素子および撮像装置
CN103370943B (zh) 成像装置和成像方法
JP5757129B2 (ja) 撮像装置、絞り制御方法およびプログラム
CN103039066A (zh) 成像装置、图像处理装置以及图像处理方法
CN104508531A (zh) 拍摄元件和拍摄装置
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
JP5507761B2 (ja) 撮像装置
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
JP5979137B2 (ja) 撮像装置および撮像装置の制御プログラム
JP5757128B2 (ja) 撮像装置、撮像素子、画像処理方法およびプログラム
JP6476630B2 (ja) 撮像装置
JP2014063190A (ja) 撮像装置
JP5649837B2 (ja) 立体撮像装置
JP2013162362A (ja) 撮像装置および撮像プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12764074

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14002028

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20137023705

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE