WO2012132797A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2012132797A1
WO2012132797A1 PCT/JP2012/055762 JP2012055762W WO2012132797A1 WO 2012132797 A1 WO2012132797 A1 WO 2012132797A1 JP 2012055762 W JP2012055762 W JP 2012055762W WO 2012132797 A1 WO2012132797 A1 WO 2012132797A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
unit
parallax
blur processing
Prior art date
Application number
PCT/JP2012/055762
Other languages
English (en)
French (fr)
Inventor
遠藤　宏
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2013507321A priority Critical patent/JP5640143B2/ja
Priority to CN201280016911.2A priority patent/CN103493484B/zh
Publication of WO2012132797A1 publication Critical patent/WO2012132797A1/ja
Priority to US14/039,700 priority patent/US8885026B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes

Definitions

  • the present invention relates to an image pickup apparatus and an image pickup method in which subject images that have passed through different regions in two or more directions of a photographing lens are formed on an image pickup element, and different viewpoint images are acquired.
  • the present invention relates to an imaging apparatus and an imaging method for simultaneously capturing a stereoscopic image having a parallax and a planar image.
  • the optical system shown in FIG. 10 divides a subject image that has passed through different regions in the left-right direction of the main lens 1 and the relay lens 2 with a mirror 4 and supplies the image to the imaging devices 7 and 8 via the imaging lenses 5 and 6, respectively. An image is formed.
  • FIG. 11 (A) to 11 (C) are diagrams showing separation states of images formed on the image sensor due to differences in the front pin, focus (best focus), and rear pin, respectively.
  • the mirror 4 shown in FIG. 10 is omitted in order to compare the difference in separation due to focus.
  • the focused image of the pupil-divided images is formed (matched) at the same position on the image sensor, but FIG. 11A and ( As shown in part C), the images serving as the front pin and the rear pin are formed (separated) at different positions on the image sensor.
  • the electronic camera includes an imaging unit, a light amount distribution detection unit, an image shift amount detection unit, and an image processing unit.
  • the imaging unit photoelectrically converts a subject image by the photographing optical system to generate photographed image data.
  • the light quantity distribution detection unit detects the light quantity distribution by the light flux from the subject passing through different optical paths.
  • the image shift amount detection unit detects image shift amounts at a plurality of locations in the photographing screen based on the light amount distribution.
  • the image processing unit generates stereogram image data by changing the positional relationship of the subject in the captured image data in the horizontal direction based on the image shift amounts at a plurality of locations.
  • the stereogram image data is corrected by changing the positional relationship of the subject in the stereogram image data in the horizontal direction. Since the stereogram image data can be corrected, it is possible to obtain a natural stereogram image with less discomfort for the user.
  • Patent Document 2 pattern matching is performed on the left-eye image and the right-eye image captured by the left and right cameras with respect to the stereo image of either the left-eye image or the right-eye image as a reference. Then, a matching image for each pixel is specified, an intermediate position image is obtained by interpolating the inter-pixel distance between the matching images for the left and right pixels, and the right is obtained by extrapolating the inter-pixel distance between the matching images for the left and right pixels.
  • a multi-view image creation method for obtaining an outside image and a left outside image is disclosed.
  • a stereo matching processing unit (object detection means) is processed by an image processing unit, and the two image data A and B stored in the memory unit are set by the above-described space setting unit. One or more corresponding points (objects) corresponding to each other are detected with respect to the space.
  • the distance calculation unit calculates the three-dimensional coordinate value (position information) of the corresponding point detected by the stereo matching processing unit described above.
  • the configuration of the photographing lens of the photographing unit and the photographing unit is different, and the photographing lens includes a zoom lens and a zoom lens driving unit (drive means) (not shown) that drives the zoom lens, and the photographing lens has a wide angle of the zoom lens of the photographing lens. A fixed focus lens having an angle of view equal to the end is provided. With such a configuration, the cost is reduced.
  • Patent Documents 4 to 6 are examples of a three-dimensional image generation technique using a single optical system.
  • a large number of pixels are arranged on the same imaging surface, and in a solid-state imaging device that generates an image signal by photoelectrically converting a subject image formed on the imaging surface, Disclosed is a solid-state imaging device that is divided into groups and has different light-receiving incidence angles of pixels in each group.
  • Patent Documents 7 to 11 are examples of a method for searching corresponding points between different viewpoint images, a technique for acquiring depth information by stereo matching, and a three-dimensional image generation technique using two-dimensional images and distance information (depth information). .
  • Patent Document 12 in order to focus only on the main subject and intentionally blur other parts other than the main subject, the focus position is discretely moved by a predetermined amount of movement, and images are sequentially captured.
  • a blur-enhanced image can be obtained by obtaining a plurality of images and combining the plurality of images.
  • Patent Document 13 divides an image to be photographed into a plurality of areas, and an area that is a foreground or background of a main subject is imaged with a shift from a focal position corresponding to the distance of the area. Then, an image of each area is individually extracted from the captured images of each captured area, and these are combined to create one image. As a result, it is possible to easily take an image with a desired amount of blur.
  • Patent Document 14 shows an example of a parallax map creation method.
  • the parallax value is adjusted by converting the parallax value of the parallax value distribution image linearly or non-linearly, and the design condition of the stereoscopic image, that is, “the maximum with the maximum pop-out amount and the maximum subtraction amount”
  • the design condition of the stereoscopic image that is, “the maximum with the maximum pop-out amount and the maximum subtraction amount”
  • a multi-view three-dimensional image that satisfies the requirements of “effectively taking a viewpoint while keeping within the parallax range” and “make the parallax of the main subject position in the image as zero as possible” at the same time, and effectively using the maximum parallax value range. Change to depth value configuration.
  • a virtual viewpoint image at each viewpoint position is generated using the corrected disparity value distribution image and the viewpoint position, that is, the ratio r of each image to the parallax of the input left and right stereo image pair corresponding to the viewpoint position, and all pixels are valid.
  • a new viewpoint image is generated. This process is repeated for the number of viewpoints to obtain a multi-viewpoint image sequence.
  • a three-dimensional stripe image is synthesized from the multi-viewpoint image sequence. At this time, a three-dimensional image is synthesized so that pixels at the same coordinates of each image in the multi-view image sequence are arranged as adjacent pixels according to the viewpoint arrangement of the image.
  • the images of the respective viewpoints are decomposed into strips for each line in the vertical direction, and are synthesized by the number of viewpoints in the reverse order of the viewpoint positions.
  • the reason why the viewpoints are arranged in the reverse order is that when observing with the lenticular plate, the image is observed in the left and right direction within one pitch of the lenticular. When a lenticular plate is superimposed on an image printed by this process, a good stereoscopic image can be observed.
  • the 3D image output apparatus selects a parallax adjustment parameter according to the screen size or viewing distance of the 3D display, converts the parallax amount at each feature point using the selected conversion table, and converts the parallax amount to the converted parallax amount.
  • a corresponding parallax image is generated, and a plurality of parallax images including the generated parallax image are output to the display device.
  • the viewing distance is automatically acquired by a distance measuring means disposed at or near the 3D display or manually input.
  • the 3D image output apparatus outputs a parallax image to a stereoscopic display device having various screen sizes, a printer that generates a stereoscopic display print, and the like.
  • JP 2007-104248 A JP 2009-124308 A JP 2008-92007 paragraphs 0047-0048, 0071 JP2003-7994 Japanese Patent Laid-Open No. 2001-12916 JP 2001-016611 Japanese Unexamined Patent Publication No. 08-331607 JP 2008-141666 A JP 2009-14445 JP 2008-116309 Japanese Unexamined Patent Publication No. 2000-102040 JP 2008-271241 A JP 2003-209727 A JP 2010-226500 A Japanese Patent Laid-Open No. 2003-209858 JP 2010-206774 A
  • the pupil division type stereoscopic imaging device that captures a parallax image and selectively generates a stereoscopic image by selectively acquiring image information that has passed through different pupil positions of the image imaging means, such as Patent Documents 4 to 6,
  • the parallax at the in-focus position becomes 0, and the parallax corresponding to the blur (defocus amount) occurs at the non-in-focus position.
  • the present invention provides a pupil-dividing stereoscopic imaging device capable of simultaneously obtaining a planar image and a stereoscopic image in which a desired portion such as the foreground and background is blurred with respect to a main subject, and the planar image in the pupil-dividing stereoscopic imaging device.
  • a method for simultaneously capturing a stereoscopic image is provided.
  • a discrete image is formed between a first pixel that photoelectrically converts an object image formed by a photographing lens by a photoelectric conversion element group and outputs a first image signal, and the first pixel. And a second image signal that outputs a second image signal having a phase difference by photoelectrically converting a plurality of subject images from the divided pupil region by a photoelectric conversion element group.
  • An imaging unit having a pixel, an imaging control unit that controls the imaging unit to capture the first image signal and the second image signal at the same time, and a second image signal output from the imaging unit
  • the parallax information calculation unit that calculates parallax information
  • the planar image creation unit that creates a planar image based on the first image signal output from the imaging unit
  • the parallax information calculation unit Decide the target pixel to be blurred.
  • an imaging device comprising: a blurring processing unit, the performing blurring processing on the target pixel of the image.
  • the second aspect of the present invention includes a recording unit that records the first image signal and the parallax information in association with each other, and the blurring processing unit has a plane according to the parallax information recorded by the recording unit in association with the first image signal.
  • an imaging apparatus that determines a target pixel to be subjected to image blurring processing and performs blurring processing on the target pixel of a planar image.
  • the disparity information includes a disparity map that represents the amount of disparity between corresponding points of the set of viewpoint images
  • the blurring processing unit has a corresponding point where the amount of disparity between the corresponding points is equal to or greater than a predetermined value. Is provided as a target pixel to be subjected to the blurring process, and an imaging apparatus for performing the blurring process on the target pixel is provided.
  • a contour information extraction unit that extracts at least contour information from the first image signal
  • the blur processing unit is a target on which blur processing is performed based on the contour information extracted by the contour information extraction unit.
  • An imaging apparatus that determines a pixel and applies a blurring process to a target pixel is provided.
  • the disparity information includes distance information of each pixel
  • the blurring processing unit has a second pixel in which the distance information is farther than the predetermined first distance and / or the distance information is the predetermined second.
  • An imaging device is provided that determines pixels in the foreground that are smaller than the distance of the target pixel as target pixels to be subjected to the blur processing of the planar image, and performs the blur processing on the target pixels.
  • an imaging device in which a blur processing unit determines a pixel constituting an area designated by a user operation as a target pixel to be subjected to a blur processing of a planar image, and performs the blur processing on the target pixel.
  • the disparity information includes a disparity map that represents the amount of disparity between corresponding points of the set of viewpoint images, and the blurring processing unit performs each blurring process according to the amount of disparity between corresponding points.
  • an imaging device applied to pixels constituting corresponding points.
  • an imaging apparatus in which a blur processing unit performs blur processing of a degree specified by a user operation on a target pixel.
  • the ninth aspect of the present invention provides an imaging apparatus in which phase difference pixels are arranged at predetermined intervals in a pixel group corresponding to one or a plurality of color filters in a predetermined arrangement.
  • the tenth aspect of the present invention provides an imaging apparatus in which phase difference pixels are arranged at predetermined intervals in a pixel group corresponding to a Bayer-arranged green, red, or blue color filter.
  • a diaphragm unit capable of adjusting a light amount of a light beam formed on the photoelectric conversion element group of the imaging unit, and a diaphragm unit so as to obtain a phase difference between the second image signal output from the imaging unit.
  • an aperture control unit that controls the opening amount of the image pickup apparatus.
  • a discrete image is formed between a first pixel that photoelectrically converts an object image formed by a photographing lens by a photoelectric conversion element group and outputs a first image signal, and the first pixel. And a second image signal that outputs a second image signal having a phase difference by photoelectrically converting a plurality of subject images from the divided pupil region by a photoelectric conversion element group.
  • An image capturing apparatus including an image capturing unit having a plurality of pixels controls the image capturing unit to capture the first image signal and the second image signal simultaneously; and the second image signal output from the image capturing unit A step of calculating parallax information based on the step, a step of creating a flat image based on the first image signal output from the imaging unit, and a target pixel on which the blurring process of the flat image is to be performed according to the calculated parallax information.
  • Target of flat image To provide an imaging method for performing the steps of applying a blurring process on the element, the.
  • a planar image is generated from the first image signal out of the simultaneously output first image signal and second image signal, and parallax information is calculated based on the second image signal. Is done. Then, in accordance with the calculated parallax information, a target pixel to be subjected to the blurring process of the planar image is determined, and the blurring process is performed on the target pixel of the planar image.
  • the pupil-division imaging device it is possible to blur the appropriate position according to the parallax information indicating the perspective of the subject and the magnitude of the parallax amount.
  • a stereoscopic image having a parallax and a planar image can be obtained simultaneously by one shooting.
  • Block diagram of a camera according to the first embodiment The figure which shows the structural example of the pupil division
  • the figure which showed 1 pixel of 1st, 2nd pixel each 3 is an enlarged view of the main part.
  • Flowchart of 2D / 3D simultaneous imaging processing The figure which shows the structural example of the pupil division parallax image acquisition image pick-up element CCD (G * pixel) which concerns on 2nd Embodiment.
  • the figure which shows an example of the conventional monocular three-dimensional imaging device The figure which shows the separation state of the image imaged on an image sensor
  • FIG. 1 is a block diagram showing an embodiment of a camera 1 according to the first embodiment.
  • the camera 1 records the captured image on the memory card 54, and the operation of the entire apparatus is centrally controlled by a central processing unit (CPU) 40.
  • CPU central processing unit
  • the camera 1 is provided with an operation unit 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • a signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the camera 1 based on the input signal. For example, lens drive control, aperture drive control, shooting operation control, image processing control, image data control, Recording / reproduction control, display control of a liquid crystal monitor (LCD) 30 for stereoscopic display, and the like are performed.
  • LCD liquid crystal monitor
  • the ROM 10 stores programs executed by the CPU 40 and various data necessary for control, pixel defect information of the CCD 16, various constants / information relating to camera operation, and the like.
  • the shutter button is an operation button for inputting an instruction to start shooting, and is configured by a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed.
  • the mode dial is a selection means for selecting one of an auto shooting mode for shooting a still image, a manual shooting mode, a scene position such as a person, a landscape, a night view, and a moving image mode for shooting a moving image.
  • the playback button is a button for switching to a playback mode in which a still image or a moving image of a stereoscopic image (3D image) or a planar image (2D image) that has been captured and recorded is displayed on the LCD 30.
  • the MENU / OK key is an operation key having both a function as a menu button for instructing to display a menu on the screen of the LCD 30 and a function as an OK button for instructing confirmation and execution of selection contents.
  • the cross key is an operation unit for inputting instructions in four directions, up, down, left, and right, and functions as a button (cursor moving operation means) for selecting an item from the menu screen or instructing selection of various setting items from each menu. To do.
  • the up / down key of the cross key functions as a zoom switch for shooting or a playback zoom switch in playback mode
  • the left / right key functions as a frame advance (forward / reverse feed) button in playback mode.
  • the BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state.
  • the image light indicating the subject is a solid-state image sensor (hereinafter referred to as “CCD”, which is a phase difference image sensor capable of acquiring a pupil-divided parallax image via the imaging lens 12 and the diaphragm 14, but may be a CMOS or the like.
  • CCD solid-state image sensor
  • the image is formed on 16 light receiving surfaces.
  • the imaging lens 12 is driven by a lens driving unit 36 controlled by the CPU 40, and focus control, zoom (focal length) control, and the like are performed.
  • the diaphragm 14 is composed of, for example, five diaphragm blades, and is driven by a diaphragm drive unit 34 controlled by the CPU 40.
  • the diaphragm value (F value) F2.8 to F11 is controlled in five steps in increments of 1AV.
  • the CPU 40 controls the diaphragm 14 via the diaphragm driving unit 34, and performs charge accumulation time (shutter speed) in the CCD 16, image signal readout control from the CCD 16, and the like via the CCD control unit 32.
  • FIG. 2 is a diagram illustrating a configuration example of the CCD 16.
  • the CCD 16 has a pixel of line A composed of odd lines A1, A2,... And a pixel of line B composed of even lines B1, B2,.
  • the image signals for the two surfaces photoelectrically converted by the pixels of these two lines A and B can be read out independently.
  • the plurality of light receiving elements corresponding to each pixel group form an effective pixel region for obtaining an effective imaging signal and an optical black region (hereinafter referred to as “OB region”) for obtaining a black level reference signal.
  • the OB region is actually formed so as to surround the effective pixel region.
  • the odd-numbered line A of the CCD 16 has a GRGR... Pixel array line among pixels having R (red), G (green), and B (blue) color filters. And lines of the pixel array of BGBG... Are alternately provided.
  • the color filter color arrangement of the odd-numbered line A as a whole is a so-called Bayer arrangement in which “G” and “B” are repeated in one direction and “G” and “R” are repeated in a direction orthogonal thereto.
  • phase difference pixels G * and R * are provided every four pixels.
  • phase difference pixels G1 * and R1 * are provided in a line of the pixel array of G1R1G1R1.
  • phase difference pixel is provided every four pixels in a line of the pixel array of BGBG.
  • the phase difference pixel B * 2 is provided in the line of the pixel array of B2G2B2G2.
  • phase difference pixels G * , R * , and B * a pixel light-shielding portion is formed, and when the camera 1 is placed horizontally, the light shielding member shields the right half of the light-receiving surface of the photodiode PD of the pixel.
  • the pixels of the even lines B of the CCD 16 are alternately provided with the GRGR... Pixel array lines and the BGBG.
  • the pixels of the odd line A are shifted to the right in the line direction by a half pitch.
  • the color filter color arrangement of the even line B as a whole is a so-called Bayer arrangement.
  • the arrangement of the color filters of the CCD 16 is a color arrangement in which two Bayer arrangements are combined as a whole, and is also referred to as a double Bayer arrangement.
  • phase difference pixels G * and R * are provided every four pixels.
  • phase difference pixels G1 * and R1 * are provided in a line of the pixel array of G1R1G1R1.
  • Phase difference pixels B * are provided every four pixels.
  • the phase difference pixel B2 * is provided in the line of the pixel array of B2G2B2G2.
  • phase difference pixels G * , R * , and B * a pixel light-shielding portion is formed, and when the camera 1 is placed horizontally, the light shielding member shields the left half of the light-receiving surface of the photodiode PD of the pixel.
  • the imaging lens 12 that focuses the subject image on the CCD 16 is in focus, the image signal from the phase difference pixels G * , R * , B * of the odd line A and the phase difference pixel G of the even line B
  • the image signals from * , R * , and B * match. If the focusing point is in front of or behind the light receiving surface of the CCD 16, a phase difference is generated between these image signals. Then, the phase shift direction is reversed between the case where the image formation point is before and the case where the image formation point is after.
  • FIG. 3 is a diagram showing the imaging lens 12, the diaphragm 14, and the phase difference pixels of the CCD 16 in FIG. 2 (A), and FIG. 4 is an enlarged view of the main part of FIG.
  • the light beam passing through the exit pupil enters the normal CCD pixel (photodiode PD) through the microlens L without being restricted.
  • a light shielding member 16A is formed in the phase difference pixel of the CCD 16.
  • the right half or the left half of the light receiving surface of the phase difference pixel (photodiode PD) is shielded by the light shielding member 16A.
  • the upper half or the lower half of the light receiving surface of the phase difference pixel (photodiode PD) is shielded by the light shielding member 16A.
  • the opening 16B of the light shielding member 16A is located at a position displaced by a predetermined amount ⁇ from the optical axis Ic of the micro lens L to the right, left, upper, or lower direction (for example, leftward from the optical axis in the part of FIG. 4B). Is provided.
  • the light beam passes through the opening 16B and reaches the light receiving surface of the photodiode PD. That is, the light shielding member 16A functions as a pupil division member.
  • the odd-numbered-phase phase difference pixels and the even-numbered-phase phase difference pixels have different regions (right half / left half or upper half / lower half) where the luminous flux is restricted by the light shielding member 16A.
  • the even-numbered phase difference pixel limits the left half of the luminous flux
  • the odd-numbered phase retardation pixel limits the right half of the luminous flux
  • the upper half of the luminous flux is limited in the even-line phase difference pixels
  • the lower half of the luminous flux is restricted in the odd-line phase difference pixels.
  • the above viewpoint image is obtained from the phase difference pixel.
  • the outputs of the first pixel (left viewpoint pixel) and the second pixel (right viewpoint pixel) are out of phase or out of phase depending on the state of the rear pin, the focus, and the front pin. Match. Since the phase difference between the output signals of the odd-numbered and even-numbered phase difference pixels corresponds to the defocus amount of the imaging lens 12, AF control of the imaging lens 12 can be performed by detecting this phase difference (phase difference AF). ).
  • the signal charge accumulated in the CCD 16 is read out as a voltage signal corresponding to the signal charge based on the readout signal applied from the CCD control unit 32.
  • the voltage signal read from the CCD 16 is applied to the analog signal processing unit 18 where the R, G, and B signals for each pixel are sampled and held, amplified, and then applied to the A / D converter 20.
  • the A / D converter 20 converts R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 22.
  • the digital signal processing unit 24 performs predetermined processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, YC processing, etc., on the digital image signal input via the image input controller 22. Perform signal processing.
  • predetermined processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, YC processing, etc.
  • the image data read from the phase difference pixels of the odd lines of the CCD 16 is processed as left viewpoint image data and read from the phase difference pixels of the even lines.
  • the processed image data is processed as right viewpoint image data.
  • the left viewpoint image data and right viewpoint image data (3D image data) processed by the digital signal processing unit 24 are input to the VRAM 50.
  • the VRAM 50 includes an A area and a B area each storing 3D image data representing a 3D image for one frame.
  • 3D image data representing a 3D image for one frame is rewritten alternately in the A area and the B area.
  • the written 3D image data is read from an area other than the area in which the 3D image data is rewritten in the A area and the B area of the VRAM 50.
  • the 3D image data read from the VRAM 50 is encoded by the video encoder 28 and output to a stereoscopic display liquid crystal monitor (LCD) 30 provided on the back of the camera, whereby a 3D subject image is displayed on the display screen of the LCD 30. Displayed above.
  • LCD liquid crystal monitor
  • the LCD 30 is a stereoscopic display means capable of displaying stereoscopic images (left viewpoint image and right viewpoint image) as directional images having predetermined directivities by a parallax barrier.
  • the 3D display method of the LCD 30 is not limited to this, and the left viewpoint image and the right viewpoint image can be individually viewed by using a lenticular lens or special glasses such as polarized glasses or liquid crystal shutter glasses. It may be a thing.
  • the CPU 40 starts the AF operation and the AE operation, and the focus lens in the imaging lens 12 is aligned via the lens driving unit 36. Control to come to the focal position.
  • the image data output from the A / D converter 20 when the shutter button is half-pressed is taken into the AE detection unit 44.
  • the AE detection unit 44 integrates the G signals of the entire screen or integrates the G signals that are weighted differently in the central portion and the peripheral portion of the screen, and outputs the integrated value to the CPU 40.
  • the CPU 40 calculates the brightness of the subject (shooting Ev value) from the integrated value input from the AE detection unit 44, and the aperture value of the diaphragm 14 and the electronic shutter (shutter) of the CCD 16 that can obtain appropriate exposure based on this shooting Ev value. (Speed) is determined according to a predetermined program diagram, the aperture 14 is controlled via the aperture drive unit 34 based on the determined aperture value (planar image aperture control), and CCD control is performed based on the determined shutter speed. The charge accumulation time in the CCD 16 is controlled via the unit 32. Note that the brightness of the subject may be calculated based on an external photometric sensor.
  • the predetermined program diagram corresponds to the brightness of the subject (shooting EV value), and is a combination of the aperture value of the diaphragm 14 and the shutter speed of the CCD 16 or a combination of these and the shooting sensitivity (ISO sensitivity). )
  • the conditions are designed.
  • the F value of the aperture is increased, the parallax becomes weaker, and if the F value is fixed at a constant small value, the parallax becomes stronger.
  • FIG. On the other hand, if the F value is fixed at a constant large value, it is possible to capture an image that is in focus throughout the entire image. In this embodiment, in order to obtain a pair of images having parallax and simultaneously obtain a planar image, the F value is fixed at a constant small value (a parallax priority program diagram).
  • the F value is fixed at a constant small value.
  • the AF processing unit 42 is a part that performs contrast AF processing or phase difference AF processing.
  • contrast AF processing high-frequency components of image data within a predetermined focus area (such as a rectangular area in the center of the screen) of at least one of left viewpoint image data and right viewpoint image data are extracted.
  • the AF evaluation value indicating the in-focus state is calculated by integrating the high frequency component.
  • the AF control is performed by controlling the focus lens in the imaging lens 12 so that the AF evaluation value is maximized.
  • the phase difference between the phase difference pixels in the predetermined focus area of the left viewpoint image data and the right viewpoint image data is detected, and based on the information indicating the phase difference. Find the defocus amount.
  • AF control is performed by controlling the focus lens in the imaging lens 12 so that the defocus amount becomes zero.
  • the two pieces of image data temporarily stored in the memory 48 are appropriately read out by the digital signal processing unit 24, and a predetermined signal including generation processing (YC processing) of luminance data and color difference data of the image data is performed here. Processing is performed.
  • the YC processed image data (YC data) is stored in the memory 48 again. Subsequently, the two pieces of YC data are respectively output to the compression / decompression processing unit 26 and subjected to predetermined compression processing such as JPEG (joint photographic experts group), and then stored in the memory 48 again.
  • predetermined compression processing such as JPEG (joint photographic experts group
  • a multi-picture file (MP file: a file in a format in which a plurality of images are connected) is generated from two pieces of YC data (compressed data) stored in the memory 48, and the MP file is generated by the media controller 52. It is read and recorded in the memory card 54.
  • MP file a file in a format in which a plurality of images are connected
  • the defocus map creation unit 61 calculates the phase difference between the corresponding phase difference pixels between the odd lines and the even lines.
  • the defocus map creation unit 61 obtains a defocus amount based on the phase difference calculated for each of the phase difference pixels.
  • a set of defocus amounts corresponding to each of the corresponding phase difference pixels is referred to as a defocus map.
  • the defocus map creation unit 61 has a volatile storage medium such as a RAM, and temporarily stores the obtained defocus map.
  • the defocus map creation unit 61 may detect corresponding points between the respective phase difference pixels in the stereo matching processing unit 83 and create a defocus map based on a difference in position information between the corresponding points.
  • the defocus map creation unit 61 also applies to the non-phase difference pixels that are pixels from which the corresponding points are not originally obtained and the pixels from which the corresponding points are not obtained from the defocus amounts obtained between the phase difference pixels. Find the defocus amount. That is, a dense defocus map can be obtained by performing the interpolation process using the defocus amount of the phase difference pixel in the vicinity of the non-phase difference pixel. Pixels used for interpolation of the defocus amount of a certain non-phase difference pixel are neighboring pixels of the same color.
  • the restoration filter storage unit 62 is configured by a nonvolatile storage medium such as a ROM, and the image height (distance from the image center, typically the optical axis center L of the imaging lens 12) of each small region in each viewpoint image. And a restoration filter corresponding to the defocus amount (or subject distance).
  • the restoration unit 63 deconvolves the small area with the restoration filter selected for each small area of each viewpoint image, and restores the corresponding small area of the viewpoint image.
  • the blur of the optical system in particular, the blur of the image corresponding to the peripheral pixels on the light receiving surface in which the unbalanced incidence of the light flux occurs is removed.
  • the stereo matching processing unit (object detection means) 83 detects one or more corresponding points (objects) corresponding to each other between the two image data A and B stored in the memory 48 at the same timing.
  • a processing method in the stereo matching processing unit 83 a known technique using a region-based method, a segment-based method, an isoluminance line method, or the like can be used. Further, the stereo matching may be passive or active. In addition, stereo matching between images having different numbers of pixels can be performed based on known techniques such as Patent Documents 3 and 7 to 11.
  • the distance calculation unit 84 calculates the three-dimensional coordinate value (distance information) of the corresponding point detected by the stereo matching processing unit 83 described above.
  • a calculation method of the distance information in the distance calculation unit 84 a known technique for calculation based on the principle of triangulation can be used.
  • the stereo matching processing unit 83 and the distance calculation unit 84 may be configured by a program, or may be configured by an IC, an LSI, or the like.
  • a disparity map (a reference viewpoint image, for example, the image data A to another viewpoint image, for example, a disparity amount from a corresponding point to the image data B, representing another viewpoint image) is a distance information or a defocus map.
  • the following distance information and defocus map processing can also be performed for a parallax map.
  • the distance information to the subject, the defocus map, or the parallax map is comprehensively referred to as parallax information.
  • the calculation of the parallax information can be performed not by the camera 1 but by another information processing apparatus such as a personal computer and its control program.
  • the acquisition pixel of the first image data and the acquisition pixel of the second image data may or may not have the same configuration.
  • the first image data has color information and luminance information, but the second image data may have only luminance information.
  • the second pixel may be a monochrome CCD that can receive an infrared region, and active stereo matching using infrared light as in Patent Document 7 may be employed.
  • both the first image data and the second image data include at least luminance information.
  • both the first image data and the second image data include color information.
  • both the first image data and the second image data include luminance information and color information.
  • the 3D image processing unit 85 can generate a 3D image from a set of viewpoint images acquired from the CCD 16. This is the same as in Patent Document 2. Note that three-dimensional image generation from parallax information can be performed based on known techniques such as Patent Documents 7 to 11. The three-dimensional image is generated when the shooting mode is set to “3D still image recording”, and a three-dimensional image having a desired amount of parallax is displayed on the LCD 30.
  • the parallax amount of the 3D image generated by the 3D image processing unit 45 may be a fixed value or an arbitrary set value.
  • the blur processing unit 86 performs low-pass filter processing to remove image signal components having a predetermined frequency or higher.
  • FIG. 5 shows a flowchart of 2D / 3D simultaneous imaging processing according to the first preferred embodiment of the present invention. This process is started in response to the shooting mode being set to “2D / 3D simultaneous recording”. This process is defined in a program executed by the CPU 40, and the program is stored in a memory (ROM) 48 or the like.
  • ROM memory
  • the CPU 40 determines whether or not the shutter button of the operation unit 38 has been pressed (half-pressed) in the first stage. In the case of Yes, it progresses to S2, and in the case of No, the said determination is repeated. Meanwhile, the image acquired from the CCD 16 can be displayed on the LCD 30 as a 2D or 3D through image. Whether the 2D or 3D through image is displayed may be arbitrarily selected by the operation unit 38.
  • the CPU 40 determines the aperture value X and the shutter speed according to the parallax priority program diagram in response to the shooting mode being set to “2D / 3D simultaneous recording”.
  • the CPU 40 determines whether or not the shutter button of the operation unit 38 has been pressed in the second stage (full press). If Yes, the process proceeds to S4. If No, the determination is repeated. Meanwhile, the image acquired from the CCD 16 can be displayed on the LCD 30 as a 2D or 3D through image.
  • the CPU 40 controls the aperture 14 via the aperture drive unit 34 based on the aperture value X determined in S2 (parallax priority aperture control), and via the CCD control unit 32 based on the determined shutter speed.
  • the charge accumulation time in the CCD 16 is controlled.
  • left and right image data A and B (a set of viewpoint images) having parallax for the parallax pixel R * G * B * and no parallax for the other pixels are acquired from the CCD 16.
  • the CPU 40 stores the left and right image data A and B in the VRAM 50 as 3D image data.
  • the CPU 40 adds the image signal for each of the two pixels corresponding to the same luminous flux divided in the pupil for the left and right image data A and B. Thereby, a high-resolution 2D image is generated.
  • the CPU 40 stores the added image signal in the VRAM 50 as 2D image data.
  • the 2D image data may be one of those displayed as a 2D postview image on the LCD 30 or may be different from the 2D postview image.
  • the CPU 40 causes the stereo matching processing unit 83 and the distance calculation unit 84 to calculate stereo matching and distance information (parallax information).
  • the stereo matching processing unit 83 performs stereo matching based on the 3D image data A and B acquired in S3.
  • the distance calculation unit 84 calculates distance information for each corresponding point detected by the stereo matching processing unit 83. Subsequently, for the points (pixels) for which the corresponding points between the image data A and B are not originally obtained from the distance information calculated in this way, and for the uncorresponding points (pixels) for which no corresponding points have been obtained. Also seek distance information. This can be realized by interpolation processing using already calculated disparity information in the same manner as in Patent Document 15. Thereby, a dense distribution of parallax information corresponding to each pixel of the 2D image data is obtained.
  • the blurring processing unit 86 determines the blurring target pixel of the 2D image data based on the distance information (parallax information) for each pixel calculated in S5. Details of the blur target pixel determination will be described later.
  • the restoration unit 63 adjusts the parallax (defocus amount) to 0 for each pixel of the 2D image data other than the blurring target pixel.
  • the method of adjusting the parallax can be performed by a known technique such as Patent Document 2 and Patent Document 15. Thereby, the blur between corresponding pixels of pixels other than the blurring target pixel is restored.
  • the blurring processing unit 86 performs a blurring process on the determined target pixel for the blurring process. Details of the blurring process will be described later.
  • the CPU 40 compresses and records the 2D image data after the processing in S7 on the memory card 54.
  • the CPU 40 can also compress and record 3D image data and parallax information in the memory card 54 together with the 2D image data or independently of the 2D image data.
  • the information processing apparatus such as the camera 1 or the personal computer reads the 2D image data and the parallax information from the memory card 54, and associates them with the read 2D image data. Based on the obtained parallax information, the same blurring process as the blurring processing unit 86 described below can be performed.
  • the video encoder 28 can display a 3D image in which the parallax is adjusted to a desired range (strong, normal, or weak) from the 3D image data and the parallax information on the LCD 30.
  • the parallax adjustment according to the visual condition is as in the known art. For example, as in Patent Document 16, the parallax is adjusted based on the horizontal width size and viewing distance of the LCD 30.
  • the determination of the pixel to be blurred in S6 is automatically performed. However, in addition to this, it may be determined based on a user operation. For example, the following pixels are determined as the target of the blurring process.
  • the blur processing unit 86 refers to the distance information of each pixel, and a distant view pixel (for example, a subject image pixel of 5 m or more) farther than a predetermined first distance or a predetermined second distance.
  • a small foreground pixel (for example, a subject image pixel of 50 cm or less) is determined as a blur target pixel.
  • the blurring processing unit 86 refers to the parallax map of each pixel, and determines a pixel that constitutes a corresponding point where the amount of parallax between corresponding points is equal to or greater than a predetermined value (for example, two pixels) as a blurring target pixel. To do.
  • a predetermined value for example, two pixels
  • Example 3 In addition to Example 1 and / or Example 2, the blurring processing unit 86 extracts contour information (high-frequency component of an image signal) from 2D image data, and defines pixels constituting a background region that is outside the contour component. The pixel to be blurred is determined. In addition, when the edge component of the subject exists in the vicinity of the phase difference pixel, there is a possibility that the contour information is not accurately extracted. Therefore, it is desirable that the phase difference pixels are arranged discretely.
  • contour information high-frequency component of an image signal
  • Example 4 In addition to Example 1, Example 2 and / or Example 3, the blurring processing unit 86 determines each pixel included in the region designated by the user operation as a blurring target pixel.
  • the degree of the blurring process in S7 may be determined based on a user operation or may be automatically determined.
  • the blur processing unit 86 sets the parallax amount between corresponding points of the blur target pixel to ⁇ , and when the blur is specified, sets the parallax amount to ⁇ , When the blur weakness is designated, the parallax amount is set to ⁇ .
  • the blur processing unit 86 may change the degree of blur according to the amount of parallax indicated by the parallax map. That is, if the amount of parallax between certain corresponding points is large, the degree of blurring of those corresponding points is increased with a low-pass filter or the like accordingly.
  • the camera 1 captures a set of viewpoint images by aperture control with parallax priority, obtains parallax information from the set of viewpoint images, and performs a blurring process on the 2D image based on the parallax information. A part is determined, and a blurring process is performed on the part.
  • the pupil-division imaging device it is possible to simultaneously obtain a planar image and a parallax image in which an appropriate position is blurred according to the parallax information indicating the perspective of the subject and the magnitude of the parallax amount.
  • shooting since shooting is performed on the open side, it is possible to capture images even in dark scenes and high shooting sensitivity.
  • the arrangement of the phase difference pixels is not limited to that shown in FIG. 2, and various types can be adopted.
  • the first pair A1 and B1 of the odd-numbered and even-numbered lines are set as phase difference pixels every four pixels, and the next pair of G pixels of the lines A2 and B2 are not set as phase difference pixels.
  • the pixels are phase difference pixels every four pixels. This is repeated in the same manner, and every other phase difference pixel G is arranged for each pair of lines AB.
  • the pixels used for the interpolation of the defocus amount of the G pixel which is the non-phase difference G pixel are the phase difference G pixels of the same color in the vicinity.
  • the pixel used for interpolation of the defocus amount of the BG pixel of the non-phase difference pixel is the neighboring phase difference pixel G.
  • a phase difference pixel is arranged for every four pixels for all the R, G, and B pixels in the odd and even lines.
  • the distribution range of the phase difference pixels may be local, such as the area near the center of the screen or the area other than the periphery of the screen, instead of the entire effective pixels.
  • the number of pitches between the phase difference pixels is not limited to 4 pixels, and may be more or less.
  • the number of pitches between the phase difference pixels is 4, the normal pixel RGB exists between the phase difference pixels, and the image signal of the phase difference pixel can be interpolated by the surrounding normal pixels, so the pitch of 4 pixels is optimal. It is.
  • phase difference pixels may be arranged at a pitch of 4 pixels in both the vertical direction and the horizontal direction.
  • the lines A3, B3, A4, and B4 have a normal pixel arrangement, and the lines A5, B5, A6, and B6 that are vertically separated from the lines A1, B1, A2, and B2 by the line A1, B5, A6, and B6 are the lines A1 in FIG. , B1, A2, and B2, phase difference pixels G * , R * , and B * are arranged at a distance of 4 pixels in the horizontal direction.
  • the phase difference pixels of the horizontal lines in FIGS. 6 and 7 may be arranged for each line separated by 4 pixels in the vertical direction.
  • phase difference for each color can be accurately detected. Further, if the number of pitches between the phase difference pixels is increased, the phase difference interpolation processing is reduced accordingly, and the phase difference between corresponding points can be accurately detected.
  • phase difference pixels since the increase in the phase difference pixels may affect the image quality of the 2D image, it is desirable to determine the arrangement of the phase difference pixels in consideration of both the image quality of the 2D / 3D image.
  • the CCD 16 having the above configuration is configured such that the regions (right half and left half) in which the light flux is restricted by the light shielding member 16A are different in the phase difference pixels of the odd and even lines.
  • the microlens L and the photodiode PD may be shifted relative to each other in the left-right direction, and the light flux incident on the photodiode PD may be limited by the shifting direction.
  • the light beam incident on each pixel may be limited (for example, FIG. 9), or the pupil is divided by a mirror ( For example, FIG.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

　カメラ１は、位相差画素Ｇ＊、Ｒ＊、Ｂ＊が離散的に配置されたＣＣＤ１６を有し、視差優先の開放絞り制御で視点画像の組を撮像し、該視点画像の組から視差情報を得た上、該視差情報に基づいて該２Ｄ画像にぼかし処理を施す箇所を決定し、その箇所にぼかし処理を施す。こうすれば、瞳分割方式の撮像装置において、被写体の遠近や視差量の大小などを示した視差情報に応じ、適切な位置にぼかしを加えた平面画像と視差画像を同時に得ることができる。

Description

撮像装置及び撮像方法
　本発明は、撮影レンズの２以上の方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する撮像装置及び撮像方法に関する。特に本発明は、視差を有する立体画像と平面画像を同時に撮像する撮像装置及び撮像方法に関する。
　従来、特に撮影レンズの２方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する立体撮像装置が存在する。
　図１０に示す光学系は、メインレンズ１及びリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。
　図１１（Ａ）部分～（Ｃ）部分は、それぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。なお、図１１では、フォーカスによる分離の違いを比較するために、図１０に示したミラー４を省略している。
　図１１（Ｂ）部分に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１１（Ａ）部分及び（Ｃ）部分に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。
　従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視点の異なる左視点画像及び右視点画像（３Ｄ画像）を取得することができる。
　特許文献１によると、電子カメラは、撮像部と、光量分布検出部と、像ズレ量検出部と、画像処理部とを有する。撮像部は撮影光学系による被写体像を光電変換して撮影画像データを生成する。光量分布検出部は、異なる光路を通った被写体からの光束による光量分布をそれぞれ検出する。像ズレ量検出部は光量分布に基づいて撮影画面内の複数箇所における像ズレ量を検出する。画像処理部は複数箇所の像ズレ量に基づいて、撮影画像データにおける被写体の位置関係を水平方向に変化させてステレオグラム画像データを生成する。また、入力部からの入力に基づいて、ステレオグラム画像データにおける被写体の位置関係を水平方向に変化させてステレオグラム画像データを補正する。ステレオグラム画像データを補正することができるので、ユーザにとって違和感がより少ない自然なステレオグラム画像を得ることが可能となる。
　特許文献２は、左右２台のカメラの撮影した左目画像、右目画像に対して、左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素ごとのマッチング画像を特定し、左右の画素ごとのマッチング画像間で画素間距離の内挿によって中間位置画像を求め、左右の画素ごとのマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める多眼視画像作成方法を開示する。
　特許文献３において、ステレオマッチング処理部（対象物検出手段）は、画像処理部によってそれぞれ処理され、メモリ部に格納された２つの画像データＡ、Ｂにおける、上述の空間設定部によって設定された検索空間に対して、互いに対応する１つ以上の対応点（対象物）を検出する。距離算出部（位置算出手段）は、上述したステレオマッチング処理部によって検出された対応点の３次元座標値（位置情報）を算出する。撮影部及び撮影部の撮影レンズの構成は異なり、撮影レンズは、ズームレンズ及び該ズームレンズを駆動する図示しないズームレンズ駆動部（駆動手段）を備え、撮影レンズは、撮影レンズのズームレンズの広角端と等しい画角の固定焦点レンズを備える。このような構成にすることによりコストを低減する。
　特許文献４～６は単一の光学系を用いた３次元画像生成技術の一例である。例えば特許文献４では、多数の画素を同一撮像面上に配列し、該撮像面に結像された被写体像を光電変換して画像信号を生成する固体撮像素子において、上記多数の画素を２つのグループに区分けし、各グループにおける画素の受光入射角度をそれぞれ異ならせてなることを特徴とする固体撮像素子が開示されている。
　特許文献７～１１は、異なる視点画像間の対応点検索の方法、ステレオマッチングで奥行き情報を取得する技術、２次元画像と距離情報（奥行き情報）を用いた３次元画像生成技術の一例である。
　特許文献１２は、主要被写体だけに焦点を合わせ、主要被写体以外の他の部分を意図的にぼかすため、予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得て、複数の画像を合成することで、ぼけ強調画像を得ることができる。
　特許文献１３は、撮影しようとする画像を複数のエリアに区分けし、主要被写体の前景又は背景となるエリアについては、エリアの距離に対応する焦点位置からずらして撮像を行う。そして、撮像された各エリアごとの撮像画像から各エリアの画像を個別に抽出し、これらを合成することにより、１枚の画像を作成する。これにより、好みのボケ量の画像を簡単に撮影することができる。
　特許文献１４は視差マップ作成方法の一例を示す。
　特許文献１５では、視差値分布画像の視差値を線形的あるいは非線形に変換することにより、視差値の調整を行い、立体画像の設計条件、すなわち、「最大飛び出し量と最大沈み込み量がある最大視差範囲内に収めつつ、有効に使う視点を取る。」及び「画像内の主被写***置の視差をできるだけ０にする」を同時に満たし、最大視差値範囲を有効に利用するような多眼立体画像のデプス値構成へと変更を行う。修正された視差値分布画像、及び、視点位置、つまり視点位置に対応する入力左右ステレオ画像対の視差に対する各画像の比率ｒ、を用いて各視点位置の仮想視点画像が生成され、全画素有効な新規視点画像が生成される。この処理を視点数分繰り返して、多視点画像シーケンスとする。多視点画像シーケンスから３次元ストライプ画像を合成する。このとき、多視点画像シーケンス中の各画像の同一座標の画素を画像の視点配置に従い、隣接画素として配列するように３次元画像を合成する。合成はそれぞれの視点の画像を垂直方向に１ラインごとに短冊状に分解し、視点位置の逆順に視点数分だけ合成する。ここで、視点位置の配列順を逆順にするのはレンチキュラ板により観察する際、レンチキュラの１ピッチ内で画像が左右逆に観察されるためである。この処理により印刷した画像にレンチキュラ板を重ね合わせると良好な立体画像が観察できる。
　特許文献１６に係る３Ｄ画像出力装置は、３Ｄディスプレイの画面サイズ又は視距離に応じて視差調整パラメータを選択し、各特徴点における視差量を選択した変換テーブルにより変換し、変換後の視差量に対応する視差画像を生成し、生成した視差画像を含む複数の視差画像を表示デバイスに出力する。視距離は、３Ｄディスプレイ又はその近傍に配設した測距手段により自動的に取得されるか、マニュアル入力される。３Ｄ画像出力装置は、種々の画面サイズを有する立体表示デバイス、立体表示プリントを生成するプリンタ等に視差画像を出力する。
特開2007-104248号公報 特開2009-124308号公報 特開2008-92007号公報、段落００４７－００４８、００７１ 特開2003-7994号公報 特開2001-12916号公報 特開2001-016611号公報 特開平08-331607号公報 特開2008-141666号公報 特開2009-14445号公報 特開2008-116309号公報 特開2000-102040号公報 特開2008-271241号公報 特開2003-209727号公報 特開2010-226500号公報 特開2003-209858号公報 特開2010-206774号公報
　特許文献４～６のような、画像結像手段の異なる瞳位置を通過した画像情報を選択的に取得することで視差画像を撮像して立体画像を生成する瞳分割式立体撮像装置においては、合焦位置の視差が０となり、非合焦位置ではボケ（デフォーカス量）に応じた視差が生じる。
　そのため、上記立体撮像装置で、ボケのない平面画像を得るためには、絞りを絞って焦点深度を深くし、撮影を行う必要がある。しかし、絞りを絞って撮影すると、主要被写体に対して前景や背景をぼかすことができない。瞳分割式立体撮像装置では、クリアな平面画像を得るために、絞りを絞って撮影するため、絵づくりに制約がある。
　本発明は、主要被写体に対して前景及び背景などの所望の部分をぼかした平面画像と立体画像を同時に得ることのできる瞳分割式立体撮像装置、ならびに瞳分割式立体撮像装置において上記平面画像と立体画像を同時に撮像する方法を提供する。
　本発明の第１態様は、撮影レンズにより結像される被写体像を光電変換素子群により光電変換して第１の画像信号を出力する第１の画素と、第１の画素の間に離散的に配置され、撮影レンズの瞳領域を分割して、分割された瞳領域からの複数の被写体像をそれぞれ光電変換素子群により光電変換して位相差を有する第２の画像信号を出力する第２の画素とを有する撮像部と、撮像部が第１の画像信号と第２の画像信号とを同時に撮像するよう制御する撮像制御部と、撮像部から出力された第２の画像信号に基づいて視差情報を算出する視差情報算出部と、撮像部から出力された第１の画像信号に基づいて平面画像を作成する平面画像作成部と、視差情報算出部の算出した視差情報に従い、平面画像のぼかし処理を施す対象画素を決定し、平面画像の対象画素にぼかし処理を施すぼかし処理部と、を備える撮像装置を提供する。
　本発明の第２態様は、第１の画像信号と視差情報とを関連づけて記録する記録部を備え、ぼかし処理部は、記録部が第１の画像信号に関連付けて記録した視差情報に従い、平面画像のぼかし処理を施す対象画素を決定し、平面画像の対象画素にぼかし処理を施す撮像装置を提供する。
　本発明の第３態様は、視差情報は、視点画像の組の対応点間の視差量を表す視差マップを含み、ぼかし処理部は、対応点間の視差量が所定の値以上となる対応点を構成する画素を、ぼかし処理を施す対象画素に決定し、対象画素にぼかし処理を施す撮像装置を提供する。
　本発明の第４態様は、少なくとも第１の画像信号から輪郭情報を抽出する輪郭情報抽出部を備え、ぼかし処理部は、輪郭情報抽出部の抽出した輪郭情報に基づいて、ぼかし処理を施す対象画素を決定し、対象画素にぼかし処理を施す撮像装置を提供する。
　本発明の第５態様は、視差情報は、各画素の距離情報を含み、ぼかし処理部は、距離情報が所定の第１の距離よりも遠い遠景の画素及び／又は距離情報が所定の第２の距離よりも小さい近景の画素を平面画像のぼかし処理を施す対象画素に決定し、対象画素にぼかし処理を施す撮像装置を提供する。
　本発明の第６態様は、ぼかし処理部は、ユーザ操作により指定された領域を構成する画素を平面画像のぼかし処理を施す対象画素に決定し、対象画素にぼかし処理を施す撮像装置を提供する。
　本発明の第７態様は、視差情報は、視点画像の組の対応点間の視差量を表す視差マップを含み、ぼかし処理部は、対応点間の視差量に応じた程度のぼかし処理を各対応点を構成する画素に施す撮像装置を提供する。
　本発明の第８態様は、ぼかし処理部は、ユーザ操作により指定された程度のぼかし処理を対象画素に施す撮像装置を提供する。
　本発明の第９態様は、位相差画素は、所定の配列の１又は複数のカラーフィルタに対応する画素群において所定の間隔ごとに配置されている撮像装置を提供する。
　本発明の第１０態様は、位相差画素は、ベイヤー配列された緑、赤又は青のカラーフィルタに対応する画素群において所定の間隔ごとに配置されている撮像装置を提供する。
　本発明の第１１態様は、撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、撮像部から出力される第２の画像信号の位相差が得られるよう絞り部の開放量を制御する絞り制御部と、を備える撮像装置を提供する。
　本発明の第１２態様は、撮影レンズにより結像される被写体像を光電変換素子群により光電変換して第１の画像信号を出力する第１の画素と、第１の画素の間に離散的に配置され、撮影レンズの瞳領域を分割して、分割された瞳領域からの複数の被写体像をそれぞれ光電変換素子群により光電変換して位相差を有する第２の画像信号を出力する第２の画素とを有する撮像部を備える撮像装置が、撮像部が第１の画像信号と第２の画像信号とを同時に撮像するよう制御するステップと、撮像部から出力された第２の画像信号に基づいて視差情報を算出するステップと、撮像部から出力された第１の画像信号に基づいて平面画像を作成するステップと、算出した視差情報に従い、平面画像のぼかし処理を施す対象画素を決定し、平面画像の対象画素にぼかし処理を施すステップと、を実行する撮像方法を提供する。
　この発明によると、同時に出力された第１の画像信号と第２の画像信号のうち、第１の画像信号からは平面画像が生成されるとともに、第２の画像信号に基づいて視差情報が算出される。そして、算出した視差情報に従い、平面画像のぼかし処理を施す対象画素を決定し、平面画像の対象画素にぼかし処理が施される。こうすれば、瞳分割方式の撮像装置において、被写体の遠近や視差量の大小などを示した視差情報に応じ、適切な位置にぼかしを加えることができる。また、視差を有する立体画像と平面画像とを１度の撮影で同時に得ることができる。
第１実施形態に係るカメラのブロック図 第１実施形態に係る瞳分割視差画像取得撮像素子ＣＣＤの構成例を示す図 第１、第２画素の１画素ずつを示した図 図３の要部拡大図 ２Ｄ／３Ｄ同時撮像処理のフローチャート 第２実施形態に係る瞳分割視差画像取得撮像素子ＣＣＤ（Ｇ＊画素）の構成例を示す図 第２実施形態に係る瞳分割視差画像取得撮像素子ＣＣＤ（Ｒ＊，Ｇ＊，Ｂ＊画素）の構成例を示す図 第２実施形態に係る瞳分割視差画像取得撮像素子ＣＣＤ（垂直・水平４ピッチのＲ＊，Ｇ＊，Ｂ＊画素）の構成例を示す図 第３実施形態に係る瞳分割視差画像取得撮像素子ＣＣＤ（マイクロレンズ）の構成例を示す図 従来の単眼立体撮像装置の一例を示す図 撮像素子に結像する像の分離状態を示す図
　＜第１実施形態＞
　図１は第１実施形態に係るカメラ１の実施の形態を示すブロック図である。
　このカメラ１は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
　カメラ１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいてカメラ１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ（ＬＣＤ）３０の表示制御などを行う。
　ＲＯＭ１０には、ＣＰＵ４０が実行するプログラム及び制御に必要な各種データ、ＣＣＤ１６の画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。
　シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードのいずれかを選択する選択手段である。
　再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画をＬＣＤ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、ＬＣＤ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
　撮影モード時において、被写体を示す画像光は、撮像レンズ１２、絞り１４を介して瞳分割視差画像を取得可能な位相差イメージセンサである固体撮像素子（以下、「ＣＣＤ」というが、ＣＭＯＳ等でも可）１６の受光面に結像される。撮像レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム（焦点距離）制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値（Ｆ値）Ｆ2.8 ～Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。
　また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。
　＜ＣＣＤの構成例＞
　図２はＣＣＤ１６の構成例を示す図である。
　図２（Ａ）部分に示すように、ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインＡ１、Ａ２…からなるラインＡの画素と、偶数ラインＢ１、Ｂ２…からなるラインＢの画素とを有しており、これらの２つのラインＡ・Ｂの画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。各画素群に対応する複数の受光素子は、有効な撮像信号を得るための有効画素領域と、黒レベルの基準信号を得るためのオプティカルブラック領域（以下「ＯＢ領域」という）とを形成する。ＯＢ領域は、実際には、有効画素領域の周囲を取り囲むように形成される。
　図２（Ｂ）部分に示すように、ＣＣＤ１６の奇数ラインＡには、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられる。奇数ラインＡ全体としてのカラーフィルタの色配列は、一方向に「Ｇ」と「Ｂ」を繰り返し、それと直交する方向に「Ｇ」と「Ｒ」を繰り返した、いわゆるベイヤー配列となっている。
　ＧＲＧＲ…の画素配列のラインには、４画素置きに位相差画素Ｇ＊、Ｒ＊が設けられている。例えば、Ｇ１Ｒ１Ｇ１Ｒ１…の画素配列のラインには、位相差画素Ｇ１＊、Ｒ１＊が設けられている。
　ＢＧＢＧ…の画素配列のラインには、４画素置きに位相差画素が設けられている。例えば、Ｂ２Ｇ２Ｂ２Ｇ２…の画素配列のラインには、位相差画素Ｂ＊２が設けられている。
　位相差画素Ｇ＊、Ｒ＊、Ｂ＊には、画素遮光部が形成され、カメラ１を横置きにして撮像する場合、この遮光部材により画素のフォトダイオードＰＤの受光面の右半分が遮光される。
　一方、図２（Ｃ）部分に示すように、ＣＣＤ１６の偶数ラインＢの画素は、奇数ラインＡと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、奇数ラインＡの画素に対して画素同士が２分の１ピッチだけライン方向右にずれて配置されている。偶数ラインＢ全体としてのカラーフィルタの色配列は、いわゆるベイヤー配列となっている。ＣＣＤ１６のカラーフィルタの配列は、全体としてベイヤー配列を２つ組み合わせた色配列であることから、ダブルベイヤー配列とも称される。
　ＧＲＧＲ…の画素配列のラインには、４画素置きに位相差画素Ｇ＊、Ｒ＊が設けられている。例えば、Ｇ１Ｒ１Ｇ１Ｒ１…の画素配列のラインには、位相差画素Ｇ１＊、Ｒ１＊が設けられている。
　ＢＧＢＧ…の画素配列のラインには、４画素置きに位相差画素Ｂ＊が設けられている。例えば、Ｂ２Ｇ２Ｂ２Ｇ２…の画素配列のラインには、位相差画素Ｂ２＊が設けられている。
　位相差画素Ｇ＊、Ｒ＊、Ｂ＊には、画素遮光部が形成され、カメラ１を横置きにして撮像する場合、この遮光部材により画素のフォトダイオードＰＤの受光面の左半分が遮光される。
　ＣＣＤ１６に被写体像を結像する撮像レンズ１２のピントがあっているのであれば、奇数ラインＡの位相差画素Ｇ＊、Ｒ＊、Ｂ＊からの像信号と、偶数ラインＢの位相差画素Ｇ＊、Ｒ＊、Ｂ＊からの像信号は一致する。もし、ピントを結ぶ点がＣＣＤ１６の受光面よりも前方か後方にあるならば、これらの像信号の間に位相差が生じる。そして、結像点が前の場合と後の場合では位相のずれ方向が逆になる。
　図３は、撮像レンズ１２、絞り１４、及び図２（Ａ）部分のＣＣＤ１６の位相差画素を示した図であり、図４は図３の要部拡大図である。
　図４（Ａ）部分に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。
　これに対し、図４（Ｂ）部分に示すようにＣＣＤ１６の位相差画素には遮光部材１６Ａが形成される。カメラ１を横置きにして撮像する場合、この遮光部材１６Ａにより位相差画素（フォトダイオードＰＤ）の受光面の右半分又は左半分が遮光される。あるいは、カメラ１を縦置きにして撮像する場合、この遮光部材１６Ａにより位相差画素（フォトダイオードＰＤ）の受光面の上半分又は下半分が遮光される。マイクロレンズＬの光軸Ｉｃから右、左、上、あるいは下方向（例えば図４（Ｂ）部分では光軸より左方向）に所定量Δだけ偏位した位置には、遮光部材１６Ａの開口１６Ｂが設けられている。光束は開口１６Ｂを通過し、フォトダイオードＰＤの受光面に到達する。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。
　なお、奇数ラインの位相差画素と偶数ラインの位相差画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分／左半分、あるいは上半分／下半分）が異なる。例えば、偶数ラインの位相差画素では光束の左半分が制限され、奇数ラインの位相差画素では光束の右半分が制限されると、偶数ラインからは右の視点画像、奇数ラインからは左の視点画像が得られる。あるいは、偶数ラインの位相差画素では光束の上半分が制限され、奇数ラインの位相差画素では光束の下半分が制限されると、偶数ラインの位相差画素からは下の視点画像、奇数ラインの位相差画素からは上の視点画像が得られる。
　従って、図１１に示すように、後ピン、合焦、前ピンの状態に応じて第１画素（左視点画素）と第２画素（右視点画素）の出力は、位相がずれるか又は位相が一致する。奇数・偶数ラインの位相差画素の出力信号の位相差は撮像レンズ１２のデフォーカス量に対応するため、この位相差を検出することにより撮像レンズ１２のＡＦ制御を行うことができる（位相差ＡＦ）。
　図１に戻って、ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。
　ここで、図２（Ｂ）部分及び（Ｃ）部分に示すように，ＣＣＤ１６の奇数ラインの位相差画素から読み出される画像データは、左視点画像データとして処理され、偶数ラインの位相差画素から読み出される画像データは、右視点画像データとして処理される。
　デジタル信号処理部２４で処理された左視点画像データ及び右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ（ＬＣＤ）３０に出力され、これにより３Ｄの被写体像がＬＣＤ３０の表示画面上に表示される。
　このＬＣＤ３０は、立体視画像（左視点画像および右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。ただし、ＬＣＤ３０の立体表示方式はこれに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
　また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮像レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
　ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて適正露出が得られる絞り１４の絞り値及びＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御する（平面画像の絞り制御）とともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。なお、被写体の明るさは外部の測光センサに基づいて算出されてもよい。
　所定のプログラム線図は、被写体の明るさ（撮影ＥＶ値）に対応して、絞り１４の絞り値とＣＣＤ１６のシャッタスピードの組み合わせ、又はこれらと撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものである。
　なお、絞りのＦ値を大きくすれば、視差は弱くなり、Ｆ値を一定の小さい値で固定すれば、視差は強くなる。操作部３８を介してユーザから指示された視差に応じてＦ値とプログラム線図を切り替えてもよい。一方、Ｆ値を一定の大きい値で固定すれば、画像全域にピントのあった画像の撮影を行うことができる。本実施形態では、視差を有する画像の対を得ると同時に平面画像を得るため、Ｆ値を一定の小さい値で固定する（視差優先のプログラム線図）。
　視差優先のプログラム線図は、Ｆ値を一定の小さい値で固定している。このプログラム線図に従って決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、所望の視差を有する主画像、副画像の撮影が可能となる。
　例えば、視差優先のプログラム線図は、Ｆ値が1.4(ＡＶ＝１)の一定の値を取り、撮影ＥＶ値が７から１２まで（明るい）は撮影ＥＶ値に応じてシャッタ速度のみを1/60秒（ＴＶ＝６）から1/2000（ＴＶ＝１１）まで変化させるように設計されている。また、撮影ＥＶ値が７よりも小さくなると（暗くなると）、Ｆ値＝1.4、シャッタ速度＝1/60秒で固定した状態で、撮影ＥＶ値が１ＥＶ小さくなる毎にＩＳＯ感度を100から200,400,800,1600,3200になるように設計されている。すなわち、被写体が明るくても、絞り１４を絞らず、シャッタ速度を落として被写体輝度を調整する。
　ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内（画面中央部の矩形領域など）の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のフォーカス領域内の位相差画素間の位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
　ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される第１画素及び第２画素に対応する左視点画像（第１画像）及び右視点画像（第２画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM)４８に入力し、一時的に記憶される。
　メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。
　メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。
　デフォーカスマップ作成部６１は、奇数ライン・偶数ライン間の対応する位相差画素間の位相差を算出する。
　デフォーカスマップ作成部６１は、上記位相差画素間の各々について算出された位相差に基づき、デフォーカス量を求める。この、対応する位相差画素間の各々に対応するデフォーカス量の集合を、デフォーカスマップと呼ぶ。デフォーカスマップ作成部６１は、ＲＡＭなどの揮発性記憶媒体を有しており、求まったデフォーカスマップを一時的に保存する。デフォーカスマップ作成部６１は、ステレオマッチング処理部８３にて各位相差画素間で対応点検出を行い、それらの対応点間の位置情報の差に基づいてデフォーカスマップを作成してもよい。
　さらに、デフォーカスマップ作成部６１は、各位相差画素間で求まったデフォーカス量から、元々対応点を求めていない画素及び対応点が求まらなかった画素である非位相差画素に対してもデフォーカス量を求める。すなわち、非位相差画素の近傍の位相差画素のデフォーカス量を用いて補間処理を行うことにより、密なデフォーカスマップが得られる。ある非位相差画素のデフォーカス量の補間の際に利用する画素は、近傍の同色の画素である。
　復元フィルタ保存部６２は、ＲＯＭなどの不揮発性記憶媒体で構成されており、各視点画像における各小領域の像高（画像中心からの距離、典型的には撮像レンズ１２の光軸中心Ｌからの距離）及びデフォーカス量（ないしは被写体距離）に対応する復元フィルタを保存している。
　復元部６３は、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。この信号処理により、光学系のボケ、特に光束の入射のアンバランスが生じる受光面の周辺画素に対応する画像のボケが取り除かれる。このボケが取り除かれた２つの視点画像を合成することで、ボケのない平面画像が得られる。
　ステレオマッチング処理部（対象物検出手段）８３は、同じタイミングでメモリ４８に格納された２つの画像データＡ、Ｂ間で互いに対応する１つ以上の対応点（対象物）を検出するものである。なおステレオマッチング処理部８３における処理方法は、領域ベース法、セグメントベース法、等輝度線法等を用いる公知の技術を使用することができる。また、ステレオマッチングはパッシブ式でもアクティブ式でもよい。また、画素数の異なる画像間でのステレオマッチングは、例えば特許文献３、７～１１のような公知の技術に基づいて行うことができる。
　距離算出部８４は、上述したステレオマッチング処理部８３によって検出された対応点の３次元座標値（距離情報）を算出するものである。距離算出部８４における距離情報の算出方法は、三角測量の原理により計算する公知の技術を使用することができる。なお、ステレオマッチング処理部８３及び距離算出部８４はプログラムにより構成されるものであっても、ＩＣ、ＬＳＩ等によって構成されるものであってもよい。
　視差マップ（基準の視点画像、例えば画像データＡから、別の視点画像、例えば画像データＢへの対応点までの視差量で、別の視点画像を表したもの）は、距離情報やデフォーカスマップと技術的に等価であり、以下の距離情報やデフォーカスマップについての処理は、視差マップについても行うことができる。さらに、被写体までの距離情報、デフォーカスマップ又は視差マップを包括して、視差情報と呼ぶ。視差情報の算出は、カメラ１でなく、パソコンのような他の情報処理装置とその制御プログラムで行うこともできる。
　第１画像データの取得画素と第２画像データの取得画素は、同じ構成であってもよいし、そうでなくてもよい。第１画像データは色情報と輝度情報を有するが、第２画像データは輝度情報のみを有してもよい。あるいは、第２画素は、赤外領域を受光可能な白黒ＣＣＤとし、特許文献７のような赤外光を用いたアクティブ式のステレオマッチングが採用されてもよい。
　以下では、ステレオマッチングを可能にするため、第１画像データ・第２画像データの双方は少なくとも輝度情報を含むものとする。また、好ましくは、２次元画像に色情報を付加するためには、第１画像データ・第２画像データの双方は色情報を含むものとする。ここでは説明の簡略のため、第１画像データ・第２画像データは、ともに輝度情報と色情報を含むものとする。
　３次元画像処理部８５は、ＣＣＤ１６から取得された視点画像の組から３次元画像を生成することができる。これは特許文献２と同様である。なお、視差情報からの３次元画像生成は、特許文献７～１１のような公知技術に基づいて行うことができる。３次元画像の生成は、撮影モードが「３Ｄ静止画記録」に設定された場合に行われ、所望の視差量を有する立体画がＬＣＤ３０に表示される。
　３次元画像処理部４５が生成する３次元画像の視差量は、固定値又は任意の設定値のいずれでもよい。
　ぼかし処理部８６は、所定周波数以上の画像信号成分を除去するローパスフィルタ処理を行う。
　図５は本発明の好ましい第１実施形態に係る２Ｄ／３Ｄ同時撮像処理のフローチャートを示す。この処理は撮影モードが「２Ｄ／３Ｄ同時記録」に設定されたことに応じて開始される。この処理は、ＣＰＵ４０の実行するプログラムに規定されており、該プログラムはメモリ（ＲＯＭ）４８などに記憶されている。
　Ｓ１では、ＣＰＵ４０は、操作部３８のシャッタボタンの第１段階の押下（半押し）があったか否かを判断する。Ｙｅｓの場合はＳ２に進み、Ｎｏの場合は当該判断を繰り返す。その間、ＣＣＤ１６から取得された画像は、２Ｄ又は３Ｄスルー画としてＬＣＤ３０に表示されうる。２Ｄ又は３Ｄのいずれのスルー画を表示するかは、操作部３８で任意に選択されてもよい。
　Ｓ２では、ＣＰＵ４０は、撮影モードが「２Ｄ／３Ｄ同時記録」に設定されたことに応じ、視差優先のプログラム線図に従って絞り値Ｘとシャッタスピードを決定する。
　Ｓ３では、ＣＰＵ４０は、操作部３８のシャッタボタンの第２段階の押下（全押し）があったか否かを判断する。Ｙｅｓの場合はＳ４に進み、Ｎｏの場合は当該判断を繰り返す。その間、ＣＣＤ１６から取得された画像は、２Ｄ又は３Ｄスルー画としてＬＣＤ３０に表示されうる。
　Ｓ４では、ＣＰＵ４０は、Ｓ２で決定した絞り値Ｘに基づいて絞り駆動部３４を介して絞り１４を制御する（視差優先の絞り制御）とともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。これにより、ＣＣＤ１６から、視差画素Ｒ＊Ｇ＊Ｂ＊については視差を有し、その他の画素については視差のない左右の画像データＡ・Ｂ（視点画像の組）が取得される。ＣＰＵ４０は、左右の画像データＡ・Ｂを、３Ｄ画像データとしてＶＲＡＭ５０に記憶する。
　ＣＰＵ４０は、左右の画像データＡ・Ｂについて、瞳分割された同一の光束に対応する２つの画素ごとに画像信号を加算する。これにより、高解像度の２Ｄ画像が生成される。ＣＰＵ４０は、この加算画像信号を、２Ｄ画像データとしてＶＲＡＭ５０に記憶する。なお、２Ｄ画像データのうち、位相差画素に対応する画像信号については、該位相差画素の周囲の同色の非位相差画素の画像信号に基づく補間などによるぼけ除去処理を行うことが好ましい。
　この２Ｄ画像データは、ＬＣＤ３０に２Ｄポストビュー画として表示されるものの１つであってもよいし、２Ｄポストビュー画とは別でもよい。
　Ｓ５では、ＣＰＵ４０は、ステレオマッチング処理部８３と距離算出部８４にステレオマッチングと距離情報（視差情報）の算出を行わせる。ステレオマッチング処理部８３は、Ｓ３で取得された３Ｄ画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部８４は、ステレオマッチング処理部８３によって検出された対応点ごとの距離情報を算出する。続いて、これで算出された距離情報から、元々画像データＡ・Ｂ間の対応点を求めていない点（画素）、及び、対応点が求まらなかった未対応点（画素）に対しても距離情報を求める。これは、特許文献１５と同様、近隣の既算出視差情報を用いた補間処理で実現できる。これにより、２Ｄ画像データの各画素に対応した密な視差情報の分布が得られる。
　Ｓ６では、ぼかし処理部８６は、Ｓ５で算出された画素ごとの距離情報（視差情報）に基づき、２Ｄ画像データのぼかし対象画素を決定する。ぼかし対象画素決定の詳細は後述する。
　Ｓ７では、復元部６３は、２Ｄ画像データの各画素のうち、ぼかし対象画素以外の画素ごとに、視差（デフォーカス量）を０に調整する。視差調整の仕方は公知技術、例えば特許文献２や特許文献１５のようにできる。これにより、ぼかし対象画素以外の画素の対応画素間のぼけが復元される。一方、ぼかし処理部８６は、決定されたぼかし処理の対象画素に、ぼかし処理を行う。ぼかし処理の詳細は後述する。
　Ｓ８では、ＣＰＵ４０は、Ｓ７の処理後の２Ｄ画像データを、メモリカード５４に圧縮記録する。またＣＰＵ４０は、２Ｄ画像データとともに、あるいは２Ｄ画像データとは別個独立に、３Ｄ画像データや視差情報をメモリカード５４に圧縮記録することもできる。さらに、２Ｄ画像データと視差情報を関連付けてメモリカード５４に圧縮記録した場合、カメラ１やパソコンなどの情報処理装置がメモリカード５４から２Ｄ画像データと視差情報を読み出し、読み出した２Ｄ画像データと関連づけられた視差情報に基づいて、下記のぼかし処理部８６と同様のぼかし処理を行うこともできる。
　また、ビデオ・エンコーダ２８は、３Ｄ画像データと視差情報から、視差が所望の範囲（強め、普通、あるいは弱め）に調整された３Ｄ画像をＬＣＤ３０に表示することができる。視覚条件に合わせた視差調整は公知技術の通りであり、例えば特許文献１６と同様に、ＬＣＤ３０の横幅サイズと視距離に基づいて視差が調整される。
　ここで、Ｓ６でのぼかし対象画素の決定は、自動的に行われる。ただし、それに加えて、ユーザ操作に基づいて決定されてもよい。例えば、ぼかし処理の対象として決定される画素は、次のものが挙げられる。
　例１：ぼかし処理部８６は、各画素の距離情報を参照し、所定の第１の距離よりも遠い遠景の画素（例えば５ｍ以上の被写体像の画素）、あるいは所定の第２の距離よりも小さい近景の画素（例えば５０ｃｍ以下の被写体像の画素）を、ぼかし対象画素に決定する。
　例２：ぼかし処理部８６は、各画素の視差マップを参照し、対応点間の視差量が所定の値（例えば２画素分）以上となる対応点を構成する画素を、ぼかし対象画素に決定する。
　例３：例１及び／又は例２に加え、ぼかし処理部８６は、輪郭情報（画像信号の高周波成分）を２Ｄ画像データから抽出し、輪郭成分の外側である背景領域を構成する画素を、ぼかし対象画素に決定する。なお、位相差画素付近に被写体のエッジ成分が集中的に存在する場合、輪郭情報の抽出が正確に行われない可能性がある。そのため、位相差画素は離散的に配置される方が望ましい。
　例４：例１、例２及び／又は例３に加え、ぼかし処理部８６は、ユーザ操作で指定された領域に含まれる各画素を、ぼかし対象画素に決定する。
　また、Ｓ７でのぼかし処理の程度は、ユーザ操作に基づいて決定されてもよいし、自動的に決定されてもよい。
　例えば、ユーザが、ぼかし強を指定した場合、ぼかし処理部８６は、ぼかし対象画素の対応点間の視差量をαに設定し、ぼかし中を指定した場合、該視差量をβに設定し、ぼかし弱を指定した場合、該視差量をγに設定する。ここでα＜β＜γである。
　あるいは、ぼかし処理部８６は、視差マップで示される視差量に応じて、ぼかしの程度を変化させてもよい。すなわち、ある対応点間の視差量が大きければ、それに従ってそれらの対応点のぼかしの程度をローパスフィルタなどで強くする。
　以上のように、カメラ１は、視差優先の絞り制御で視点画像の組を撮像し、該視点画像の組から視差情報を得た上、該視差情報に基づいて該２Ｄ画像にぼかし処理を施す箇所を決定し、その箇所にぼかし処理を施す。こうすれば、瞳分割方式の撮像装置において、被写体の遠近や視差量の大小などを示した視差情報に応じ、適切な位置にぼかしを加えた平面画像と視差画像を同時に得ることができる。また、開放側で撮影をするため、暗いシーンでも撮像でき、撮影感度も高い。
　＜第２実施形態＞
　位相差画素の配列は、図２に示したものに限られず、各種のものが採用されうる。例えば、図６のように、奇数・偶数ラインの最初の対Ａ１・Ｂ１のＧ画素を４画素ごとに位相差画素とし、次のラインＡ２・Ｂ２の対のＧ画素は位相差画素としない。さらにその次のラインの対Ａ３・Ｂ３では、画素を４画素ごとに位相差画素とする。これを同様に繰り返し、ラインの対ＡＢに対して１つおきに位相差画素Ｇを配置する。この場合、非位相差Ｇ画素であるＧ画素のデフォーカス量の補間の際に利用する画素は、近傍の同色の位相差Ｇ画素である。また、非位相差画素のＢＧ画素のデフォーカス量の補間の際に利用する画素は、近傍の位相差画素Ｇである。
　あるいは、図７のように、奇数・偶数ラインの全てのＲ，Ｇ，Ｂ画素について、４画素ごとに位相差画素を配置する。
　あるいは、位相差画素の分布範囲は、有効画素全体でなく、画面中央近傍や画面周辺を除く領域など局所的でもよい。
　さらに、位相差画素間のピッチ数も、４画素に限らず、それ以上、あるいはそれ以下でもよい。ただし、位相差画素間のピッチ数が４画素の場合、位相差画素の間に通常画素ＲＧＢが存在し、位相差画素の画像信号が周囲の通常画素で補間できるため、４画素のピッチが最適である。
　よって、例えば、図８に示すように、垂直方向および水平方向の両方について、４画素のピッチで位相差画素を配置してもよい。図８では、ラインＡ３、Ｂ３、Ａ４、Ｂ４は通常の画素配列となり、ラインＡ１、Ｂ１、Ａ２、Ｂ２から垂直方向に４画素隔てたラインＡ５、Ｂ５、Ａ６、Ｂ６では、図２のラインＡ１、Ｂ１、Ａ２、Ｂ２と同様に位相差画素Ｇ＊、Ｒ＊、Ｂ＊が水平方向に４画素隔てて配置されている。図示は省略するが、図６や図７の水平方向のラインの位相差画素を、垂直方向に４画素隔てたラインごとに配置することもできる。
　位相差画素となる画素の色が増えれば、それだけ各色に対する位相差を正確に検出できる。また、位相差画素間のピッチ数が増えれば、それだけ位相差の補間処理が減り、対応点間の位相差を精密に検出できる。
　ただし、位相差画素の増加が２Ｄ画像の画質に影響を与えることも考えられるため、２Ｄ・３Ｄ画像の画質の双方を考慮して位相差画素の配置が決定されることが望ましい。
　＜第３実施形態＞
　上記構成のＣＣＤ１６は、奇数・偶数ラインの位相差画素では、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、ＣＣＤ１６の構成はこれに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、奇数・偶数ラインの２以上の位相差画素に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるもの（例えば図９）でもよいし、ミラーにより瞳分割するもの（例えば図１０）でもよい。
　３０：ＬＣＤ、４０：ＣＰＵ、８３：ステレオマッチング処理部、８４：距離算出部、８５：３次元画像処理部、８６：ぼかし処理部

Claims (12)

  1. 　撮影レンズにより結像される被写体像を光電変換素子群により光電変換して第１の画像信号を出力する第１の画素と、前記第１の画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割して、分割された瞳領域からの複数の被写体像をそれぞれ光電変換素子群により光電変換して位相差を有する第２の画像信号を出力する第２の画素とを有する撮像部と、
    　前記撮像部が前記第１の画像信号と前記第２の画像信号とを同時に撮像するよう制御する撮像制御部と、
    　前記撮像部から出力された第２の画像信号に基づいて視差情報を算出する視差情報算出部と、
    　前記撮像部から出力された第１の画像信号に基づいて平面画像を作成する平面画像作成部と、
    　前記視差情報算出部の算出した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の対象画素にぼかし処理を施すぼかし処理部と、
    　を備える撮像装置。
  2. 　前記第１の画像信号と前記視差情報とを関連づけて記録する記録部を備え、
    　前記ぼかし処理部は、前記記録部が前記第１の画像信号に関連付けて記録した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の対象画素にぼかし処理を施す請求項１に記載の撮像装置。
  3. 　前記視差情報は、前記視点画像の組の対応点間の視差量を表す視差マップを含み、
    　前記ぼかし処理部は、前記対応点間の視差量が所定の値以上となる対応点を構成する画素を、ぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１または２に記載の撮像装置。
  4. 　少なくとも前記第１の画像信号から輪郭情報を抽出する輪郭情報抽出部を備え、
    　前記ぼかし処理部は、前記輪郭情報抽出部の抽出した輪郭情報に基づいて、ぼかし処理を施す対象画素を決定し、前記対象画素にぼかし処理を施す請求項１～３のいずれか１項に記載の撮像装置。
  5. 　前記視差情報は、各画素の距離情報を含み、
    　前記ぼかし処理部は、前記距離情報が所定の第１の距離よりも遠い遠景の画素および／または前記距離情報が所定の第２の距離よりも小さい近景の画素を前記平面画像のぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１～４のいずれか１項に記載の撮像装置。
  6. 　前記ぼかし処理部は、ユーザ操作により指定された領域を構成する画素を前記平面画像のぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１～５のいずれか１項に記載の撮像装置。
  7. 　前記視差情報は、前記視点画像の組の対応点間の視差量を表す視差マップを含み、
    　前記ぼかし処理部は、前記対応点間の視差量に応じた程度のぼかし処理を各対応点を構成する画素に施す請求項１～６のいずれか１項に記載の撮像装置。
  8. 　前記ぼかし処理部は、ユーザ操作により指定された程度のぼかし処理を前記対象画素に施す１～６のいずれかに記載の撮像装置。
  9. 　前記位相差画素は、所定の配列の１または複数のカラーフィルタに対応する画素群において所定の間隔ごとに配置されている請求項１～８のいずれかに記載の撮像装置。
  10. 　前記位相差画素は、ベイヤ配列された緑、赤または青のカラーフィルタに対応する画素群において所定の間隔ごとに配置されている請求項９に記載の撮像装置。
  11. 　前記撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、
    　前記撮像部から出力される第２の画像信号の位相差が得られるよう前記絞り部の開放量を制御する絞り制御部と、
    　を備える請求項１～１０のいずれかに記載の撮像装置。
  12. 　撮影レンズにより結像される被写体像を光電変換素子群により光電変換して第１の画像信号を出力する第１の画素と、前記第１の画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割して、分割された瞳領域からの複数の被写体像をそれぞれ光電変換素子群により光電変換して位相差を有する第２の画像信号を出力する第２の画素とを有する撮像部を備える撮像装置が、
    　前記撮像部が前記第１の画像信号と前記第２の画像信号とを同時に撮像するよう制御するステップと、
    　前記撮像部から出力された第２の画像信号に基づいて視差情報を算出するステップと、
    　前記撮像部から出力された第１の画像信号に基づいて平面画像を作成するステップと、
    　前記算出した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の対象画素にぼかし処理を施すステップと、
    　を実行する撮像方法。
PCT/JP2012/055762 2011-03-31 2012-03-07 撮像装置及び撮像方法 WO2012132797A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013507321A JP5640143B2 (ja) 2011-03-31 2012-03-07 撮像装置及び撮像方法
CN201280016911.2A CN103493484B (zh) 2011-03-31 2012-03-07 成像装置和成像方法
US14/039,700 US8885026B2 (en) 2011-03-31 2013-09-27 Imaging device and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011079222 2011-03-31
JP2011-079222 2011-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/039,700 Continuation US8885026B2 (en) 2011-03-31 2013-09-27 Imaging device and imaging method

Publications (1)

Publication Number Publication Date
WO2012132797A1 true WO2012132797A1 (ja) 2012-10-04

Family

ID=46930543

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/055762 WO2012132797A1 (ja) 2011-03-31 2012-03-07 撮像装置及び撮像方法

Country Status (4)

Country Link
US (1) US8885026B2 (ja)
JP (1) JP5640143B2 (ja)
CN (1) CN103493484B (ja)
WO (1) WO2012132797A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018019348A (ja) * 2016-07-29 2018-02-01 キヤノン株式会社 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
WO2020195073A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム、撮像装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9247286B2 (en) 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8964013B2 (en) 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
JP2013187890A (ja) * 2012-03-12 2013-09-19 Sony Corp 画像処理装置と画像処理方法
WO2014156202A1 (ja) * 2013-03-29 2014-10-02 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US10033992B1 (en) * 2014-09-09 2018-07-24 Google Llc Generating a 3D video of an event using crowd sourced data
US9420164B1 (en) 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction
US9804357B2 (en) 2015-09-25 2017-10-31 Qualcomm Incorporated Phase detection autofocus using masked and unmasked photodiodes
CN107291781A (zh) * 2016-04-12 2017-10-24 中兴通讯股份有限公司 一种图像管理方法和装置
US10033949B2 (en) 2016-06-16 2018-07-24 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
EP3595288B1 (en) * 2017-03-08 2021-07-21 Sony Corporation Imaging device and imaging method
EP3447678A1 (en) * 2017-08-21 2019-02-27 Axis AB Method and image processing device for detecting a portion of an image
US11195257B2 (en) * 2018-08-24 2021-12-07 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system
JP7145048B2 (ja) * 2018-11-16 2022-09-30 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN112866675B (zh) * 2019-11-12 2022-09-09 Oppo广东移动通信有限公司 深度图生成方法和装置、电子设备、计算机可读存储介质
CN112866655B (zh) * 2019-11-12 2022-11-15 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112866545B (zh) * 2019-11-12 2022-11-15 Oppo广东移动通信有限公司 对焦控制方法和装置、电子设备、计算机可读存储介质
CN112861568A (zh) * 2019-11-12 2021-05-28 Oppo广东移动通信有限公司 认证方法和装置、电子设备、计算机可读存储介质
CN112861835A (zh) * 2019-11-12 2021-05-28 Oppo广东移动通信有限公司 主体检测方法、装置、电子设备和计算机可读存储介质
CN112866552B (zh) * 2019-11-12 2023-06-13 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN112866548B (zh) * 2019-11-12 2022-06-14 Oppo广东移动通信有限公司 相位差的获取方法和装置、电子设备
CN112862880B (zh) * 2019-11-12 2024-06-25 Oppo广东移动通信有限公司 深度信息获取方法、装置、电子设备和存储介质
CN112866544B (zh) * 2019-11-12 2022-08-12 Oppo广东移动通信有限公司 相位差的获取方法、装置、设备及存储介质
CN112866674B (zh) * 2019-11-12 2022-10-25 Oppo广东移动通信有限公司 深度图获取方法、装置、电子设备和计算机可读存储介质
JP2021180449A (ja) * 2020-05-15 2021-11-18 キヤノン株式会社 画像処理装置、画像処理方法及び撮像装置
CN113259596B (zh) * 2021-07-14 2021-10-08 北京小米移动软件有限公司 图像生成方法、相位检测对焦方法及装置
CN114666500B (zh) * 2022-03-16 2024-02-02 深圳市汇顶科技股份有限公司 信息密度提高方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002191060A (ja) * 2000-12-22 2002-07-05 Olympus Optical Co Ltd ３次元撮像装量
JP2010226391A (ja) * 2009-03-23 2010-10-07 Nikon Corp 画像処理装置、プログラムおよび画像処理方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331607A (ja) 1995-03-29 1996-12-13 Sanyo Electric Co Ltd 三次元表示画像生成方法
JP2000102040A (ja) 1998-09-28 2000-04-07 Olympus Optical Co Ltd 電子ステレオカメラ
US6807295B1 (en) 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
JP3863319B2 (ja) 1999-06-29 2006-12-27 富士フイルムホールディングス株式会社 視差画像撮像装置及びカメラ
JP2001012916A (ja) 1999-06-30 2001-01-19 Fuji Photo Film Co Ltd 視差画像入力装置及び撮像装置
JP2003007994A (ja) 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP3859131B2 (ja) 2002-01-11 2006-12-20 富士フイルムホールディングス株式会社 デジタルカメラ
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2006067521A (ja) * 2004-08-30 2006-03-09 Kyocera Corp 画像処理装置と方法、および画像撮像装置と方法
JP4398352B2 (ja) * 2004-12-02 2010-01-13 オリンパス株式会社 医療用立体撮像装置
JP4639965B2 (ja) * 2005-05-31 2011-02-23 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JP2007096437A (ja) * 2005-09-27 2007-04-12 Seiko Epson Corp 画像生成者の意図の判定
JP2007104248A (ja) 2005-10-04 2007-04-19 Nikon Corp 電子カメラおよびプログラム
JP4797606B2 (ja) * 2005-12-01 2011-10-19 株式会社ニコン 撮像装置
JP5066851B2 (ja) * 2006-07-05 2012-11-07 株式会社ニコン 撮像装置
JP4914688B2 (ja) 2006-09-29 2012-04-11 富士フイルム株式会社 撮影装置
JP4939901B2 (ja) 2006-11-02 2012-05-30 富士フイルム株式会社 距離画像生成方法及びその装置
JP2008141666A (ja) 2006-12-05 2008-06-19 Fujifilm Corp 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法
JP4889538B2 (ja) * 2007-03-27 2012-03-07 三洋電機株式会社 画像処理装置
JP4582423B2 (ja) 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2008294785A (ja) * 2007-05-25 2008-12-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像ファイル及び画像処理方法
JP2009014445A (ja) 2007-07-03 2009-01-22 Konica Minolta Holdings Inc 測距装置
JP5029268B2 (ja) * 2007-10-01 2012-09-19 株式会社ニコン 電子カメラ
JP4958233B2 (ja) 2007-11-13 2012-06-20 学校法人東京電機大学 多眼視画像作成システム及び多眼視画像作成方法
JP5050928B2 (ja) * 2008-02-28 2012-10-17 ソニー株式会社 撮像装置および撮像素子
JP5552214B2 (ja) * 2008-03-11 2014-07-16 キヤノン株式会社 焦点検出装置
JP5197083B2 (ja) * 2008-03-21 2013-05-15 キヤノン株式会社 撮像装置及びその制御方法
KR101342968B1 (ko) * 2008-11-27 2013-12-19 캐논 가부시끼가이샤 고체촬상소자 및 촬상장치
JP4737573B2 (ja) 2009-02-05 2011-08-03 富士フイルム株式会社 ３次元画像出力装置及び方法
JP2010226500A (ja) 2009-03-24 2010-10-07 Toshiba Corp 立体画像表示装置および立体画像表示方法
WO2011063347A2 (en) * 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002191060A (ja) * 2000-12-22 2002-07-05 Olympus Optical Co Ltd ３次元撮像装量
JP2010226391A (ja) * 2009-03-23 2010-10-07 Nikon Corp 画像処理装置、プログラムおよび画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018019348A (ja) * 2016-07-29 2018-02-01 キヤノン株式会社 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
WO2020195073A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム、撮像装置
JPWO2020195073A1 (ja) * 2019-03-27 2020-10-01
JP7380675B2 (ja) 2019-03-27 2023-11-15 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム、撮像装置

Also Published As

Publication number Publication date
JP5640143B2 (ja) 2014-12-10
US20140028806A1 (en) 2014-01-30
CN103493484A (zh) 2014-01-01
JPWO2012132797A1 (ja) 2014-07-28
US8885026B2 (en) 2014-11-11
CN103493484B (zh) 2015-09-02

Similar Documents

Publication Publication Date Title
JP5640143B2 (ja) 撮像装置及び撮像方法
JP5192096B2 (ja) 立体撮像装置
JP5469258B2 (ja) 撮像装置および撮像方法
JP5180407B2 (ja) 立体撮像装置および視差画像復元方法
JP5385462B2 (ja) 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
WO2012039180A1 (ja) 撮像デバイス及び撮像装置
JP5421829B2 (ja) 撮像装置
JP5690396B2 (ja) 撮像装置およびシェーディング補正方法
JP5166650B2 (ja) 立体撮像装置、画像再生装置及び編集ソフトウエア
JP5502205B2 (ja) 立体撮像装置および立体撮像方法
US20110234767A1 (en) Stereoscopic imaging apparatus
JP2011259168A (ja) 立体パノラマ画像撮影装置
WO2013031349A1 (ja) 撮影装置及び撮影方法
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
JP2010237582A (ja) 立体撮像装置および立体撮像方法
US9106900B2 (en) Stereoscopic imaging device and stereoscopic imaging method
JP5457240B2 (ja) 立体撮像装置
JP2010204385A (ja) 立体撮像装置および立体撮像方法
JP2012124650A (ja) 撮像装置および撮像方法
JP2010200024A (ja) 立体画像表示装置および立体画像表示方法
JP2011077680A (ja) 立体撮影装置および撮影制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12763135

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013507321

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12763135

Country of ref document: EP

Kind code of ref document: A1