WO2013069445A1 - 立体撮像装置及び画像処理方法 - Google Patents

立体撮像装置及び画像処理方法 Download PDF

Info

Publication number
WO2013069445A1
WO2013069445A1 PCT/JP2012/077303 JP2012077303W WO2013069445A1 WO 2013069445 A1 WO2013069445 A1 WO 2013069445A1 JP 2012077303 W JP2012077303 W JP 2012077303W WO 2013069445 A1 WO2013069445 A1 WO 2013069445A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
defective
defective pixel
vertical
Prior art date
Application number
PCT/JP2012/077303
Other languages
English (en)
French (fr)
Inventor
善工 古田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2013069445A1 publication Critical patent/WO2013069445A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects

Definitions

  • the present invention relates to a stereoscopic imaging apparatus and an image processing method, and more particularly to a technique for correcting defective pixels of a plurality of parallax images (3D images) photographed by a single photographing optical system.
  • Patent Document 1 describes that a plurality of parallax images having different parallaxes are generated from a plurality of pixels to which one microlens is assigned.
  • Patent Document 2 discloses normal defect information that is information regarding pixel defects when the imaging device is set to the first light receiving sensitivity, and a second light receiving sensitivity that is higher than the first light receiving sensitivity.
  • High-sensitivity defect information which is information relating to pixel defects at the time of setting, is stored in a defect memory, and normal defect information or high-sensitivity defect information is used according to the setting of light receiving sensitivity for the image sensor at the time of imaging. An image correction apparatus that corrects pixel defects is described.
  • the imaging apparatus described in Patent Literature 1 can acquire a plurality of parallax images having different parallax from a plurality of pixels to which one microlens is assigned.
  • the imaging device described in Patent Document 1 has pixels having different phase differences when correction is performed using peripheral pixels of the same color when correcting defective pixels (scratch pixels) in the plurality of parallax images. May be lost, and the stereoscopic effect may be lost.
  • Patent Document 2 corrects white spot noise due to a long exposure time in a microscope camera or the like, and does not correct defective pixels in a plurality of parallax images.
  • the present invention has been made in view of such circumstances.
  • the purpose is to provide.
  • a stereoscopic imaging apparatus includes a single imaging optical system and a plurality of pixels adjacent in the horizontal and vertical directions as one block, and each block includes three primary colors.
  • a defective pixel correction unit that calculates a pixel value of a defective pixel in an image acquired from the imaging device by interpolating a pixel value of a peripheral pixel of the defective pixel.
  • the correction means uses peripheral pixels having the same parallax information and the same color information as the defective pixels of the plurality of parallax images as the peripheral pixels used for interpolation of the defective pixels to be corrected.
  • the peripheral pixel closest to the defective pixel in the image is not a pixel having the same parallax information and the same color information as the defective pixel.
  • peripheral pixels having the same parallax information and the same color information as the defective pixels of the plurality of parallax images are used as the peripheral pixels used for interpolation of the defective pixel to be corrected.
  • the stereoscopic effect can be prevented from being impaired by the defective pixel after correction.
  • each of the plurality of parallax images can be a color image.
  • the plurality of pixels in one block of the imaging element are four pixels arranged in a square shape adjacent to each other in the vertical and horizontal directions, and the imaging element is four pixels in one block.
  • 1 has a microlens that divides the light incident on the microlens into pupils and guides them to the light receiving surfaces of four pixels. This microlens functions as pupil dividing means that divides a light beam that has passed through different areas of the photographing optical system and makes it incident on four pixels.
  • the defective pixel correction means includes a distance between the center position of the defective pixel to be corrected and the center positions of the four pixels in the vertical and horizontal directions around the defective pixel, and the defect It is determined whether or not the defective pixel is included in the shorter four pixels of the interval between the center position of the pixel and the center position of the four pixels in the diagonally upper right and diagonally lower right directions around the defective pixel. If the determination unit determines that the four pixels having the shorter interval do not include the defective pixel, the pixel value of the four pixels having the shorter interval is interpolated to obtain the pixel value of the defective pixel to be corrected.
  • the calculation means determines that the defective pixel is included in the four pixels with the shorter interval, the defective pixel of the shorter four pixels and the pixel facing the defective pixel are removed, and the defect to be corrected It is preferable to calculate the pixel value of the pixel. As a result, the position (center of gravity) of the pixel calculated by interpolation can be matched with the position of the defective pixel to be corrected.
  • the defective pixel correction means includes a distance between the center position of the defective pixel to be corrected and the center positions of the four pixels in the vertical and horizontal directions around the defective pixel, and the defect It is determined whether or not the defective pixel is included in the shorter four pixels of the interval between the center position of the pixel and the center position of the four pixels in the diagonally upper right and diagonally lower right directions around the defective pixel.
  • the pixel value of the defective pixel to be corrected is calculated by interpolating the pixel values of the four pixels having the shorter interval, and the defective pixel is included.
  • the pixel values of the longer four pixels are used as correction pixels.
  • a G pixel in a Bayer array is a defective pixel as a color filter array
  • four pixels in the diagonally upper right and diagonally lower right directions are the same color pixels closest to the defective pixel, but these pixels include the defective pixel.
  • four pixels in the vertical and horizontal directions are used as correction pixels.
  • the R pixel or the B pixel in the Bayer array is a defective pixel
  • the four pixels in the vertical and horizontal directions are the same color pixels closest to the defective pixel, but when these pixels include the defective pixel.
  • the four pixels in the diagonal upper right and diagonal lower right directions are used as correction pixels.
  • a stereoscopic imaging apparatus includes a detection unit that detects whether horizontal shooting or vertical shooting, and, when horizontal detection is detected by the detection unit, performs vertical pixel mixing among a plurality of parallax images.
  • the image processing apparatus further includes a pixel mixing unit that mixes the pixels in the horizontal direction among the plurality of parallax images, and the defective pixel correction unit detects a defect when the horizontal shooting is detected by the detection unit.
  • the pixel value of the defective pixel to be corrected is calculated by interpolating the pixel value of the pixel in the vertical direction around the pixel, and when vertical shooting is detected, the pixel value of the pixel in the horizontal direction around the defective pixel is interpolated. It is preferable to calculate the pixel value of the defective pixel to be corrected.
  • the plurality of viewpoint images include a parallax image in the horizontal direction and a parallax image in the vertical direction.
  • pixel mixing among the plurality of parallax images Alternatively, pixel mixing in the horizontal direction is performed. For this reason, the pixel value of the defective pixel to be corrected can be calculated using only the pixels in the vertical direction around the defective pixel or only the pixels in the horizontal direction around the defective pixel. Thereby, the interpolation calculation can be simplified while maintaining the parallax information required for the defective pixel.
  • a stereoscopic imaging apparatus includes a detection unit that detects whether horizontal shooting or vertical shooting, and, when horizontal detection is detected by the detection unit, performs vertical pixel mixing among a plurality of parallax images.
  • the image processing apparatus further includes a pixel mixing unit that mixes the pixels in the horizontal direction among the plurality of parallax images, and the defective pixel correction unit detects a defect when the horizontal shooting is detected by the detection unit.
  • the pixel value of the adjacent pixel in the vertical direction of the pixel is set as the pixel value of the defective pixel to be corrected, and when vertical shooting is detected, the pixel value of the adjacent pixel in the horizontal direction of the defective pixel is set as the pixel value of the defective pixel to be corrected. It is preferable to do. Thereby, it is possible to prevent false resolution by applying the pixel value of the adjacent pixel (closest pixel) of the defective pixel while maintaining the parallax information required for the defective pixel.
  • a stereoscopic imaging apparatus includes a detection unit that detects whether horizontal shooting or vertical shooting, and when horizontal detection is detected by the detection unit, pixel addition in a vertical direction among a plurality of parallax images is performed. And a pixel addition unit that performs horizontal pixel addition among a plurality of parallax images when the vertical shooting is detected, and the defective pixel correction unit detects a defect when the horizontal shooting is detected by the detection unit.
  • the pixel value of the defective pixel to be corrected is calculated by interpolating the pixel value of the pixel in the vertical direction including the pixel adjacent to the pixel in the vertical direction. When vertical shooting is detected, the pixel in the horizontal direction of the defective pixel is included.
  • the pixel value of the defective pixel is calculated by interpolating the pixel value of the pixel including the adjacent pixel of the defective pixel, false resolution is unlikely to occur, and the center of gravity of the pixel calculated by interpolation is determined as the defect to be corrected. It can be made to coincide with the position of the pixel position.
  • the defective pixel correction unit includes a determination unit that determines whether adjacent pixels in the vertical and horizontal directions of the defective pixel to be corrected are defective pixels.
  • the pixel value of the defective pixel to be corrected is interpolated by interpolating the pixel values of the closest pixels in the upward and downward directions of the defective pixel to be corrected.
  • the pixel value is calculated and the vertical photographing is detected by the detection means and the adjacent pixel in the left-right direction is determined as the defective pixel, the pixel value of the pixel closest to the left and right of the defective pixel to be corrected is determined.
  • the pixel value of the defective pixel to be corrected is calculated by interpolation. That is, when the adjacent pixel closest to the defective pixel is a defective pixel (when defective pixels are continuous), in the case of horizontal shooting instead of the adjacent pixel, the upper and lower directions of the defective pixel to be corrected are the highest.
  • the pixel value of the defective pixel is calculated by interpolating the pixel value of the near pixel, and in the case of vertical shooting, the defective pixel is interpolated by the pixel value of the pixel nearest to the left and right of the defective pixel to be corrected. The pixel value is calculated.
  • the imaging element is a red (R), green (G), or blue (B) filter, and is adjacent to the R filter and the R filter.
  • R red
  • G green
  • B blue
  • a color imaging device having a Bayer array color filter in which lines are alternately arranged in the vertical direction, and a first G pixel pixel provided with a first G filter around a defective pixel to be corrected
  • a step detecting means for detecting a step between the value and the pixel value of the second G pixel provided with the second G filter, and the defective pixel correcting means has a predetermined step detected by the step detecting means.
  • the pixel value of the defective pixel to be corrected is calculated by interpolating the pixel values of the second G pixel or the second G pixel. It is preferable to calculate the pixel value of the defective pixel to be corrected by interpolating the pixel values of the four first G pixels or the second G pixels in the direction.
  • a first G pixel (hereinafter referred to as “ Gr pixel”) provided with a first G filter adjacent in the left-right direction of the R pixel provided with the R filter, and B
  • a second G pixel (hereinafter referred to as a “ Gb pixel”) provided with a second G filter adjacent to the B pixel in which the filter is provided in the left-right direction.
  • the pixel value of G r pixels by light leakage (color mixture) from R pixel becomes larger than the pixel value of G b pixels adjacent, stepped between the G r pixels and G b pixel May occur.
  • difference in level between the G r pixels and G b pixel if less than a predetermined threshold value, the closest the same color to the defective pixel (G r pixels or G b pixels) upper right is a pixel, the four G b pixels or G r pixels in the oblique lower right direction using the interpolation operation, whereas, when exceeding a predetermined threshold value, pixels in the same positional relationship as the defective pixel (defective pixel if There is G r pixels, G r pixels around, if G b pixels, to become near G b pixels), four G r pixels or G b pixels in the vertical and horizontal directions of the defective pixel interpolation operation I am trying to use it.
  • a stereoscopic imaging apparatus includes a detection unit that detects whether horizontal shooting or vertical shooting, and, when horizontal detection is detected by the detection unit, performs vertical pixel mixing among a plurality of parallax images.
  • pixel mixing means for performing horizontal pixel mixing among a plurality of parallax images, and steps of output signals of a plurality of pixels in a block around a block to which a defective pixel to be corrected belongs
  • a step detecting means for detecting the step, and the defective pixel correcting means has a determining means for determining whether or not the step detected by the step detecting means is equal to or less than a predetermined threshold value.
  • the pixel value of the adjacent pixel in the vertical direction of the defective pixel is set as the pixel value of the defective pixel to be corrected.
  • the peripheral pixels having the same positional relationship as the defective pixel to be corrected in the block It is preferable to calculate the pixel value of the defective pixel to be corrected by interpolating the pixel value.
  • the color filters of the same color are arranged for a plurality of pixels in one block, but the color combinations of the color filters of adjacent blocks differ depending on the position of the block. Therefore, the pixel values of a plurality of pixels in the block may be different due to light leakage (mixed color) from pixels of a specific color.
  • the output of a plurality of pixels in a block differs depending on the parallax, but if there is a tendency in the level difference between the pixels in the surrounding blocks, it is considered that a step due to color mixing has occurred.
  • a step between a plurality of pixels in a peripheral block is determined to be equal to or less than a predetermined threshold, and in the case of horizontal shooting, adjacent pixels in the vertical direction of a defective pixel are detected.
  • the pixel value is the pixel value of the defective pixel to be corrected
  • the pixel value of the adjacent pixel in the left-right direction of the defective pixel is the pixel value of the defective pixel to be corrected.
  • the pixel value of the defective pixel to be corrected is calculated by interpolating the pixel values of the peripheral pixels having the same positional relationship as the defective pixel to be corrected in the block. Like to do.
  • the invention according to still another aspect of the present invention is any one of a single photographing optical system and a color filter including a plurality of pixels adjacent in the horizontal and vertical directions as one block and including three primary colors for each block.
  • An image pickup device provided with a color filter of a color, which receives light that has passed through different regions of the photographing optical system and can obtain a plurality of horizontal and vertical parallax images simultaneously.
  • a process of acquiring a plurality of parallax images output from an imaging device, and interpolating pixel values of defective pixels in the plurality of parallax images with pixel values of peripheral pixels of the defective pixels Using the peripheral pixels having the same parallax information and the same color information as the defective pixels of the plurality of parallax images as the peripheral pixels used for interpolation of the defective pixels to be corrected, and Including There.
  • An image processing method includes a step of detecting whether the photographing by the stereoscopic imaging device is horizontal photographing or vertical photographing, and when horizontal photographing is detected, pixels in a vertical direction among a plurality of parallax images. And a step of mixing pixels in a horizontal direction among a plurality of parallax images when vertical shooting is detected, and the step of correcting a defective pixel includes detecting defective pixels when horizontal shooting is detected.
  • the pixel value of the defective pixel to be corrected is calculated by interpolating the pixel value of the vertical pixel around the pixel, and when vertical shooting is detected, the pixel value of the pixel in the horizontal direction around the defective pixel is interpolated. It is preferable to calculate the pixel value of the defective pixel to be corrected.
  • An image processing method includes a step of detecting whether the photographing by the stereoscopic imaging device is horizontal photographing or vertical photographing, and when horizontal photographing is detected, pixels in a vertical direction among a plurality of parallax images. And a step of mixing pixels in a horizontal direction among a plurality of parallax images when vertical shooting is detected, and the step of correcting a defective pixel includes detecting defective pixels when horizontal shooting is detected.
  • the pixel value of the adjacent pixel in the vertical direction is set as the pixel value of the defective pixel to be corrected, and when vertical shooting is detected, the pixel value of the adjacent pixel in the horizontal direction of the defective pixel is set as the pixel value of the defective pixel to be corrected. It is preferable.
  • the step of correcting the defective pixel includes a step of determining whether adjacent pixels in the vertical or horizontal direction of the defective pixel to be corrected are defective pixels, Is detected, and the adjacent pixel in the vertical direction is determined as a defective pixel, the pixel value of the defective pixel to be corrected is interpolated by interpolating the pixel values of the pixels closest to each other in the upward and downward directions of the defective pixel to be corrected.
  • the pixel value of the pixel closest to the correction target defective pixel in the left direction and the right direction is interpolated. It is preferable to calculate the pixel value of the defective pixel.
  • the present invention when a plurality of horizontal and vertical parallax images are simultaneously photographed through a single photographing optical system and a single image sensor, they are used for correcting defective pixels in these images. Since the peripheral pixels having the same parallax information as the defective pixels in the plurality of parallax images are used as the peripheral pixels, the stereoscopic effect can be prevented from being impaired by the corrected defective pixels.
  • the top view which shows embodiment of the image pick-up element based on this invention 1 is an enlarged view of a main part showing an embodiment of an image sensor according to the present invention.
  • the principal part side view which shows embodiment of the image pick-up element based on this invention 1 is a block diagram showing an embodiment of a stereoscopic imaging apparatus according to the present invention.
  • the top view used in order to explain the pixel of 4 pixel 1 micro lens and the addition method of the pixel The figure used in order to explain the pixel of 4 pixel 1 micro lens and the addition method of the pixel
  • the figure used in order to demonstrate 1st Embodiment of the image processing method with respect to a defective pixel The figure used in order to demonstrate 1st Embodiment of the image processing method with respect to a defective pixel
  • the figure used in order to demonstrate 2nd Embodiment of the image processing method with respect to a defective pixel The figure used in order to demonstrate 2nd Embodiment of the image processing method with respect to a defective pixel
  • the figure used to explain the fourth embodiment of the image processing method for defective pixels (horizontal photography)
  • the figure used to explain the fourth embodiment of the image processing method for defective pixels vertical shooting
  • the figure used to explain the fifth embodiment of the image processing method for defective pixels The figure used to
  • the figure used for describing 8th Embodiment of the image processing method with respect to a defective pixel The figure used in order to explain the level difference of four pixels in a four-pixel one microlens
  • the figure used to explain the ninth embodiment of the image processing method for defective pixels The figure used to explain the ninth embodiment of the image processing method for defective pixels
  • FIG. 1A is a plan view showing an embodiment of an image sensor according to the present invention.
  • 1B is an enlarged view of the main part of FIG. 1A, and
  • FIG. 1C is a side view of the main part of FIG. 1B.
  • the image pickup device 1 is a color image sensor of CCD (Charge CoupledupDevice) or CMOS (Complementary Metal Oxide Semiconductor), and is arranged in a row direction and a column direction on a semiconductor substrate.
  • a large number of photoelectric conversion elements (photodiodes) PD (FIG. 1C), a microlens L, and color filters of a plurality of colors (three primary colors) of red (R), green (G), and blue (B) are provided. .
  • one microlens L is arranged above four photodiodes PD (four pixel ABCD) in the upper left, lower left, upper right, and lower right, and has a configuration of a four pixel one microlens.
  • the upper left and lower left pixels and the upper right and lower right pixels in the lens are called X-direction (left and right direction) pixels, and the upper left and upper right pixels and the lower left and lower right pixels are Y direction (vertical direction) pixels. That's it.
  • “upward” of the four-pixel ABCD means a direction in which light is incident on each pixel (imaging device 1).
  • color filters are arranged in order of RG r RG r on the four pixel 1 microlenses on the odd lines l1, l3, l5,..., And even lines l2, l4, l6.
  • the upper four-pixel 1 microlens is provided with color filters in the order of G b BG b B.
  • the color filter array is a Bayer array, and an image signal having different color information for each block is obtained.
  • the microlens L of the 4-pixel 1-microlens condenses the light flux on the light receiving surfaces of the four corners (four) of photodiodes PD.
  • the microlens L causes a light beam incident on the left side of the optical axis of the microlens L to enter the right photodiode PD, and causes a light beam incident on the right side to enter the left photodiode PD. .
  • parallax images (3D images) having parallax in the horizontal and vertical directions (X direction and Y direction) can be generated based on the output signal output from the four-pixel one-microlens.
  • a plane image (2D image) can also be generated.
  • FIG. 2 is a block diagram showing an embodiment of a stereoscopic imaging apparatus according to the present invention.
  • the stereoscopic imaging apparatus 10 is provided with the imaging element 1 shown in FIGS. 1A to 1C and can capture 2D images and 3D images.
  • the operation of the entire apparatus is performed by a central processing unit (CPU) 40. Overall control.
  • the stereoscopic imaging device 10 is provided with operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • a signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the stereoscopic imaging device 10 based on the input signal. For example, lens driving control, aperture driving control, photographing operation control, image processing control, image processing Data recording / reproduction control, display control of the liquid crystal monitor 30 for stereoscopic display, and the like are performed.
  • the shutter button is an operation button for inputting an instruction to start shooting, and is configured by a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed.
  • the mode dial is selection means for selecting a 2D shooting mode, a 3D shooting mode, a scene position such as a person, a landscape, a night view, a moving image mode, and the like.
  • the playback button is a button for switching to a playback mode in which a still image or a moving image of a plurality of parallax images (3D images) and planar images (2D images) that have been photographed and recorded are displayed on the liquid crystal monitor 30.
  • the MENU / OK key is an operation key having both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function as an OK button for instructing confirmation and execution of the selection contents. It is.
  • the cross key is an operation unit for inputting instructions in four directions, up, down, left, and right, and functions as a button (cursor moving operation means) for selecting an item from the menu screen or instructing selection of various setting items from each menu. To do.
  • the up / down key of the cross key functions as a zoom switch for shooting or a playback zoom switch in playback mode
  • the left / right key functions as a frame advance (forward / reverse feed) button in playback mode.
  • the BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state.
  • the image light indicating the subject is imaged on the light receiving surface of the image sensor 1 through the single photographing optical system (zoom lens) 12 and the diaphragm 14.
  • the photographing optical system 12 is driven by a lens driving unit 36 controlled by the CPU 40, and performs focus control, zoom control, and the like.
  • the diaphragm 14 is composed of, for example, five diaphragm blades, and is driven by a diaphragm drive unit 34 controlled by the CPU 40.
  • the diaphragm value is controlled in seven steps from 1 to an aperture value from a diaphragm value F1.4 to F11.
  • the CPU 40 controls the aperture 14 via the aperture drive unit 34, and controls the charge accumulation time (shutter speed) in the image sensor 1 and image signal readout from the image sensor 1 via the device controller 32. Etc.
  • the signal charge accumulated in the image sensor 1 is read out as a voltage signal corresponding to the signal charge based on a read signal applied from the device control unit 32.
  • the voltage signal read from the image sensor 1 is applied to the analog signal processing unit 18 where the R, G, B signals for each pixel are sampled and held, and the gain designated by the CPU 40 (corresponding to ISO sensitivity). And then added to the A / D converter 20.
  • the A / D converter 20 converts R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 22.
  • the digital signal processing unit 24 performs gain control processing including gamma correction processing, offset processing, white balance correction, sensitivity correction, gamma correction processing, and synchronization processing (primary color filter) on a digital image signal input via the image input controller 22.
  • Predetermined signal processing such as interpolating the spatial deviation of the color signals due to the arrangement of color signals and converting the color signals into simultaneous equations), YC processing (processing for generating luminance data and color difference data of image data), sharpness correction, etc. I do.
  • 46 is a ROM (EEPROM (Electrically Erasable Programmable Read-Only Memory)) in which various parameters and tables used for camera control programs, defect information of the image sensor 1, image processing, and the like are stored. .
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • the defect information is a correction indicating the positional relationship of one or a plurality of peripheral pixels of the same color used for correcting the defective pixel based on the coordinate data (X coordinate data, Y coordinate data) of the defective pixel and the color of the defective pixel. Pattern.
  • the coordinate data of the defective pixel is created for each defective image determined to be a defective pixel by evaluating the output data of the imaging device 1 on a pixel-by-pixel basis before shipping the image sensor 1 from the factory, Recorded in the ROM 46. Note that a defective pixel that occurs later may be detected, and coordinate data of the defective pixel may be registered.
  • the digital signal processing unit 24 includes a defective pixel correction unit, and corrects defective pixels based on defect information stored in the ROM 46. The details of the defective pixel correction in the digital signal processing unit 24 will be described later.
  • the image data processed by the digital signal processing unit 24 is output to a VRAM (Video Random Access Memory) 50.
  • the VRAM 50 includes an A area and a B area each storing image data representing an image for one frame.
  • image data representing an image for one frame is rewritten alternately in the A area and the B area.
  • the written image data is read from an area other than the area where the image data is rewritten.
  • the image data read from the VRAM 50 is encoded by the video encoder 28 and is output to a stereoscopic display liquid crystal monitor 30 provided on the back of the camera, whereby a 2D / 3D subject image (live view image) is liquid crystal. It is displayed on the display screen of the monitor (LCD) 30.
  • the liquid crystal monitor 30 is a stereoscopic display unit that can display a stereoscopic image (left and right parallax images) as a directional image having a predetermined directivity by a parallax barrier, but is not limited thereto, and uses a lenticular lens. It is also possible that the left viewpoint image and the right viewpoint image can be individually viewed by wearing dedicated glasses such as polarized glasses or liquid crystal shutter glasses.
  • the CPU 40 starts an AF (Automatic Focus) operation and an AE (Automatic Exposure adjustment) operation, Control is performed so that the focus lens in the photographing optical system 12 comes to the in-focus position.
  • the image data output from the A / D converter 20 when the shutter button is half-pressed is taken into the AE detection unit 44.
  • the AE detection unit 44 integrates the G signals of the entire screen or integrates the G signals that are weighted differently in the central portion and the peripheral portion of the screen, and outputs the integrated value to the CPU 40.
  • the CPU 40 calculates the brightness of the subject (shooting EV value) from the integrated value input from the AE detection unit 44, and sets the aperture value of the diaphragm 14 and the electronic shutter (shutter speed) of the image sensor 1 based on the shooting EV value. It is determined according to a predetermined program diagram.
  • shooting (exposure) conditions that are a combination of aperture value and shutter speed, or a combination of these and shooting sensitivity (ISO sensitivity) are designed according to the brightness of the subject. Is. By shooting under the shooting conditions determined according to the program diagram, an image with appropriate brightness can be taken regardless of the brightness of the subject.
  • the CPU 40 controls the aperture 14 via the aperture drive unit 34 based on the aperture value determined according to the program diagram, and accumulates charges in the image sensor 1 via the device control unit 32 based on the determined shutter speed. Control the time.
  • the AF processing unit 42 is a part that performs AF processing (for example, contrast AF processing, phase AF processing).
  • contrast AF processing for example, high-frequency components of image data in a predetermined focus area of image data are extracted, and an AF evaluation value indicating an in-focus state is calculated by integrating the high-frequency components. .
  • AF control is performed by controlling the focus lens in the photographic optical system 12 so that the AF evaluation value is maximized.
  • phase difference AF processing a phase difference of image data in a predetermined focus area among a plurality of parallax image data corresponding to a 4-pixel 1 microlens is detected, and information indicating this phase difference is obtained. The defocus amount is obtained based on this.
  • AF control is performed by controlling the focus lens in the photographing optical system 12 so that the defocus amount becomes zero.
  • the image data output from the A / D converter 20 in response to the press is stored in the memory from the image input controller 22.
  • SDRAM Serial Dynamic Random Access Memory
  • the image data temporarily stored in the memory 48 is appropriately read out by the digital signal processing unit 24.
  • the digital signal processing unit 24 performs predetermined signal processing such as defective pixel correction, white balance correction, gamma correction processing, synchronization processing, YC processing, and sharpness correction on the read digital image signal, and performs YC processing.
  • the YC data is stored in the memory 48 again.
  • the digital signal processing unit 24 obtains four sheets of image data for each of A, B, C, and D. Generate.
  • the image data of A and C are added to generate a left eye display image (left parallax image)
  • B and The image data for D is added to generate a right-eye display image (right parallax image).
  • the image data for A and B are added to generate a left eye display image (left parallax image), and C and D The image data is added to generate a right eye display image (right parallax image).
  • the stereoscopic imaging device 10 is provided with a vertical / horizontal detection unit 49 that detects the orientation (vertical / horizontal) of the stereoscopic imaging device 10 and selectively adds the pixels based on the orientation of the stereoscopic imaging device 10 during 3D shooting. To do.
  • a 2D image can also be generated by adding image data of A, B, C, and D.
  • the vertical / horizontal detection unit 49 can be constituted by a gravity sensor or a gyro sensor.
  • a recording mode in which image data for four sheets A, B, C, and D is recorded as it is without performing pixel addition regardless of whether the image is taken horizontally or vertically.
  • the YC data of the plurality of parallax images stored in the memory 48 is output to the compression / decompression processing unit 26, where predetermined compression processing such as JPEG (joint photographic experts group) is executed, and further, a multi-picture file (MP File: a file in a format in which a plurality of images are connected) is generated, and the MP file is recorded on the memory card 54 via the media controller 52.
  • predetermined compression processing such as JPEG (joint photographic experts group) is executed
  • MP File a multi-picture file
  • one piece of YC data generated in the 2D shooting mode and stored in the memory 48 is output to the compression / decompression processing unit 26, where a predetermined compression process such as JPEG is executed, and then Exif (Exchangeable image file format) file is generated and recorded on the memory card 54 via the media controller 52.
  • Image data (mosaic image data) of RG r G b B pixels corresponding to the pixels A, B, C, D of the four-pixel 1 microlens of the image sensor 1 shown in FIG. 1A and the color filter array (Bayer array) ) Is temporarily stored in the memory 48 via the image input controller 22.
  • the defective pixel correction unit identifies the defective pixel based on the coordinate data of the defective pixel in the defect information stored in the ROM 46. Further, the defective pixel correcting unit determines whether the color of the specified defective pixel is RG r G b B, or the specified defective pixel is each pixel A, B, C, Which pixel of D is identified (that is, which of the four parallax images belongs to).
  • the defect information includes the defect pixel color type (R (B), G r, G b ) and the position (pixel A, B, C, D) within the 4-pixel 1 microlens.
  • a correction pattern indicating the positional relationship of one or a plurality of peripheral pixels used for correcting a defective pixel with respect to the defective pixel is included.
  • the defective pixel correction unit reads a correction pattern corresponding to the color of the defective pixel to be corrected and the types of the pixels A, B, C, and D.
  • the defective pixel correction unit identifies peripheral pixels used for correcting the defective pixel based on the coordinate data of the defective pixel to be corrected and the read correction pattern.
  • the defective pixel correction unit calculates a pixel value of the defective pixel by interpolating an image value that is an image signal of the specified peripheral pixel.
  • First Embodiment> 4A and 4B are diagrams used to explain the first embodiment of the image processing method for a defective pixel, and more particularly, a diagram showing a relationship between the defective pixel and peripheral pixels used for correcting the defective pixel. is there.
  • FIG. 4A when a pixel indicated by diagonal lines (R pixel A) is a defective pixel, four peripheral pixels (white background) of the same color closest to the defective pixel and the pixel A in the 4-pixel 1 microlens.
  • the pixel A) indicated by is used as a pixel for interpolation.
  • the R pixel closest to the R defective pixel exists at an equidistant position in the vertical and horizontal directions of the defective pixel. Therefore, the pixel value at the position of the defective pixel can be calculated by arithmetically averaging the pixel values of the four peripheral pixels.
  • the pixel A of the same color as the peripheral pixels (the pixel A having the same phase among the pixels A, B, C, and D having different phases in the 4-pixel 1 microlens) is selected.
  • the stereoscopic effect is prevented from being impaired by the corrected defective pixel.
  • the peripheral pixel used for correction also uses the pixel B, C, or D.
  • the peripheral pixel used for correction since the array of R pixels and the array of B pixels have the same array, even when the B pixel is a defective pixel, correction can be performed in the same manner as described above.
  • pixel A G b a pixel indicated by hatching
  • pixel A G b the nearest same color to the defective pixel
  • four peripheral pixels of the same phase pixel A shown in white
  • the closest G pixel to the defective pixel of the G b is upper right of the defective pixel is present in the same distance in the lower right diagonal direction. Therefore, the pixel value at the position of the defective pixel can be calculated by arithmetically averaging the pixel values of the four peripheral pixels.
  • the G b pixels and G r pixels a pixel adjacent to the left-right direction, but there is a difference in the B pixel or an R pixel, the same G pixel, when the Bayer array, closest to G b pixel Since the G pixel is G r and the G pixel closest to the G r pixel is the G b pixel, these diagonal G pixels are used. Further, by using the G pixel having the same phase for correcting the defective G pixel, the stereoscopic effect is not impaired by the corrected defective G pixel.
  • FIG. 5A and FIG. 5B are diagrams used to explain the second embodiment of the image processing method for a defective pixel, and more particularly, a diagram showing the relationship between the defective pixel and peripheral pixels used for correcting the defective pixel. is there.
  • the second embodiment shown in FIGS. 5A and 5B is different from the first embodiment shown in FIGS. 4A and 4B in that defective pixels are included in peripheral pixels used for correcting defective pixels. Is different.
  • Whether or not the peripheral pixel used for correcting the defective pixel includes a defective pixel is determined by specifying the peripheral pixel used for correcting the defective pixel and then registering the coordinate data of the specified peripheral pixel in the ROM 46 This can be done depending on whether or not the coordinate data of the defective pixel is matched.
  • the upward pixel (the pixel indicated by “x”) in FIG. 5A is a defective pixel
  • two peripheral pixels in the horizontal direction Are used for interpolation.
  • the pixel in the lower direction that is symmetrical to the pixel in the upper direction across the defective pixel to be corrected is not a defective pixel, but is not used for interpolation.
  • the position (center of gravity) of the pixel calculated by interpolation can be matched with the position of the defective pixel to be corrected.
  • upper right pixel (pixel A G b) indicated by oblique lines in FIG. 5B, among the four pixels in the lower right diagonal direction (pixels indicated by ⁇ marks) the upper right direction of the pixel on Figure 5B is a defective pixel
  • two peripheral pixels in the diagonally lower right direction are used as pixels for interpolation.
  • the pixel in the lower left direction that is symmetrical to the pixel in the upper right direction across the defective pixel to be corrected is not a defective pixel, but is not used for interpolation.
  • the position (center of gravity) of the pixel calculated by interpolation can be matched with the position of the defective pixel to be corrected.
  • FIG. 6 is a diagram used for explaining the third embodiment of the image processing method for a defective pixel, and particularly shows a relationship between the defective pixel and peripheral pixels used for correcting the defective pixel.
  • the third embodiment shown in FIG. 6 is different from the second embodiment shown in FIG. 5B in that peripheral pixels used for correcting defective pixels are different.
  • peripheral pixels of the closest same color and the same phase to the defective pixel is present upper right, obliquely lower right direction .
  • these four peripheral pixels for example, when the pixel in the upper right direction in FIG. 6 (the pixel indicated by a cross) is a defective pixel, these four peripheral pixels in the oblique direction are used for correcting the defective pixel. Instead, the four pixels having the same color and the same phase in the vertical and horizontal directions of the defective pixel are set as peripheral pixels used for correcting the defective pixel.
  • peripheral pixels are peripheral pixels that are not closest to the G defective pixel in the same color and phase, but are present in the same color and the same phase at the same distance.
  • the pixel value at the position of the defective pixel can be calculated by arithmetically averaging the pixel values of the four surrounding pixels. Note that since the number of pixels used for interpolation is larger than in the embodiment shown in FIG. 5B, the influence of false resolution can be reduced.
  • FIG. 7A and FIG. 7B are diagrams used to explain the fourth embodiment of the image processing method for a defective pixel, and in particular, are diagrams showing the relationship between the defective pixel and the peripheral pixels used for correcting the defective pixel. is there.
  • the image data of the pixels A and C of the 4-pixel 1-microlens are added to generate a left parallax image
  • the image data of the pixels B and D are added to generate a right parallax image.
  • the parallax information in the vertical direction is canceled and the parallax image is only in the horizontal direction.
  • pixels A and C and the pixels B and D in the vertical direction within the 4-pixel 1 microlens are added (pixel mixture) during horizontal shooting, for example, when the pixel indicated by the oblique lines in FIG. 7A is a defective pixel.
  • pixels having the same color and the same phase closest to the defective pixel, and two peripheral pixels in the vertical direction are used as pixels for interpolation.
  • the parallax image to which pixels are added during horizontal shooting tends to have parallax in the horizontal direction and no parallax in the vertical direction. For this reason, it is possible to prevent deterioration of the parallax information of the corrected pixel by performing correction using the pixels in the vertical direction.
  • pixels A and B and the pixels C and D in the left and right direction in the 4-pixel 1 microlens are added (pixel mixture) during vertical shooting, for example, when the pixel indicated by the oblique line in FIG. 7B is a defective pixel Are pixels having the same color and the same phase closest to the defective pixel, and two peripheral pixels in the left-right direction are used for interpolation.
  • the parallax image to which pixels are added during vertical shooting tends to have parallax in the vertical direction and no parallax in the horizontal direction. For this reason, it is possible to prevent deterioration of the parallax information of the corrected pixel by performing correction using the left and right pixels.
  • the “lateral” parallax refers to the parallax in the left-right direction (pixel AB or pixel CD direction) on FIG. 1A, and the “vertical” parallax refers to the vertical direction (pixel) on FIG. 1A.
  • FIGS. 8A and 8B are diagrams used to explain the fifth embodiment of the image processing method for defective pixels, and particularly show the relationship between the defective pixels and the peripheral pixels used to correct the defective pixels. is there.
  • the fifth embodiment shown in FIGS. 8A and 8B relates to a defective pixel correction method in the case where pixels are added according to horizontal shooting or vertical shooting as in the fourth embodiment shown in FIGS. 7A and 7B. .
  • the pixel adjacent to the vertical direction in the four-pixel 1 microlens including the defective pixel is set as the pixel value of the defective pixel to be corrected. To do.
  • the four pixels in the four-pixel 1 microlens are pixels of the same color, although the phases (parallax information) are different, and it is only necessary to obtain a parallax image in the horizontal direction during horizontal shooting. For this reason, as the parallax information in the horizontal direction, the pixel value of the adjacent pixel in the same vertical direction is directly used as the pixel value of the defective pixel. Further, since the adjacent pixel is closest to the defective pixel, false resolution due to the corrected pixel is less likely to occur.
  • a pixel adjacent to the vertical direction among the four-pixel 1 microlens including the defective pixel is determined as a defective pixel to be corrected. Value.
  • the four pixels in the four-pixel 1 microlens are pixels of the same color, although the phases (parallax information) are different, and it is only necessary to obtain a parallax image in the horizontal direction during horizontal shooting. For this reason, as the parallax information in the horizontal direction, the pixel value of the adjacent pixel in the same vertical direction is directly used as the pixel value of the defective pixel. Further, since the adjacent pixel is closest to the defective pixel, false resolution due to the corrected pixel is less likely to occur.
  • FIGSixth Embodiment> 9A and 9B are diagrams illustrating a sixth embodiment of an image processing method for a defective pixel, and particularly a diagram illustrating a relationship between a defective pixel and peripheral pixels used for correcting the defective pixel.
  • the sixth embodiment shown in FIGS. 9A and 9B is a modification of the fifth embodiment shown in FIGS. 8A and 8B. That is, as shown in FIG. 9A, during horizontal shooting, the pixels adjacent to each other in the vertical direction among the four-pixel 1 microlens, the adjacent pixels, and the closest pixel of the same color on the opposite side of the adjacent pixel across the defective pixel. The pixels used for correcting the defective pixels are calculated, and the pixel values of these pixels are calculated by interpolating the pixel values of these pixels.
  • the center of gravity of the pixel calculated by interpolation can be made to coincide with the position of the defective pixel to be corrected. Further, since adjacent pixels are used for interpolation, it is possible to make it difficult for false resolution to occur.
  • 10A and 10B are diagrams illustrating a seventh embodiment of an image processing method for a defective pixel, and particularly a diagram illustrating a relationship between the defective pixel and a peripheral pixel used for correcting the defective pixel.
  • the seventh embodiment shown in FIGS. 10A and 10B is a modification of the sixth embodiment shown in FIGS. 9A and 9B.
  • the adjacent pixels adjacent to the defective pixel to be corrected are also defective pixels. It shows the processing method.
  • the opposite side of the defective pixel to be corrected is sandwiched in place of the defective pixel adjacent to the vertical direction in the four-pixel 1 microlens (the pixel indicated by x).
  • the closest pixel of the same color is used as a pixel used for correcting a defective pixel.
  • the opposite side of the defective pixel to be corrected is sandwiched in place of the defective pixel adjacent to the horizontal direction in the four-pixel 1 microlens (the pixel indicated by a cross).
  • the closest pixel of the same color is used as a pixel used for correcting a defective pixel.
  • G r pixels and G b pixel is a pixel of the same color (G), a pixel adjacent to the left-right direction, a difference of B pixel and R pixel is there.
  • G b pixel a pixel value of G r pixels by leakage of light from the R pixel (color mixing) are adjacent the shooting, and G r pixels as shown in FIG. 11 G There may be a step between the b pixel.
  • FIG. 12 is a flowchart showing an eighth embodiment of an image processing method for defective pixels.
  • the defective pixel to be corrected calculates a difference (level difference) of pixel values of the G r pixels and G b pixels around the defective pixels (Ste S10). Note that it is preferable to detect a tendency of the step by calculating a plurality of steps around the defect pixel to be corrected and calculating an average value thereof.
  • step S12 it is determined whether or not the calculated level difference is equal to or less than a predetermined threshold (step S12). If the step is equal to or less than a predetermined threshold (in the case of “Yes”), as shown by the solid line arrow in FIG. 13, the periphery of the defective pixel that is the same color and the same phase pixel as the defective pixel upper right, and the pixels to be used for correcting the (G b is G r in the case of defective pixel G b, defective pixel in the case of G r) 4 single pixel in the lower right diagonal direction, the pixels of the pixel of The pixel value of the defective pixel is calculated by interpolating the value (step S14).
  • the step exceeds a predetermined threshold value (in the case of “No”), as shown by the dotted arrow in FIG. 13, the pixel is the second closest to the defective pixel and has the same phase. and pixels to be used for correcting the (G r is the case when the defective pixel is G b of G b, defective pixel G r) 4 single pixel in the vertical and horizontal directions around the defective pixel, the pixels of the pixel
  • the pixel value of the defective pixel is calculated by interpolating the value (step S16).
  • step of the pixel values of the G r pixels and G b pixel is small, but may use any of the pixels, to reduce the spurious resolution by using a diagonal direction of the pixel closer to the defective pixel it can, on the other hand, if the step of the pixel values of the G r pixels and G b pixel is large, which enables the calculation of receiving no pixel values the influence of color mixture by using a pixel in the vertical and horizontal directions .
  • the four pixels A, B, C, and D in the four-pixel 1 microlens are different in adjacent color (A is different in the upper and left colors, B is different in the upper and right colors, etc.), and the color mixture is large Is affected by adjacent pixels, and steps are generated in the pixel values of the pixels A, B, C, and D as shown in FIG.
  • the four pixels within the four-pixel 1 microlens have different phases (parallax information) and therefore output levels are different (in the case of a focused pixel, there is no phase shift, so the output levels are equal. However, if the surrounding pixels also tend to have a level difference, it is considered that a step due to color mixing has occurred.
  • FIG. 15 is a flowchart showing a ninth embodiment of the image processing method for defective pixels.
  • the level difference of the pixel values of the pixels A, B, C, and D in the same color 4 pixel 1 microlens around the defective pixel (scratch pixel) to be corrected is calculated (step S20).
  • it is preferable to detect the tendency of the level difference by calculating the level difference between the pixels A, B, C, and D in the plurality of 4-pixel 1 microlenses around the defect pixel to be corrected and calculating the average value thereof.
  • step S22 it is determined whether or not the calculated steps of the pixels A, B, C, and D within the 4-pixel 1 microlens are equal to or less than a predetermined threshold value (step S22).
  • a predetermined threshold when “Yes”
  • the pixel value of the adjacent pixel in the vertical direction of the defective pixel is used as the pixel value of the defective pixel to be corrected.
  • the pixel value of the adjacent pixel in the left-right direction of the defective pixel is set as the pixel value of the defective pixel to be corrected (step S24).
  • the pixel value of the pixel C in the same 4-pixel 1 microlens is used, and when the defective pixel is the pixel A at the time of vertical shooting, The pixel value of the pixel B of
  • each step exceeds a predetermined threshold value (in the case of “No”)
  • pixel values of pixels having the same color and the same phase in the vertical direction of the defective pixel are interpolated as shown in FIG. 16B.
  • the pixel value of the defective pixel to be corrected is calculated, and during vertical shooting, the pixel value of the defective pixel to be corrected is calculated by interpolating the pixel values of the same color and phase of the defective pixel in the left-right direction (step S26).
  • the pixel A of the vertical R pixel is used as a correction pixel
  • the horizontal direction The pixel A of the R pixel is a pixel used for correction.
  • the color filter array is a Bayer array
  • the present invention is not limited to this, and the present invention can also be applied to correction of defective pixels of image pickup devices of other color filter arrays.
  • the imaging device of this embodiment can simultaneously acquire a plurality of (four) parallax images in the horizontal and vertical directions by a four-pixel one microlens.
  • four or more such as nine-pixel one microlens The present invention can also be applied to an image sensor that can simultaneously acquire parallax images.
  • the pupil dividing means may be a combination of 1 pixel 1 microlens and a light blocking member for limiting the light flux.
  • SYMBOLS 1 ... Imaging device, 10 ... Stereo imaging device, 12 ... Imaging optical system, 14 ... Diaphragm, 24 ... Digital signal processing part, 30 ... Liquid crystal monitor, 38 ... Operation part, 40 ... Central processing unit (CPU), 46 ... ROM 48 ... Memory 49 ... Vertical / horizontal detection unit 54 ... Memory card L ... Microlens PD PD Photodiode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

　本発明の一態様に係る画像処理方法は、単一の撮影光学系と、隣接する複数の画素を１ブロックとし、ブロック毎に３色のカラーフィルタのうちのいずれか１色のカラーフィルタが配設された撮像素子であって、前記撮影光学系の異なる領域を通過した光を受光し、複数の視差画像を同時に取得可能な単一の撮像素子とを含む立体撮像装置において、前記撮像素子から複数の視差画像を取得し、前記複数の視差画像内の欠陥画素の画素値を補間により算出する場合に、前記欠陥画素の補間に使用する周辺画素として、前記複数の視差画像のうちの前記欠陥画素と同じ視差情報及び同じ色情報をもつ周辺画素を使用する。

Description

立体撮像装置及び画像処理方法
　本発明は立体撮像装置及び画像処理方法に係り、特に単一の撮影光学系により撮影される複数の視差画像（３Ｄ画像）の欠陥画素を補正する技術に関する。
　従来、複数の画素に対して１つのマイクロレンズが割り当てられた撮像素子を使用し、立体画像内の任意の奥行き方向に任意の２次元画像を挿入することが可能な画像処理装置が提案されている（特許文献１）。この特許文献１には、１つのマイクロレンズが割り当てられた複数の画素から視差の異なる複数の視差画像を生成する記載がある。
　特許文献２には、撮像素子を第一の受光感度に設定したときの画素欠陥に関する情報である通常欠陥情報と、撮像素子を第一の受光感度よりも高感度である第２の受光感度に設定したときの画素欠陥に関する情報である高感度欠陥情報とを欠陥メモリに記憶させておき、撮像時における撮像素子に対する受光感度の設定に応じて通常欠陥情報若しくは高感度欠陥情報を用い、撮像素子の画素欠陥の補正を行う画像補正装置が記載されている。
特開２０１０－０６８０１８号公報 特開２００５－３１１７３２号公報
　特許文献１に記載の撮像装置は、１つのマイクロレンズが割り当てられた複数の画素から視差の異なる複数の視差画像を取得することができる。しかしながら、特許文献１に記載の撮像装置は、これらの複数の視差画像内の欠陥画素（キズ画素）の補正を行う際に、同色の周辺画素を用いて補正を行うと、位相差が異なる画素を使用することになり、立体感を失う可能性がある。
　特許文献２に記載の発明は、顕微鏡用カメラなどにおいて、露出時間の長時間化による白点ノイズを補正するものであり、複数の視差画像内の欠陥画素を補正するものではない。
　本発明はこのような事情に鑑みてなされたもので、複数の視差画像内の欠陥画素を補正する際に、立体感を損なわない欠陥画素の補正を行うことができる立体撮像装置及び画像処理方法を提供することを目的とする。
　前記目的を達成するために本発明の一の態様に係る立体撮像装置は、単一の撮影光学系と、水平及び垂直方向に隣接する複数の画素を１ブロックとし、ブロック毎に３原色を含むカラーフィルタのうちのいずれか１色のカラーフィルタが配設された撮像素子であって、撮影光学系の異なる領域を通過した光を受光し、水平及び垂直方向の複数の視差画像を同時に取得可能な単一の撮像素子と、撮像素子から取得される画像内の欠陥画素の画素値を、該欠陥画素の周辺画素の画素値を補間して算出する欠陥画素補正手段と、を備え、欠陥画素補正手段は、補正対象の欠陥画素の補間に使用する周辺画素として、複数の視差画像のうちの欠陥画素と同じ視差情報及び同じ色情報をもつ周辺画素を使用するようにしている。
　本態様に係る撮像素子から取得される画像の場合、その画像内の欠陥画素に最も近い周辺画素は欠陥画素と同じ視差情報及び同じ色情報をもつ画素ではない。しかしながら、本発明の一の態様によれば、補正対象の欠陥画素の補間に使用する周辺画素として、複数の視差画像のうちの欠陥画素と同じ視差情報及び同じ色情報をもつ周辺画素を使用するようにしたため、補正後の欠陥画素により立体感が損なわないようにすることができる。また、本発明の一の態様によれば、複数の視差画像をそれぞれカラー画像とすることができる。
　本発明の他の態様に係る立体撮像装置において、撮像素子の１ブロック内の複数の画素は、上下左右に隣接する正方配置された４つの画素であり、撮像素子は、１ブロックの４つの画素の上方に配設される１つのマイクロレンズであって、該マイクロレンズに入射する光を瞳分割してそれぞれ４つの画素の受光面に導くマイクロレンズを有している。このマイクロレンズは、撮影光学系の異なる領域を通過した光束を瞳分割して４つの画素に入射させる瞳分割手段として機能する。
　本発明の更に他の態様に係る立体撮像装置において、欠陥画素補正手段は、補正対象の欠陥画素の中心位置と該欠陥画素の周辺の上下左右方向の４画素の中心位置との間隔、及び欠陥画素の中心位置と該欠陥画素の周辺の斜め右上、斜め右下方向の４画素の中心位置との間隔のうちの間隔の短い方の４画素に欠陥画素が含まれているか否かを判別する判別手段を含み、判別手段が間隔の短い方の４画素に欠陥画素が含まれていないと判別すると、間隔の短い方の４画素の画素値を補間して補正対象の欠陥画素の画素値を算出し、判別手段が間隔の短い方の４画素に欠陥画素が含まれていると判別すると、短い方の４画素のうちの欠陥画素とその欠陥画素と対向する画素を外して補正対象の欠陥画素の画素値を算出することが好ましい。これにより、補間により算出される画素の位置（重心）を、補正対象の欠陥画素の位置の位置と一致させることができる。
　本発明の更に他の態様に係る立体撮像装置において、欠陥画素補正手段は、補正対象の欠陥画素の中心位置と該欠陥画素の周辺の上下左右方向の４画素の中心位置との間隔、及び欠陥画素の中心位置と該欠陥画素の周辺の斜め右上、斜め右下方向の４画素の中心位置との間隔のうちの間隔の短い方の４画素に欠陥画素が含まれているか否かを判別する判別手段を含み、欠陥画素が含まれていないと判別すると、間隔の短い方の４画素の画素値を補間して補正対象の欠陥画素の画素値を算出し、欠陥画素が含まれていると判別すると、間隔の長い方の４画素の画素値を補間して補正対象の欠陥画素の画素値を算出することが好ましい。例えば、カラーフィルタ配列としてベイヤ配列のＧ画素が欠陥画素の場合、斜め右上、斜め右下方向の４画素が、欠陥画素に最も近い同色の画素となるが、これらの画素に欠陥画素が含まれている場合には、上下左右方向の４画素を補正用の画素として使用する。また、ベイヤ配列のＲ画素又はＢ画素が欠陥画素の場合、上下左右方向の４画素が、欠陥画素に最も近い同色の画素となるが、これらの画素に欠陥画素が含まれている場合には、斜め右上、斜め右下方向の４画素を補正用の画素として使用する。
　本発明の更に他の態様に係る立体撮像装置は、横撮影か縦撮影かを検知する検知手段と、検知手段により横撮影が検知されると、複数の視差画像のうち垂直方向の画素混合を行い、縦撮影が検知されると、複数の視差画像のうち水平方向の画素混合を行う画素混合手段と、を更に備え、欠陥画素補正手段は、検知手段により横撮影が検知されると、欠陥画素の周辺の上下方向の画素の画素値を補間して補正対象の欠陥画素の画素値を算出し、縦撮影が検知されると、欠陥画素の周辺の左右方向の画素の画素値を補間して補正対象の欠陥画素の画素値を算出することが好ましい。
　複数の視点画像は、水平方向の視差画像及び垂直方向の視差画像が含まれているが、本態様では、横撮影か縦撮影かに応じて、複数の視差画像のうち垂直方向の画素混合、又は水平方向の画素混合を行うようにした。このため、欠陥画素の周辺の上下方向の画素のみ、又は欠陥画素の周辺の左右方向の画素のみを用いて補正対象の欠陥画素の画素値を算出することができる。これにより、欠陥画素に要求される視差情報を保持しつつ、補間演算を簡略化することができる。
　本発明の更に他の態様に係る立体撮像装置は、横撮影か縦撮影かを検知する検知手段と、検知手段により横撮影が検知されると、複数の視差画像のうち垂直方向の画素混合を行い、縦撮影が検知されると、複数の視差画像のうち水平方向の画素混合を行う画素混合手段と、を更に備え、欠陥画素補正手段は、検知手段により横撮影が検知されると、欠陥画素の上下方向の隣接画素の画素値を補正対象の欠陥画素の画素値とし、縦撮影が検知されると、欠陥画素の左右方向の隣接画素の画素値を補正対象の欠陥画素の画素値とすることが好ましい。これにより、欠陥画素に要求される視差情報を保持しつつ、欠陥画素の隣接画素（最も近い画素）の画素値を適用することにより、偽解像が発生しないようにすることができる。
　本発明の更に他の態様に係る立体撮像装置は、横撮影か縦撮影かを検知する検知手段と、検知手段により横撮影が検知されると、複数の視差画像のうち垂直方向の画素加算を行い、縦撮影が検知されると、複数の視差画像のうち水平方向の画素加算を行う画素加算手段と、を更に備え、欠陥画素補正手段は、検知手段により横撮影が検知されると、欠陥画素の上下方向の隣接画素を含む上下方向の画素の画素値を補間して補正対象の欠陥画素の画素値を算出し、縦撮影が検知されると、欠陥画素の左右方向の隣接画素を含む左右方向の画素の画素値を補間して補正対象の欠陥画素の画素値を算出することが好ましい。欠陥画素の隣接画素を含む画素の画素値を補間して欠陥画素の画素値を算出するようにしたため、偽解像が発生しにくく、かつ補間により算出される画素の重心を、補正対象の欠陥画素の位置の位置と一致させることができる。
　本発明の更に他の態様に係る立体撮像装置において、欠陥画素補正手段は、補正対象の欠陥画素の上下又は左右方向の隣接画素が欠陥画素か否かを判別する判別手段を含み、検知手段により横撮影が検知され、かつ上下方向の隣接画素が欠陥画素と判別されると、補正対象の欠陥画素の上方向及び下方向でそれぞれ最も近い画素の画素値を補間して補正対象の欠陥画素の画素値を算出し、検知手段により縦撮影が検知され、かつ左右方向の隣接画素が欠陥画素と判別されると、補正対象の欠陥画素の左方向及び右方向でそれぞれ最も近い画素の画素値を補間して補正対象の欠陥画素の画素値を算出することが好ましい。即ち、欠陥画素に最も近い隣接画素が欠陥画素の場合（欠陥画素が連続する場合）、隣接画素の代わりに、横撮影の場合には、補正対象の欠陥画素の上方向及び下方向でそれぞれ最も近い画素の画素値を補間して欠陥画素の画素値を算出し、縦撮影の場合には、補正対象の欠陥画素の左方向及び右方向でそれぞれ最も近い画素の画素値を補間して欠陥画素の画素値を算出するようにしている。
　本発明の更に他の態様に係る立体撮像装置において、撮像素子は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のフィルタであって、Ｒのフィルタと該Ｒのフィルタに隣接する第１のＧのフィルタとが水平方向に繰り返し配設された第１のラインと、Ｂのフィルタと該Ｇのフィルタに隣接する第２のＧフィルタとが水平方向に繰り返し配設された第２のラインとが垂直方向に交互に配列されたベイヤ配列のカラーフィルタを有するカラー撮像素子であり、補正対象の欠陥画素の周辺の第１のＧのフィルタが配設された第１のＧ画素の画素値と第２のＧのフィルタが配設された第２のＧ画素の画素値との段差を検出する段差検出手段を更に備え、欠陥画素補正手段は、段差検出手段により検出された段差が所定の閾値以下か否かを判別する判別手段を有し、補正対象の欠陥画素が第１のＧ画素又は第２のＧ画素の場合において、段差が所定の閾値以下と判別されると、欠陥画素の周辺の斜め右上、斜め右下方向の４つの第１のＧ画素又は第２のＧ画素の画素値を補間して補正対象の欠陥画素の画素値を算出し、段差が所定の閾値を越えていると判別されると、欠陥画素の周辺の上下左右方向の４つの第１のＧ画素又は第２のＧ画素の画素値を補間して補正対象の欠陥画素の画素値を算出することが好ましい。
　ベイヤ配列の場合、Ｒのフィルタが配設されたＲ画素の左右方向に隣接する第１のＧのフィルタが配設された第１のＧ画素（以下、「Ｇｒ画素」という）と、Ｂのフィルタが配設されたＢ画素の左右方向に隣接する第２のＧのフィルタが配設された第２のＧ画素（以下、「Ｇｂ画素」という）とが存在する。これにより、例えば、Ｒ画素からの光の漏れ込み（混色）によりＧｒ画素の画素値が隣接するＧｂ画素の画素値よりも大きくなり、Ｇｒ画素とＧｂ画素との間で段差が生じる場合がある。本発明の更に他の態様によれば、Ｇｒ画素とＧｂ画素との間で段差が、所定の閾値以下の場合には、欠陥画素（Ｇｒ画素又はＧｂ画素）に最も近い同色の画素である斜め右上、斜め右下方向の４つのＧｂ画素又はＧｒ画素を補間演算に使用し、一方、所定の閾値を越える場合には、欠陥画素と同じ配置関係にある画素（欠陥画素がＧｒ画素であれば、周辺のＧｒ画素、Ｇｂ画素であれば、周辺のＧｂ画素）となる、欠陥画素の上下左右方向の４つのＧｒ画素又はＧｂ画素を補間演算に使用するようにしている。
　本発明の更に他の態様に係る立体撮像装置は、横撮影か縦撮影かを検知する検知手段と、検知手段により横撮影が検知されると、複数の視差画像のうち垂直方向の画素混合を行い、縦撮影が検知されると、複数の視差画像のうち水平方向の画素混合を行う画素混合手段と、補正対象の欠陥画素が属するブロックの周辺のブロック内の複数の画素の出力信号の段差を検出する段差検出手段と、を更に備え、欠陥画素補正手段は、段差検出手段により検出された段差が所定の閾値以下か否かを判別する判別手段を有し、判別手段により段差が所定の閾値以下と判別され、かつ検知手段により横撮影が検知されると、欠陥画素の上下方向の隣接画素の画素値を補正対象の欠陥画素の画素値とし、縦撮影が検知されると、欠陥画素の左右方向の隣接画素の画素値を補正対象の欠陥画素の画素値とし、判別手段により段差が所定の閾値を越えていると判別されると、ブロック内における補正対象の欠陥画素と同じ位置関係にある周辺画素の画素値を補間して補正対象の欠陥画素の画素値を算出することが好ましい。
　１つのブロック内の複数の画素には、同色のカラーフィルタが配置されているが、そのブロックの位置に応じて隣接するブロックのカラーフィルタの色の組み合わせが異なる。したがって、特定の色の画素からの光の漏れ込み（混色）によりブロック内の複数の画素の画素値が異なる場合が生じる。元々、視差によりブロック内の複数の画素の出力は異なるが、周辺のブロックの画素の段差レベルに傾向がある場合には、混色による段差が発生していると考えられる。そこで、本発明の更に他の態様によれば、周辺のブロック内の複数の画素間の段差が所定の閾値以下と判別され、かつ横撮影の場合には、欠陥画素の上下方向の隣接画素の画素値を補正対象の欠陥画素の画素値とし、縦撮影の場合には、欠陥画素の左右方向の隣接画素の画素値を補正対象の欠陥画素の画素値とする。一方、段差が所定の閾値を越えていると判別されると、ブロック内における補正対象の欠陥画素と同じ位置関係にある周辺画素の画素値を補間して補正対象の欠陥画素の画素値を算出するようにしている。
　本発明の更に他の態様に係る発明は、単一の撮影光学系と、水平及び垂直方向に隣接する複数の画素を１ブロックとし、ブロック毎に３原色を含むカラーフィルタのうちのいずれか１色のカラーフィルタが配設された撮像素子であって、撮影光学系の異なる領域を通過した光を受光し、水平及び垂直方向の複数の視差画像を同時に取得可能な単一の撮像素子とを有する立体撮像装置の画像処理方法において、撮像素子から出力される複数の視差画像を取得する工程と、複数の視差画像内の欠陥画素の画素値を、該欠陥画素の周辺画素の画素値を補間して算出する工程であって、補正対象の欠陥画素の補間に使用する周辺画素として、複数の視差画像のうちの欠陥画素と同じ視差情報及び同じ色情報をもつ周辺画素を使用する工程と、を含んでいる。
　本発明の更に他の態様に係る画像処理方法は、立体撮像装置による撮影が横撮影か縦撮影かを検知する工程と、横撮影が検知されると、複数の視差画像のうち垂直方向の画素混合を行い、縦撮影が検知されると、複数の視差画像のうち水平方向の画素混合を行う工程と、を更に含み、欠陥画素を補正する工程は、横撮影が検知されると、欠陥画素の周辺の上下方向の画素の画素値を補間して補正対象の欠陥画素の画素値を算出し、縦撮影が検知されると、欠陥画素の周辺の左右方向の画素の画素値を補間して補正対象の欠陥画素の画素値を算出することが好ましい。
　本発明の更に他の態様に係る画像処理方法は、立体撮像装置による撮影が横撮影か縦撮影かを検知する工程と、横撮影が検知されると、複数の視差画像のうち垂直方向の画素混合を行い、縦撮影が検知されると、複数の視差画像のうち水平方向の画素混合を行う工程と、を更に含み、欠陥画素を補正する工程は、横撮影が検知されると、欠陥画素の上下方向の隣接画素の画素値を補正対象の欠陥画素の画素値とし、縦撮影が検知されると、欠陥画素の左右方向の隣接画素の画素値を補正対象の欠陥画素の画素値とすることが好ましい。
　本発明の更に他の態様に係る画像処理方法において、欠陥画素を補正する工程は、補正対象の欠陥画素の上下又は左右方向の隣接画素が欠陥画素か否かを判別する工程を含み、横撮影が検知され、かつ上下方向の隣接画素が欠陥画素と判別されると、補正対象の欠陥画素の上方向及び下方向でそれぞれ最も近い画素の画素値を補間して補正対象の欠陥画素の画素値を算出し、縦撮影が検知され、かつ左右方向の隣接画素が欠陥画素と判別されると、補正対象の欠陥画素の左方向及び右方向でそれぞれ最も近い画素の画素値を補間して補正対象の欠陥画素の画素値を算出することが好ましい。
　本発明によれば、単一の撮影光学系及び単一の撮像素子を介して水平及び垂直方向の複数の視差画像が同時に撮影される場合に、これらの画像内の欠陥画素の補正に使用する周辺画素として、複数の視差画像のうちの欠陥画素と同じ視差情報をもつ周辺画素を使用するようにしたため、補正後の欠陥画素により立体感が損なわないようにすることができる。
本発明に係る撮像素子の実施形態を示す平面図 本発明に係る撮像素子の実施形態を示す要部拡大図 本発明に係る撮像素子の実施形態を示す要部側面図 本発明に係る立体撮像装置の実施形態を示すブロック図 ４画素１マイクロレンズの画素とその画素の加算方法を説明するために用いた平面図 ４画素１マイクロレンズの画素とその画素の加算方法を説明するために用いた図 欠陥画素に対する画像処理方法の第１の実施形態を説明するために用いた図 欠陥画素に対する画像処理方法の第１の実施形態を説明するために用いた図 欠陥画素に対する画像処理方法の第２の実施形態を説明するために用いた図 欠陥画素に対する画像処理方法の第２の実施形態を説明するために用いた図 欠陥画素に対する画像処理方法の第３の実施形態を説明するために用いた図 欠陥画素に対する画像処理方法の第４の実施形態を説明するために用いた図（横撮影） 欠陥画素に対する画像処理方法の第４の実施形態を説明するために用いた図（縦撮影） 欠陥画素に対する画像処理方法の第５の実施形態を説明するために用いた図（横撮影） 欠陥画素に対する画像処理方法の第５の実施形態を説明するために用いた図（縦撮影） 欠陥画素に対する画像処理方法の第６の実施形態を説明するために用いた図（横撮影） 欠陥画素に対する画像処理方法の第６の実施形態を説明するために用いた図（縦撮影） 欠陥画素に対する画像処理方法の第７の実施形態を説明するために用いた図 欠陥画素に対する画像処理方法の第７の実施形態を説明するために用いた図 ベイヤ配列のＧｒ画素とＧｂ画素との間の段差を説明するために用いた図 欠陥画素に対する画像処理方法の第８の実施形態を示すフローチャート 欠陥画素に対する画像処理方法の第８の実施形態を説明するために用いた図 ４画素１マイクロレンズ内の４つの画素の段差を説明するために用いた図 欠陥画素に対する画像処理方法の第９の実施形態を示すフローチャート 欠陥画素に対する画像処理方法の第９の実施形態を説明するために用いた図 欠陥画素に対する画像処理方法の第９の実施形態を説明するために用いた図
　以下、添付図面にしたがって本発明に係る立体撮像装置及び画像処理方法の実施の形態について説明する。
　［撮像素子］
　図１Ａは本発明に係る撮像素子の実施形態を示す平面図である。また、図１Ｂは図１Ａの要部拡大図であり、図１Ｃは図１Ｂの要部側面図である。
　図１Ａから図１Ｃに示すように、この撮像素子１は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）のカラーイメージセンサであり、半導体基板上の行方向及び列方向に配列された多数の光電変換素子（フォトダイオード）ＰＤ（図１Ｃ）と、マイクロレンズＬと、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の複数色（３原色）のカラーフィルタとを備えている。
　マイクロレンズＬは、図１Ａ上で、左上、左下、右上、右下の４つのフォトダイオードＰＤ（４画素ＡＢＣＤ）の上方に１つ配設され、４画素１マイクロレンズの構成となっている。尚、この実施形態では、通常の横撮影となるように立体撮像装置を構え、かつ被写体側から見たときの撮像素子１の平面図を、図１Ａとすると、図１Ａ上の４画素１マイクロレンズ内の左上、左下の画素と、右上、右下の画素をＸ方向（左右方向）の画素といい、左上、右上の画素と、左下、右下の画素をＹ方向（上下方向）の画素という。また、４画素ＡＢＣＤの「上方」とは、各画素（撮像素子１）に対して光が入射してくる方向をいう。
　４画素１マイクロレンズを１ブロックとし、ブロック毎にＲ、Ｇ、Ｂのうちのいずれか１色のカラーフィルタが配設されている。即ち、４画素１マイクロレンズの４つのフォトダイオードＰＤ上には、同一色のカラーフィルタが配設されている。
　図１Ａに示すように、奇数ラインｌ１、ｌ３、ｌ５、…上の４画素１マイクロレンズには、ＲＧｒＲＧｒ…の順にカラーフィルタが配設されており、偶数ラインｌ２、ｌ４、ｌ６…上の４画素１マイクロレンズには、ＧｂＢＧｂＢ…の順にカラーフィルタが配設されている。
　即ち、４画素１マイクロレンズ（１ブロック）を１画素と捉えると、上記カラーフィルタ配列はベイヤ配列となっており、ブロック毎に異なる色情報を有する画像信号が得られる。
　４画素１マイクロレンズのマイクロレンズＬは、図１Ｂに示すように正方配列された４隅（４つ）のフォトダイオードＰＤの受光面に光束を集光させるが、左上、左下、右上、右下の４つの方向別に光束が制限された光（瞳分割された光）をそれぞれ４つのフォトダイオードＰＤに入射させる。
　即ち、図１Ｃ上で、マイクロレンズＬは、該マイクロレンズＬの光軸よりも左側に入射する光束を右側のフォトダイオードＰＤに入射させ、右側に入射する光束を左側のフォトダイオードＰＤに入射させる。
　この撮像素子１によれば、４画素１マイクロレンズから出力される出力信号に基づいて水平、垂直方向（Ｘ方向、Ｙ方向）に視差を有する４つの視差画像（３Ｄ画像）が生成可能である。尚、４つの視差画像を加算すると、平面画像（２Ｄ画像）も生成することができる。
　［立体撮像装置］
　図２は本発明に係る立体撮像装置の実施の形態を示すブロック図である。
　この立体撮像装置１０は、図１Ａから図１Ｃに示した撮像素子１が配設され、２Ｄ画像及び３Ｄ画像の撮影が可能なもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
　立体撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて立体撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。
　シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、人物、風景、夜景等のシーンポジション、動画モード等を選択する選択手段である。
　再生ボタンは、撮影記録した複数の視差画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。
　撮影モード時において、被写体を示す画像光は、単一の撮影光学系（ズームレンズ）１２、絞り１４を介して撮像素子１の受光面に結像される。撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ１．４～Ｆ１１まで１ＡＶ刻みで７段階に絞り制御される。
　また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、デバイス制御部３２を介して撮像素子１での電荷蓄積時間（シャッタ速度）や、撮像素子１からの画像信号の読み出し制御等を行う。
　撮像素子１に蓄積された信号電荷は、デバイス制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子１から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素毎のＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理（原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、ＹＣ処理（画像データの輝度データ及び色差データの生成処理）、シャープネス補正等の所定の信号処理を行う。
　図２において、４６は、カメラ制御プログラム、撮像素子１の欠陥情報、画像処理等に使用する各種のパラメータやテーブル等が記憶されているＲＯＭ（ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory））である。
　欠陥情報は、欠陥画素の座標データ（Ｘ座標データ、Ｙ座標データ）と、欠陥画素の色等に基づいてその欠陥画素の補正に使用する同色の１又は複数の周辺画素の位置関係を示す補正パターンとから構成されている。欠陥画素の座標データは、撮像素子１を工場から出荷する前に撮像素子１の出力データを画素単位で評価して欠陥画素の判定を行い、欠陥画素と判定された欠陥画像毎に作成され、ＲＯＭ４６に記録される。尚、後発的に発生する欠陥画素を検知し、その欠陥画素の座標データを登録するようにしてもよい。
　また、デジタル信号処理部２４は、欠陥画素補正部を含み、ＲＯＭ４６に記憶されている欠陥情報に基づいて欠陥画素の補正を行う。尚、このデジタル信号処理部２４での欠陥画素補正の詳細については後述する。
　デジタル信号処理部２４で処理された画像データはＶＲＡＭ（Video Random Access Memory）５０に出力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０に出力され、これにより２Ｄ／３Ｄの被写体像（ライブビュー画像）が液晶モニタ（ＬＣＤ）３０の表示画面上に表示される。
　この液晶モニタ３０は、立体視画像（左右の視差画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
　また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ（Automatic Focus）動作及びＡＥ（Automatic Exposure adjustment）動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
　ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値及び撮像素子１の電子シャッタ（シャッタ速度）を所定のプログラム線図にしたがって決定する。
　ここで、プログラム線図とは、被写体の明るさに対応して、絞りの絞り値とシャッタ速度の組み合わせ、又はこれらと撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものである。プログラム線図にしたがって決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、適正な明るさの画像を撮影することができる。
　ＣＰＵ４０は、上記プログラム線図にしたがって決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御し、決定したシャッタ速度に基づいてデバイス制御部３２を介して撮像素子１での電荷蓄積時間を制御する。
　ＡＦ処理部４２は、ＡＦ処理（例えば、コントラストＡＦ処理、位相ＡＦ処理）を行う部分である。コントラストＡＦ処理を行う場合には、例えば、画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、４画素１マイクロレンズに対応する複数の視差画像データのうちの所定のフォーカス領域内の画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
　ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される画像データが画像入力コントローラ２２からメモリ（ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory））４８に入力し、一時的に記憶される。
　メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４により適宜読み出される。デジタル信号処理部２４は、読み出したデジタルの画像信号に対して、欠陥画素補正、ホワイトバランス補正、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行い、ＹＣ処理したＹＣデータを、再びメモリ４８に記憶させる。
　いま、図３Ａに示すように４画素１マイクロレンズの各画素をＡ、Ｂ、Ｃ、Ｄとすると、デジタル信号処理部２４では、Ａ、Ｂ、Ｃ、Ｄ毎の４枚分の画像データを生成する。次に、立体撮像装置１０を水平に構えて撮影した場合（横撮影時）には、ＡとＣの画像データを加算して左眼表示用画像（左視差画像）を生成するとともに、ＢとＤの画像データを加算して右眼表示用画像（右視差画像）を生成する。
　一方、立体撮像装置１０を縦に構えて撮影した場合（縦撮影時）には、ＡとＢの画像データを加算して左眼表示用画像（左視差画像）を生成し、ＣとＤの画像データを加算して右眼表示用画像（右視差画像）を生成する。
　立体撮像装置１０には、立体撮像装置１０の姿勢（縦横）を検出する縦横検知部４９が設けられており、３Ｄ撮影時の立体撮像装置１０の姿勢に基づいて上記の画素の加算を選択的に行う。また、Ａ、Ｂ、Ｃ及びＤの画像データを加算することにより２Ｄ画像を生成することもできる。
　尚、縦横検知部４９は、重力センサやジャイロセンサにより構成することができる。また、横撮影又は縦撮影にかかわらず、画素加算を行わずに、Ａ、Ｂ、Ｃ及びＤの４枚分の画像データをそのまま記録する記録モードもある。
　メモリ４８に記憶された複数の視差画像のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、ここでＪＰＥＧ（joint photographic experts group）などの所定の圧縮処理が実行され、更にマルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルがメディア・コントローラ５２を介してメモリカード５４に記録される。尚、２Ｄ撮影モード時に生成され、メモリ４８に記憶された１枚分のＹＣデータは、圧縮伸長処理部２６に出力され、ここでＪＰＥＧなどの所定の圧縮処理が実行されたのち、Ｅｘｉｆ（Exchangeable image file format）ファイルが生成され、メディア・コントローラ５２を介してメモリカード５４に記録される。
　［欠陥画素の補正］
　次に、デジタル信号処理部２４の欠陥画素補正部における欠陥画素の補正処理について説明する。
　図１Ａに示しめした撮像素子１の４画素１マイクロレンズの各画素Ａ、Ｂ、Ｃ、Ｄ、及びカラーフィルタ配列（ベイヤ配列）に対応するＲＧｒＧｂＢ画素の画像データ（モザイク画像データ）が、画像入力コントローラ２２を介してメモリ４８に一時的に記憶されているものとする。
　欠陥画素補正部は、ＲＯＭ４６に記憶されている欠陥情報のうちの欠陥画素の座標データにより欠陥画素を特定する。更に、欠陥画素補正部は、その特定した欠陥画素の色が、ＲＧｒＧｂＢのいずれの色か、また、特定した欠陥画素が、４画素１マイクロレンズの各画素Ａ、Ｂ、Ｃ、Ｄのうちのいずれの画素か（即ち、４つの視差画像のうちのいずれの視差画像に属する画素か）を特定する。
　また、欠陥情報には、欠陥画素の色の種類（Ｒ（Ｂ），Ｇｒ，Ｇｂ）、及び４画素１マイクロレンズ内の位置（画素Ａ、Ｂ、Ｃ、Ｄ）に応じて、その欠陥画素の補正に使用する１又は複数の周辺画素の、欠陥画素を基準にした位置関係を示す補正パターンが含まれている。欠陥画素補正部は、補正対象の欠陥画素の色、及び画素Ａ、Ｂ、Ｃ、Ｄの種別に対応する補正パターンを読み出す。
　そして、欠陥画素補正部は、補正対象の欠陥画素の座標データと、前記読み出した補正パターンとに基づいて、その欠陥画素の補正に使用する周辺画素を特定する。欠陥画素補正部は、特定した周辺画素の画像信号である画像値を補間することにより欠陥画素の画素値を算出する。
　＜第１の実施形態＞
　図４Ａ及び図４Ｂは欠陥画素に対する画像処理方法の第１の実施形態を説明するために用いた図であり、特に欠陥画素とその欠陥画素の補正に使用する周辺画素との関係を示す図である。
　いま、図４Ａに示すように斜線で示す画素（Ｒの画素Ａ）が欠陥画素の場合、この欠陥画素に最も近い同色、かつ４画素１マイクロレンズ内の画素Ａである４つの周辺画素（白地で示した画素Ａ）を補間に使用する画素にする。
　ベイヤ配列の場合、Ｒの欠陥画素に最も近いＲ画素は、その欠陥画素の上下、左右方向の等距離の位置に存在している。したがって、上記４つの周辺画素の画素値を相加平均することにより、欠陥画素の位置における画素値を算出することができる。
　上記のように欠陥画素が画素Ａの場合には、周辺画素の同色の画素Ａ（４画素１マイクロレンズ内の位相が異なる画素Ａ、Ｂ、Ｃ、Ｄのうちの同じ位相の画素Ａ）を補正に使用することにより、補正された欠陥画素により立体感が損なわれないようにする。
　同様に、欠陥画素が画素Ｂ、Ｃ、又はＤの場合には、補正に使用する周辺画素も画素Ｂ、Ｃ、又はＤを使用する。尚、ベイヤ配列では、Ｒ画素の配列とＢ画素の配列とは、同様の配列を有するため、Ｂ画素が欠陥画素の場合も上記と同様に補正することができる。
　また、図４Ｂに示すように斜線で示す画素（Ｇｂの画素Ａ）が欠陥画素の場合、この欠陥画素に最も近い同色、かつ同位相の４つの周辺画素（白地で示した画素Ａ）を補間に使用する画素にする。
　ベイヤ配列の場合、Ｇｂの欠陥画素に最も近いＧ画素は、その欠陥画素の斜め右上、斜め右下方向の等距離の位置に存在している。したがって、上記４つの周辺画素の画素値を相加平均することにより、欠陥画素の位置における画素値を算出することができる。
　尚、Ｇｂ画素とＧｒ画素とは、左右方向に隣接する画素が、Ｂ画素又はＲ画素の違いがあるが、同じＧ画素であり、ベイヤ配列の場合には、Ｇｂ画素に最も近いＧ画素はＧｒであり、Ｇｒ画素に最も近いＧ画素はＧｂの画素であるため、これらの斜め方向のＧ画素を使用することになる。また、Ｇの欠陥画素の補正に同じ位相のＧ画素を使用することにより、補正されたＧの欠陥画素により立体感が損なわれないようにする。
　＜第２の実施形態＞
　図５Ａ及び図５Ｂは欠陥画素に対する画像処理方法の第２の実施形態を説明するために用いた図であり、特に欠陥画素とその欠陥画素の補正に使用する周辺画素との関係を示す図である。
　図５Ａ及び図５Ｂに示す第２の実施形態は、図４Ａ及び図４Ｂに示した第１の実施形態と比較して、欠陥画素の補正に使用する周辺画素に欠陥画素が含まれている点で相違している。
　欠陥画素の補正に使用する周辺画素に欠陥画素が含まれているか否かの判別は、欠陥画素の補正に使用する周辺画素を特定した後、その特定した周辺画素の座標データが、ＲＯＭ４６に登録されている欠陥画素の座標データと一致しているか否かにより行うことができる。
　いま、図５Ａの斜線で示す欠陥画素の上下左右の４つの周辺画素のうち、図５Ａ上で上方向の画素（×印で示した画素）が欠陥画素の場合、左右方向の２つの周辺画素を補間に使用する画素にする。この場合、補正対象の欠陥画素を挟んで上方向の画素と対称の位置にある下方向の画素は、欠陥画素ではないが、補間には使用しないようにする。
　これにより、欠陥画素の画素値を補間演算により算出する際に、補間により算出される画素の位置（重心）を、補正対象の欠陥画素の位置と一致させることができる。
　また、図５Ｂの斜線で示す画素（Ｇｂの画素Ａ）の斜め右上、斜め右下方向の４画素のうち、図５Ｂ上で右上方向の画素（×印で示した画素）が欠陥画素の場合、斜め右下方向の２つの周辺画素を補間に使用する画素にする。この場合、補正対象の欠陥画素を挟んで右上方向の画素と対称の位置にある左下方向の画素は、欠陥画素ではないが、補間には使用しないようにする。
　これにより、欠陥画素の画素値を補間演算により算出する際に、補間により算出される画素の位置（重心）を、補正対象の欠陥画素の位置と一致させることができる。
　＜第３の実施形態＞
　図６は欠陥画素に対する画像処理方法の第３の実施形態を説明するために用いた図であり、特に欠陥画素とその欠陥画素の補正に使用する周辺画素との関係を示す図である。
　図６に示す第３の実施形態は、図５Ｂに示した第２の実施形態と比較して、欠陥画素の補正に使用する周辺画素が異なっている点で相違している。
　即ち、図６の斜線で示す画素（Ｇｂの画素Ａ）が欠陥画素の場合、この欠陥画素に最も近い同色、かつ同位相の４つの周辺画素は、斜め右上、斜め右下方向に存在する。これらの４つの周辺画素のうち、例えば、図６上で右上方向の画素（×印で示した画素）が欠陥画素の場合、これらの斜め方向の４つの周辺画素は欠陥画素の補正には使用せず、欠陥画素の上下、左右方向で最も近い同色、かつ同位相の４つの画素を欠陥画素の補正に使用する周辺画素とする。
　これらの４つの周辺画素は、Ｇの欠陥画素に最も近い同色、かつ同位相の周辺画素ではないが、その次に近い同色、かつ同位相の等距離の位置に存在する周辺画素である。
　したがって、上記４つの周辺画素の画素値を相加平均することにより、欠陥画素の位置における画素値を算出することができる。尚、図５Ｂに示した実施形態に比べて、補間に使用する画素数が多いため、偽解像による影響を小さくすることができる。
　＜第４の実施形態＞
　図７Ａ及び図７Ｂは欠陥画素に対する画像処理方法の第４の実施形態を説明するために用いた図であり、特に欠陥画素とその欠陥画素の補正に使用する周辺画素との関係を示す図である。
　図３Ｂに示したように横撮影時に、４画素１マイクロレンズの画素ＡとＣの画像データを加算して左視差画像を生成するとともに、画素ＢとＤの画像データを加算して右視差画像を生成する場合、上記左視差画像及び右視差画像は、上下方向の視差情報が相殺され、左右方向のみの視差画像となる。
　したがって、横撮影時に４画素１マイクロレンズ内の上下方向の画素ＡとＣ、画素ＢとＤを画素加算（画素混合）する際に、例えば、図７Ａの斜線で示す画素が欠陥画素の場合には、この欠陥画素に最も近い同色、かつ同位相の画素であって、上下方向の２つの周辺画素を補間に使用する画素にする。
　横撮影時に画素加算する視差画像は、横方向に視差がつきやすく、縦方向には視差がつかない。このため、上下方向の画素を使用して補正を行うことで、補正後の画素の視差情報の劣化を防ぐことができる。
　また、縦撮影時に４画素１マイクロレンズ内の左右方向の画素ＡとＢ、画素ＣとＤを画素加算（画素混合）する際に、例えば、図７Ｂの斜線で示す画素が欠陥画素の場合には、この欠陥画素に最も近い同色、かつ同位相の画素であって、左右方向の２つの周辺画素を補間に使用する画素にする。
　縦撮影時に画素加算する視差画像は、縦方向に視差がつきやすく、横方向には視差がつかない。このため、左右方向の画素を使用して補正を行うことで、補正後の画素の視差情報の劣化を防ぐことができる。
　尚、上記「横方向」の視差とは、図１Ａ上で左右方向（画素ＡＢ，又は画素ＣＤの方向）の視差をいい、「縦方向」の視差とは、図１Ａ上で上下方向（画素ＡＣ，又は画素ＢＤの方向）の視差をいう。
　＜第５の実施形態＞
　図８Ａ及び図８Ｂは欠陥画素に対する画像処理方法の第５の実施形態を説明するために用いた図であり、特に欠陥画素とその欠陥画素の補正に使用する周辺画素との関係を示す図である。
　図８Ａ及び図８Ｂに示す第５の実施形態は、図７Ａ及び図７Ｂに示した第４の実施形態と同様に横撮影か縦撮影かに応じて画素加算する場合の欠陥画素の補正方法に関する。
　横撮影時に、図８Ａの斜線で示す画素が欠陥画素の場合には、この欠陥画素が含まれる４画素１マイクロレンズのうちの縦方向に隣接する画素を、補正対象の欠陥画素の画素値にする。
　４画素１マイクロレンズ内の４つの画素は、位相（視差情報）は異なるが、同色の画素であり、横撮影時には横方向の視差画像が得られればよい。このため、横方向の視差情報としては同じ縦方向の隣接画素の画素値をそのまま欠陥画素の画素値としている。また、隣接画素は、欠陥画素に最も近いため、補正後の画素による偽解像が発生しにくくなる。
　同様に縦撮影時に、図８Ｂの斜線で示す画素が欠陥画素の場合には、この欠陥画素が含まれる４画素１マイクロレンズのうちの縦方向に隣接する画素を、補正対象の欠陥画素の画素値にする。
　４画素１マイクロレンズ内の４つの画素は、位相（視差情報）は異なるが、同色の画素であり、横撮影時には横方向の視差画像が得られればよい。このため、横方向の視差情報としては同じ縦方向の隣接画素の画素値をそのまま欠陥画素の画素値としている。また、隣接画素は、欠陥画素に最も近いため、補正後の画素による偽解像が発生しにくくなる。
　＜第６の実施形態＞
　図９Ａ及び図９Ｂは欠陥画素に対する画像処理方法の第６の実施形態を示す図であり、特に欠陥画素とその欠陥画素の補正に使用する周辺画素との関係を示す図である。
　図９Ａ及び図９Ｂに示す第６の実施形態は、図８Ａ及び図８Ｂに示した第５の実施形態の変形例である。即ち、図９Ａに示すように横撮影時には、４画素１マイクロレンズのうちの縦方向に隣接する画素と、隣接画素と、欠陥画素を挟んで隣接画素と反対側の同色の最も近い画素とを、欠陥画素の補正に使用する画素とし、これらの画素の画素値を補間して欠陥画素の画素値を算出する。
　補間演算時には、欠陥画素からの距離に応じた重み付け係数を使用した加重平均をとることにより、補間により算出される画素の重心を、補正対象の欠陥画素の位置の位置と一致させることができる。また、隣接画素を補間に使用するため、偽解像を発生しにくくすることができる。
　同様に、図９Ｂに示すように縦撮影時には、４画素１マイクロレンズのうちの横方向に隣接する隣接画素と、欠陥画素を挟んで隣接画素と反対側の同色の最も近い画素とを、欠陥画素の補正に使用する画素とし、これらの画素の画素値を補間して欠陥画素の画素値を算出する。
　＜第７の実施形態＞
　図１０Ａ及び図１０Ｂは欠陥画素に対する画像処理方法の第７の実施形態を示す図であり、特に欠陥画素とその欠陥画素の補正に使用する周辺画素との関係を示す図である。
　図１０Ａ及び図１０Ｂに示す第７の実施形態は、図９Ａ及び図９Ｂに示した第６の実施形態の変形例であり、補正対象の欠陥画素に隣接する隣接画素も欠陥画素である場合の処理方法に関して示している。
　この場合、図１０Ａに示すように横撮影時には、４画素１マイクロレンズのうちの縦方向に隣接する欠陥画素（×印で示した画素）の代わりに、補正対象の欠陥画素を挟んで反対側の同色の最も近い画素を、欠陥画素の補正に使用する画素にする。
　同様に、図１０Ｂに示すように縦撮影時には、４画素１マイクロレンズのうちの横方向に隣接する欠陥画素（×印で示した画素）の代わりに、補正対象の欠陥画素を挟んで反対側の同色の最も近い画素を、欠陥画素の補正に使用する画素にする。
　＜第８の実施形態＞
　前述したようにカラーフィルタ配列がベイヤ配列の場合、Ｇｒ画素とＧｂ画素とは、同じ色（Ｇ）の画素であるが、左右方向に隣接する画素が、Ｂ画素又はＲ画素の違いがある。その結果、撮影シーンによってはＲ画素からの光の漏れ込み（混色）によりＧｒ画素の画素値が隣接するＧｂ画素の画素値よりも大きくなり、図１１に示すようにＧｒ画素とＧｂ画素との間で段差が生じる場合がある。
　図１２は欠陥画素に対する画像処理方法の第８の実施形態を示すフローチャートである。
　図１２において、補正対象の欠陥画素（キズ画素）が、Ｇｒ画素又はＧｂ画素の場合、そのキズ画素周辺のＧｒ画素とＧｂ画素との画素値の差（段差）を算出する（ステップＳ１０）。尚、補正対象のキズ画素周辺の複数の段差を算出し、その平均値を算出することにより段差の傾向を検出することが好ましい。
　続いて、算出した段差が、所定の閾値以下か否かを判別する（ステップＳ１２）。そして、段差が所定の閾値以下の場合（「Yes」の場合）には、図１３の実線の矢印で示すように、欠陥画素に最も近い同色、かつ同位相の画素である、欠陥画素の周辺の斜め右上、斜め右下方向の４つの画素（欠陥画素がＧｂの場合にはＧｒ、欠陥画素がＧｒの場合にはＧｂ）を補正に使用する画素とし、これらの画素の画素値を補間して欠陥画素の画素値を算出する（ステップＳ１４）。
　一方、段差が所定の閾値を越えている場合（「No」の場合）には、図１３の点線の矢印で示すように、欠陥画素に２番目に近い同色、かつ同位相の画素である、欠陥画素の周辺の上下左右方向の４つの画素（欠陥画素がＧｂの場合にはＧｂ、欠陥画素がＧｒの場合にはＧｒ）を補正に使用する画素とし、これらの画素の画素値を補間して欠陥画素の画素値を算出する（ステップＳ１６）。
　Ｇｒ画素とＧｂ画素との画素値の段差が小さい場合には、いずれの画素を使用してもよいが、より欠陥画素に近い斜め方向の画素を使用することにより偽解像を少なくすることができ、一方、Ｇｒ画素とＧｂ画素との画素値の段差が大きい場合には、上下左右方向の画素を使用することにより混色の影響を受けない画素値の算出を可能にしている。
　＜第９の実施形態＞
　４画素１マイクロレンズ内の４つの画素Ａ、Ｂ、Ｃ、Ｄは、それぞれ隣接画素の色が異なるため（Ａは上と左が異色、Ｂは上と右が異色等）、混色が大きい場合には、隣接画素の影響を受け、図１４に示すように画素Ａ、Ｂ、Ｃ、Ｄの画素値に段差が発生する。
　尚、４画素１マイクロレンズ内の４つの画素は、位相（視差情報）が異なるため、出力レベルが異なる（ピントが合っている画素の場合には、位相ずれがないため、出力レベルは等しくなる）が、周辺画素も段差レベルに傾向がある場合には、混色による段差が発生していると考えられる。
　図１５は欠陥画素に対する画像処理方法の第９の実施形態を示すフローチャートである。
　図１５において、補正対象の欠陥画素（キズ画素）の周辺の同色の４画素１マイクロレンズ内の画素Ａ、Ｂ、Ｃ、Ｄの画素値の段差を算出する（ステップＳ２０）。尚、補正対象のキズ画素周辺の複数の４画素１マイクロレンズ内の画素Ａ、Ｂ、Ｃ、Ｄの段差を算出し、その平均値を算出することにより段差の傾向を検出することが好ましい。
　続いて、算出した４画素１マイクロレンズ内の画素Ａ、Ｂ、Ｃ、Ｄのそれぞれの段差が、所定の閾値以下か否かを判別する（ステップＳ２２）。そして、それぞれ段差が所定の閾値以下の場合（「Yes」の場合）、図１６Ａに示すように横撮影時には、欠陥画素の上下方向の隣接画素の画素値を補正対象の欠陥画素の画素値とし、縦撮影時には、欠陥画素の左右方向の隣接画素の画素値を補正対象の欠陥画素の画素値とする（ステップＳ２４）。例えば、横撮影時に欠陥画素が画素Ａの場合には、同じ４画素１マイクロレンズ内の画素Ｃの画素値とし、縦撮影時に欠陥画素が画素Ａの場合には、同じ４画素１マイクロレンズ内の画素Ｂの画素値とする。
　一方、それぞれ段差が所定の閾値を越えている場合（「No」の場合）、図１６Ｂに示すように横撮影時には、欠陥画素の上下方向の同色、かつ同位相の画素の画素値を補間して補正対象の欠陥画素の画素値を算出し、縦撮影時には、欠陥画素の左右方向の同色、かつ同位相の画素の画素値を補間して補正対象の欠陥画素の画素値を算出する（ステップＳ２６）。例えば、横撮影時に欠陥画素がＲの画素Ａの場合には、上下方向のＲ画素の画素Ａを補正に使用する画素とし、縦撮影時に欠陥画素がＲの画素Ａの場合には、左右方向のＲ画素の画素Ａを補正に使用する画素とする。
　４画素１マイクロレンズ内の画素Ａ、Ｂ、Ｃ、Ｄの画素値の段差が小さい場合には、同じ４画素１マイクロレンズ内の隣接画素を使用することにより偽解像を少なくすることができ、一方、段差が大きい場合には、上下左右方向の同色、かつ同位相の画素を使用することにより段差の影響を受けない画素値の算出を可能にしている。
　［その他］
　この実施形態では、カラーフィルタ配列がベイヤ配列の場合について説明したが、これに限らず、本発明は他のカラーフィルタ配列の撮像素子の欠陥画素の補正にも適用できる。
　また、この実施形態の撮像素子は、４画素１マイクロレンズにより水平及び垂直方向の複数（４つ）の視差画像を同時に取得できるものであるが、例えば、９画素１マイクロレンズ等の４つ以上の視差画像を同時に取得できる撮像素子にも適用できる。
　更にまた、瞳分割手段としては、１画素１マイクロレンズと、光束を制限する遮光部材とを組み合わせたものでもよい。
　また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１…撮像素子、１０…立体撮像装置、１２…撮影光学系、１４…絞り、２４…デジタル信号処理部、３０…液晶モニタ、３８…操作部、４０…中央処理装置（ＣＰＵ）、４６…ＲＯＭ、４８…メモリ、４９…縦横検知部、５４…メモリカード、Ｌ…マイクロレンズ、ＰＤ…フォトダイオード

Claims (14)

  1. 　単一の撮影光学系と、
    　水平及び垂直方向に隣接する複数の画素を１ブロックとし、ブロック毎に３原色を含むカラーフィルタのうちのいずれか１色のカラーフィルタが配設された撮像素子であって、前記撮影光学系の異なる領域を通過した光を受光し、水平及び垂直方向の複数の視差画像を同時に取得可能な単一の撮像素子と、
    　前記撮像素子から取得される画像内の欠陥画素の画素値を、該欠陥画素の周辺画素の画素値を補間して算出する欠陥画素補正手段と、を備え、
    　前記欠陥画素補正手段は、補正対象の欠陥画素の補間に使用する周辺画素として、前記複数の視差画像のうちの前記欠陥画素と同じ視差情報及び同じ色情報をもつ周辺画素を使用する立体撮像装置。
  2. 　前記撮像素子の１ブロック内の複数の画素は、上下左右に隣接する正方配置された４つの画素であり、
    　前記撮像素子は、前記１ブロックの４つの画素の上方に配設される１つのマイクロレンズであって、該マイクロレンズに入射する光を瞳分割してそれぞれ前記４つの画素の受光面に導くマイクロレンズを有する請求項１に記載の立体撮像装置。
  3. 　前記欠陥画素補正手段は、前記補正対象の欠陥画素の中心位置と該欠陥画素の周辺の上下左右方向の４画素の中心位置との間隔、及び前記欠陥画素の中心位置と該欠陥画素の周辺の斜め右上、斜め右下方向の４画素の中心位置との間隔のうちの間隔の短い方の４画素に欠陥画素が含まれているか否かを判別する判別手段を含み、前記間隔の短い方の４画素に欠陥画素が含まれていないと判別すると、前記間隔の短い方の４画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出し、前記間隔の短い方の４画素に欠陥画素が含まれていると判別すると、前記短い方の４画素のうちの欠陥画素とその欠陥画素と対向する画素を外して前記補正対象の欠陥画素の画素値を算出する請求項１又は２に記載の立体撮像装置。
  4. 　前記欠陥画素補正手段は、前記補正対象の欠陥画素の中心位置と該欠陥画素の周辺の上下左右方向の４画素の中心位置との間隔、及び前記欠陥画素の中心位置と該欠陥画素の周辺の斜め右上、斜め右下方向の４画素の中心位置との間隔のうちの間隔の短い方の４画素に欠陥画素が含まれているか否かを判別する判別手段を含み、欠陥画素が含まれていないと判別すると、前記間隔の短い方の４画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出し、欠陥画素が含まれていると判別すると、前記間隔の長い方の４画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出する請求項１又は２に記載の立体撮像装置。
  5. 　横撮影か縦撮影かを検知する検知手段と、
    　前記検知手段により横撮影が検知されると、前記複数の視差画像のうち垂直方向の画素加算を行い、縦撮影が検知されると、前記複数の視差画像のうち水平方向の画素加算を行う画素加算手段と、を更に備え、
    　前記欠陥画素補正手段は、前記検知手段により横撮影が検知されると、前記欠陥画素の周辺の上下方向の画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出し、縦撮影が検知されると、前記欠陥画素の周辺の左右方向の画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出する請求項１又は２に記載の立体撮像装置。
  6. 　横撮影か縦撮影かを検知する検知手段と、
    　前記検知手段により横撮影が検知されると、前記複数の視差画像のうち垂直方向の画素加算を行い、縦撮影が検知されると、前記複数の視差画像のうち水平方向の画素加算を行う画素加算手段と、を更に備え、
    　前記欠陥画素補正手段は、前記検知手段により横撮影が検知されると、前記欠陥画素の上下方向の隣接画素の画素値を前記補正対象の欠陥画素の画素値とし、縦撮影が検知されると、前記欠陥画素の左右方向の隣接画素の画素値を前記補正対象の欠陥画素の画素値とする請求項１又は２に記載の立体撮像装置。
  7. 　横撮影か縦撮影かを検知する検知手段と、
    　前記検知手段により横撮影が検知されると、前記複数の視差画像のうち垂直方向の画素加算を行い、縦撮影が検知されると、前記複数の視差画像のうち水平方向の画素加算を行う画素加算手段と、を更に備え、
    　前記欠陥画素補正手段は、前記検知手段により横撮影が検知されると、前記欠陥画素の上下方向の隣接画素を含む上下方向の画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出し、縦撮影が検知されると、前記欠陥画素の左右方向の隣接画素を含む左右方向の画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出する請求項１又は２に記載の立体撮像装置。
  8. 　前記欠陥画素補正手段は、補正対象の欠陥画素の上下又は左右方向の隣接画素が欠陥画素か否かを判別する判別手段を含み、前記検知手段により横撮影が検知され、かつ上下方向の隣接画素が欠陥画素と判別されると、前記補正対象の欠陥画素の上方向及び下方向でそれぞれ最も近い画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出し、前記検知手段により縦撮影が検知され、かつ左右方向の隣接画素が欠陥画素と判別されると、前記補正対象の欠陥画素の左方向及び右方向でそれぞれ最も近い画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出する請求項７に記載の立体撮像装置。
  9. 　前記撮像素子は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のフィルタであって、Ｒのフィルタと該Ｒのフィルタに隣接する第１のＧのフィルタとが水平方向に繰り返し配設された第１のラインと、Ｂのフィルタと該Ｇのフィルタに隣接する第２のＧフィルタとが水平方向に繰り返し配設された第２のラインとが垂直方向に交互に配列されたベイヤ配列のカラーフィルタを有するカラー撮像素子であり、
    　補正対象の欠陥画素の周辺の前記第１のＧのフィルタが配設された第１のＧ画素の画素値と前記第２のＧのフィルタが配設された第２のＧ画素の画素値との段差を検出する段差検出手段を更に備え、
    　前記欠陥画素補正手段は、前記段差検出手段により検出された段差が所定の閾値以下か否かを判別する判別手段を有し、補正対象の欠陥画素が前記第１のＧ画素又は前記第２のＧ画素の場合において、前記段差が所定の閾値以下と判別されると、前記欠陥画素の周辺の斜め右上、斜め右下方向の４つの前記第１のＧ画素又は前記第２のＧ画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出し、前記段差が所定の閾値を越えていると判別されると、前記欠陥画素の周辺の上下左右方向の４つの前記第１のＧ画素又は前記第２のＧ画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出する請求項１又は２に記載の立体撮像装置。
  10. 　横撮影か縦撮影かを検知する検知手段と、
    　前記検知手段により横撮影が検知されると、前記複数の視差画像のうち垂直方向の画素加算を行い、縦撮影が検知されると、前記複数の視差画像のうち水平方向の画素加算を行う画素加算手段と、
    　前記補正対象の欠陥画素が属するブロックの周辺のブロック内の複数の画素の出力信号の段差を検出する段差検出手段と、を更に備え、
    　前記欠陥画素補正手段は、前記段差検出手段により検出された段差が所定の閾値以下か否かを判別する判別手段を有し、前記判別手段により前記段差が所定の閾値以下と判別され、かつ前記検知手段により横撮影が検知されると、前記欠陥画素の上下方向の隣接画素の画素値を前記補正対象の欠陥画素の画素値とし、縦撮影が検知されると、前記欠陥画素の左右方向の隣接画素の画素値を前記補正対象の欠陥画素の画素値とし、前記判別手段により前記段差が所定の閾値を越えていると判別されると、前記ブロック内における前記補正対象の欠陥画素と同じ位置関係にある周辺画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出する請求項１又は２に記載の立体撮像装置。
  11. 　単一の撮影光学系と、水平及び垂直方向に隣接する複数の画素を１ブロックとし、ブロック毎に３原色を含むカラーフィルタのうちのいずれか１色のカラーフィルタが配設された撮像素子であって、前記撮影光学系の異なる領域を通過した光を受光し、水平及び垂直方向の複数の視差画像を同時に取得可能な単一の撮像素子とを有する立体撮像装置の画像処理方法において、
    　前記撮像素子から出力される複数の視差画像を取得する工程と、
    　前記複数の視差画像内の欠陥画素の画素値を、該欠陥画素の周辺画素の画素値を補間して算出する工程であって、補正対象の欠陥画素の補間に使用する周辺画素として、前記複数の視差画像のうちの前記欠陥画素と同じ視差情報及び同じ色情報をもつ周辺画素を使用する工程と、
    　を含む画像処理方法。
  12. 　前記立体撮像装置による撮影が横撮影か縦撮影かを検知する工程と、
    　前記横撮影が検知されると、前記複数の視差画像のうち垂直方向の画素加算を行い、縦撮影が検知されると、前記複数の視差画像のうち水平方向の画素加算を行う工程と、
    　を更に含み、
    　前記欠陥画素を補正する工程は、前記横撮影が検知されると、前記欠陥画素の周辺の上下方向の画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出し、縦撮影が検知されると、前記欠陥画素の周辺の左右方向の画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出する請求項１１に記載の画像処理方法。
  13. 　前記立体撮像装置による撮影が横撮影か縦撮影かを検知する工程と、
    　前記横撮影が検知されると、前記複数の視差画像のうち垂直方向の画素加算を行い、縦撮影が検知されると、前記複数の視差画像のうち水平方向の画素加算を行う工程と、
    　を更に含み、
    　前記欠陥画素を補正する工程は、前記横撮影が検知されると、前記欠陥画素の上下方向の隣接画素の画素値を前記補正対象の欠陥画素の画素値とし、縦撮影が検知されると、前記欠陥画素の左右方向の隣接画素の画素値を前記補正対象の欠陥画素の画素値とする請求項１１に記載の画像処理方法。
  14. 　前記欠陥画素を補正する工程は、補正対象の欠陥画素の上下又は左右方向の隣接画素が欠陥画素か否かを判別する工程を含み、前記横撮影が検知され、かつ上下方向の隣接画素が欠陥画素と判別されると、前記補正対象の欠陥画素の上方向及び下方向でそれぞれ最も近い画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出し、前記縦撮影が検知され、かつ左右方向の隣接画素が欠陥画素と判別されると、前記補正対象の欠陥画素の左方向及び右方向でそれぞれ最も近い画素の画素値を補間して前記補正対象の欠陥画素の画素値を算出する請求項１３に記載の画像処理方法。
PCT/JP2012/077303 2011-11-11 2012-10-23 立体撮像装置及び画像処理方法 WO2013069445A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011247868 2011-11-11
JP2011-247868 2011-11-11

Publications (1)

Publication Number Publication Date
WO2013069445A1 true WO2013069445A1 (ja) 2013-05-16

Family

ID=48289828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077303 WO2013069445A1 (ja) 2011-11-11 2012-10-23 立体撮像装置及び画像処理方法

Country Status (1)

Country Link
WO (1) WO2013069445A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013128217A (ja) * 2011-12-19 2013-06-27 Canon Inc 撮像装置
CN103595935A (zh) * 2013-10-15 2014-02-19 深圳市掌网立体时代视讯技术有限公司 一种三维视频图像坏点的动态补偿方法及***
JP2015008343A (ja) * 2013-06-24 2015-01-15 コニカミノルタ株式会社 撮像装置および撮像画像の形成方法
JP2015128215A (ja) * 2013-12-27 2015-07-09 キヤノン株式会社 固体撮像装置及びそれを用いた撮像システム
JPWO2014112002A1 (ja) * 2013-01-15 2017-01-19 オリンパス株式会社 撮像素子、及び撮像装置
WO2018168492A1 (ja) * 2017-03-15 2018-09-20 オリンパス株式会社 画像処理装置、撮像装置、画素異常検出方法およびプログラム
CN113596431A (zh) * 2015-05-08 2021-11-02 佳能株式会社 图像处理设备、摄像设备、图像处理方法和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163229A (ja) * 2007-12-10 2009-07-23 Canon Inc 撮像装置及びその制御方法
JP2010135904A (ja) * 2008-12-02 2010-06-17 Olympus Corp 撮像装置
JP2010263501A (ja) * 2009-05-08 2010-11-18 Sony Corp 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163229A (ja) * 2007-12-10 2009-07-23 Canon Inc 撮像装置及びその制御方法
JP2010135904A (ja) * 2008-12-02 2010-06-17 Olympus Corp 撮像装置
JP2010263501A (ja) * 2009-05-08 2010-11-18 Sony Corp 撮像装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013128217A (ja) * 2011-12-19 2013-06-27 Canon Inc 撮像装置
JPWO2014112002A1 (ja) * 2013-01-15 2017-01-19 オリンパス株式会社 撮像素子、及び撮像装置
JP2015008343A (ja) * 2013-06-24 2015-01-15 コニカミノルタ株式会社 撮像装置および撮像画像の形成方法
CN103595935A (zh) * 2013-10-15 2014-02-19 深圳市掌网立体时代视讯技术有限公司 一种三维视频图像坏点的动态补偿方法及***
CN103595935B (zh) * 2013-10-15 2017-02-15 深圳市掌网科技股份有限公司 一种三维视频图像坏点的动态补偿方法及***
JP2015128215A (ja) * 2013-12-27 2015-07-09 キヤノン株式会社 固体撮像装置及びそれを用いた撮像システム
CN113596431A (zh) * 2015-05-08 2021-11-02 佳能株式会社 图像处理设备、摄像设备、图像处理方法和存储介质
CN113596431B (zh) * 2015-05-08 2023-11-17 佳能株式会社 图像处理设备、摄像设备、图像处理方法和存储介质
WO2018168492A1 (ja) * 2017-03-15 2018-09-20 オリンパス株式会社 画像処理装置、撮像装置、画素異常検出方法およびプログラム
JP2018152829A (ja) * 2017-03-15 2018-09-27 オリンパス株式会社 画像処理装置、撮像装置、画素異常検出方法およびプログラム
US10880508B2 (en) 2017-03-15 2020-12-29 Olympus Corporation Image processing apparatus, imaging apparatus, pixel-abnormality detecting method, and computer-readable recording medium

Similar Documents

Publication Publication Date Title
JP5640143B2 (ja) 撮像装置及び撮像方法
WO2012039180A1 (ja) 撮像デバイス及び撮像装置
JP5192096B2 (ja) 立体撮像装置
JP5180407B2 (ja) 立体撮像装置および視差画像復元方法
JP5621056B2 (ja) カラー撮像素子
JP5361535B2 (ja) 撮像装置
JP5690396B2 (ja) 撮像装置およびシェーディング補正方法
JP5284306B2 (ja) 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
WO2012036019A1 (ja) 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
JP5603506B2 (ja) 撮像装置及び画像処理方法
JP5470458B2 (ja) 撮像装置、画像処理装置および画像処理方法
JP5871989B2 (ja) 撮影装置、撮影方法及びプログラム
WO2012032826A1 (ja) 立体撮像装置および立体撮像方法
JP5680797B2 (ja) 撮像装置、画像処理装置、及び画像処理方法
WO2012169301A1 (ja) 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置
JP5634614B2 (ja) 撮像素子及び撮像装置
WO2012032825A1 (ja) 立体撮像装置および立体撮像方法
JP5649837B2 (ja) 立体撮像装置
JP2011077680A (ja) 立体撮影装置および撮影制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12847221

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12847221

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP