WO2012036019A1 - 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム - Google Patents

単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム Download PDF

Info

Publication number
WO2012036019A1
WO2012036019A1 PCT/JP2011/070226 JP2011070226W WO2012036019A1 WO 2012036019 A1 WO2012036019 A1 WO 2012036019A1 JP 2011070226 W JP2011070226 W JP 2011070226W WO 2012036019 A1 WO2012036019 A1 WO 2012036019A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
correction
dimensional
shading
unit
Prior art date
Application number
PCT/JP2011/070226
Other languages
English (en)
French (fr)
Inventor
長谷川　亮
林　健吉
田中　誠二
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP11825025.7A priority Critical patent/EP2618585B1/en
Priority to JP2012533952A priority patent/JP5385462B2/ja
Priority to CN201180042931.2A priority patent/CN103109536B/zh
Publication of WO2012036019A1 publication Critical patent/WO2012036019A1/ja
Priority to US13/781,144 priority patent/US9282312B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/16—Circuitry for reinsertion of dc and slowly varying components of signal; Circuitry for preservation of black or white level

Definitions

  • the present invention relates to a monocular stereoscopic imaging device, a shading correction method for a monocular stereoscopic imaging device, and a program for a monocular stereoscopic imaging device, and in particular, subjects images that have passed through different regions in the left-right direction of a photographing lens are imaged on imaging elements, respectively.
  • the present invention relates to a technique for acquiring an image for an eye and an image for a right eye.
  • Patent Document 1 discloses that when a right-eye image and a left-eye image are acquired from separate imaging elements to generate a stereoscopic image, shading correction is performed on at least one of the right-eye image and the left-eye image. Has been.
  • Patent Document 2 discloses a stereoscopic imaging device in which a microlens is provided on each photodiode constituting one imaging device, and the A group pixel and the B group pixel are separated by shifting the position of the microlens from the position of the corresponding photodiode. Is disclosed.
  • Patent Document 1 the invention described in Patent Document 1 is based on a multi-lens camera having a plurality of photographing optical systems, and uses a single photographing lens (photographing optical system) and passes through a single photographing lens. Is divided into a plurality of luminous fluxes, and each luminous flux is imaged on a single image sensor (pupil division) to shoot a stereoscopic image (hereinafter referred to as pupil division method) monocular 3D camera (monocular stereoscopic imaging device) It cannot be applied to.
  • Patent Document 1 does not describe details of shading correction.
  • FIG. 31 is a schematic diagram of an image sensor having an A group pixel and a B group pixel
  • FIG. 31A is an overall view of the image sensor
  • FIG. 31B is an A group pixel
  • FIG. 31C is a B group pixel.
  • a microlens is disposed in front of a photodiode, and is designed so that group A pixels and group B pixels (that is, parallax) are obtained depending on the position, shape, and the like of the microlens.
  • the center of the image sensor and the center of the optical lens substantially coincide with each other as in the case of a normal 2D camera. Therefore, first, with respect to the imaging signal level in the vicinity of the center of the photographing lens (that is, the center of the image sensor M), as the distance from the center increases, that is, the signals at the periphery of the image sensor (U, D, R, L). It is necessary to correct the shading characteristic that the level is lowered (hereinafter referred to as normal shading correction).
  • This normal shading correction includes, for example, correction of variation for each pixel of the image sensor.
  • both the main pixel group shown in FIG. 31B and the sub-pixel group shown in FIG. 31C have peripheral edges (U1, D1, R1, L1, U2, D2, R2, L2) as compared to the central parts M1, M2. Decreases the amount of light received by each pixel.
  • the received light amount on the right end side is smaller than the left end side in the drawing in the pupil division direction (left-right direction).
  • the received light amount on the left end side is smaller than the right end side in the drawing in the pupil division direction (left-right direction).
  • the received light amount of M1 and M2 is 100
  • the received light amount of U1, D1, U2, and D2 in the vertical direction is about 30
  • the received light amount of L1 is about 40 and R1 in the main pixel group.
  • the amount of received light is about 20.
  • the received light amount of R2 is about 40
  • the received light amount of L2 is about 20. That is, shading characteristics due to the pupil division direction occur.
  • the light beam that has passed through the imaging lens L is divided and arranged for each microlens (Lm, Lc, etc.) (PDma / PDmb, PDca / PDcb, etc.).
  • a plurality of viewpoint images are obtained.
  • the light beam is uniformly incident with respect to the X direction (left-right direction) with respect to the center of the optical axis of the microlens at the center R1 of the light receiving surface of the imaging element centered on the optical axis I0 of the imaging lens L.
  • a signal with uniform brightness is output between the photodiodes (PDca, PDcb).
  • the light flux is incident non-uniformly in the X direction (left and right direction), so a signal with nonuniform brightness is output between the photodiodes (PDma and PDmb). End up. That is, the brightness is not uniform among the plurality of viewpoint images at the peripheral edge in the pupil division direction X of the light receiving surface of the image sensor.
  • Patent Document 2 suppresses shading by shifting the position of the microlens, and does not describe performing image processing for eliminating shading.
  • the present invention has been made in view of such circumstances, and a monocular stereoscopic imaging apparatus capable of correcting shading characteristics peculiar to a monocular stereoscopic imaging apparatus by a simple method, a shading correction method for a monocular stereoscopic imaging apparatus, and a monocular stereoscopic
  • An object is to provide a program for an imaging apparatus.
  • a monocular stereoscopic imaging device receives a single imaging optical system, pupil dividing means for dividing a light beam that has passed through the imaging optical system into a plurality of light beams, and a plurality of light beams, respectively.
  • a single image sensor using a single image sensor composed of a plurality of pixel groups and a two-dimensional correction table in which correction values for shading correction are arranged at least in the left-right and up-down directions due to the photographing optical system A first shading correction unit that performs shading correction on the entire imaging signal output from the image, and a one-dimensional correction value in which correction values for shading correction are arranged in a gradient direction of density unevenness caused by pupil division by the pupil division unit. And a second shading correction unit that performs shading correction on the imaging signals output from the plurality of pixel groups using the correction table.
  • a one-dimensional correction table in which correction values for shading correction are arranged in the gradient direction of density unevenness caused by pupil division by the pupil division means, and output from a plurality of pixel groups The shading is corrected for each captured image signal. This corrects the shading characteristic that the signal level decreases as the distance from the center of the imaging signal level near the center of the photographing lens is corrected, and the amount of received light changes along the pupil division direction.
  • a shading characteristic peculiar to the stereoscopic imaging apparatus can be corrected.
  • the second shading correction unit performs shading correction for a plurality of pixel groups using the same one-dimensional correction table.
  • shading correction for a plurality of pixel groups is performed using the same one-dimensional correction table. Therefore, it is possible to prevent the memory capacity, the calculation amount, and the circuit scale from being increased, and to save the circuit scale and the memory.
  • the imaging element includes a first pixel group and a second pixel group that respectively receive a plurality of light beams
  • the second shading correction unit includes the first pixel.
  • a pixel at an arbitrary position in a predetermined column of the group is selected as the first pixel
  • a pixel at a position corresponding to the first pixel in the predetermined column of the second pixel group is selected as the second pixel.
  • a pixel at an arbitrary position in a predetermined column of the first pixel group is selected as a first pixel, and a correction value at a position corresponding to the position of the first pixel is one-dimensionally selected.
  • the correction value for the first pixel is read from the correction table, and shading correction is performed on the first pixel based on the pixel value of the first pixel and the correction value for the first pixel.
  • a pixel at a position corresponding to the first pixel in a predetermined column of the second pixel group is selected as a second pixel, and the correction value for the first pixel and the correction value for the first pixel in the one-dimensional correction table are symmetrically positioned.
  • a certain correction value is read as a correction value for the second pixel, and shading correction is performed on the second pixel based on the pixel value of the second pixel and the correction value for the second pixel.
  • the imaging element includes a first pixel group and a second pixel group that respectively receive a plurality of light beams
  • the second shading correction unit includes the first pixel.
  • a pixel at an arbitrary position in a predetermined column of the group is selected as a first pixel
  • a pixel at a symmetrical position with respect to the first pixel is selected as a second pixel from the predetermined column of the second pixel group.
  • Means means for reading out a correction value at a position corresponding to the position of the first pixel from a one-dimensional correction table, and a correction value at a position corresponding to the pixel value of the first pixel and the position of the first pixel And the second pixel is corrected based on the pixel value of the second pixel and the correction value at the position corresponding to the position of the first pixel. And means for correcting shading.
  • a pixel at an arbitrary position in a predetermined column of the first pixel group is selected as a first pixel, and a correction value at a position corresponding to the position of the first pixel is set to 1.
  • the first pixel is read from the dimension correction table, and shading correction is performed on the first pixel based on the pixel value of the first pixel and the correction value at the position corresponding to the position of the first pixel.
  • a pixel that is symmetrical to the first pixel is selected as a second pixel from a predetermined column of the second pixel group, and a correction value at a position corresponding to the position of the first pixel is set to a one-dimensional value.
  • shading correction is performed on the first pixel based on the pixel value of the first pixel and the correction value at the position corresponding to the position of the first pixel.
  • shading correction is performed using an appropriate one-dimensional correction table from among a plurality of one-dimensional correction tables based on the focal length. Thereby, appropriate shading correction according to a focal distance can be performed.
  • the photographing optical system has an aperture for changing the aperture value
  • the second shading correction means stores a plurality of one-dimensional correction tables according to the aperture value of the aperture.
  • the shading correction is preferably performed using a one-dimensional correction table corresponding to the current aperture value of the aperture.
  • shading correction is performed using an appropriate one-dimensional correction table from among a plurality of one-dimensional correction tables based on the aperture value of the diaphragm. Thereby, appropriate shading correction according to the aperture value can be performed.
  • the second shading correction unit stores a one-dimensional correction table of each color of R, G, and B, and a pixel selected from a plurality of pixel groups (hereinafter referred to as a selected pixel).
  • a one-dimensional correction table for R color is used.
  • a one-dimensional correction table for G color is used for selection.
  • the pixel color of the selected pixel is B, it is preferable to perform shading correction using a one-dimensional correction table for B color.
  • a monocular stereoscopic imaging device when the pixel color of a pixel selected from a plurality of pixel groups is R, a one-dimensional correction table for R color is used, and when the pixel color of the selected pixel is G Is used for the G color, and when the pixel color of the selected pixel is B, shading correction is performed using the B color one-dimensional correction table.
  • the second shading correction means is a Gr that is a G pixel of a horizontal line (hereinafter referred to as a GR line) of an array of RGRG... As a one-dimensional correction table for G color.
  • a one-dimensional correction table for color and a one-dimensional correction table for Gb color which is a G pixel of a horizontal line (hereinafter referred to as GB line) of an array of GBGB, are stored, and the pixel color of the selected pixel is
  • a one-dimensional correction table for Gr color is used, and in the case where the pixel color of the selected pixel is the G pixel read from the GB line, the Gb color is used. It is preferable to perform shading correction using a one-dimensional correction table.
  • a monocular stereoscopic imaging device when a pixel selected from a plurality of pixel groups is a G pixel read from the GR line, a one-dimensional correction table for Gr color is used, and the selected pixel is GB In the case of G pixels read from the line, shading correction is performed using a one-dimensional correction table for Gb color. Thereby, even when the shading characteristics differ between RGB, more appropriate shading correction can be performed particularly for the G pixel.
  • the monocular stereoscopic imaging device of the present invention further includes orientation detection means for detecting the orientation of the image sensor, and the second shading correction means includes a one-dimensional correction table when the image sensor is in landscape orientation, and the image sensor as vertical. It is preferable to store a one-dimensional correction table in the case of orientation and perform shading correction using the one-dimensional correction table based on the orientation of the image sensor detected by the orientation detection means.
  • the orientation of the imaging device is detected, and shading correction is performed using a one-dimensional correction table based on the orientation of the imaging device. Accordingly, appropriate shading correction can be performed not only in the case of a stereoscopic image with parallax in the horizontal direction but also in the case of a stereoscopic image with parallax in the vertical direction.
  • the shading correction method for a monocular stereoscopic imaging device receives a plurality of light beams obtained by dividing a light beam that has passed through a single photographing optical system by a pupil dividing unit. Obtaining output signals from the plurality of pixel groups and correcting shading for the output signals from the plurality of pixel groups in a gradient direction of density unevenness caused by pupil division by the pupil division unit.
  • shading correction is performed on output signals respectively output from a plurality of pixel groups, and at least left and right and up and down directions caused by the photographing optical system
  • a two-dimensional correction table in which correction values for shading correction are arranged on the entire output signal output from a plurality of pixel groups. Characterized in that it and a step of shading correction is.
  • the monocular stereoscopic imaging apparatus program of the present invention receives a plurality of light beams obtained by dividing the light beam that has passed through a single photographing optical system by the pupil dividing unit.
  • shading correction is performed on output signals respectively output from a plurality of pixel groups, and at least in the horizontal and vertical directions caused by the photographing optical system
  • a two-dimensional correction table in which correction values for shading correction are arranged, the entire output signal output from a plurality of pixel groups is subjected to a shift. Characterized in that to execute the steps of the over loading correction, to the computing device.
  • FIG. 1 is a front perspective view of a monocular stereoscopic imaging device 1 according to a first embodiment of the present invention.
  • Rear view of the monocular stereoscopic imaging device 1 The figure which shows the structural example of the phase difference CCD of the monocular three-dimensional imaging device 1.
  • the figure which showed one pixel of the main and sub pixel of a photographic lens, an aperture stop, and a phase difference CCD. 4 is a partially enlarged view of FIG. 4.
  • FIG. 5A shows a case where there is no pupil division
  • FIGS. 5B and 5C each show a case where there is pupil division.
  • FIGS. 6A to 6C are diagrams showing separation states of images formed on the image sensor due to differences in front pins, in-focus (best focus), and rear pins, respectively.
  • Block diagram inside the monocular stereoscopic imaging device 1 Block diagram of the SD correction unit of the monocular stereoscopic imaging device 1
  • Example of a two-dimensional correction table used for normal shading correction Example of one-dimensional correction table used for shading correction peculiar to the monocular stereoscopic imaging device 1
  • Flowchart of shading correction processing of monocular stereoscopic imaging device 1 Block diagram of the SD correction unit of the monocular stereoscopic imaging device 2
  • Flowchart of shading correction process of monocular stereoscopic imaging device 2 14A and 14B are diagrams for explaining shading correction of the monocular three-dimensional imaging apparatus 2.
  • FIG. 14A shows an arbitrary pixel selected from main pixels
  • FIG. 16A illustrates a method for selecting an arbitrary main pixel
  • FIG. 16B illustrates a method for selecting an arbitrary sub-pixel.
  • the figure explaining the main pixel of the phase difference CCD of the monocular three-dimensional imaging device 7, and a subpixel Block diagram of the SD correction unit of the monocular stereoscopic imaging device 7 Flowchart of shading correction processing of monocular stereoscopic imaging device 7
  • the figure which shows the shading characteristic of each surface of CCD which has 4 pixel 1 micro lens The figure which shows the structural example of 9 pixel 1 micro lens
  • the figure which shows the shading characteristic of each surface of CCD which has 9 pixel 1 micro lens The figure explaining the shading characteristic peculiar to a monocular stereoscopic imaging device
  • the figure explaining the shading characteristic peculiar to a monocular stereoscopic imaging device The figure explaining the shading characteristic peculiar to a monocular stereoscopic imaging device
  • FIG. 1 is a perspective view showing an embodiment of a monocular stereoscopic imaging device 1 which is an imaging device according to a first embodiment of the present invention.
  • FIG. 2 is a rear view showing an embodiment of the monocular stereoscopic imaging device 1.
  • the monocular stereoscopic imaging device 1 is a digital camera that receives light passing through a lens by an imaging device, converts the light into a digital signal, and records the digital signal on a recording medium.
  • the camera body 10 of the monocular stereoscopic imaging device 1 is formed in a horizontally long rectangular box shape, and a lens unit 12, a strobe 21 and the like are disposed on the front surface thereof as shown in FIG.
  • a shutter button 22, a power / mode switch 24, a mode dial 26, and the like are disposed on the upper surface of the camera body 10.
  • a liquid crystal monitor 28, a zoom button 30, a cross button 32, a MENU / OK button 34, a playback button 36, a BACK button 38, and the like are disposed on the back of the camera body 10.
  • a battery insertion portion and a memory card slot are provided on the lower surface of the camera body 10 (not shown) via a tripod screw hole and an openable / closable cover.
  • the battery insertion portion and the memory card slot have a battery and a memory. The card is loaded.
  • the lens unit 12 is composed of a retractable zoom lens, and is set out from the camera body 10 by setting the camera mode to the photographing mode with the power / mode switch 24.
  • the zoom mechanism and the retracting mechanism of the lens unit 12 are well-known techniques, description of specific configurations thereof is omitted here.
  • the strobe 21 irradiates strobe light toward the main subject.
  • the shutter button 22 is composed of a two-stage stroke type switch composed of a so-called “half press” and “full press”.
  • the shutter button 22 is “half-pressed” to activate the AE / AF, and “full-press” to execute shooting. To do.
  • the shutter button 22 is “fully pressed” to perform projection.
  • the power / mode switch 24 has both a function as a power switch for turning on / off the power of the monocular stereoscopic imaging device 1 and a function as a mode switch for setting the mode of the monocular stereoscopic imaging device 1. ”,“ Reproduction position ”, and“ photographing position ”are slidably arranged.
  • the monocular three-dimensional imaging device 1 is turned on by sliding the power / mode switch 24 to the “reproduction position” or “photographing position”, and turned off by adjusting to the “OFF position”. Become. Then, the power / mode switch 24 is slid and set to “playback position” to set “playback mode”, and set to “shooting position” to set “shooting mode”.
  • the mode dial 26 functions as shooting mode setting means for setting the shooting mode of the monocular stereoscopic imaging device 1, and the shooting mode of the monocular stereoscopic imaging device 1 is set to various modes depending on the setting position of the mode dial. For example, “planar image capturing mode” for capturing a planar image, “stereoscopic image capturing mode” for capturing a stereoscopic image (3D image), “moving image capturing mode” for capturing a movie, and stereoscopic panorama capturing. “Stereoscopic panorama shooting mode” to be performed.
  • the liquid crystal monitor 28 is a stereoscopic display means that can display a left-eye image and a right-eye image as a stereoscopic image having a predetermined directivity by a parallax barrier.
  • a parallax barrier having a pattern in which light transmitting portions and light shielding portions are alternately arranged at a predetermined pitch on the parallax barrier display layer of the liquid crystal monitor 28 is generated.
  • strip-shaped image fragments showing left and right images are alternately arranged and displayed on the lower image display surface.
  • nothing is displayed on the parallax barrier display layer, and one image is displayed as it is on the lower image display surface.
  • the form of the liquid crystal monitor 28 is not limited to this, and if a stereoscopic image is recognizable and displayed as a stereoscopic image, a special lens such as a lens that uses a lenticular lens or polarized glasses or liquid crystal shutter glasses is used. Thus, the image for the left eye and the image for the right eye can be viewed separately. An organic EL or the like may be used instead of the liquid crystal monitor.
  • the zoom button 30 functions as zoom instruction means for instructing zooming, and includes a zoom tele button 30T for instructing zooming to the telephoto side and a zoom wide button 30W for instructing zooming to the wide angle side.
  • the focal length of the lens unit 12 is changed by operating the zoom tele button 30T and the zoom wide button 30W in the shooting mode. Further, when the zoom tele button 30T and the zoom wide button 30W are operated in the reproduction mode, the image being reproduced is enlarged or reduced.
  • the cross button 32 is an operation unit for inputting instructions in four directions, up, down, left, and right, and is a button (cursor moving operation means) for selecting an item from the menu screen or instructing selection of various setting items from each menu.
  • the left / right key functions as a frame advance (forward / reverse feed) button in the playback mode.
  • the MENU / OK button 34 is an operation having both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 28 and a function as an OK button for instructing confirmation and execution of selection contents. Key.
  • the playback button 36 is a button for switching to a playback mode in which a still image or a moving image of a stereoscopic image (3D image) or a planar image (2D image) that has been captured and recorded is displayed on the liquid crystal monitor 28.
  • the BACK button 38 functions as a button for instructing to cancel the input operation or return to the previous operation state.
  • the lens unit 12 mainly includes a photographing lens 14, a diaphragm 16, and a solid-state imaging device (hereinafter referred to as “phase difference CCD”) 17 that is a phase difference image sensor.
  • phase difference CCD solid-state imaging device
  • the photographing lens 14 is an imaging optical system composed of a number of lenses including a focus lens and a zoom lens.
  • the diaphragm 16 is composed of, for example, five diaphragm blades, and is controlled in five stages in increments of 1AV from a diaphragm value F2.8 to F11, for example.
  • the image light indicating the subject is imaged on the light receiving surface of the phase difference CCD 17 via the photographing lens 14 and the diaphragm 16.
  • FIG. 3 is a diagram showing a configuration example of the phase difference CCD 17.
  • the phase difference CCD 17 has odd-numbered pixels (main pixels or A-plane pixels) and even-line pixels (sub-pixels or B-plane pixels) arranged in a matrix, respectively.
  • the image signals for the two planes photoelectrically converted by the main and sub-pixels can be read independently.
  • FIG. 4 is a diagram showing the main lens and sub-pixels of the photographing lens 14 and the phase difference CCD 17 one by one
  • FIG. 5 is an enlarged view of the main part of FIG.
  • the light shielding member 17A is disposed on the front side (microlens ML side) of the main pixel of the phase difference CCD 17, and the light shielding member 17B is disposed on the front side of the sub-pixel.
  • the light shielding members 17A and 17B function as pupil dividing members. As shown in FIG. 5A, a light beam passing through the exit pupil is incident on a normal CCD pixel (photodiode PD) through the microlens ML without being restricted. As shown in FIG. 5B, the light shielding member 17A shields the right half of the light receiving surface of the main pixel (photodiode PD). Therefore, only the left side of the optical axis of the light beam passing through the exit pupil is received by the main pixel.
  • the light shielding member 17B shields the left half of the light receiving surface of the sub-pixel (photodiode PD). For this reason, only the right side of the optical axis of the light beam passing through the exit pupil is received by the sub-pixel. In this way, the light beam passing through the exit pupil is divided into left and right by the light shielding members 17A and 17B which are pupil dividing means.
  • FIGS. 6A to 6C are diagrams illustrating separation states of images formed on the image sensor by the difference in the focus lens between the front pin, in-focus (best focus), and rear pin, respectively.
  • the diaphragm 16 is omitted in order to compare the difference in separation due to focus.
  • the focused image of the pupil-divided images as shown in FIG. 6B forms (matches) the same position on the image sensor, but as shown in FIGS. 6A and 6C, the front pin and The rear pin image is formed (separated) at different positions on the image sensor.
  • the parallax at the in-focus position is 0, and the position of the 3D reproduced image (the position of the virtual image) coincides with the display surface.
  • the position where the parallax becomes zero shifts to the back, and the subject on the display surface appears to jump out of the display surface.
  • the position where the parallax becomes zero shifts toward the front, and the subject on the display surface appears to move away from the display surface.
  • the phase difference CCD 17 having the above configuration is configured so that the main pixel and the sub-pixel have different regions (right half and left half) in which the light flux is restricted by the light shielding members 17A and 17B.
  • the microlens ML and the photodiode PD may be shifted relative to each other in the left-right direction, and the light flux incident on the photodiode PD may be limited by the shifting direction. Further, by providing one microlens for two pixels (main pixel and subpixel), the light flux incident on each pixel may be limited.
  • FIG. 7 is a block diagram of the monocular stereoscopic imaging device 1 according to the first embodiment of the present invention.
  • the monocular stereoscopic imaging device 1 records a captured image on a recording medium 54, and the operation of the entire device is centrally controlled by a central processing unit (CPU) 40.
  • CPU central processing unit
  • the monocular stereoscopic imaging device 1 is provided with operation units 48 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • operation units 48 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • a signal from the operation unit 48 is input to the CPU 40, and the CPU 40 controls each circuit of the monocular stereoscopic imaging device 1 based on the input signal. For example, lens driving control, aperture driving control, photographing operation control, image processing control, Image data recording / playback control, display control of the liquid crystal monitor 28 for stereoscopic display, and the like are performed.
  • the light beam that has passed through the photographic lens 14 and the diaphragm 16 is imaged on the phase difference CCD 17, and signal charges are accumulated in the phase difference CCD 17.
  • the signal charge accumulated in the phase difference CCD 17 is read as a voltage signal corresponding to the signal charge based on a read signal applied from the timing generator 45.
  • the voltage signal read from the phase difference CCD 17 is applied to the analog signal processing unit 60.
  • the analog signal processing section 60 performs correlated double sampling processing on the voltage signal output from the phase difference CCD 17 (for the purpose of reducing noise (particularly thermal noise) included in the output signal of the imaging device).
  • R, G, B signals for each pixel are sampled and held by the process of obtaining accurate pixel data by taking the difference between the feedthrough component level and the pixel signal component level included in the output signal for each pixel of After being amplified, it is added to the A / D converter 61.
  • the A / D converter 61 converts R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 62.
  • the digital signal processing unit 63 performs predetermined processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, YC processing, etc., on the digital image signal input via the image input controller 62. Perform signal processing.
  • predetermined processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, YC processing, etc.
  • the main image data read from the main pixels of the odd lines of the phase difference CCD 17 is processed as image data for the left eye
  • the sub image data read from the sub pixels of the even lines is processed as the image data for right eye.
  • the left-eye image data and right-eye image data (3D image data) processed by the digital signal processing unit 63 are input to the VRAM 50.
  • the VRAM 50 includes an A area and a B area for recording 3D image data each representing a 3D image for one frame.
  • 3D image data representing a 3D image for one frame is rewritten alternately in the A area and the B area.
  • the written 3D image data is read from an area other than the area in which the 3D image data is rewritten in the A area and the B area of the VRAM 50.
  • the 3D image data read from the VRAM 50 is processed into strip-shaped image fragments by the 3D image signal processing unit 64, encoded by the video encoder 66, and output to the stereoscopic display liquid crystal monitor 28 provided on the back of the camera. As a result, 3D subject images are continuously displayed on the display screen of the liquid crystal monitor 28.
  • the CCD 40 starts the AF operation and the AE operation, moves the focus lens in the optical axis direction via the lens driving unit 47, and Control is performed so that the focus lens comes to the in-focus position.
  • the AF processing unit 42 is a part that performs contrast AF processing or phase difference AF processing.
  • contrast AF processing is performed, a high-frequency component of image data in a predetermined focus area is extracted from at least one of left-eye image data and right-eye image data, and the high-frequency component is integrated.
  • an AF evaluation value indicating the in-focus state is calculated.
  • AF control is performed by controlling the focus lens in the photographic lens 14 so that the AF evaluation value is maximized.
  • the phase difference AF process the phase difference between the image data corresponding to the main pixel and the sub-pixel in the predetermined focus area of the image data for the left eye and the image data for the right eye is detected.
  • a defocus amount is obtained based on information indicating the phase difference.
  • AF control is performed by controlling the focus lens in the photographic lens 14 so that the defocus amount becomes zero.
  • the CPU 40 moves the zoom lens back and forth in the optical axis direction via the lens driving unit 47 as necessary to change the focal length.
  • the image data output from the A / D converter 61 when the shutter button 22 is half-pressed is taken into the AE / AWB detection unit 44.
  • the AE / AWB detection unit 44 integrates the G signals of the entire screen, or integrates the G signals that are weighted differently at the center and the periphery of the screen, and outputs the integrated value to the CPU 40.
  • the CPU 40 calculates the brightness of the subject (shooting Ev value) from the integrated value input from the AE / AWB detection unit 44, and based on this shooting Ev value, the aperture value of the diaphragm 16 and the electronic shutter (shutter speed of the phase difference CCD 17).
  • the aperture 16 is controlled via the aperture drive unit 46 based on the determined aperture value, and the phase difference CCD 17 via the timing generator 45 based on the determined shutter speed. To control the charge accumulation time.
  • Two pieces of image data temporarily recorded in the VRAM 50 are appropriately read out by the digital signal processing unit 63, and here, predetermined signal processing including generation processing (YC processing) of luminance data and color difference data of the image data is performed. Is done.
  • the YC processed image data (YC data) is recorded in the VRAM 50 again.
  • the two pieces of YC data are respectively output to the compression / decompression processing unit 65, and after performing predetermined compression processing such as JPEG (joint photographic experts group), they are recorded in the VRAM 50 again.
  • the 3D image signal processing unit 64 From the two YC data (compressed data) recorded in the VRAM 50, the 3D image signal processing unit 64 generates a multi-picture file (MP file: a file in a format in which a plurality of images are connected), and the MP file is The data is read by the media controller 52 and recorded on the recording medium 54.
  • MP file a file in a format in which a plurality of images are connected
  • the AF operation is performed not only when the shutter button 22 is pressed (half-pressed) in the first stage but also when the right-eye image data and the left-eye image data are continuously captured.
  • Examples of the case where the image data for the right eye and the image data for the left eye are continuously captured include a case where a live view image (through image) is captured and a case where a moving image is captured.
  • the AF processing unit 42 continuously calculates the AF evaluation value while continuously capturing the right-eye image data and the left-eye image data, and continuously calculates the focus lens position. Continuous AF to be controlled is performed. In this case, the parallax of the right-eye image and the left-eye image displayed on the display screen of the liquid crystal monitor 28 continuously changes according to the movement of the focus lens position.
  • the present embodiment has a shading (SD) correction unit 67 as a shading correction means for performing shading correction on signals output from the main pixel and sub-pixel when the shutter button 22 is fully pressed.
  • SD shading
  • the SD correction unit 67 performs two types of shading correction: normal shading correction and shading correction unique to the monocular stereoscopic imaging device 1.
  • the two-dimensional shading (SD) correction unit 67B (first shading correction unit) is caused by the photographing optical system in which the light amount is different between the center and the end of the photographing lens, and due to variations in pixels of the phase difference CCD 17.
  • This is a portion that performs correction of the image to be corrected, that is, normal shading correction, and stores one two-dimensional correction table (see FIG. 9) in which correction values are arranged two-dimensionally in the horizontal and vertical directions.
  • This two-dimensional correction table is, for example, a gain obtained on the basis of an inverse curve of a shading curve in which the amount of light received at the center is large and the amount of light received at the periphery is small (ie, a gain that increases from the center toward the outside).
  • the two-dimensional SD correction unit 67B performs shading correction on the entire phase difference CCD 17 using the two-dimensional correction table. Note that the processing performed by the two-dimensional SD correction unit 67B is already known, and thus description thereof is omitted.
  • the one-dimensional shading (SD) correction unit 67A (second shading correction means) has shading characteristics that are reversed between the main pixel and the sub-pixel due to the pupil division direction (the left-right direction in the present embodiment). As shown in FIG. 8, the correction is mainly performed in a coordinate calculation unit 67-1, a focal length acquisition unit 67-2 (focal length acquisition means), a table selection control unit 67-3, and a table selection unit 67-4.
  • the one-dimensional correction table storage unit 67-5 stores a one-dimensional correction table for main pixels and a one-dimensional correction table for sub-pixels.
  • shading unique to the monocular stereoscopic imaging device occurs in the left-right direction in relation to the shape and position of the microlens ML, and correction is performed using only a one-dimensional correction table (see FIG. 10). Can do.
  • the one-dimensional correction table storage unit 67-5 stores a plurality of one-dimensional correction tables for main pixels and one-dimensional correction tables for sub-pixels according to the focal length.
  • the incident angle at which the light beam enters each photodiode of the phase difference CCD 17 is different, so that the shading shape in the left-right direction changes greatly. Therefore, by selecting an appropriate correction table from the one-dimensional correction table stored in the one-dimensional correction table storage unit 67-5 according to the focal length, it is possible to cope with shading characteristics that differ depending on the focal length. .
  • the focal length acquisition unit 67-2 obtains the focal length from the position of the zoom lens, and the table selection control unit 67-3 selects the focal point from the one-dimensional correction table stored in the one-dimensional correction table storage unit 67-5.
  • the table selection unit 67-4 is instructed to select a table corresponding to the distance, and the table selection unit 67-4 receives the one-dimensional correction table storage unit 67-5 according to the instruction from the table selection control unit 67-3. To obtain an appropriate one-dimensional correction table.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel from the main pixel or the sub-pixel, and outputs the information to the table selection unit 67-4.
  • the table selection unit 67-4 reads out a correction value at a position corresponding to the pixel position selected by the coordinate calculation unit 67-1 from the one-dimensional correction table selected according to the focal length.
  • the correction values stored in the one-dimensional correction table storage unit 67-5 are not correction values corresponding to all pixel positions but discrete correction values. Therefore, in the present embodiment, the table selection unit 67-4 reads two correction values.
  • the SD coefficient calculation unit 67-6 calculates a shading correction coefficient for an arbitrary pixel selected by the coordinate calculation unit 67-1 by performing linear interpolation or the like on the correction value acquired by the table selection unit 67-4. .
  • the SD correction unit 67-7 performs the shading correction by multiplying the shading correction coefficient calculated by the SD coefficient calculation unit 67-6 by the pixel value of an arbitrary pixel selected by the coordinate calculation unit 67-1.
  • the monocular stereoscopic imaging device 1 can acquire not only a stereoscopic image but also a two-dimensional image. In addition, the monocular stereoscopic imaging device 1 can record and reproduce audio as well as moving images and still images.
  • the microphone 57 inputs the transmission voice
  • the speaker 56 outputs the reception voice
  • the voice input / output circuit 55 encodes the voice input from the microphone and decodes the received voice.
  • the CPU 40 drives the photographing lens 14 and the diaphragm 16 to the initial positions.
  • the subject light that has passed through the photographing lens 14 forms an image on the light receiving surface of the phase difference CCD 17 through the diaphragm 16.
  • the signal charge stored in the main pixel and subpixel of the phase difference CCD 17 by the timing generator 45 is sequentially read out at a predetermined frame rate as a voltage signal (image signal) corresponding to the signal charge, and the analog signal processing unit 60,
  • the image data is sequentially input to the digital signal processing unit 63 via the A / D converter 61 and the image input controller 62, and left-eye image data and right-eye image data are sequentially generated.
  • the generated left-eye image data and right-eye image data are sequentially input to the VRAM 50.
  • the CPU 40 changes the aperture amount (F value) of the diaphragm 16 via the diaphragm driving unit 46 based on the left-eye image data and the right-eye image data. Further, the CPU 40 performs zooming via the lens driving unit 47 in response to an input from the operation unit 48.
  • the photographer can confirm the shooting angle of view by viewing the image (through image) displayed on the liquid crystal monitor 28 in real time.
  • an S1 ON signal is input to the CPU 40, and the CPU 40 performs an AE / AF operation via the AF processing unit 42 and the AE / AWB detection unit 44.
  • the AF processing unit 42 performs the AF operation by the phase difference AF process.
  • an S2ON signal is input to the CPU 40, and the CPU 40 starts photographing and recording processing. That is, the phase difference CCD 17 is exposed with the shutter speed and aperture value determined based on the photometric result.
  • FIG. 11 is a flowchart showing a flow of processing for performing shading correction on two pieces of image data output from the main pixel and sub-pixel of the phase difference CCD 17 and processed by the analog signal processing unit 60.
  • the following processing is mainly controlled by the CPU 40.
  • the CPU 40 determines whether the image captured by the monocular stereoscopic imaging device 1 is a stereoscopic image, that is, whether two pieces of image data have been acquired from the main pixel and subpixel of the phase difference CCD 17. (Step S10).
  • a stereoscopic image is not obtained (for example, a main pixel and a sub-pixel are added to obtain a single two-dimensional image) (NO in step S10), the main pixel resulting from pupil division Since the density unevenness (shading) between the screen and the sub-pixel screen is canceled out, the two-dimensional SD correction unit 67B uses the two-dimensional correction table to perform normal shading without performing the shading correction by the one-dimensional SD correction unit 67A. Correction is performed (step S16).
  • the focal length acquisition unit 67-2 acquires the focal length (step S11), and the table.
  • the selection control unit 67-3 instructs the table selection unit 67-4 to select a table corresponding to the focal length from the one-dimensional correction tables stored in the one-dimensional correction table storage unit 67-5.
  • the table selection unit 67-4 acquires an appropriate one-dimensional correction table from the one-dimensional correction table storage unit 67-5 in accordance with an instruction from the table selection control unit 67-3 (steps S12, S13, S14).
  • a one-dimensional SD correction table 1A (for main pixels) and a one-dimensional SD correction table 2A (for sub-pixels), which are one-dimensional correction tables when the focal length is A, are provided.
  • the one-dimensional SD correction table 1B (for main pixel) and the one-dimensional SD correction table 2B one-dimensional correction table when the focal length is B.
  • the focal length is C and the one-dimensional SD correction table 1C (for the main pixel) and the one-dimensional correction table, which are one-dimensional correction tables when the focal length is C, are acquired (step S13).
  • the SD correction table 2C (for subpixels) is acquired (step S14).
  • a one-dimensional correction table used for shading correction is acquired.
  • the one-dimensional SD correction table 1A (for main pixel) and the one-dimensional SD correction table 2A (for sub-pixel) have bilaterally symmetric correction values
  • one-dimensional SD correction table 1B (for main pixel) and one-dimensional have bilaterally symmetric correction values
  • the one-dimensional SD correction table 1C (for main pixels) and the one-dimensional SD correction table 2C (for subpixels) are bilaterally symmetric correction values.
  • the one-dimensional SD correction unit 67A performs shading correction using the acquired one-dimensional correction table (step S15).
  • step S15 will be specifically described.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel from the main pixels, and the table selection unit 67-4 to which the information is output is used for the main pixel in the one-dimensional correction table acquired in steps S12 to S14.
  • the correction value corresponding to the pixel position selected by the coordinate calculation unit 67-1 is read out from the table (one-dimensional SD correction table 1A, one-dimensional SD correction table 1B, one-dimensional SD correction table 1C) (step S15- 1).
  • the SD coefficient calculation unit 67-6 calculates a shading correction coefficient for an arbitrary pixel selected by the coordinate calculation unit 67-1 by linear interpolation or the like with respect to the correction value acquired by the table selection unit 67-4 (step S15). -2).
  • the coordinate calculation unit 67-1 selects a pixel at an arbitrary position in a predetermined column of the main pixel group as the first pixel, and at a position corresponding to the first pixel in the predetermined column of the sub-pixel group.
  • the SD correction unit 67-7 performs shading correction by multiplying the pixel value of an arbitrary pixel selected by the coordinate calculation unit 67-1 by the shading correction coefficient calculated by the SD coefficient calculation unit 67-6 (step S15-3). ).
  • the one-dimensional SD correction unit 67A repeats the processing of steps S15-1 to S15-3 for all the main pixels.
  • the one-dimensional SD correction unit 67A performs the shading correction on the sub-pixels. That is, the coordinate calculation unit 67-1 selects an arbitrary pixel from the sub-pixels, and the table selection unit 67-4 to which the information is output is the sub-pixel of the one-dimensional correction table acquired in steps S12 to S14.
  • a correction value corresponding to the pixel position selected by the coordinate calculation unit 67-1 is read out from the pixel table (one-dimensional SD correction table 2A, one-dimensional SD correction table 2B, one-dimensional SD correction table 2C) (step S1).
  • S15-4 The SD coefficient calculation unit 67-6 calculates a shading correction coefficient for an arbitrary pixel selected by the coordinate calculation unit 67-1 by linear interpolation or the like with respect to the correction value acquired by the table selection unit 67-4 (step S15). -5).
  • the SD correction unit 67-7 performs shading correction by multiplying the pixel value of an arbitrary pixel selected by the coordinate calculation unit 67-1 by the shading correction coefficient calculated by the SD coefficient calculation unit 67-6 (step S15-6). ).
  • the one-dimensional SD correction unit 67A repeats the processing from step S15-4 to step S15-6 for all the main pixels.
  • step S15 the shading correction peculiar to the monocular stereoscopic imaging device 1 (step S15) is completed. Thereafter, the two-dimensional SD correction unit 67B performs normal shading correction on the data subjected to the shading correction (step S15) using the two-dimensional correction table (step S16).
  • the two pieces of image data subjected to the shading correction in this way are taken into the VRAM 50 via the A / D converter 61 and the image input controller 62, and converted into luminance / color difference signals by the 3D image signal processing unit 64. After that, it is stored in the VRAM 50.
  • the image data for the left eye stored in the VRAM 50 is added to the compression / decompression processing unit 65, compressed in accordance with a predetermined compression format (for example, JPEG format), and then stored in the VRAM 50.
  • a predetermined compression format for example, JPEG format
  • An MP file is generated from the two pieces of compressed data recorded in the VRAM 50, and the MP file is recorded on the recording medium 54 via the media controller 52. As a result, a stereoscopic image is captured and recorded.
  • the monocular stereoscopic imaging apparatus 1 can capture both a planar image and a stereoscopic image.
  • photographing a planar image it is only necessary to photograph using only the main pixel of the phase difference CCD 17. Since the details of the photographing process are the same as those for photographing a stereoscopic image, description thereof is omitted.
  • the image recorded on the recording medium 54 as described above can be reproduced and displayed on the liquid crystal monitor 28 by setting the mode of the monocular stereoscopic imaging device 1 to the reproduction mode with the reproduction button.
  • the CPU 40 When the playback mode is set, the CPU 40 outputs a command to the media controller 52 to read out the image file recorded last on the recording medium 54.
  • the compressed image data of the read image file is added to the compression / decompression processing unit 65, decompressed to an uncompressed luminance / color difference signal, and then output to the liquid crystal monitor 28 via the video encoder 66.
  • the frame advance of the image is performed by operating the left and right keys of the cross key.
  • the right key of the cross key is pressed, the next image file is read from the recording medium 54 and displayed on the liquid crystal monitor 28.
  • the left key of the cross key is pressed, the previous image file is read from the recording medium 54 and reproduced and displayed on the liquid crystal monitor 28.
  • the received light amount on the right end side is smaller than the left end side
  • the sub-pixel group (first pixel group) (Single pixel group or second pixel group) has a shading characteristic peculiar to a monocular three-dimensional imaging device in which the shading characteristic differs along the pupil division direction (left-right direction) in which the amount of received light on the left end side is smaller than the right end side. Can be corrected in a simple way.
  • only one two-dimensional correction table is stored in the two-dimensional SD correction unit 67B, that is, a plurality of two-dimensional correction tables corresponding to the focal length are not stored. This is because the change in shading due to the focal length related to the normal shading characteristics is smaller than the change in shading due to the focal length related to the shading characteristics specific to the monocular imaging device. However, since the shading characteristics also change depending on the focal length, a plurality of two-dimensional correction tables corresponding to the focal length are stored in the two-dimensional SD correction unit 67B, and the two-dimensional correction table used according to the focal length is stored. It may be changed.
  • a one-dimensional correction table for main pixels and a one-dimensional correction table for sub-pixels are stored, but the one-dimensional correction table includes main pixels, sub-pixels, and the like. It is also possible to share with.
  • the same one-dimensional correction table is used for the main pixel and the sub-pixel.
  • the monocular stereoscopic imaging device 2 according to the second embodiment will be described. Note that the configuration of the imaging apparatus is different only in the SD correction unit in the internal configuration, and the others are the same as those in the first embodiment, so the description of the same part is omitted and only the SD correction unit is performed. explain. The description of the operation of the imaging apparatus is different from the first embodiment only in the shading correction method, and only the shading correction method will be described.
  • FIG. 12 is a diagram illustrating the SD correction unit 67-A according to the second embodiment.
  • the SD correction unit 67-A mainly includes a two-dimensional SD correction unit 67B that performs normal shading correction, and a one-dimensional SD correction unit 67A-1 that performs shading correction unique to the monocular stereoscopic imaging device 2.
  • the one-dimensional SD correction unit 67A-1 is a part that corrects shading characteristics that are reversed between the main pixel and the sub-pixel. As shown in FIG. 12, the one-dimensional SD correction unit 67A-1 mainly includes a coordinate calculation unit 67-1, a focal length acquisition. Unit 67-2, table selection control unit 67-3, table selection unit 67-4a, one-dimensional correction table storage unit 67-5a, shading (SD) coefficient calculation unit 67-6, shading (SD) correction unit 67-7 It consists of.
  • the one-dimensional correction table storage unit 67-5a stores a plurality of one-dimensional correction tables corresponding to the focal length.
  • the same one-dimensional correction table is used for the main pixel and the sub-pixel.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel from the main pixels and outputs the information to the table selection unit 67-4.
  • the table selection unit 67-4a reads out a correction value at a position corresponding to the pixel position selected by the coordinate calculation unit 67-1 from the one-dimensional correction table selected according to the focal length.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel from the sub-pixels and outputs the information to the table selection unit 67-4.
  • the table selection unit 67-4a selects the pixel selected by the coordinate calculation unit 67-1 from the one-dimensional correction table selected according to the focal length in the same manner as when an arbitrary pixel of the main pixel is selected. A position corresponding to the position is determined, and correction values of the determined position and the symmetrical position in the one-dimensional correction table are read out.
  • FIG. 13 is a flowchart showing a flow of processing for performing shading correction on two pieces of image data output from the main pixel and sub-pixel of the phase difference CCD 17 and processed by the analog signal processing unit 60.
  • the following processing is mainly controlled by the CPU 40.
  • the CPU 40 determines whether or not the image captured by the monocular stereoscopic imaging device 1 is a stereoscopic image (step S10). If a stereoscopic image is not obtained (NO in step S10), the two-dimensional SD correction unit 67B performs normal shading correction using a two-dimensional correction table (step S16).
  • the focal length acquisition unit 67-2 acquires the focal length (step S11), and the table.
  • the selection control unit 67-3 instructs the table selection unit 67-4a to select a table corresponding to the focal length from the one-dimensional correction tables stored in the one-dimensional correction table storage unit 67-5.
  • the table selection unit 67-4a acquires an appropriate one-dimensional correction table from the one-dimensional correction table storage unit 67-5a in accordance with an instruction from the table selection control unit 67-3 (steps S21, S22, S23).
  • a one-dimensional SD correction table 1A which is a one-dimensional correction table when the focal length is A
  • a one-dimensional SD correction table 1B which is a one-dimensional correction table when the focal distance is B
  • the focal distance is C
  • the one-dimensional correction table when the focal distance is C is obtained.
  • a one-dimensional SD correction table 1C is acquired (step S23). As a result, a one-dimensional correction table used for shading correction is acquired.
  • the one-dimensional SD correction unit 67A-1 performs shading correction using the acquired one-dimensional correction table (step S24).
  • step S24 will be specifically described.
  • the coordinate calculation unit 67-1 selects arbitrary pixels at the same position from the main pixel (A group pixel) and the sub-pixel (B group pixel) (step S24-1). Information on an arbitrary pixel is output to the table selection unit 67-4a.
  • the table selection unit 67-4a selects a coordinate calculation unit from the one-dimensional correction table acquired in steps S21 to S23.
  • the correction value corresponding to the pixel position of the main pixel selected in 67-1 is read (step S24-2).
  • the table selection unit 67-4a is the correction value in the one-dimensional correction table acquired in steps S21 to S23, and the correction value read in step S24-2.
  • a correction value at a symmetrical position is read (step S24-3).
  • the SD coefficient calculation unit 67-6 calculates a shading correction coefficient by linear interpolation or the like for the correction values acquired by the table selection unit 67-4a in steps S24-2 and S24-3 (step S24-). 4).
  • the coordinate calculation unit 67-1 selects the shading correction coefficient calculated by the SD coefficient calculation unit 67-6 based on the correction value acquired by the table selection unit 67-4a in step S24-2.
  • the shading correction is performed by multiplying the pixel value of an arbitrary pixel of the main pixel (step S24-5).
  • the SD correction unit 67-7 uses the shading correction coefficient calculated by the SD coefficient calculation unit 67-6 based on the correction value acquired by the table selection unit 67-4a in step S24-3, as the coordinate calculation unit 67-1. Is multiplied by the pixel value of an arbitrary pixel of the selected sub-pixel to perform shading correction (step S24-5).
  • step S24 This is performed on all the main and sub-pixels, thereby completing the shading correction (step S24) unique to the monocular stereoscopic imaging device 1.
  • the two-dimensional SD correction unit 67B performs normal shading correction on the data subjected to the shading correction (step S24) using the two-dimensional correction table (step S16).
  • the present embodiment it is possible to perform shading correction for each of the main pixel and the sub-pixel having a symmetrical shading characteristic using one one-dimensional correction table. Therefore, it is possible to prevent an increase in memory capacity, calculation amount, and circuit scale, and to save circuit scale and memory.
  • the third embodiment of the present invention uses the same one-dimensional correction table for the main pixel and the sub-pixel.
  • the monocular stereoscopic imaging device 3 according to the third embodiment will be described.
  • the configuration of the imaging apparatus is different only in the SD correction unit in the internal configuration, and the others are the same as those in the first embodiment, so the description of the same part is omitted and only the SD correction unit is performed.
  • the description of the operation of the imaging apparatus is different from the first embodiment only in the shading correction method, and only the shading correction method will be described.
  • symbol is attached
  • FIG. 15 is a diagram illustrating the SD correction unit 67-B according to the third embodiment.
  • the SD correction unit 67-B mainly includes a two-dimensional SD correction unit 67B that performs normal shading correction and a one-dimensional SD correction unit 67A-2 that performs shading correction unique to the monocular stereoscopic imaging device 3.
  • the one-dimensional SD correction unit 67A-2 is a part that corrects shading characteristics that are reversed between the main pixel and the sub-pixel. As shown in FIG. 15, the coordinate calculation unit 67-1 and the focal length acquisition are mainly performed.
  • Unit 67-2, table selection control unit 67-3, table selection unit 67-4a, one-dimensional correction table storage unit 67-5a, shading (SD) coefficient calculation unit 67-6, shading (SD) correction unit 67-7 The read direction control unit 67-8.
  • the readout direction control unit 67-8 controls the readout direction when the coordinate calculation unit 67-1 selects an arbitrary pixel.
  • the readout direction control unit 67-8 controls the coordinate calculation unit 67-1 to read from the left direction for the main pixel, and reads the coordinate calculation unit 67-1 from the right direction for the sub-pixel. Control. For example, when the coordinate calculation unit 67-1 selects the fifth pixel from the end as an arbitrary pixel, the readout direction control unit 67-8 selects the coordinate as shown in FIG. 16A in the case of the main pixel.
  • the calculation unit 67-1 controls to read the fifth pixel from the left end, and in the case of a sub-pixel, the coordinate calculation unit 67-1 reads the fifth pixel from the left end as shown in FIG. 16B. To control.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel from the main pixel and the sub-pixel, and outputs the information to the table selection unit 67-4.
  • the table selection unit 67-4a reads out a correction value at a position corresponding to the pixel position selected by the coordinate calculation unit 67-1 from the one-dimensional correction table selected according to the focal length.
  • FIG. 17 is a flowchart showing a flow of processing for performing shading correction on two pieces of image data output from the main pixel and sub-pixel of the phase difference CCD 17 and processed by the analog signal processing unit 60.
  • the following processing is mainly controlled by the CPU 40.
  • the CPU 40 determines whether or not the image captured by the monocular stereoscopic imaging device 1 is a stereoscopic image (step S10). If a stereoscopic image is not obtained (NO in step S10), the two-dimensional SD correction unit 67B performs normal shading correction using a two-dimensional correction table (step S16).
  • the focal length acquisition unit 67-2 acquires the focal length (step S11), and the table.
  • the selection control unit 67-3 instructs the table selection unit 67-4a to select a table corresponding to the focal length from the one-dimensional correction table stored in the one-dimensional correction table storage unit 67-5a.
  • the table selection unit 67-4a acquires an appropriate one-dimensional correction table from the one-dimensional correction table storage unit 67-5a in accordance with an instruction from the table selection control unit 67-3 (steps S21, S22, S23).
  • the one-dimensional SD correction unit 67A-2 performs shading correction using the acquired one-dimensional correction table (step S31).
  • step S31 will be specifically described.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel from the main pixels (group A pixels), and the table selection unit 67-4a selects the coordinate calculation unit from the one-dimensional correction table acquired in steps S21 to S23.
  • a correction value corresponding to the pixel position of the main pixel selected in 67-1 is read (step S31-1).
  • the SD coefficient calculation unit 67-6 calculates a shading correction coefficient by linear interpolation or the like for the correction value acquired by the table selection unit 67-4a in step S31-1 (step S31-2).
  • step S31-1 when the fifth pixel from the left end of the main pixel is selected as an arbitrary pixel as shown in FIG. 16A, in step S31-2, the fifth pixel from the left end of the main pixel is selected.
  • a shading correction coefficient is calculated.
  • the SD correction unit 67-7 performs shading correction by multiplying the shading correction coefficient calculated by the SD coefficient calculation unit 67-6 by the pixel value of an arbitrary pixel of the main pixel selected by the coordinate calculation unit 67-1. Step S31-3).
  • the SD correction unit 67-7 selects a pixel at a position symmetrical to the position of an arbitrary pixel selected from the main pixels (group A pixels) under the control of the reading direction control unit 67-8. Read out from the subpixel as a pixel. Then, the SD correction unit 67-7 performs the shading correction by multiplying the shading correction coefficient calculated by the SD coefficient calculation unit 67-6 by the pixel value of an arbitrary pixel of the sub-pixel selected by the coordinate calculation unit 67-1. This is performed (step S31-3). In step S31-1, when the fifth pixel from the left end of the main pixel is selected as an arbitrary pixel as shown in FIG.
  • step S31-3 the fifth pixel from the left end of the sub-pixel is shown in FIG. 16B.
  • the th pixel is selected as an arbitrary pixel, and shading is performed by multiplying the pixel value of the fifth pixel from the left end of the sub-pixel by the shading correction coefficient for the fifth pixel from the left end of the main pixel calculated in step S31-2. Correction is performed.
  • step S31 This is performed for all the main and sub-pixels, thereby completing the shading correction (step S31) unique to the monocular stereoscopic imaging device 1.
  • the two-dimensional SD correction unit 67B performs normal shading correction on the data subjected to the shading correction (step S31) using the two-dimensional correction table (step S16).
  • the present embodiment it is possible to perform shading correction for each of the main pixel and the sub-pixel having a symmetrical shading characteristic using one one-dimensional correction table. Therefore, it is possible to prevent an increase in memory capacity, calculation amount, and circuit scale, and to save circuit scale and memory.
  • the fourth embodiment of the present invention is different in that the one-dimensional correction table corresponding to the aperture value is selected from the one-dimensional correction table storage unit 67-5b according to the aperture value of the aperture 16. This is different from the embodiment.
  • an appropriate correction table is selected from the one-dimensional correction tables stored in the one-dimensional correction table storage unit 67-5b according to the aperture value, and thus varies depending on the aperture value. It corresponds to the shading characteristics.
  • the monocular stereoscopic imaging device 4 according to the fourth embodiment will be described.
  • the configuration of the imaging apparatus is different only in the SD correction unit in the internal configuration, and the others are the same as those in the first embodiment, so the description of the same part is omitted and only the SD correction unit is performed.
  • the description of the operation of the imaging apparatus is different from the first embodiment only in the shading correction method, and only the shading correction method will be described.
  • symbol is attached
  • FIG. 18 is a diagram illustrating the SD correction unit 67-C according to the fourth embodiment.
  • the SD correction unit 67-C mainly includes a two-dimensional SD correction unit 67B that performs normal shading correction, and a one-dimensional SD correction unit 67A-3 that performs shading correction unique to the monocular stereoscopic imaging device 4.
  • the one-dimensional SD correction unit 67A-3 mainly includes a coordinate calculation unit 67-1, an aperture value acquisition unit 67-3, a table selection control unit 67-4, a table selection unit 67-4b, A dimension correction table storage unit 67-5b, a shading (SD) coefficient calculation unit 67-6, and a shading (SD) correction unit 67-7 are included.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel from the main pixel and the sub-pixel, and outputs the information to the table selection unit 67-4b.
  • the table selection unit 67-4b reads a correction value at a position corresponding to the pixel position selected by the coordinate calculation unit 67-1 from the one-dimensional correction table selected according to the aperture value.
  • FIG. 19 is a flowchart showing a flow of processing for performing shading correction on two pieces of image data output from the main pixel and subpixel of the phase difference CCD 17 and processed by the analog signal processing unit 60.
  • the following processing is mainly controlled by the CPU 40.
  • step S11 ′ steps S12 ′, S13 ′, S14 ′
  • steps S11 ′, steps S12 ′, S13 ′, S14 ′ Surrounded by a dotted line. Since these are different, only step S11 ′ and steps S12 ′, S13 ′, S14 ′... Will be described below.
  • the aperture value acquisition unit 67-3 displays the current aperture of the aperture 16. A value is obtained, it is determined whether the current aperture value is one of aperture values F 1 , F 2 , F 3 ,... (Step S11 ′), and the determination result is used as a table selection control unit 67- 4 is output.
  • the table selection control unit 67-4 selects the current aperture 16 from the one-dimensional correction table stored in the one-dimensional correction table storage unit 67-5b according to the aperture values F 1 , F 2 , F 3 ,.
  • the table selection unit 67-4b is instructed to select a table corresponding to the aperture value, and the table selection unit 67-4b responds to the instruction from the table selection control unit 67-4.
  • An appropriate one-dimensional correction table is acquired from 67-5b (steps S12 ′, S12 ′, S12 ′).
  • the fifth embodiment of the present invention uses the same one-dimensional correction table as the main pixel and the sub-pixel, and uses the one-dimensional correction table used according to the pixel color (RGB). This is a mode for switching the correction table.
  • the monocular stereoscopic imaging device 5 according to the fifth embodiment will be described. Note that the configuration of the imaging apparatus is different only in the SD correction unit in the internal configuration, and the others are the same as those in the first embodiment, so the description of the same part is omitted and only the SD correction unit is performed. explain. The description of the operation of the imaging apparatus is different from the first embodiment only in the shading correction method, and only the shading correction method will be described. Note that the same portions as those in the first to third embodiments are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 20 is a diagram illustrating an SD correction unit 67-D according to the fifth embodiment.
  • the SD correction unit 67-D mainly includes a two-dimensional SD correction unit 67B that performs normal shading correction, and a one-dimensional SD correction unit 67A-4 that performs shading correction unique to the monocular stereoscopic imaging device 5.
  • the one-dimensional SD correction unit 67A-4 is a part that corrects the shading characteristics that are reversed between the main pixel and the sub-pixel. As shown in FIG. Unit 67-2, table selection control unit 67-3b, table selection unit 67-4c, one-dimensional correction table storage unit 67-5c, shading (SD) coefficient calculation unit 67-6, shading (SD) correction unit 67-7 The pixel color (RGB) acquisition unit 67-9.
  • the one-dimensional correction table storage unit 67-5c stores a plurality of one-dimensional correction tables corresponding to pixel colors (RGB). For each one-dimensional correction table for each color, a plurality of one-dimensional correction tables corresponding to the focal length are stored. In the present embodiment, the same one-dimensional correction table is used for the main pixel and the sub-pixel.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel from the main pixels and outputs the information to the table selection unit 67-4 and the pixel color (RGB) acquisition unit 67-9.
  • the pixel color (RGB) acquisition unit 67-9 determines what the pixel color of an arbitrary pixel selected by the coordinate calculation unit 67-1 is, and outputs it to the table selection control unit 67-3b.
  • the table selection control unit 67-3b selects a table corresponding to the pixel color and focal length from the one-dimensional correction table stored in the one-dimensional correction table storage unit 67-5.
  • the table selection unit 67-4c reads out a correction value at a position corresponding to the pixel position selected by the coordinate calculation unit 67-1 from the one-dimensional correction table selected according to the focal length. .
  • the coordinate calculation unit 67-1 selects an arbitrary pixel from the sub-pixels and outputs the information to the table selection unit 67-4c.
  • the table selection unit 67-4c is selected by the coordinate calculation unit 67-1 from the one-dimensional correction table selected according to the pixel color and the focal length in the same manner as when any of the main pixels is selected. The position corresponding to the determined pixel position is determined, and the correction values of the determined position and the symmetrical position in the one-dimensional correction table are read out.
  • FIG. 21 is a flowchart showing a flow of processing for performing shading correction on two pieces of image data output from the main pixel and sub-pixel of the phase difference CCD 17 and processed by the analog signal processing unit 60.
  • the following processing is mainly controlled by the CPU 40.
  • the CPU 40 determines whether or not the image captured by the monocular stereoscopic imaging device 1 is a stereoscopic image (step S10). If a stereoscopic image is not obtained (NO in step S10), the two-dimensional SD correction unit 67B performs normal shading correction using a two-dimensional correction table (step S16).
  • the focal length acquisition unit 67-2 acquires the focal length (step S11), and the table.
  • the selection control unit 67-3b instructs the table selection unit 67-4c to select a table corresponding to the focal length from the one-dimensional correction table stored in the one-dimensional correction table storage unit 67-5c.
  • the focal length is A
  • the case where the focal length is B, C... Is the same as the processing in the case where the focal length is A, and thus description thereof is omitted.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel at the same position from the main pixel (A group pixel) and the sub pixel (B group pixel) (step S41).
  • the pixel color (RGB) acquisition unit 67-9 determines the pixel color of the arbitrary pixel selected in step S41 for each of the main pixel (A group pixel) and the sub pixel (B group pixel) (step SS42). .
  • the table selection unit 67-4a acquires an appropriate one-dimensional correction table from the one-dimensional correction table storage unit 67-5a in accordance with an instruction from the table selection control unit 67-3 (step S43). , S44, S45).
  • a one-dimensional SD correction table 1R which is a one-dimensional correction table when the pixel color is R
  • a one-dimensional SD correction table 1G which is a one-dimensional correction table when the pixel color is G is selected from the one-dimensional correction table when the focal length is A.
  • step S44 when the pixel color is B, one-dimensional SD that is a one-dimensional correction table when the pixel color is B is selected from the one-dimensional correction tables when the focal length is A.
  • the correction table 1B is acquired (step S45). As a result, a one-dimensional correction table used for shading correction is acquired.
  • the one-dimensional SD correction unit 67A-4 performs shading correction using the acquired one-dimensional correction table (step S46).
  • step S46 will be specifically described.
  • step S41 Information on the arbitrary pixel selected in step S41 is output to the table selection unit 67-4c, and the table selection unit 67-4c selects the coordinate calculation unit 67 from the one-dimensional correction table acquired in steps S43 to S45.
  • the correction value corresponding to the pixel position of the main pixel selected at -1 is read (step S46-1).
  • the table selection unit 67-4c is a correction value in the one-dimensional correction table acquired in steps S43 to S45, and is in a position symmetrical to the correction value read in step S46-1.
  • the value is read (step S46-2).
  • the method for reading the correction value at the symmetrical position is the same as in step S24-3.
  • the SD coefficient calculation unit 67-6 calculates a shading correction coefficient by linear interpolation or the like for the correction values acquired by the table selection unit 67-4c in steps S46-1 and S46-2 (step S46-). 3).
  • the coordinate calculation unit 67-1 selects the shading correction coefficient calculated by the SD coefficient calculation unit 67-6 based on the correction value acquired by the table selection unit 67-4c in step S46-1.
  • the shading correction is performed by multiplying the pixel value of an arbitrary pixel of the main pixel (step S46-4).
  • the SD correction unit 67-7 uses the shading correction coefficient calculated by the SD coefficient calculation unit 67-6 based on the correction value acquired by the table selection unit 67-4a in step S46-2, as the coordinate calculation unit 67-1. Is multiplied by the pixel value of an arbitrary pixel of the selected sub-pixel to perform shading correction (step S46-4).
  • the shading correction peculiar to the monocular three-dimensional imaging device 5 is completed by performing steps S41 to S46 for all the main and sub-pixels. Thereafter, the two-dimensional SD correction unit 67B performs normal shading correction using the two-dimensional correction table (step S16).
  • the present embodiment it is possible to perform shading correction for each of the main pixel and the sub-pixel having a symmetrical shading characteristic using one one-dimensional correction table. Therefore, it is possible to prevent an increase in memory capacity, calculation amount, and circuit scale, and to save circuit scale and memory.
  • the sixth embodiment of the present invention is a mode in which a one-dimensional correction table to be used is switched according to the pixel color (RGB), as in the fifth embodiment.
  • the sixth embodiment Further, the one-dimensional table used for Gr and Gb is switched.
  • the monocular stereoscopic imaging device 6 according to the sixth embodiment will be described. Note that the configuration of the imaging apparatus is different only in the SD correction unit in the internal configuration, and the others are the same as those in the first embodiment, so the description of the same part is omitted and only the SD correction unit is performed. explain.
  • the description of the operation of the imaging apparatus is different from the first embodiment only in the shading correction method, and only the shading correction method will be described. Note that the same portions as those in the first to fifth embodiments are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 22 is a diagram illustrating the SD correction unit 67-E according to the sixth embodiment.
  • the SD correction unit 67-E mainly includes a two-dimensional SD correction unit 67B that performs normal shading correction, and a one-dimensional SD correction unit 67A-5 that performs shading correction unique to the monocular stereoscopic imaging device 6.
  • the one-dimensional SD correction unit 67A-5 is a part that corrects shading characteristics that are reversed between the main pixel and the sub-pixel, and mainly includes a coordinate calculation unit 67-1, focal length acquisition, as shown in FIG. Unit 67-2, table selection control unit 67-3c, table selection unit 67-4d, one-dimensional correction table storage unit 67-5d, shading (SD) coefficient calculation unit 67-6, shading (SD) correction unit 67-7
  • the one-dimensional correction table storage unit 67-5d stores a plurality of one-dimensional correction tables corresponding to the pixel colors (R, Gr, B, Gb).
  • Gr is a G pixel arranged in a line of the GRGR... Pixel array
  • Gb is a G pixel arranged in a line of the BGBG.
  • a plurality of one-dimensional correction tables corresponding to the focal length are stored.
  • the same one-dimensional correction table is used for the main pixel and the sub-pixel.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel from the main pixels and outputs the information to the table selection unit 67-4 and the pixel color (RGB) acquisition unit 67-9a.
  • the pixel color (R, Gr, B, Gb) acquisition unit 67-9a determines what the pixel color of the arbitrary pixel selected by the coordinate calculation unit 67-1 is, and outputs it to the table selection control unit 67-3c To do.
  • the table selection control unit 67-3c selects a table corresponding to the pixel color and focal length from the one-dimensional correction table stored in the one-dimensional correction table storage unit 67-5d.
  • the table selection unit 67-4d reads out a correction value at a position corresponding to the pixel position selected by the coordinate calculation unit 67-1 from the one-dimensional correction table selected according to the focal length. .
  • the coordinate calculation unit 67-1 selects an arbitrary pixel from the sub-pixels and outputs the information to the table selection unit 67-4d.
  • the table selection unit 67-4d selects the one-dimensional correction table selected from the one-dimensional correction table according to the pixel color and the focal length in the same manner as when an arbitrary pixel of the main pixel is selected by the coordinate calculation unit 67-1.
  • the position corresponding to the determined pixel position is determined, and the correction values of the determined position and the symmetrical position in the one-dimensional correction table are read out.
  • FIG. 23 is a flowchart showing a flow of processing for performing shading correction on two pieces of image data output from the main pixel and subpixel of the phase difference CCD 17 and processed by the analog signal processing unit 60.
  • the following processing is mainly controlled by the CPU 40.
  • the CPU 40 determines whether or not the image captured by the monocular stereoscopic imaging device 6 is a stereoscopic image (step S10). If a stereoscopic image is not obtained (NO in step S10), the two-dimensional SD correction unit 67B performs normal shading correction using a two-dimensional correction table (step S16).
  • the focal length acquisition unit 67-2 acquires the focal length (step S11), and the table.
  • the selection control unit 67-3c instructs the table selection unit 67-4d to select a table corresponding to the focal length from the one-dimensional correction table stored in the one-dimensional correction table storage unit 67-5d.
  • the focal length is A
  • the case where the focal length is B, C... Is the same as the processing in the case where the focal length is A, and thus description thereof is omitted.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel at the same position from the main pixel (A group pixel) and the sub pixel (B group pixel) (step S41).
  • the pixel color (R, Gr, B, Gb) acquisition unit 67-9a determines the pixel color of any selected pixel for each of the main pixel (A group pixel) and the sub pixel (B group pixel) ( Step SS51).
  • the table selection unit 67-4d acquires an appropriate one-dimensional correction table from the one-dimensional correction table storage unit 67-5d in accordance with an instruction from the table selection control unit 67-3 (step S21). , S22, S23 ).
  • a one-dimensional SD correction table 1R which is a one-dimensional correction table when the pixel color is R
  • the one-dimensional SD correction table 1Gr which is a one-dimensional correction table when the pixel color is Gr
  • step S53 Is acquired (step S53), and when the pixel color is B, one-dimensional SD that is a one-dimensional correction table when the pixel color is B is selected from the one-dimensional correction tables when the focal length is A.
  • step S54 the correction table 1B is acquired (step S54) and the pixel color is Gb
  • step S55 the one-dimensional correction table when the pixel color is Gb is selected from the one-dimensional correction tables when the focal length is A.
  • 1D SD correction test Bull 1Gb is acquired (step S55). As a result, a one-dimensional correction table used for shading correction is acquired.
  • the one-dimensional SD correction unit 67A-5 performs shading correction using the acquired one-dimensional correction table (step S56).
  • step S56 will be specifically described.
  • step S41 Information on the arbitrary pixel selected in step S41 is output to the table selection unit 67-4d, and the table selection unit 67-4d selects the coordinate calculation unit 67 from the one-dimensional correction table acquired in steps S52 to S55.
  • the correction value corresponding to the pixel position of the main pixel selected at -1 is read (step S56-1).
  • the table selection unit 67-4d is a correction value in the one-dimensional correction table acquired in steps S52 to S55, and is in a position symmetrical to the correction value read in step S56-1.
  • the value is read (step S56-2).
  • the method for reading the correction value at the symmetrical position is the same as in step S24-3.
  • the SD coefficient calculation unit 67-6 calculates a shading correction coefficient by linear interpolation or the like for the correction values acquired by the table selection unit 67-4d in steps S56-1 and S56-2 (step S56-). 3).
  • the coordinate calculation unit 67-1 selects the shading correction coefficient calculated by the SD coefficient calculation unit 67-6 based on the correction value acquired by the table selection unit 67-4d in step S46-1.
  • the shading correction is performed by multiplying the pixel value of an arbitrary pixel of the main pixel (step S56-4).
  • the SD correction unit 67-7 uses the shading correction coefficient calculated by the SD coefficient calculation unit 67-6 based on the correction value acquired by the table selection unit 67-4d in step S56-2 as the coordinate calculation unit 67-1. Is multiplied by the pixel value of an arbitrary pixel of the selected sub-pixel to perform shading correction (step S56-4).
  • the shading correction peculiar to the monocular three-dimensional imaging device 6 is completed by performing steps S41 to S56 for all the main pixels and sub-pixels. Thereafter, the two-dimensional SD correction unit 67B performs normal shading correction on the data subjected to the shading correction (step S56) using the two-dimensional correction table (step S16).
  • the present embodiment it is possible to perform shading correction for each of the main pixel and the sub-pixel having a symmetrical shading characteristic using one one-dimensional correction table. Therefore, it is possible to prevent an increase in memory capacity, calculation amount, and circuit scale, and to save circuit scale and memory.
  • separate one-dimensional correction tables are used for R, Gr, B, and Gb.
  • a one-dimensional correction table for the GR line and a one-dimensional correction table for the GB line are stored.
  • an appropriate correction table may be used depending on whether the object of shading correction is the GR line or the GB line.
  • the main pixel of the phase difference CCD 17 receives only the left side of the optical axis of the light beam passing through the exit pupil, and the sub-pixel receives only the right side of the optical axis of the light beam passing through the exit pupil.
  • the stereoscopic image is captured by receiving the light, the method of capturing the stereoscopic image is not limited to this.
  • the seventh embodiment of the present invention is a mode in which a stereoscopic image is used by two methods in the horizontal direction and the vertical direction.
  • a monocular stereoscopic imaging device 7 according to a seventh embodiment will be described.
  • the configuration of the imaging apparatus is different from that of the solid-state imaging device only in the structure and internal configuration of the solid-state imaging device, and the others are the same as those in the first embodiment. Only the structure of the solid-state imaging device and the SD correction unit will be described.
  • the description of the operation of the imaging apparatus is different from the first embodiment only in the shading correction method, and only the shading correction method will be described. Note that the same portions as those in the first to sixth embodiments are denoted by the same reference numerals and description thereof is omitted.
  • the lens unit 12 mainly includes a photographing lens 14, a diaphragm 16, and a solid-state imaging device (hereinafter referred to as “phase difference CCD”) 17 ′ which is a phase difference image sensor.
  • phase difference CCD solid-state imaging device
  • FIG. 24 is a diagram showing a configuration example of the phase difference CCD 17 '.
  • the phase difference CCD 17 ′ is one in which four photodiodes A, B, C, and D are two-dimensionally arranged and one microlens ML ′ is disposed so as to cover the four photodiodes.
  • This unit is arranged two-dimensionally as a unit (4 pixels, 1 microlens). Each photodiode in the unit can be read independently.
  • FIG. 25 is a diagram illustrating a mechanism for capturing a stereoscopic image with the phase difference CCD 17 ′.
  • the combination of the photodiodes A and C of each unit receives only the left side of the optical axis of the light beam passing through the exit pupil.
  • the composite image of the photodiodes A and C becomes the image for the left eye.
  • the combination of the photodiodes B and D of each unit becomes a sub-pixel that receives only the right side of the optical axis of the light beam passing through the exit pupil, and the combined image of the photodiodes B and D is the image for the left eye.
  • the combination of the photodiodes A and B of each unit is used as the exit pupil. Only the left side of the optical axis of the light beam passing through is the main pixel that receives light, and the composite image of the photodiodes A and B is the image for the left eye. Also, the combination of the photodiodes C and D of each unit becomes a sub-pixel that receives only the right side of the optical axis of the light beam passing through the exit pupil, and the combined image of the photodiodes C and D is the image for the left eye. Become. *
  • FIG. 26 is a diagram illustrating the SD correction unit 67-F according to the seventh embodiment.
  • the SD correction unit 67-F mainly includes a two-dimensional SD correction unit 67B that performs normal shading correction, and a one-dimensional SD correction unit 67A-5 that performs shading correction unique to the monocular stereoscopic imaging device 7.
  • the one-dimensional SD correction unit 67A-5 is a part that corrects shading characteristics that are reversed between the main pixel and the sub-pixel, and mainly includes a coordinate calculation unit 67-1, focal length acquisition as shown in FIG. Unit 67-2, table selection control unit 67-3d, table selection unit 67-4e, one-dimensional correction table storage unit 67-5e, shading (SD) coefficient calculation unit 67-6, shading (SD) correction unit 67-7 , And a horizontal and vertical correction control unit 67-10.
  • the one-dimensional correction table storage unit 67-5e a plurality of one-dimensional correction tables when the phase difference CCD 17 'is photographed in the horizontal direction and a plurality of ones when the phase difference CCD 17' is photographed in the vertical direction are stored.
  • a dimension correction table is stored. Focus is applied to each of a plurality of one-dimensional correction tables when the phase difference CCD 17 ′ is photographed in the horizontal direction and a plurality of one-dimensional correction tables when the phase difference CCD 17 ′ is photographed in the vertical direction.
  • a plurality of one-dimensional correction tables corresponding to the distance are stored.
  • the same one-dimensional correction table is used for the main pixel and the sub-pixel.
  • the horizontal / vertical correction control unit 67-10 includes a gyro sensor or the like, and determines whether the phase difference CCD 17 ′ is imaged in the horizontal direction or whether the phase difference CCD 17 ′ is imaged in the vertical direction (hereinafter referred to as an imaging direction). .
  • the determination result in the horizontal / vertical correction control unit 67-10 is output to the table selection control unit 67-3d.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel from the main pixels and outputs the information to the table selection unit 67-4e.
  • the table selection control unit 67-3d selects the table corresponding to the shooting direction and the focal length from the one-dimensional correction table stored in the one-dimensional correction table storage unit 67-5e.
  • the table selection unit 67-4e reads out a correction value at a position corresponding to the pixel position selected by the coordinate calculation unit 67-1 from the selected one-dimensional correction table.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel from the sub-pixels and outputs the information to the table selection unit 67-4e.
  • the table selection control unit 67-3d selects the table corresponding to the shooting direction and the focal length from the one-dimensional correction table stored in the one-dimensional correction table storage unit 67-5e.
  • the table selection unit 67-4e reads out a correction value at a position corresponding to the pixel position selected by the coordinate calculation unit 67-1 from the selected one-dimensional correction table.
  • FIG. 27 is a flowchart showing a flow of processing for performing shading correction on two pieces of image data output from the main pixel and sub-pixel of the phase difference CCD 17 ′ and processed by the analog signal processing unit 60.
  • the following processing is mainly controlled by the CPU 40.
  • the CPU 40 determines whether or not the image captured by the monocular stereoscopic imaging device 1 is a stereoscopic image (step S10). If a stereoscopic image is not obtained (NO in step S10), the two-dimensional SD correction unit 67B performs normal shading correction using a two-dimensional correction table (step S16).
  • the focal length acquisition unit 67-2 acquires the focal length (step S11), and the table.
  • the selection control unit 67-3d instructs the table selection unit 67-4e to select a table corresponding to the focal length from the one-dimensional correction table stored in the one-dimensional correction table storage unit 67-5e.
  • the focal length is A
  • the case where the focal length is B, C... Is the same as the processing in the case where the focal length is A, and thus description thereof is omitted.
  • the horizontal / vertical correction control unit 67-10 determines the shooting direction and outputs it to the table selection control unit 67-3d (step S61).
  • the table selection control unit 67-3d selects a table according to the shooting direction and focal length from the one-dimensional correction table stored in the one-dimensional correction table storage unit 67-Ef.
  • the table selection unit 67-4e acquires an appropriate one-dimensional correction table from the one-dimensional correction table storage unit 67-5e in accordance with an instruction from the table selection control unit 67-3d (steps S62 and S63). ).
  • the one-dimensional SD correction is a one-dimensional correction table in which the focal length is A and the photographing direction is the horizontal direction.
  • the table X is acquired (step S62) and the focal length is A, and the phase difference CCD 17 ′ is photographed in the vertical direction, the one-dimensional one in which the focal length is A and the photographing direction is vertical.
  • a one-dimensional SD correction table Y which is a correction table, is acquired (step S63). As a result, a one-dimensional correction table used for shading correction is acquired.
  • the one-dimensional SD correction unit 67A-5 performs shading correction using the acquired one-dimensional correction table (step S64).
  • step S64 will be specifically described.
  • the coordinate calculation unit 67-1 selects an arbitrary pixel at the same position from the main pixel and the sub-pixel (step S64-1). Information on an arbitrary pixel is output to the table selection unit 67-4e, and the table selection unit 67-4e is selected by the coordinate calculation unit 67-1 from the one-dimensional correction table acquired in steps S62 to S63. A correction value corresponding to the pixel position of the main pixel is read (step S64-2).
  • the table selection unit 67-4e is a correction value in the one-dimensional correction table acquired in steps S62 to S63, and is in a position symmetrical to the correction value read in step S64-2. The value is read (step S64-3).
  • the SD coefficient calculation unit 67-6 calculates a shading correction coefficient by linear interpolation or the like for the correction values acquired by the table selection unit 67-4e in steps S64-2 and S64-3 (step S64-). 4).
  • the SD correction unit 67-7 selects the shading correction coefficient calculated by the SD coefficient calculation unit 67-6 based on the correction value acquired by the table selection unit 67-4e in step S64-2.
  • the shading correction is performed by multiplying the pixel value of an arbitrary pixel of the main pixel (step S64-5).
  • the SD correction unit 67-7 uses the shading correction coefficient calculated by the SD coefficient calculation unit 67-6 based on the correction value acquired by the table selection unit 67-4e in step S64-3 as the coordinate calculation unit 67-1. Is multiplied by the pixel value of an arbitrary pixel of the selected sub-pixel to perform shading correction (step S64-5).
  • step S64 This is performed for all the main and sub-pixels, thereby completing the shading correction (step S64) unique to the monocular stereoscopic imaging device 7. Thereafter, the two-dimensional SD correction unit 67B performs normal shading correction on the data subjected to the shading correction (step S64) using the two-dimensional correction table (step S16).
  • the present embodiment it is possible to perform shading correction for each of the main pixel and the sub-pixel having a symmetrical shading characteristic using one one-dimensional correction table. Therefore, it is possible to prevent an increase in memory capacity, calculation amount, and circuit scale, and to save circuit scale and memory.
  • appropriate shading correction can be performed not only in the case of a stereoscopic image having parallax in the horizontal direction but also in the case of a stereoscopic image having parallax in the vertical direction.
  • FIG. 28 is an image diagram showing density unevenness caused by pupil division on four surfaces (A, B, C, and D surfaces) obtained from the phase difference CCD 17 'of a four-pixel one microlens.
  • the dark portion corresponds to the bright portion.
  • a one-dimensional correction table (one-dimensional correction corresponding to the distance from the position O A on the diagonal line connecting the position O A and its diagonal position) in the direction of the arrow shown on the A plane in FIG. Table) is prepared, and when the A-plane pixel to be corrected is subjected to shading correction, the corresponding correction value is read from the one-dimensional correction table based on the distance from the position O A of the A-plane pixel.
  • the distance from the position O A of each pixel in the A plane because it can be obtained in advance, it is possible to provide information indicating the distance from the position O A for each pixel.
  • the same one-dimensional correction table as that for the A plane can also be used when correcting density unevenness due to pupil division on the B, C, and D planes.
  • the distance of each pixel of the B side for reading a correction value from a one-dimensional correction table the distance from the position O B of the lower-left corner of B side, likewise C-plane, the distance of each pixel of the surface D the distance from the position O C in the upper right corner of each C plane, the distance from the position O D in the upper-left corner of the D surface.
  • the pixels on each surface from the A surface to the D surface hold distance information from the reference positions (O A to O D ) in advance, and a correction value corresponding to the distance of each pixel is stored in a one-dimensional correction table.
  • FIG. 29 is a diagram showing a main part of a phase difference CCD having 9 pixels and 1 microlens.
  • the phase difference CCD of the 9-pixel 1-microlens has nine photodiodes A to I arranged two-dimensionally, and one microlens ML ′′ is arranged so as to cover the nine photodiodes.
  • This unit is two-dimensionally arranged as one unit (9 pixel 1 microlens), and one unit of 9 pixel 1 microlens is a 4 pixel microlens shown in FIG. Similarly, the same color filter is provided for each unit.
  • FIG. 30 is an image diagram showing density unevenness caused by pupil division of nine surfaces (A to I surfaces) obtained from a phase difference CCD of nine pixels and one microlens.
  • the dark portion corresponds to the bright portion.
  • the central E plane is bright and has a concentration gradient that becomes darker as it moves away from the center of the E plane.
  • the pixels on the E plane may have correction values that do not perform shading correction.
  • the correction values stored in the one-dimensional correction table storage unit are not correction values corresponding to all pixel positions, but have discrete correction values, and the table selection unit has two correction values.
  • the value is read, and the SD coefficient calculation unit calculates the shading correction coefficient by linear interpolation or the like.
  • the one-dimensional correction table has correction values corresponding to all pixel positions, and the read correction value is multiplied by the pixel value. The shading correction may be performed accordingly.
  • the monocular stereoscopic imaging device that splits the light beam by the light shielding members 17A and 17B provided on the micro lens ML side of the phase difference CCD 17 has been described as an example.
  • the photographing lens 12 ′ including a relay lens that splits the light beam is used.
  • the present invention can also be applied to a monocular stereoscopic imaging device. Further, by providing one microlens for two pixels (main pixel and subpixel), the light flux incident on each pixel may be limited.
  • the present invention is not limited to a CCD.
  • the present invention is also applicable to other image sensors such as CMOS.
  • the arrangement of photodiodes is not limited to this, and the present invention can also be applied to a CCD in which photodiodes are arranged in different arrangements.
  • the signal output from the main pixel and sub-pixel is subjected to shading correction due to monocular 3D using a one-dimensional correction table, and then the corrected signal is output.
  • the shading correction due to the optical system is performed using a two-dimensional correction table, since the shading correction is a multiplication of the shading correction coefficient for the signal, the main pixel and sub-pixel are reversed from the above.
  • the one-dimensional correction table is used to perform shading correction due to monocular 3D with respect to the corrected signal.
  • the one-dimensional correction table shading correction coefficient is multiplied by the two-dimensional correction table shading correction coefficient to obtain one A shading correction coefficient is created, and the shading correction due to the monocular 3D and the optical system is performed at a time by multiplying the signal output from the main pixel and sub-pixel by the created shading correction coefficient. Also good.
  • each embodiment is not limited to the case where the embodiments are implemented separately, and a plurality of embodiments can be combined and implemented.
  • the one-dimensional table used for shading correction may be the same for the main pixel and the sub-pixel, or may be separate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

単眼立体撮像装置に特有のシェーディング特性を補正することができる。 焦点距離を取得し（ステップＳ１１）、複数記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを取得する（ステップＳ１２、Ｓ１３、Ｓ１４…）。取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ１５）。すなわち、主画素から任意の画素を選択し、取得された主画素用の１次元の補正テーブルから選択された画素位置に対応した補正値を読み出し、この補正値と任意の画素の画素値とによりシェーディング補正を行う。この処理を主画素、副画素のすべての画素に対して行う。このシェーディング補正（ステップＳ１５）が行われたデータに対して、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。

Description

単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
　本発明は単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラムに係り、特に撮影レンズの左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左眼用の画像及び右眼用の画像を取得する技術に関する。
　特許文献１には、右目用画像と左目用画像とを別々の撮像素子から取得して立体画像を生成する場合において、右目用画像と左目用画像の少なくとも１つにシェーディング補正を行うことが開示されている。
　特許文献２には、１つの撮像素子を構成する各フォトダイオード上にマイクロレンズを設け、マイクロレンズの位置を対応フォトダイオードの位置とずらすことによりＡ群画素とＢ群画素とを分ける立体撮像素子が開示されている。
特開２００８－２７０９３７号公報 特開２００７－２７９５１２号公報
　しかしながら、特許文献１に記載の発明は、複数の撮影光学系を有する多眼カメラが前提となっており、単一の撮影レンズ（撮影光学系）を用い、単一の撮影レンズを通過した光束を複数の光束に分離し、それぞれの光束を単一の撮像素子に結像させること（瞳分割）により立体視画像を撮影する（以下、瞳分割方式という）単眼３Ｄカメラ（単眼立体撮像装置）に適用することはできない。また、特許文献１には、シェーディング補正の詳細については記載されていない。
　特許文献２に記載の発明には、Ａ群画素による撮影画像とＢ群画素による撮影画像とでは異なるシェーディング特性を有することが記載されている。
　図３１は、Ａ群画素とＢ群画素を有する撮像素子の模式図であり、図３１Ａは撮像素子全体図、図３１ＢはＡ群画素、図３１ＣはＢ群画素である。単眼３Ｄカメラでは、フォトダイオードの前面にマイクロレンズが配設されており、マイクロレンズの位置、形状等によりＡ群画素、Ｂ群画素（すなわち、視差）が得られるように設計されている。
　単眼３Ｄカメラにおいては、通常の２Ｄカメラと同様に、撮像素子の中心と光学レンズの中心とは略一致している。したがって、まず、撮影レンズの中心部（すなわち撮像素子中心部Ｍ）付近の撮像信号レベルに対して、中心部から距離が離れるにつれて、すなわち撮像素子周辺部（Ｕ、Ｄ、Ｒ、Ｌ）の信号レベルが低下するというシェーディング特性を補正（以下、通常のシェーディング補正という）する必要がある。この通常のシェーディング補正には、例えば撮像素子の各画素毎のバラツキの補正も含まれる。
　それに加え、図３１Ｂに示す主画素群でも、図３１Ｃに示す副画素群でも、中心部Ｍ１、Ｍ２と比較して、周縁部（Ｕ１、Ｄ１、Ｒ１、Ｌ１、Ｕ２、Ｄ２、Ｒ２、Ｌ２）は各画素の受光量が小さくなる。特に、図３１Ｂに示す主画素群では、瞳分割方向（左右方向）において、図中の左端側よりも右端側の受光量が小さくなる。また、図３１Ｃに示す副画素群では、瞳分割方向（左右方向）において、図中の右端側よりも左端側の受光量が小さくなる。例えば、Ｍ１、Ｍ２の受光量を１００とすると、上下方向であるＵ１、Ｄ１、Ｕ２、Ｄ２の受光量は約３０であるのに対し、主画素群においてはＬ１の受光量が約４０、Ｒ１の受光量が約２０となる。それに対し、副画素群においては、Ｒ２の受光量が約４０、Ｌ２の受光量が約２０となる。すなわち、瞳分割方向に起因するシェーディング特性が発生する。
　この理由について図３２を用いて説明する。図３２に示すように、単眼３Ｄカメラにおいては、撮像レンズＬを通過した光束が、各マイクロレンズ（Ｌｍ、Ｌｃなど）ごとに分割して配置したフォトダイオード（ＰＤｍａ・ＰＤｍｂ、ＰＤｃａ・ＰＤｃｂなど）に射出されることで、複数の視点画像が得られる。この構成にて、撮像レンズＬの光軸Ｉ０を中心とした撮像素子の受光面の中心部Ｒ１では、光束がマイクロレンズの光軸中心を基準としてＸ方向（左右方向）に関して均等に入射するため、フォトダイオード（ＰＤｃａ、ＰＤｃｂ）間で均一な明るさの信号が出力される。しかし、撮像素子の受光面の周縁部Ｒ２、Ｒ３では、光束がＸ方向（左右方向）に関して不均等に入射するため、フォトダイオード（ＰＤｍａ、ＰＤｍｂ）間で不均一な明るさの信号が出力されてしまう。即ち、撮像素子の受光面の瞳分割方向Ｘにおける周縁部では複数の視点画像間で明るさが均一とはならない。
　このような瞳分割方向に沿って受光量が変化するという単眼３Ｄカメラに特有のシェーディング特性は、通常のシェーディング補正では補正できない。
　なお、特許文献２に記載の発明は、マイクロレンズの位置をずらすことによりシェーディングを抑制するものであり、シェーディングをなくすための画像処理を行うことについては記載されていない。
　本発明はこのような事情に鑑みてなされたもので、単眼立体撮像装置に特有のシェーディング特性を簡単な方法で補正することができる単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラムを提供することを目的とする。
　上記目的を達成するため、この発明の単眼立体撮像装置は、単一の撮影光学系と、撮影光学系を通過した光束を複数の光束に分割する瞳分割手段と、複数の光束をそれぞれ受光する複数の画素群により構成された単一の撮像素子と、少なくとも撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、単一の撮像素子より出力される撮像信号全体に対してシェーディング補正をする第１のシェーディング補正手段と、瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、複数の画素群より出力される撮像信号をそれぞれシェーディング補正する第２のシェーディング補正手段と、を備えたことを特徴とする。
　かかる単眼立体撮像装置によれば、少なくとも撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、単一の撮像素子より出力される撮像信号全体に対してシェーディング補正をすると共に、瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、複数の画素群より出力される撮像信号をそれぞれシェーディングを補正する。これにより、撮影レンズの中心部付近の撮像信号レベルに対して、中心部から距離が離れるにつれて信号レベルが低下するというシェーディング特性を補正すると共に、瞳分割方向に沿って受光量が変化するという単眼立体撮像装置に特有のシェーディング特性を補正することができる。
　また、本発明の単眼立体撮像装置において、第２のシェーディング補正手段は、複数の画素群に対するシェーディング補正を同一の１次元の補正テーブルを用いて行うことが好ましい。
　かかる単眼立体撮像装置によれば、同一の１次元の補正テーブルを用いて複数の画素群に対するシェーディング補正を行う。これにより、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。
　また、本発明の単眼立体撮像装置において、撮像素子は、複数の光束をそれぞれ受光する第１の画素群と第２の画素群とを有し、第２のシェーディング補正手段は、第１の画素群の所定の列の任意の位置の画素を第１の画素として選択し、かつ第２の画素群の所定の列の第１の画素に対応する位置にある画素を第２の画素として選択する手段と、第１の画素に対する補正値を、第１の画素の位置に対応する位置にある補正値を１次元の補正テーブルから読み出す手段と、１次元の補正テーブルにおいて第１の画素に対する補正値と左右対称位置にある補正値を、第２の画素に対する補正値として読み出す手段と、第１の画素の画素値と第１の画素に対する補正値とに基づいて第１の画素に対してシェーディング補正をし、かつ第２の画素の画素値と第２の画素に対する補正値とに基づいて第２の画素に対してシェーディング補正をする手段と、を有することが好ましい。
　かかる単眼立体撮像装置によれば、第１の画素群の所定の列の任意の位置の画素を第１の画素として選択し、第１の画素の位置に対応する位置にある補正値を１次元の補正テーブルより第１の画素に対する補正値を読み出し、第１の画素の画素値と第１の画素に対する補正値とに基づいて第１の画素に対してシェーディング補正をする。また、第２の画素群の所定の列の第１の画素に対応する位置にある画素を第２の画素として選択し、１次元の補正テーブルにおいて第１の画素に対する補正値と左右対称位置にある補正値を第２の画素に対する補正値として読み出し、第２の画素の画素値と第２の画素に対する補正値とに基づいて第２の画素に対してシェーディング補正をする。これにより、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについて１つの１次元の補正テーブルでシェーディング補正を行うことができる。
　また、本発明の単眼立体撮像装置において、撮像素子は、複数の光束をそれぞれ受光する第１の画素群と第２の画素群とを有し、第２のシェーディング補正手段は、第１の画素群の所定の列の任意の位置の画素を第１の画素として選択し、かつ第２の画素群の所定の列から第１の画素と左右対称位置にある画素を第２の画素として選択する手段と、第１の画素の位置に対応する位置にある補正値を１次元の補正テーブルから読み出す手段と、第１の画素の画素値と第１の画素の位置に対応する位置にある補正値とに基づいて第１の画素に対してシェーディング補正をし、かつ第２の画素の画素値と第１の画素の位置に対応する位置にある補正値とに基づいて第２の画素に対してシェーディング補正をする手段と、を有することが好ましい。
　かかる単眼立体撮像装置によれば、第１の画素群の所定の列の任意の位置にある画素を第１の画素として選択し、第１の画素の位置に対応する位置にある補正値を１次元の補正テーブルから読み出し、第１の画素の画素値と第１の画素の位置に対応する位置にある補正値とに基づいて第１の画素に対してシェーディング補正をする。また、第２の画素群の所定の列から第１の画素と左右対称位置にある画素を第２の画素として選択し、第１の画素の位置に対応する位置にある補正値を１次元の補正テーブルから読み出し、第１の画素の画素値と第１の画素の位置に対応する位置にある補正値とに基づいて第１の画素に対してシェーディング補正をする。これにより、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについて１つの１次元の補正テーブルでシェーディング補正を行うことができる。
　また、本発明の単眼立体撮像装置において、撮影光学系はズームレンズを有し、ズームレンズの位置より焦点距離を取得する焦点距離取得手段を備え、第２のシェーディング補正手段は、焦点距離に応じて複数の１次元の補正テーブルを記憶し、焦点距離取得手段により取得された焦点距離に応じた１次元の補正テーブルを用いてシェーディング補正をすることが好ましい。
　かかる単眼立体撮像装置によれば、焦点距離に基づいて、複数の１次元の補正テーブルの中から適切な１次元の補正テーブルを用いてシェーディング補正をする。これにより、焦点距離に応じた適切なシェーディング補正をすることができる。
　また、本発明の単眼立体撮像装置において、撮影光学系は絞り値を変化させる絞りを有し、第２のシェーディング補正手段は、絞りの絞り値に応じて複数の１次元の補正テーブルを記憶し、絞りの現在の絞り値に応じた１次元の補正テーブルを用いてシェーディング補正をすることが好ましい。
　かかる単眼立体撮像装置によれば、絞りの絞り値に基づいて、複数の１次元の補正テーブルの中から適切な１次元の補正テーブルを用いてシェーディング補正をする。これにより、絞り値に応じた適切なシェーディング補正をすることができる。
　また、本発明の単眼立体撮像装置において、第２のシェーディング補正手段は、Ｒ、Ｇ、Ｂの各色の１次元の補正テーブルを記憶し、複数の画素群から選択された画素（以下、選択された画素）の画素色がＲの場合にはＲ色用の１次元の補正テーブルを用い、選択された画素の画素色がＧの場合にはＧ色用の１次元の補正テーブルを用い、選択された画素の画素色がＢの場合にはＢ色用の１次元の補正テーブルを用いてシェーディング補正をすることが好ましい。
　かかる単眼立体撮像装置によれば、複数の画素群から選択された画素の画素色がＲの場合にはＲ色用の１次元の補正テーブルを用い、選択された画素の画素色がＧの場合にはＧ色用の１次元の補正テーブルを用い、選択された画素の画素色がＢの場合にはＢ色用の１次元の補正テーブルを用いてシェーディング補正をする。これにより、ＲＧＢでシェーディング特性が異なる場合においても、特にＧ画素についてより適切なシェーディング補正を行うことができる。
　また、本発明の単眼立体撮像装置において、第２のシェーディング補正手段は、Ｇ色用の１次元の補正テーブルとして、ＲＧＲＧ…の配列の水平ライン（以下、ＧＲラインという）のＧ画素であるＧｒ色用の１次元の補正テーブルと、ＧＢＧＢ…の配列の水平ライン（以下、ＧＢラインという）のＧ画素であるＧｂ色用の１次元の補正テーブルを記憶し、選択された画素の画素色がＧＲラインから読み出されたＧ画素の場合にはＧｒ色用の１次元の補正テーブルを用い、選択された画素の画素色がＧＢラインから読み出されたＧ画素の場合にはＧｂ色用の１次元の補正テーブルを用いてシェーディング補正をすることが好ましい。
　かかる単眼立体撮像装置によれば、複数の画素群から選択された画素がＧＲラインから読み出されたＧ画素の場合にはＧｒ色用の１次元の補正テーブルを用い、選択された画素がＧＢラインから読み出されたＧ画素の場合にはＧｂ色用の１次元の補正テーブルを用いてシェーディング補正をする。これにより、ＲＧＢでシェーディング特性が異なる場合においても、特にＧ画素についてより適切なシェーディング補正を行うことができる。
　また、本発明の単眼立体撮像装置において、撮像素子の向きを検出する向き検出手段を備え、第２のシェーディング補正手段は、撮像素子が横向きの場合の１次元の補正テーブルと、撮像素子が縦向きの場合の１次元の補正テーブルとを記憶し、向き検出手段により検出された撮像素子の向きに基づいた１次元の補正テーブルを用いてシェーディング補正をすることが好ましい。
　かかる単眼立体撮像装置によれば、撮像素子の向きを検出し、撮像素子の向きに基づいた１次元の補正テーブルを用いてシェーディング補正をする。これにより、水平方向に視差がある立体視画像の場合のみならず、垂直方向に視差がある立体視画像の場合においても適切なシェーディング補正をすることができる。
　更に、上記目的を達成するため、本発明の単眼立体撮像装置用シェーディング補正方法は、単一の撮影光学系を通過した光束を瞳分割手段により瞳分割して得られた複数の光束がそれぞれ受光された複数の画素群からの出力信号を取得するステップと、複数の画素群からの出力信号に対してシェーディング補正するステップであって、瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、複数の画素群よりそれぞれ出力される出力信号に対してそれぞれシェーディング補正をする、及び少なくとも撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、複数の画素群より出力される出力信号全体に対してシェーディング補正をするステップと、を有することを特徴とする。
　更にまた、上記目的を達成するため、本発明の単眼立体撮像装置用プログラムは、単一の撮影光学系を通過した光束を瞳分割手段により瞳分割して得られた複数の光束がそれぞれ受光された複数の画素群からの出力信号を取得するステップと、複数の画素群からの出力信号に対してシェーディング補正するステップであって、瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、複数の画素群よりそれぞれ出力される出力信号に対してそれぞれシェーディング補正をする、及び少なくとも撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、複数の画素群より出力される出力信号全体に対してシェーディング補正をするステップと、を演算装置に実行させることを特徴とする。
　本発明によれば、単眼立体撮像装置に特有のシェーディング特性を簡単な方法で補正することができる。
本発明の第１の実施の形態に係る単眼立体撮像装置１の正面斜視図 単眼立体撮像装置１の背面図 単眼立体撮像装置１の位相差ＣＣＤの構成例を示す図 撮影レンズ、絞り、及び位相差ＣＣＤの主、副画素の１画素ずつを示した図 図４の部分拡大図であり、図５Ａは瞳分割が無い場合であり、図５Ｂ、図５Ｃはそれぞれ瞳分割がある場合である。 図６Ａ～６Ｃはそれぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図 単眼立体撮像装置１内部のブロック図 単眼立体撮像装置１のＳＤ補正部のブロック図 通常のシェーディング補正に用いられる２次元の補正テーブルの例 単眼立体撮像装置１特有のシェーディング補正に用いられる１次元の補正テーブルの例 単眼立体撮像装置１のシェーディング補正処理のフローチャート 単眼立体撮像装置２のＳＤ補正部のブロック図 単眼立体撮像装置２のシェーディング補正処理のフローチャート 単眼立体撮像装置２のシェーディング補正について説明する図であり、図１４Ａは主画素から選択された任意の画素を示し、図１４Ｂは主画素用に１次元の補正テーブルから読み出す補正値を示し、図１４Ｃは副画素用に１次元の補正テーブルから読み出す補正値を示す。 単眼立体撮像装置３のＳＤ補正部のブロック図 単眼立体撮像装置３のシェーディング補正について説明する図であり、図１６Ａは主画素の任意の画素の選択方法を示し、図１６Ｂは副画素の任意の画素の選択方法を示す。 単眼立体撮像装置３のシェーディング補正処理のフローチャート 単眼立体撮像装置４のＳＤ補正部のブロック図 単眼立体撮像装置４のシェーディング補正処理のフローチャート 単眼立体撮像装置５のＳＤ補正部のブロック図 単眼立体撮像装置５のシェーディング補正処理のフローチャート 単眼立体撮像装置６のＳＤ補正部のブロック図 単眼立体撮像装置６のシェーディング補正処理のフローチャート 単眼立体撮像装置７の位相差ＣＣＤの構成例を示す図 単眼立体撮像装置７の位相差ＣＣＤの主画素、副画素を説明する図 単眼立体撮像装置７のＳＤ補正部のブロック図 単眼立体撮像装置７のシェーディング補正処理のフローチャート ４画素１マイクロレンズを有するＣＣＤの各面のシェーディング特性を示す図 ９画素１マイクロレンズの構成例を示す図 ９画素１マイクロレンズを有するＣＣＤの各面のシェーディング特性を示す図 単眼立体撮像装置特有のシェーディング特性について説明する図 単眼立体撮像装置特有のシェーディング特性について説明する図
　以下、添付図面に従って本発明に係る単眼立体撮像装置の実施の形態について説明する。
　＜第１の実施の形態＞
　［撮像装置の全体構成］
　図１は本発明に係る第１の実施の形態の撮像装置である単眼立体撮像装置１の一実施形態を示す斜視図である。図２は、上記単眼立体撮像装置１の一実施形態を示す背面図である。この単眼立体撮像装置１は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。
　単眼立体撮像装置１のカメラボディ１０は、横長の四角い箱状に形成されており、その正面には、図１に示すように、レンズユニット１２、ストロボ２１等が配設されている。また、カメラボディ１０の上面にはシャッタボタン２２、電源／モードスイッチ２４、モードダイヤル２６等が配設されている。一方、カメラボディ１０の背面には、図２に示すように、液晶モニタ２８、ズームボタン３０、十字ボタン３２、ＭＥＮＵ／ＯＫボタン３４、再生ボタン３６、ＢＡＣＫボタン３８等が配設されている。
　なお、図示しないカメラボディ１０の下面には、三脚ネジ穴と、開閉自在なカバーを介してバッテリ挿入部とメモリカードスロットとが設けられており、このバッテリ挿入部とメモリカードスロットにバッテリとメモリカードが装填される。
　レンズユニット１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ２４によってカメラのモードを撮影モードに設定することにより、カメラボディ１０から繰り出される。なお、レンズユニット１２のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。
　ストロボ２１は、主要被写体に向けてストロボ光を照射するものである。
　シャッタボタン２２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。単眼立体撮像装置１は、撮影モードで駆動しているときは、このシャッタボタン２２が「半押し」されることにより、ＡＥ／ＡＦが作動し、「全押し」されることにより、撮影を実行する。また、単眼立体撮像装置１は、投影モードで駆動しているときは、このシャッタボタン２２が「全押し」されることにより、投影を実行する。
　電源／モードスイッチ２４は、単眼立体撮像装置１の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、単眼立体撮像装置１のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。単眼立体撮像装置１は、電源／モードスイッチ２４をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ２４をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
　モードダイヤル２６は、単眼立体撮像装置１の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、単眼立体撮像装置１の撮影モードが様々なモードに設定される。例えば、平面画像の撮影を行う「平面画像撮影モード」、立体視画像（３Ｄ画像）の撮影を行う「立体視画像撮影モード」、動画撮影を行う「動画撮影モード」、立体パノラマ撮影の撮影を行う「立体パノラマ撮影モード」等である。
　液晶モニタ２８は、左眼用画像及び右眼用画像をパララックスバリアによりそれぞれ所定の指向性をもった立体視画像として表示できる立体表示手段である。立体視画像が液晶モニタ２８に入力された場合には、液晶モニタ２８のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像や使用者インターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。なお、液晶モニタ２８の形態はこれに限らず、立体視画像を立体画像として認識可能に表示させるものであれば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左眼用画像と右眼用画像とを個別に見ることができるものでもよい。なお、液晶モニタの代わりに有機ＥＬ等を用いてもよい。
　ズームボタン３０は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するズームテレボタン３０Ｔと、広角側へのズームを指示するズームワイドボタン３０Ｗとからなる。単眼立体撮像装置１は、撮影モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されることにより、レンズユニット１２の焦点距離が変化する。また、再生モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されることにより、再生中の画像が拡大、縮小する。
　十字ボタン３２は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。
　ＭＥＮＵ／ＯＫボタン３４は、液晶モニタ２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。
　再生ボタン３６は、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ２８に表示させる再生モードに切り替えるためのボタンである。
　ＢＡＣＫボタン３８は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。
　［撮影光学系、撮像素子の構成例］
　レンズユニット１２は、主として撮影レンズ１４、絞り１６、位相差イメージセンサである固体撮像素子（以下、「位相差ＣＣＤ」という）１７で構成される。
　撮影レンズ１４は、フォーカスレンズ、ズームレンズを含む多数のレンズから構成される撮像光学系である。絞り１６は、例えば、５枚の絞り羽根からなり、例えば、絞り値Ｆ2.8 ～Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。撮影モード時において、被写体を示す画像光は、撮影レンズ１４、絞り１６を介して位相差ＣＣＤ１７の受光面に結像される。
　図３は位相差ＣＣＤ１７の構成例を示す図である。
　位相差ＣＣＤ１７は、それぞれマトリクス状に配列された奇数ラインの画素（主画素、Ａ面画素ともいう）と、偶数ラインの画素（副画素、Ｂ面画素ともいう）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。
　図３に示すように位相差ＣＣＤ１７の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。
　図４は撮影レンズ１４、及び位相差ＣＣＤ１７の主、副画素の１画素ずつを示した図であり、図５は図４の要部拡大図である。
　位相差ＣＣＤ１７の主画素の前面側（マイクロレンズＭＬ側）には、遮光部材１７Ａが配設され、副画素の前面側には、遮光部材１７Ｂが配設される。遮光部材１７Ａ、１７Ｂは瞳分割部材としての機能を有している。図５Ａに示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＭＬを介して制限を受けずに入射する。図５Ｂに示すように遮光部材１７Ａは、主画素（フォトダイオードＰＤ）の受光面の右半分を遮光する。そのため、主画素には、射出瞳を通過する光束の光軸の左側のみが受光される。また、図５Ｃに示すように遮光部材１７Ｂは、副画素（フォトダイオードＰＤ）の受光面の左半分を遮光する。そのため、副画素には、射出瞳を通過する光束の光軸の右側のみが受光される。このように、瞳分割手段である遮光部材１７Ａ、１７Ｂにより、射出瞳を通過する光束が左右に分割される。
　このように位相差ＣＣＤ１７の主画素に射出瞳を通過する光束の光軸の左側のみを受光させ、副画素に射出瞳を通過する光束の光軸の右側のみを受光させるようにすることで、位相差ＣＣＤ１７で立体視画像を撮影する仕組みについて説明する。
　図６Ａ～図６Ｃは、フォーカスレンズがそれぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。尚、図６Ａ～図６Ｃでは、フォーカスによる分離の違いを比較するために絞り１６を省略している。
　図６Ｂに示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図６Ａ及び図６Ｃに示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。
　従って、左右方向に瞳分割された被写体像を位相差ＣＣＤ１７を介して取得することにより、フォーカス位置に応じて視差の異なる左眼用画像及び右眼用画像（立体視画像）を取得することができる。すなわち、合焦位置の視差は０となり、３Ｄ再生像の位置（虚像の位置）は表示面と一致する。合焦位置を奥にずらしていくにつれて、視差が０となる位置が奥にずれ、表示面上の被写体は表示面から飛びだしてくるように見える。逆に、合焦位置を手前にずらしていくにつれて、視差が０となる位置が手前にずれ、表示面上の被写体は表示面から奥へ移動していくように見える。
　尚、上記構成の位相差ＣＣＤ１７は、主画素と副画素とでは、遮光部材１７Ａ、１７Ｂより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１７Ａ、１７Ｂを設けずに、マイクロレンズＭＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
　［撮像装置の内部構成］
　図７は本発明の第１の実施の形態に係る単眼立体撮像装置１のブロック図である。この単眼立体撮像装置１は、撮像した画像を記録メディア５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
　単眼立体撮像装置１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部４８が設けられている。この操作部４８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて単眼立体撮像装置１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ２８の表示制御などを行う。
　電源／モードスイッチ２４により単眼立体撮像装置１の電源がＯＮされると、電源部５８から各ブロックへ給電され、単眼立体撮像装置１の駆動が開始される。
　撮影レンズ１４、絞り１６等を通過した光束は位相差ＣＣＤ１７に結像され、位相差ＣＣＤ１７には信号電荷が蓄積される。位相差ＣＣＤ１７に蓄積された信号電荷は、タイミングジェネレータ４５から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１７から読み出された電圧信号は、アナログ信号処理部６０に加えられる。
　アナログ信号処理部６０は、位相差ＣＣＤ１７から出力された電圧信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器６１に加えられる。Ａ／Ｄ変換器６１は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ６２に出力する。
　デジタル信号処理部６３は、画像入力コントローラ６２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。ここで、位相差ＣＣＤ１７の奇数ラインの主画素から読み出される主画像データは、左眼用画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右眼用画像データとして処理される。
　デジタル信号処理部６３で処理された左眼用画像データ及び右眼用画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。
　ＶＲＡＭ５０から読み出された３Ｄ画像データは、３Ｄ画像信号処理部６４で短冊状の画像断片に加工され、ビデオエンコーダ６６においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ２８に出力され、これにより３Ｄの被写体像が連続的に液晶モニタ２８の表示画面上に表示される。
　操作部４８のシャッタボタン２２の第１段階の押下（半押し）があると、ＣＣＤ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部４７を介してフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。
　ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左眼用画像データ及び右眼用画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左眼用画像データ及び右眼用画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。
　ＣＰＵ４０は、必要に応じてレンズ駆動部４７を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。
　また、シャッタボタン２２の半押し時にＡ／Ｄ変換器６１から出力される画像データは、ＡＥ／ＡＷＢ検出部４４に取り込まれる。
　ＡＥ／ＡＷＢ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ／ＡＷＢ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１６の絞り値及び位相差ＣＣＤ１７の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部４６を介して絞り１６を制御するとともに、決定したシャッタスピードに基づいてタイミングジェネレータ４５を介して位相差ＣＣＤ１７での電荷蓄積時間を制御する。
　ＡＥ動作及びＡＦ動作が終了し、シャッタボタン２２の第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器６１から出力される主画素及び副画素に対応する左眼用画像（主画像）及び右眼用画像（副画像）の２枚分の画像データが画像入力コントローラ６２からＶＲＡＭ５０に入力され、一時的に記録される。
　ＶＲＡＭ５０に一時的に記録された２枚分の画像データは、デジタル信号処理部６３により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びＶＲＡＭ５０に記録される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸張処理部６５に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びＶＲＡＭ５０に記録される。
　ＶＲＡＭ５０に記録された２枚分のＹＣデータ（圧縮データ）から、３Ｄ画像信号処理部６４でマルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、記録メディア５４に記録される。
　なお、ＡＦ動作は、シャッタボタン２２の第１段階の押下（半押し）がある場合のみでなく、右眼用画像データ、左眼用画像データを連続的に撮影する場合にも行われる。右眼用画像データ、左眼用画像データを連続的に撮影する場合とは、例えばライブビュー画像（スルー画像）を撮影する場合や、動画を撮影する場合が挙げられる。この場合には、ＡＦ処理部４２は、連続的に右眼用画像データ、左眼用画像データを撮影している間、常時繰り返しＡＦ評価値の演算を行って、連続的にフォーカスレンズ位置を制御するコンティニュアスＡＦを行う。この場合には、フォーカスレンズ位置の移動に応じて、連続的に液晶モニタ２８の表示画面上に表示された右眼用画像、左眼用画像の視差が変化することとなる。
　ところで、本実施の形態は、シャッタボタン２２の全押しにより主画素、副画素から出力された信号に対してシェーディング補正を行うシェーディング補正手段として、シェーディング（ＳＤ）補正部６７を有している。
　ＳＤ補正部６７は、通常のシェーディング補正と、単眼立体撮像装置１に特有のシェーディング補正との２通りのシェーディング補正を行う。
　２次元シェーディング（ＳＤ）補正部６７Ｂ（第１のシェーディング補正手段）は、撮影レンズの中心と端部とで光量がことなるという撮影光学系に起因するもの、位相差ＣＣＤ１７の画素のバラツキに起因するもの等の補正、すなわち通常のシェーディング補正を行う部分であり、左右上下方向の２次元に補正値が並べられた２次元の補正テーブル（図９参照）が１つ記憶されている。この２次元の補正テーブルは、例えば中心部の受光量が大きく周辺部の受光量が小さいというシェーディングカーブの逆カーブを基に求められたゲイン（すなわち中心から外側に向けて大きくなるようなゲイン）すなわち補正値が２次元に並べられたテーブルである。２次元ＳＤ補正部６７Ｂは、この２次元の補正テーブルを用いて位相差ＣＣＤ１７全体に対してシェーディング補正を行う。なお、２次元ＳＤ補正部６７Ｂが行う処理は既に公知であるため、説明を省略する。
　１次元シェーディング（ＳＤ）補正部６７Ａ（第２のシェーディング補正手段）は、瞳分割方向（本実施の形態では左右方向）に起因し、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図８に示すように、主として、座標演算部６７－１、焦点距離取得部６７－２（焦点距離取得手段）、テーブル選択制御部６７－３、テーブル選択部６７－４、１次元補正テーブル記憶部６７－５、シェーディング（ＳＤ）係数演算部６７－６、シェーディング（ＳＤ）補正部６７－７で構成される。
　１次元補正テーブル記憶部６７－５には、主画素用の１次元の補正テーブルと副画素用の１次元の補正テーブルとが記憶されている。単眼立体撮像装置１では、マイクロレンズＭＬの形状や位置に関係して、左右方向に単眼立体撮像装置特有のシェーディングが発生するため、１次元の補正テーブル（図１０参照）のみで補正を行うことができる。
　また、１次元補正テーブル記憶部６７－５には、焦点距離に応じて主画素用の１次元の補正テーブル及び副画素用の１次元の補正テーブルがそれぞれ複数記憶されている。単眼立体撮像装置１では、焦点距離を変化させると、位相差ＣＣＤ１７の各フォトダイオードに光束が入射する入射角が異なるため、左右方向のシェーディング形状は大きく変化する。そのため、焦点距離に応じて１次元補正テーブル記憶部６７－５に記憶された１次元の補正テーブルの中から適切な補正テーブルを選択することによって、焦点距離によって異なるシェーディング特性に対応することができる。
　焦点距離取得部６７－２は、ズームレンズの位置より焦点距離を求め、テーブル選択制御部６７－３は、１次元補正テーブル記憶部６７－５に記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７－４へ指示を出し、テーブル選択部６７－４は、テーブル選択制御部６７－３の指示に応じて１次元補正テーブル記憶部６７－５から適切な１次元の補正テーブルを取得する。
　座標演算部６７－１は、主画素又は副画素から任意の画素を選択し、その情報をテーブル選択部６７－４へ出力する。テーブル選択部６７－４は、焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７－１で選択された画素位置に対応した位置の補正値を読み出す。１次元補正テーブル記憶部６７－５に記憶されている補正値は、全ての画素位置に対応する補正値ではなく、離散的に補正値をもっている。したがって、本実施の形態では、テーブル選択部６７－４は２つの補正値を読みだすこととなる。
　ＳＤ係数演算部６７－６は、テーブル選択部６７－４が取得した補正値に対して線形補間等を行うことにより、座標演算部６７－１が選択した任意の画素のシェーディング補正係数を算出する。
　ＳＤ補正部６７－７は、ＳＤ係数演算部６７－６が算出したシェーディング補正係数を座標演算部６７－１が選択した任意の画素の画素値に乗じることによりシェーディング補正を行う。
　単眼立体撮像装置１は、立体視画像のみでなく、２次元画像の取得も可能である。また、単眼立体撮像装置１は、動画、静止画のみでなく、音声の記録再生が可能である。マイクロフォン５７は送話音声を入力し、スピーカ５６は受話音声を出力し、音声入出力回路５５はマイクロフォンから入力された音声の符号化及び受信した音声の復号化などを行う。
　［撮像装置の動作の説明］
　次に、単眼立体撮像装置１の動作について説明する。この撮像処理はＣＰＵ４０によって制御される。この撮像処理をＣＰＵ４０に実行させるためのプログラムはＣＰＵ４０内のプログラム格納部に記録されている。
　撮影が開始されると、ＣＰＵ４０は、撮影レンズ１４、絞り１６を初期位置へ駆動する。撮影レンズ１４を通過した被写体光は、絞り１６を介して位相差ＣＣＤ１７の受光面に結像される。タイミングジェネレータ４５により、位相差ＣＣＤ１７の主画素及び副画素に蓄えられた信号電荷は、信号電荷に応じた電圧信号（画像信号）として所定のフレームレートで順次読み出され、アナログ信号処理部６０、Ａ／Ｄ変換器６１、画像入力コントローラ６２を介してデジタル信号処理部６３に順次入力され、左眼用画像データ及び右眼用画像データが順次生成される。生成された左眼用画像データ及び右眼用画像データは順次ＶＲＡＭ５０に入力される。
　ＣＰＵ４０は、左眼用画像データ及び右眼用画像データにもとづいて、絞り駆動部４６を介して絞り１６の開口量（Ｆ値）を変更する。また、ＣＰＵ４０は、操作部４８からの入力に応じて、レンズ駆動部４７を介してズーミングをおこなう。
　撮影者は、この液晶モニタ２８にリアルタイムに表示される画像（スルー画像）を見ることにより、撮影画角を確認することができる。
　シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ４０に入力され、ＣＰＵ４０はＡＦ処理部４２及びＡＥ／ＡＷＢ検出部４４を介してＡＥ／ＡＦ動作を実施する。立体視画像の撮影処理においては、ＡＦ処理部４２は、位相差ＡＦ処理によりＡＦ動作を行う。
　シャッタボタンが全押しされると、ＣＰＵ４０にＳ２ＯＮ信号が入力され、ＣＰＵ４０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で位相差ＣＣＤ１７を露光する。
　図１１は、位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。
　まず、ＣＰＵ４０は、単眼立体撮像装置１で撮影された画像が立体視画像であるか、すなわち位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されているか否かを判断する（ステップＳ１０）。立体視画像が得られていない（たとえば、主画素と副画素とが加算されて１枚の２次元画像が得られている）場合（ステップＳ１０でＮＯ）には、瞳分割に起因する主画素の画面と副画素の画面の濃度ムラ（シェーディング）は相殺されるため、１次元ＳＤ補正部６７Ａによるシェーディング補正は行わず、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。
　位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、焦点距離取得部６７－２は焦点距離を取得し（ステップＳ１１）、テーブル選択制御部６７－３は、１次元補正テーブル記憶部６７－５に記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７－４へ指示を出し、テーブル選択部６７－４は、テーブル選択制御部６７－３の指示に応じて１次元補正テーブル記憶部６７－５から適切な１次元の補正テーブルを取得する（ステップＳ１２、Ｓ１３、Ｓ１４…）。例えば、焦点距離がＡである場合には、焦点距離がＡの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ａ（主画素用）及び１次元ＳＤ補正テーブル２Ａ（副画素用）が取得され（ステップＳ１２）、焦点距離がＢである場合には、焦点距離がＢの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｂ（主画素用）及び１次元ＳＤ補正テーブル２Ｂ（副画素用）が取得され（ステップＳ１３）、焦点距離がＣである場合には、焦点距離がＣの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｃ（主画素用）及び１次元ＳＤ補正テーブル２Ｃ（副画素用）が取得される（ステップＳ１４）。これにより、シェーディング補正に使用される１次元の補正テーブルが取得される。なお、１次元ＳＤ補正テーブル１Ａ（主画素用）と１次元ＳＤ補正テーブル２Ａ（副画素用）とは左右対称の補正値を有し、１次元ＳＤ補正テーブル１Ｂ（主画素用）と１次元ＳＤ補正テーブル２Ｂ（副画素用）とは左右対称の補正値を有し、１次元ＳＤ補正テーブル１Ｃ（主画素用）と１次元ＳＤ補正テーブル２Ｃ（副画素用）とは左右対称の補正値を有する。
　１次元ＳＤ補正部６７Ａは、取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ１５）。以下、ステップＳ１５を具体的に説明する。
　座標演算部６７－１は、主画素から任意の画素を選択し、その情報を出力されたテーブル選択部６７－４はステップＳ１２～Ｓ１４で取得された１次元の補正テーブルのうちの主画素用のテーブル（１次元ＳＤ補正テーブル１Ａ、１次元ＳＤ補正テーブル１Ｂ、１次元ＳＤ補正テーブル１Ｃ）の中から座標演算部６７－１で選択された画素位置に対応した補正値を読み出す（ステップＳ１５－１）。ＳＤ係数演算部６７－６は、テーブル選択部６７－４が取得した補正値に対して線形補間等により、座標演算部６７－１が選択した任意の画素のシェーディング補正係数を算出する（ステップＳ１５－２）。なお、座標演算部６７－１は、　主画素群の所定の列の任意の位置の画素を第１の画素として選択し、かつ副画素群の所定の列の第１の画素に対応する位置にある画素を第２の画素として選択する手段と、第１の画素に対する補正値を、第１の画素の位置に対応する位置にある補正値を１次元の補正テーブルから読み出す手段と、から構成されている。
　ＳＤ補正部６７－７は、ＳＤ係数演算部６７－６が算出したシェーディング補正係数を座標演算部６７－１が選択した任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ１５－３）。１次元ＳＤ補正部６７Ａは、ステップＳ１５－１～ステップＳ１５－３の処理を主画素のすべての画素について繰り返し行う。
　主画素のすべての画素についてシェーディング補正が行われたら、１次元ＳＤ補正部６７Ａは、副画素についてシェーディング補正をおこなう。すなわち、座標演算部６７－１は、副画素から任意の画素を選択し、その情報を出力されたテーブル選択部６７－４はステップＳ１２～Ｓ１４で取得された１次元の補正テーブルのうちの副画素用のテーブル（１次元ＳＤ補正テーブル２Ａ、１次元ＳＤ補正テーブル２Ｂ、１次元ＳＤ補正テーブル２Ｃ）の中から座標演算部６７－１で選択された画素位置に対応した補正値を読み出す（ステップＳ１５－４）。ＳＤ係数演算部６７－６は、テーブル選択部６７－４が取得した補正値に対して線形補間等により、座標演算部６７－１が選択した任意の画素のシェーディング補正係数を算出する（ステップＳ１５－５）。
　ＳＤ補正部６７－７は、ＳＤ係数演算部６７－６が算出したシェーディング補正係数を座標演算部６７－１が選択した任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ１５－６）。１次元ＳＤ補正部６７Ａは、ステップＳ１５－４～ステップＳ１５－６の処理を主画素のすべての画素について繰り返し行う。
　これにより、単眼立体撮像装置１特有のシェーディング補正（ステップＳ１５）が終了される。その後、シェーディング補正（ステップＳ１５）が行われたデータに対して、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。
　これにより、シェーディング補正が終了する。このようにしてシェーディング補正された２枚分の画像データは、Ａ／Ｄ変換器６１、画像入力コントローラ６２を介してＶＲＡＭ５０に取り込まれ、３Ｄ画像信号処理部６４において輝度／色差信号に変換されたのち、ＶＲＡＭ５０に格納される。ＶＲＡＭ５０に格納された左眼用画像データは、圧縮伸張処理部６５に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、ＶＲＡＭ５０に格納される。
　ＶＲＡＭ５０に記録された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディア・コントローラ５２を介して記録メディア５４に記録される。これにより、立体視画像が撮影、記録される。
　なお、本実施の形態では、立体視画像を撮影する場合を例に説明したが、単眼立体撮像装置１は、平面画像、立体視画像の両方が撮影可能である。平面画像を撮影する場合には、位相差ＣＣＤ１７の主画素のみを用いて撮影を行うようにすればよい。撮影処理の詳細については立体視画像を撮影する場合と同様であるため、説明を省略する。
　以上のようにして記録メディア５４に記録された画像は、再生ボタンにより単眼立体撮像装置１のモードを再生モードに設定することにより、液晶モニタ２８で再生表示させることができる。
　再生モードに設定されると、ＣＰＵ４０は、メディア・コントローラ５２にコマンドを出力し、記録メディア５４に最後に記録された画像ファイルを読み出させる。
　読み出された画像ファイルの圧縮画像データは、圧縮伸張処理部６５に加えられ、非圧縮の輝度／色差信号に伸張されたのち、ビデオエンコーダ６６を介して液晶モニタ２８に出力される。
　画像のコマ送りは、十字キーの左右のキー操作によって行われ、十字キーの右キーが押されると、次の画像ファイルが記録メディア５４から読み出され、液晶モニタ２８に再生表示される。また、十字キーの左キーが押されると、一つ前の画像ファイルが記録メディア５４から読み出され、液晶モニタ２８に再生表示される。
　本実施の形態によれば、通常のシェーディング補正に加え、主画素群（第１の画素群又は第２の画素群）では左端側よりも右端側の受光量が小さくなり、副画素群（第１の画素群又は第２の画素群）では右端側よりも左端側の受光量が小さくなるという瞳分割方向（左右方向）に沿ってシェーディング特性が異なるという単眼立体撮像装置に特有のシェーディング特性を、簡単な方法で補正することができる。
　なお、本実施の形態では、２次元ＳＤ補正部６７Ｂには２次元の補正テーブルが１つだけ記憶されている、すなわち焦点距離に応じた複数の２次元の補正テーブルが記憶されていない。これは、通常のシェーディング特性に関する焦点距離によるシェーディングの変化は、単眼撮像装置特有のシェーディング特性に関する焦点距離によるシェーディングの変化に比べて小さいからである。しかしながら、焦点距離によってシェーディング特性も変化するため、２次元ＳＤ補正部６７Ｂに焦点距離に応じた複数の２次元の補正テーブルを記憶するようにし、焦点距離に応じて使用する２次元の補正テーブルを変えるようにしてもよい。
　＜第２の実施の形態＞
　本発明の第１の実施の形態は、主画素用の１次元の補正テーブルと副画素用の１次元の補正テーブルとが記憶されていたが、１次元の補正テーブルは主画素と副画素とで共有することも可能である。
　本発明の第２の実施の形態は、主画素と副画素と同一の１次元の補正テーブルを用いる形態である。以下、第２の実施の形態に係る単眼立体撮像装置２について説明する。なお、撮像装置の構成については、内部構成のうちのＳＤ補正部のみが異なり、その他は第１の実施の形態と同一であるため、同一の部分については説明を省略し、ＳＤ補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第１の実施の形態と異なるため、シェーディング補正の方法のみ説明する。
　［撮像装置の内部構成］
　図１２は、第２の実施の形態のＳＤ補正部６７－Ａを示す図である。ＳＤ補正部６７－Ａは、主として、通常のシェーディング補正を行う２次元ＳＤ補正部６７Ｂと、単眼立体撮像装置２に特有のシェーディング補正を行う１次元ＳＤ補正部６７Ａ－１とで構成される。
　１次元ＳＤ補正部６７Ａ－１は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図１２に示すように、主として、座標演算部６７－１、焦点距離取得部６７－２、テーブル選択制御部６７－３、テーブル選択部６７－４ａ、１次元補正テーブル記憶部６７－５ａ、シェーディング（ＳＤ）係数演算部６７－６、シェーディング（ＳＤ）補正部６７－７とで構成される。
　１次元補正テーブル記憶部６７－５ａには、焦点距離に応じた複数の１次元の補正テーブルが記憶されている。本実施の形態では、主画素と副画素とで同一の１次元の補正テーブルを使用する。
　座標演算部６７－１は、主画素から任意の画素を選択し、その情報をテーブル選択部６７－４へ出力する。テーブル選択部６７－４ａは、焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７－１で選択された画素位置に対応した位置の補正値を読み出す。
　座標演算部６７－１は、副画素から任意の画素を選択し、その情報をテーブル選択部６７－４へ出力する。テーブル選択部６７－４ａは、主画素の任意の画素が選択された場合と同様にして焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７－１で選択された画素位置に対応した位置を決定し、１次元の補正テーブルのなかの決定した位置と左右対称位置の補正値を読み出す。
　［撮像装置の動作の説明］
　図１３は、位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。
　まず、ＣＰＵ４０は、単眼立体撮像装置１で撮影された画像が立体視画像であるか否かを判断する（ステップＳ１０）。立体視画像が得られていない場合（ステップＳ１０でＮＯ）には、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。
　位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、焦点距離取得部６７－２は焦点距離を取得し（ステップＳ１１）、テーブル選択制御部６７－３は、１次元補正テーブル記憶部６７－５に記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７－４ａへ指示を出し、テーブル選択部６７－４ａは、テーブル選択制御部６７－３の指示に応じて１次元補正テーブル記憶部６７－５ａから適切な１次元の補正テーブルを取得する（ステップＳ２１、Ｓ２２、Ｓ２３…）。例えば、焦点距離がＡである場合には、焦点距離がＡの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ａが取得され（ステップＳ２１）、焦点距離がＢである場合には、焦点距離がＢの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｂが取得され（ステップＳ２２）、焦点距離がＣである場合には、焦点距離がＣの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｃが取得される（ステップＳ２３）。これにより、シェーディング補正に使用される１次元の補正テーブルが取得される。
　１次元ＳＤ補正部６７Ａ－１は、取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ２４）。以下、ステップＳ２４を具体的に説明する。
　座標演算部６７－１は、図１４Ａに示すように、主画素（Ａ群画素）及び副画素（Ｂ群画素）から同じ位置にある任意の画素を選択する（ステップＳ２４－１）。任意の画素の情報はテーブル選択部６７－４ａに出力され、テーブル選択部６７－４ａは、図１４Ｂに示すように、ステップＳ２１～Ｓ２３で取得された１次元の補正テーブルの中から座標演算部６７－１で選択された主画素の画素位置に対応した補正値を読み出す（ステップＳ２４－２）。また、テーブル選択部６７－４ａは、図１４Ｃに示すように、ステップＳ２１～Ｓ２３で取得された１次元の補正テーブルの中の補正値であって、ステップＳ２４－２で読みだされた補正値と左右対称位置にある補正値を読み出す（ステップＳ２４－３）。
　ＳＤ係数演算部６７－６は、テーブル選択部６７－４ａがステップＳ２４－２、ステップＳ２４－３のそれぞれで取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する（ステップＳ２４－４）。
　ＳＤ補正部６７－７は、テーブル選択部６７－４ａがステップＳ２４－２で取得した補正値に基づいてＳＤ係数演算部６７－６が算出したシェーディング補正係数を、座標演算部６７－１が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ２４－５）。また、ＳＤ補正部６７－７は、テーブル選択部６７－４ａがステップＳ２４－３で取得した補正値に基づいてＳＤ係数演算部６７－６が算出したシェーディング補正係数を、座標演算部６７－１が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ２４－５）。
　これを主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置１特有のシェーディング補正（ステップＳ２４）が終了される。その後、シェーディング補正（ステップＳ２４）が行われたデータに対して、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。
　本実施の形態によれば、１つの１次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。
　＜第３の実施の形態＞
　本発明の第３の実施の形態は、第２の実施の形態と同様、主画素と副画素と同一の１次元の補正テーブルを用いる形態である。以下、第３の実施の形態に係る単眼立体撮像装置３について説明する。なお、撮像装置の構成については、内部構成のうちのＳＤ補正部のみが異なり、その他は第１の実施の形態と同一であるため、同一の部分については説明を省略し、ＳＤ補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第１の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第１の実施の形態及び第２の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
　［撮像装置の内部構成］
　図１５は、第３の実施の形態のＳＤ補正部６７－Ｂを示す図である。ＳＤ補正部６７－Ｂは、主として、通常のシェーディング補正を行う２次元ＳＤ補正部６７Ｂと、単眼立体撮像装置３に特有のシェーディング補正を行う１次元ＳＤ補正部６７Ａ－２とで構成される。
　１次元ＳＤ補正部６７Ａ－２は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図１５に示すように、主として、座標演算部６７－１、焦点距離取得部６７－２、テーブル選択制御部６７－３、テーブル選択部６７－４ａ、１次元補正テーブル記憶部６７－５ａ、シェーディング（ＳＤ）係数演算部６７－６、シェーディング（ＳＤ）補正部６７－７、読み出し方向制御部６７－８で構成される。
　読み出し方向制御部６７－８は、座標演算部６７－１が任意の画素を選択するときの読み出し方向を制御する。読み出し方向制御部６７－８は、主画素に対しては座標演算部６７－１が左方向から読み出すように制御し、副画素に対しては座標演算部６７－１が右方向から読み出すように制御する。例えば、座標演算部６７－１が端から５個目の画素を任意の画素として選択する場合には、読み出し方向制御部６７－８は、主画素の場合には、図１６Ａに示すように座標演算部６７－１が左端から５個目の画素を読み出すように制御し、副画素の場合には、図１６Ｂに示すように座標演算部６７－１が左端から５個目の画素を読み出すように制御する。
　座標演算部６７－１は、主画素及び副画素から任意の画素を選択し、その情報をテーブル選択部６７－４へ出力する。テーブル選択部６７－４ａは、焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７－１で選択された画素位置に対応した位置の補正値を読み出す。
　［撮像装置の動作の説明］
　図１７は、位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。
　まず、ＣＰＵ４０は、単眼立体撮像装置１で撮影された画像が立体視画像であるか否かを判断する（ステップＳ１０）。立体視画像が得られていない場合（ステップＳ１０でＮＯ）には、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。
　位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、焦点距離取得部６７－２は焦点距離を取得し（ステップＳ１１）、テーブル選択制御部６７－３は、１次元補正テーブル記憶部６７－５ａに記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７－４ａへ指示を出し、テーブル選択部６７－４ａは、テーブル選択制御部６７－３の指示に応じて１次元補正テーブル記憶部６７－５ａから適切な１次元の補正テーブルを取得する（ステップＳ２１、Ｓ２２、Ｓ２３…）。
　１次元ＳＤ補正部６７Ａ－２は、取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ３１）。以下、ステップＳ３１を具体的に説明する。
　座標演算部６７－１は、主画素（Ａ群画素）から任意の画素を選択し、テーブル選択部６７－４ａは、ステップＳ２１～Ｓ２３で取得された１次元の補正テーブルの中から座標演算部６７－１で選択された主画素の画素位置に対応した補正値を読み出す（ステップＳ３１－１）。
　ＳＤ係数演算部６７－６は、テーブル選択部６７－４ａがステップＳ３１－１で取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する（ステップＳ３１－２）。ステップＳ３１－１において、図１６Ａに示すように主画素の左端から５番目の画素が任意の画素として選択された場合には、ステップＳ３１－２においては、主画素の左端から５番目の画素に対するシェーディング補正係数が算出される。
　ＳＤ補正部６７－７は、ＳＤ係数演算部６７－６が算出したシェーディング補正係数を、座標演算部６７－１が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ３１－３）。
　また、ＳＤ補正部６７－７は、読み出し方向制御部６７－８の制御のもと、主画素（Ａ群画素）から選択された任意の画素の位置と左右対称の位置にある画素を任意の画素として副画素から読み出す。そして、ＳＤ補正部６７－７は、ＳＤ係数演算部６７－６が算出したシェーディング補正係数を、座標演算部６７－１が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ３１－３）。ステップＳ３１－１において、図１６Ａに示すように主画素の左端から５番目の画素が任意の画素として選択された場合には、ステップＳ３１－３では図１６Ｂに示すように副画素の左端から５番目の画素が任意の画素として選択され、ステップＳ３１－２で算出された主画素の左端から５番目の画素に対するシェーディング補正係数を副画素の左端から５番目の画素の画素値に乗じることでシェーディング補正が行われる。
　これを主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置１特有のシェーディング補正（ステップＳ３１）が終了される。その後、シェーディング補正（ステップＳ３１）が行われたデータに対して、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。
　本実施の形態によれば、１つの１次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。
　＜第４の実施の形態＞
　本発明の第４の実施の形態は、絞り１６の絞り値に応じて１次元補正テーブル記憶部６７－５ｂから、その絞り値に対応する１次元の補正テーブルを選択する点で、第１の実施の形態と相違する。
　絞り１６の絞り値（開口径）が異なると、位相差ＣＣＤ１７の各フォトダイオードに光束が入射する入射角が異なるため、左右方向のシェーディング形状は大きく変化する。そのため、第４の実施の形態では、絞り値に応じて１次元補正テーブル記憶部６７－５ｂに記憶された１次元の補正テーブルの中から適切な補正テーブルを選択することによって、絞り値によって異なるシェーディング特性に対応できるようにしている。
　以下、第４の実施の形態に係る単眼立体撮像装置４について説明する。なお、撮像装置の構成については、内部構成のうちのＳＤ補正部のみが異なり、その他は第１の実施の形態と同一であるため、同一の部分については説明を省略し、ＳＤ補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第１の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
　［撮像装置の内部構成］
　図１８は、第４の実施の形態のＳＤ補正部６７－Ｃを示す図である。ＳＤ補正部６７－Ｃは、主として、通常のシェーディング補正を行う２次元ＳＤ補正部６７Ｂと、単眼立体撮像装置４に特有のシェーディング補正を行う１次元ＳＤ補正部６７Ａ－３とで構成される。
　１次元ＳＤ補正部６７Ａ－３は、図１８に示すように、主として、座標演算部６７－１、絞り値取得部６７－３、テーブル選択制御部６７－４、テーブル選択部６７－４ｂ、１次元補正テーブル記憶部６７－５ｂ、シェーディング（ＳＤ）係数演算部６７－６、シェーディング（ＳＤ）補正部６７－７で構成される。
　座標演算部６７－１は、主画素及び副画素から任意の画素を選択し、その情報をテーブル選択部６７－４ｂへ出力する。テーブル選択部６７－４ｂは、絞り値に応じて選択された１次元の補正テーブルの中から座標演算部６７－１で選択された画素位置に対応した位置の補正値を読み出す。
　［撮像装置の動作の説明］
　図１９は、位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。
　尚、図１９に示したフローチャートは、図１１に示した第１の実施の形態とは、点線で囲んだステップ（ステップＳ１１’、及びステップＳ１２’、Ｓ１３’、Ｓ１４’…）の処理のみが異なるため、以下、これらのステップＳ１１’、及びステップＳ１２’、Ｓ１３’、Ｓ１４’…についてのみ説明する。
　図１９において、位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、絞り値取得部６７－３は、絞り１６の現在の絞り値を取得し、現在の絞り値が、絞り値Ｆ１、Ｆ２、Ｆ３、…のうちのいずれの絞り値かを判別し（ステップＳ１１’）、その判別結果をテーブル選択制御部６７－４に出力する。
　テーブル選択制御部６７－４は、１次元補正テーブル記憶部６７－５ｂに絞り値Ｆ１、Ｆ２、Ｆ３、…に応じて記憶された１次元の補正テーブルの中から、現在の絞り１６の絞り値に応じたテーブルを選択するようにテーブル選択部６７－４ｂへ指示を出し、テーブル選択部６７－４ｂは、テーブル選択制御部６７－４からの指示に応じて１次元補正テーブル記憶部６７－５ｂから適切な１次元の補正テーブルを取得する（ステップＳ１２’、Ｓ１２’、Ｓ１２’…）。
　本実施の形態によれば、絞り１６の絞り値に応じて適切な補正テーブルを選択するようにしたため、絞り値によって異なるシェーディング特性に対応することができる。
　＜第５の実施の形態＞
　本発明の第５の実施の形態は、第２の実施の形態と同様、主画素と副画素と同一の１次元の補正テーブルを用い、画素の色（ＲＧＢ）に応じて使用する１次元の補正テーブルを切り替える形態である。以下、第５の実施の形態に係る単眼立体撮像装置５について説明する。なお、撮像装置の構成については、内部構成のうちのＳＤ補正部のみが異なり、その他は第１の実施の形態と同一であるため、同一の部分については説明を省略し、ＳＤ補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第１の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第１の実施の形態～第３の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
　［撮像装置の内部構成］
　図２０は、第５の実施の形態のＳＤ補正部６７－Ｄを示す図である。ＳＤ補正部６７－Ｄは、主として、通常のシェーディング補正を行う２次元ＳＤ補正部６７Ｂと、単眼立体撮像装置５に特有のシェーディング補正を行う１次元ＳＤ補正部６７Ａ－４とで構成される。
　１次元ＳＤ補正部６７Ａ－４は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図２０に示すように、主として、座標演算部６７－１、焦点距離取得部６７－２、テーブル選択制御部６７－３ｂ、テーブル選択部６７－４ｃ、１次元補正テーブル記憶部６７－５ｃ、シェーディング（ＳＤ）係数演算部６７－６、シェーディング（ＳＤ）補正部６７－７、画素色（ＲＧＢ）取得部６７－９で構成される。
　１次元補正テーブル記憶部６７－５ｃには、画素色（ＲＧＢ）に応じた複数の１次元の補正テーブルが記憶されている。各色ごとの１次元の補正テーブルのそれぞれに対して、焦点距離に応じた複数の１次元の補正テーブルが記憶されている。本実施の形態では、主画素と副画素とで同一の１次元の補正テーブルを使用する。
　座標演算部６７－１は、主画素から任意の画素を選択し、その情報をテーブル選択部６７－４及び画素色（ＲＧＢ）取得部６７－９へ出力する。画素色（ＲＧＢ）取得部６７－９は、座標演算部６７－１が選択した任意の画素の画素色が何であるかを判断し、テーブル選択制御部６７－３ｂへ出力する。テーブル選択制御部６７－３ｂは、１次元補正テーブル記憶部６７－５に記憶された１次元の補正テーブルの中から画素色及び焦点距離に応じたテーブルを選択するようにテーブル選択部６７－４ｃへ指示を出し、テーブル選択部６７－４ｃは、焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７－１で選択された画素位置に対応した位置の補正値を読み出す。
　座標演算部６７－１は、副画素から任意の画素を選択し、その情報をテーブル選択部６７－４ｃへ出力する。テーブル選択部６７－４ｃは、主画素の任意の画素が選択された場合と同様にして画素色及び焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７－１で選択された画素位置に対応した位置を決定し、１次元の補正テーブルのなかの決定した位置と左右対称位置の補正値を読み出す。
　［撮像装置の動作の説明］
　図２１は、位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。
　まず、ＣＰＵ４０は、単眼立体撮像装置１で撮影された画像が立体視画像であるか否かを判断する（ステップＳ１０）。立体視画像が得られていない場合（ステップＳ１０でＮＯ）には、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。
　位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、焦点距離取得部６７－２は焦点距離を取得し（ステップＳ１１）、テーブル選択制御部６７－３ｂは、１次元補正テーブル記憶部６７－５ｃに記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７－４ｃへ指示を出す。以下、焦点距離がＡである場合について説明する。焦点距離がＢ，Ｃ…である場合については、焦点距離がＡである場合の処理と同様であるため、説明を省略する。
　座標演算部６７－１は、主画素（Ａ群画素）及び副画素（Ｂ群画素）から同じ位置にある任意の画素を選択する（ステップＳ４１）。画素色（ＲＧＢ）取得部６７－９は、主画素（Ａ群画素）、副画素（Ｂ群画素）のそれぞれについて、ステップＳ４１で選択された任意の画素の画素色を判断する（ステップＳＳ４２）。
　画素色に応じて、テーブル選択部６７－４ａは、テーブル選択制御部６７－３の指示に応じて、１次元補正テーブル記憶部６７－５ａから適切な１次元の補正テーブルを取得する（ステップＳ４３、Ｓ４４、Ｓ４５）。例えば、画素色がＲの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＲの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｒが取得され（ステップＳ４３）、画素色がＧの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＧの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｇが取得され（ステップＳ４４）、画素色がＢの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＢの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｂが取得される（ステップＳ４５）。これにより、シェーディング補正に使用される１次元の補正テーブルが取得される。
　１次元ＳＤ補正部６７Ａ－４は、取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ４６）。以下、ステップＳ４６を具体的に説明する。
　ステップＳ４１で選択された任意の画素の情報はテーブル選択部６７－４ｃに出力され、テーブル選択部６７－４ｃは、ステップＳ４３～Ｓ４５で取得された１次元の補正テーブルの中から座標演算部６７－１で選択された主画素の画素位置に対応した補正値を読み出す（ステップＳ４６－１）。
　また、テーブル選択部６７－４ｃは、ステップＳ４３～Ｓ４５で取得された１次元の補正テーブルの中の補正値であって、ステップＳ４６－１で読みだされた補正値と左右対称位置にある補正値を読み出す（ステップＳ４６－２）。左右対称位置にある補正値を読み出す方法は、ステップＳ２４－３と同様である。
　ＳＤ係数演算部６７－６は、テーブル選択部６７－４ｃがステップＳ４６－１、ステップＳ４６－２のそれぞれで取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する（ステップＳ４６－３）。
　ＳＤ補正部６７－７は、テーブル選択部６７－４ｃがステップＳ４６－１で取得した補正値に基づいてＳＤ係数演算部６７－６が算出したシェーディング補正係数を、座標演算部６７－１が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ４６－４）。また、ＳＤ補正部６７－７は、テーブル選択部６７－４ａがステップＳ４６－２で取得した補正値に基づいてＳＤ係数演算部６７－６が算出したシェーディング補正係数を、座標演算部６７－１が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ４６－４）。
　ステップＳ４１～Ｓ４６を主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置５特有のシェーディング補正が終了される。その後、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。
　本実施の形態によれば、１つの１次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。
　また、本実施の形態によれば、ＲＧＢでシェーディング特性が異なる場合においても、適切なシェーディング補正を行うことができる。
　＜第６の実施の形態＞
　本発明の第６の実施の形態は、第５の実施の形態と同様、画素の色（ＲＧＢ）に応じて使用する１次元の補正テーブルを切り替える形態であるが、第６の実施の形態はさらにＧｒ，Ｇｂで使用する１次元テーブルを切り替える形態である。以下、第６の実施の形態に係る単眼立体撮像装置６について説明する。なお、撮像装置の構成については、内部構成のうちのＳＤ補正部のみが異なり、その他は第１の実施の形態と同一であるため、同一の部分については説明を省略し、ＳＤ補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第１の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第１の実施の形態～第５の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
　［撮像装置の内部構成］
　図２２は、第６の実施の形態のＳＤ補正部６７－Ｅを示す図である。ＳＤ補正部６７－Ｅは、主として、通常のシェーディング補正を行う２次元ＳＤ補正部６７Ｂと、単眼立体撮像装置６に特有のシェーディング補正を行う１次元ＳＤ補正部６７Ａ－５とで構成される。
　１次元ＳＤ補正部６７Ａ－５は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図２２に示すように、主として、座標演算部６７－１、焦点距離取得部６７－２、テーブル選択制御部６７－３ｃ、テーブル選択部６７－４ｄ、１次元補正テーブル記憶部６７－５ｄ、シェーディング（ＳＤ）係数演算部６７－６、シェーディング（ＳＤ）補正部６７－７、画素色（Ｒ、Ｇｒ、Ｂ、Ｇｂ）取得部６７－９ａで構成される。
　１次元補正テーブル記憶部６７－５ｄには、画素色（Ｒ、Ｇｒ、Ｂ、Ｇｂ）に応じた複数の１次元の補正テーブルが記憶されている。画素色のうちのＧｒは、ＧＲＧＲ…の画素配列のラインに配設されたＧ画素であり、Ｇｂは、ＢＧＢＧ…の画素配列のラインに配設されたＧ画素である。各色ごとの１次元の補正テーブルのそれぞれに対して、焦点距離に応じた複数の１次元の補正テーブルが記憶されている。本実施の形態では、主画素と副画素とで同一の１次元の補正テーブルを使用する。
　同じＧ画素であっても、隣接する画素の色によってシェーディング特性が変わる。本実施の形態では、Ｇｒ、Ｇｂとで異なる１次元の補正テーブルを持つことでより正確なシェーディング補正が可能となる。
　座標演算部６７－１は、主画素から任意の画素を選択し、その情報をテーブル選択部６７－４及び画素色（ＲＧＢ）取得部６７－９ａへ出力する。画素色（Ｒ、Ｇｒ、Ｂ、Ｇｂ）取得部６７－９ａは、座標演算部６７－１が選択した任意の画素の画素色が何であるかを判断し、テーブル選択制御部６７－３ｃへ出力する。テーブル選択制御部６７－３ｃは、１次元補正テーブル記憶部６７－５ｄに記憶された１次元の補正テーブルの中から画素色及び焦点距離に応じたテーブルを選択するようにテーブル選択部６７－４ｄへ指示を出し、テーブル選択部６７－４ｄは、焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７－１で選択された画素位置に対応した位置の補正値を読み出す。
　座標演算部６７－１は、副画素から任意の画素を選択し、その情報をテーブル選択部６７－４ｄへ出力する。テーブル選択部６７－４ｄは、主画素の任意の画素が選択された場合と同様にして画素色及び焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７－１で選択された画素位置に対応した位置を決定し、１次元の補正テーブルのなかの決定した位置と左右対称位置の補正値を読み出す。
　［撮像装置の動作の説明］
　図２３は、位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。
　まず、ＣＰＵ４０は、単眼立体撮像装置６で撮影された画像が立体視画像であるか否かを判断する（ステップＳ１０）。立体視画像が得られていない場合（ステップＳ１０でＮＯ）には、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。
　位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、焦点距離取得部６７－２は焦点距離を取得し（ステップＳ１１）、テーブル選択制御部６７－３ｃは、１次元補正テーブル記憶部６７－５ｄに記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７－４ｄへ指示を出す。以下、焦点距離がＡである場合について説明する。焦点距離がＢ，Ｃ…である場合については、焦点距離がＡである場合の処理と同様であるため、説明を省略する。
　座標演算部６７－１は、主画素（Ａ群画素）及び副画素（Ｂ群画素）から同じ位置にある任意の画素を選択する（ステップＳ４１）。画素色（Ｒ、Ｇｒ、Ｂ、Ｇｂ）取得部６７－９ａは、主画素（Ａ群画素）、副画素（Ｂ群画素）のそれぞれについて、選択された任意の画素の画素色を判断する（ステップＳＳ５１）。
　画素色に応じて、テーブル選択部６７－４ｄは、テーブル選択制御部６７－３の指示に応じて、１次元補正テーブル記憶部６７－５ｄから適切な１次元の補正テーブルを取得する（ステップＳ２１、Ｓ２２、Ｓ２３…）。例えば、画素色がＲの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＲの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｒが取得され（ステップＳ５２）、画素色がＧｒの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＧｒの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｇｒが取得され（ステップＳ５３）、画素色がＢの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＢの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｂが取得され（ステップＳ５４）、画素色がＧｂの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＧｂの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｇｂが取得される（ステップＳ５５）。これにより、シェーディング補正に使用される１次元の補正テーブルが取得される。
　１次元ＳＤ補正部６７Ａ－５は、取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ５６）。以下、ステップＳ５６を具体的に説明する。
　ステップＳ４１で選択された任意の画素の情報はテーブル選択部６７－４ｄに出力され、テーブル選択部６７－４ｄは、ステップＳ５２～Ｓ５５で取得された１次元の補正テーブルの中から座標演算部６７－１で選択された主画素の画素位置に対応した補正値を読み出す（ステップＳ５６－１）。
　また、テーブル選択部６７－４ｄは、ステップＳ５２～Ｓ５５で取得された１次元の補正テーブルの中の補正値であって、ステップＳ５６－１で読みだされた補正値と左右対称位置にある補正値を読み出す（ステップＳ５６－２）。左右対称位置にある補正値を読み出す方法は、ステップＳ２４－３と同様である。
　ＳＤ係数演算部６７－６は、テーブル選択部６７－４ｄがステップＳ５６－１、ステップＳ５６－２のそれぞれで取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する（ステップＳ５６－３）。
　ＳＤ補正部６７－７は、テーブル選択部６７－４ｄがステップＳ４６－１で取得した補正値に基づいてＳＤ係数演算部６７－６が算出したシェーディング補正係数を、座標演算部６７－１が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ５６－４）。また、ＳＤ補正部６７－７は、テーブル選択部６７－４ｄがステップＳ５６－２で取得した補正値に基づいてＳＤ係数演算部６７－６が算出したシェーディング補正係数を、座標演算部６７－１が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ５６－４）。
　ステップＳ４１～Ｓ５６を主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置６特有のシェーディング補正が終了される。その後、シェーディング補正（ステップＳ５６）が行われたデータに対して、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。
　本実施の形態によれば、１つの１次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。
　また、本実施の形態によれば、ＲＧＢでシェーディング特性が異なる場合においても、特にＧ画素についてより適切なシェーディング補正を行うことができる。
　なお、本実施の形態では、Ｒ、Ｇｒ、Ｂ、Ｇｂで別々の１次元の補正テーブルを用いたが、ＧＲライン用の１次元の補正テーブルとＧＢライン用の１次元の補正テーブルとを記憶させておき、シェーディング補正の対象がＧＲラインなのかＧＢラインなのかに応じて適切な補正テーブルを用いるようにしてもよい。
　＜第７の実施の形態＞
　本発明の第１の実施の形態では、位相差ＣＣＤ１７の主画素に射出瞳を通過する光束の光軸の左側のみを受光させ、副画素に射出瞳を通過する光束の光軸の右側のみを受光させるようにすることで立体視画像を撮影したが、立体視画像の撮影方法はこれに限られない。
　本発明の第７の実施の形態は、左右方向、上下方向の２通りの方法で立体視画像を用いる形態である。以下、第７の実施の形態に係る単眼立体撮像装置７について説明する。なお、撮像装置の構成については、固体撮像素子の構造及び内部構成のうちのＳＤ補正部のみが異なり、その他は第１の実施の形態と同一であるため、同一の部分については説明を省略し、固体撮像素子の構造及びＳＤ補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第１の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第１の実施の形態～第６の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
　［撮影光学系、撮像素子の構成例］
　レンズユニット１２は、主として撮影レンズ１４、絞り１６、位相差イメージセンサである固体撮像素子（以下、「位相差ＣＣＤ」という）１７’で構成される。
　図２４は位相差ＣＣＤ１７’の構成例を示す図である。
　位相差ＣＣＤ１７’は、４個のフォトダイオードＡ、Ｂ、Ｃ、Ｄが２次元に並べられ、その４個のフォトダイオードを覆うように１つのマイクロレンズＭＬ’が配設されたものを１個のユニット（４画素１マイクロレンズ）として、このユニットが２次元に配置されている。ユニット内の各フォトダイオードは、それぞれ独立して読み出すことができるようになっている。
　図２４に示すように位相差ＣＣＤ１７’の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインが設けられ、一方、偶数ライン（２、４、６、…）の画素は、ＢＧＢＧ…の画素配列のラインが設けられる。
　図２５は、位相差ＣＣＤ１７’で立体視画像を撮影する仕組みについて説明する図である。
　位相差ＣＣＤ１７’が水平方向で撮影された場合（通常の横撮り）には、各ユニットのフォトダイオードＡ及びＣを合成したものが、射出瞳を通過する光束の光軸の左側のみが受光される主画素となり、フォトダイオードＡ及びＣの合成画像が左目用の画像となる。また、各ユニットのフォトダイオードＢ及びＤを合成したものが、射出瞳を通過する光束の光軸の右側のみが受光される副画素となり、フォトダイオードＢ及びＤの合成画像が左目用の画像となる。
　位相差ＣＣＤ１７’が垂直方向で撮影された場合（単眼立体撮像装置７を９０度回転させて撮影するいわゆる縦撮り）には、各ユニットのフォトダイオードＡ及びＢを合成したものが、射出瞳を通過する光束の光軸の左側のみが受光される主画素となり、フォトダイオードＡ及びＢの合成画像が左目用の画像となる。また、各ユニットのフォトダイオードＣ及びＤを合成したものが、射出瞳を通過する光束の光軸の右側のみが受光される副画素となり、フォトダイオードＣ及びＤの合成画像が左目用の画像となる。　
　［撮像装置の内部構成］
　図２６は、第７の実施の形態のＳＤ補正部６７－Ｆを示す図である。ＳＤ補正部６７－Ｆは、主として、通常のシェーディング補正を行う２次元ＳＤ補正部６７Ｂと、単眼立体撮像装置７に特有のシェーディング補正を行う１次元ＳＤ補正部６７Ａ－５とで構成される。
　１次元ＳＤ補正部６７Ａ－５は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図２６に示すように、主として、座標演算部６７－１、焦点距離取得部６７－２、テーブル選択制御部６７－３ｄ、テーブル選択部６７－４ｅ、１次元補正テーブル記憶部６７－５ｅ、シェーディング（ＳＤ）係数演算部６７－６、シェーディング（ＳＤ）補正部６７－７、水平、垂直補正制御部６７－１０で構成される。
　１次元補正テーブル記憶部６７－５ｅには、位相差ＣＣＤ１７’が水平方向で撮影された場合の複数の１次元の補正テーブルと、位相差ＣＣＤ１７’が垂直方向で撮影された場合の複数の１次元の補正テーブルとが記憶されている。位相差ＣＣＤ１７’が水平方向で撮影された場合の複数の１次元の補正テーブルと、位相差ＣＣＤ１７’が垂直方向で撮影された場合の複数の１次元の補正テーブルとのそれぞれに対して、焦点距離に応じた複数の１次元の補正テーブルが記憶されている。本実施の形態では、主画素と副画素とで同一の１次元の補正テーブルを使用する。
　水平、垂直補正制御部６７－１０は、ジャイロセンサ等～なり、位相差ＣＣＤ１７’が水平方向で撮影されたか、位相差ＣＣＤ１７’が垂直方向で撮影されたか（以下、撮影方向という）を判断する。水平、垂直補正制御部６７－１０での判断結果は、テーブル選択制御部６７－３ｄへ出力される。
　座標演算部６７－１は、主画素から任意の画素を選択し、その情報をテーブル選択部６７－４ｅへ出力する。テーブル選択制御部６７－３ｄは、１次元補正テーブル記憶部６７－５ｅに記憶された１次元の補正テーブルの中から撮影方向及び焦点距離に応じたテーブルを選択するようにテーブル選択部６７－４ｅへ指示を出し、テーブル選択部６７－４ｅは、選択された１次元の補正テーブルの中から座標演算部６７－１で選択された画素位置に対応した位置の補正値を読み出す。
　座標演算部６７－１は、副画素から任意の画素を選択し、その情報をテーブル選択部６７－４ｅへ出力する。テーブル選択制御部６７－３ｄは、１次元補正テーブル記憶部６７－５ｅに記憶された１次元の補正テーブルの中から撮影方向及び焦点距離に応じたテーブルを選択するようにテーブル選択部６７－４ｅへ指示を出し、テーブル選択部６７－４ｅは、選択された１次元の補正テーブルの中から座標演算部６７－１で選択された画素位置に対応した位置の補正値を読み出す。
　［撮像装置の動作の説明］
　図２７は、位相差ＣＣＤ１７’の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。
　まず、ＣＰＵ４０は、単眼立体撮像装置１で撮影された画像が立体視画像であるか否かを判断する（ステップＳ１０）。立体視画像が得られていない場合（ステップＳ１０でＮＯ）には、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。
　位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、焦点距離取得部６７－２は焦点距離を取得し（ステップＳ１１）、テーブル選択制御部６７－３ｄは、１次元補正テーブル記憶部６７－５ｅに記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７－４ｅへ指示を出す。以下、焦点距離がＡである場合について説明する。焦点距離がＢ，Ｃ…である場合については、焦点距離がＡである場合の処理と同様であるため、説明を省略する。
　水平、垂直補正制御部６７－１０は、撮影方向を判断し、テーブル選択制御部６７－３ｄへ出力する（ステップＳ６１）。テーブル選択制御部６７－３ｄは、１次元補正テーブル記憶部６７－Ｅｆに記憶された１次元の補正テーブルの中から撮影方向及び焦点距離に応じたテーブルを選択するようにテーブル選択部６７－４ｅへ指示を出し、テーブル選択部６７－４ｅは、テーブル選択制御部６７－３ｄの指示に応じて１次元補正テーブル記憶部６７－５ｅから適切な１次元の補正テーブルを取得する（ステップＳ６２、Ｓ６３）。すなわち、焦点距離がＡである場合に、位相差ＣＣＤ１７’が水平方向で撮影された場合には、焦点距離がＡの場合かつ撮影方向が水平方向の１次元の補正テーブルである１次元ＳＤ補正テーブルＸが取得され（ステップＳ６２）、焦点距離がＡである場合に、位相差ＣＣＤ１７’が垂直方向で撮影された場合には、焦点距離がＡの場合かつ撮影方向が垂直方向の１次元の補正テーブルである１次元ＳＤ補正テーブルＹが取得される（ステップＳ６３）。これにより、シェーディング補正に使用される１次元の補正テーブルが取得される。
　１次元ＳＤ補正部６７Ａ－５は、取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ６４）。以下、ステップＳ６４を具体的に説明する。
　座標演算部６７－１は、主画素及び副画素から同じ位置にある任意の画素を選択する（ステップＳ６４－１）。任意の画素の情報はテーブル選択部６７－４ｅに出力され、テーブル選択部６７－４ｅは、ステップＳ６２～Ｓ６３で取得された１次元の補正テーブルの中から座標演算部６７－１で選択された主画素の画素位置に対応した補正値を読み出す（ステップＳ６４－２）。また、テーブル選択部６７－４ｅは、ステップＳ６２～Ｓ６３で取得された１次元の補正テーブルの中の補正値であって、ステップＳ６４－２で読みだされた補正値と左右対称位置にある補正値を読み出す（ステップＳ６４－３）。
　ＳＤ係数演算部６７－６は、テーブル選択部６７－４ｅがステップＳ６４－２、ステップＳ６４－３のそれぞれで取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する（ステップＳ６４－４）。
　ＳＤ補正部６７－７は、テーブル選択部６７－４ｅがステップＳ６４－２で取得した補正値に基づいてＳＤ係数演算部６７－６が算出したシェーディング補正係数を、座標演算部６７－１が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ６４－５）。また、ＳＤ補正部６７－７は、テーブル選択部６７－４ｅがステップＳ６４－３で取得した補正値に基づいてＳＤ係数演算部６７－６が算出したシェーディング補正係数を、座標演算部６７－１が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ６４－５）。
　これを主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置７特有のシェーディング補正（ステップＳ６４）が終了される。その後、シェーディング補正（ステップＳ６４）が行われたデータに対して、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。
　本実施の形態によれば、１つの１次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。
　また、本実施の形態では、水平方向に視差がある立体視画像の場合のみならず、垂直方向に視差がある立体視画像の場合においても適切なシェーディング補正をすることができる。
　また、本実施の形態では、主画素と副画素とが加算されて１枚の２次元画像を得る場合、又は図２４に示した４画素１マイクロレンズの４画素を加算することにより１枚の２次元画像を得る場合には、単眼３Ｄ（瞳分割）に起因する各面の濃度ムラが相殺されるため、１次元のシェーディング補正を行わないようにしたが、各面を加算せずに高解像度の２Ｄ画像を取得する場合には、瞳分割に起因する各面の濃度ムラを個別にシェーディング補正する必要がある。
　［瞳分割に起因する濃度ムラをシェーディング補正する他の実施の形態］
　次に、４画素１マイクロレンズの位相差ＣＣＤ１７’から得られる４面（Ａ，Ｂ，Ｃ，Ｄ面）の瞳分割に起因する濃度ムラを、面ごとに補正する場合について説明する。
　図２８は、４画素１マイクロレンズの位相差ＣＣＤ１７’から得られる４面（Ａ，Ｂ，Ｃ，Ｄ面）の瞳分割に起因する濃度ムラを示すイメージ図である。尚、図２８上で、濃度の濃い部分は明るい部分に対応する。
　いま、４画素１マイクロレンズの位相差ＣＣＤ１７’（図２４）のフォトダイオードＡのみからなる１画面（Ａ面）の場合、瞳分割に起因する濃度ムラは、Ａ面の右下隅の位置ＯＡが最も明るくなり、この位置ＯＡから遠ざかるにしたがって暗くなる濃度勾配を有している。
　従って、図２８のＡ面上に示した矢印の方向の１次元の補正テーブル（位置ＯＡとその対角の位置とを結ぶ対角線上の、位置ＯＡからの距離に応じた１次元の補正テーブル）を準備し、補正しようとするＡ面の画素をシェーディング補正する場合には、そのＡ面の画素の位置ＯＡからの距離に基づいて前記１次元の補正テーブルから対応する補正値を読み出して適用することにより、瞳分割に起因するＡ面の濃度ムラのシェーディング補正を行うことができる。
　尚、Ａ面内の各画素の位置ＯＡからの距離は、予め求めることができるため、画素ごとに位置ＯＡからの距離を示す情報を持たせることができる。
　また、Ｂ面、Ｃ面及びＤ面の瞳分割に起因する濃度ムラを補正する場合も、上記Ａ面と同じ１次元の補正テーブルを使用することができる。この場合、１次元の補正テーブルから補正値を読み出すためのＢ面の各画素の距離は、Ｂ面の左下隅の位置ＯＢからの距離とし、同様にＣ面、Ｄ面の各画素の距離は、それぞれＣ面の右上隅の位置ＯＣからの距離、Ｄ面の左上隅の位置ＯＤからの距離とする。
　即ち、Ａ面からＤ面の各面の画素は、それぞれ基準とする位置（ＯＡ～ＯＤ）からの距離情報を予め保持し、各画素の距離に応じた補正値を１次元の補正テーブルから読み出して適用することにより、瞳分割に起因する濃度ムラを補正することができる。
　次に、９画素１マイクロレンズの位相差ＣＣＤ１７から得られる９面（Ａ～Ｉ面）の瞳分割に起因する濃度ムラを、面ごとに補正する場合について説明する。
　図２９は、９画素１マイクロレンズの位相差ＣＣＤの要部を示す図である。同図に示すように９画素１マイクロレンズの位相差ＣＣＤは、９個のフォトダイオードＡ～Ｉが２次元に並べられ、その９個のフォトダイオードを覆うように１つのマイクロレンズＭＬ”が配設されたものを１個のユニット（９画素１マイクロレンズ）として、このユニットが２次元に配置されている。尚、９画素１マイクロレンズの１ユニットは、図２４に示した４画素マイクロレンズと同様にユニット毎に同じカラーフィルタが配設されている。
　図３０は、９画素１マイクロレンズの位相差ＣＣＤから得られる９面（Ａ～Ｉ面）の瞳分割に起因する濃度ムラを示すイメージ図である。尚、図３０上で、濃度の濃い部分は明るい部分に対応する。
　いま、図３０に示すように９面（Ａ～Ｉ面）をマトリクス状に並べると、中央のＥ面が明るく、Ｅ面の中心から遠ざかるにしたがって暗くなる濃度勾配を有している。
　従って、図３０に示した矢印の方向の１次元の補正テーブル（Ｅ面の中央からの距離に応じた１次元の補正テーブル）を準備し、補正しようとする面の画素をシェーディング補正する場合には、その面の画素のＥ面の中央からの距離に基づいて前記１次元の補正テーブルから対応する補正値を読み出して適用することにより、瞳分割に起因する各面の濃度ムラのシェーディング補正を行うことができる。
　尚、各面の画素のＥ面の中央からの距離は、図３０に示すように幾何的に決まっているため、画素ごとに距離情報を持たせることができる。また、１次元の補正テーブルとしては、Ｅ面の画素はシェーディング補正を行わない補正値を持たせるようにしてもよい。
　なお、上記実施の形態では、１次元補正テーブル記憶部に記憶されている補正値は、全ての画素位置に対応する補正値ではなく、離散的に補正値をもっており、テーブル選択部が２つの補正値を読みだし、ＳＤ係数演算部が線形補間等によりシェーディング補正係数を算出したが、１次元補正テーブルがすべての画素位置に対応する補正値を持つようにし、読み出した補正値を画素値に乗ずることによりシェーディング補正を行ってもよい。
　また、位相差ＣＣＤ１７のマイクロレンズＭＬ側に設けられた遮光部材１７Ａ、１７Ｂにより光束を分割する単眼立体撮像装置を例に説明したが、光束を分割するリレーレンズを含む撮影レンズ１２’を用いた単眼立体撮像装置にも適用可能である。また、２つの画素（主画素、副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
　また、上記実施の形態では、撮像素子にＣＣＤを用いた例で説明したが、ＣＣＤに限定されるものではない。本発明はＣＭＯＳ等他のイメージセンサにも適用可能である。また、ＣＣＤについても、フォトダイオードの配列はこれに限られず、フォトダイオードが異なる配列で並べられたＣＣＤについても適用可能である。
　さらに、上記第１～第７の実施の形態では、主画素、副画素から出力された信号に対して１次元の補正テーブルを用いて単眼３Ｄ起因のシェーディング補正をした後、その補正後の信号に対して２次元の補正テーブルを用いて光学系起因のシェーディング補正を行うようにしたが、シェーディング補正は、信号に対するシェーディング補正係数の乗算であるため、上記とは逆に主画素、副画素から出力された信号に対して２次元の補正テーブルを用いて光学系起因のシェーディング補正をした後、その補正後の信号に対して１次元の補正テーブルを用いて単眼３Ｄ起因のシェーディング補正を行うようにしてもよいし、１次元の補正テーブルのシェーディング補正係数と２次元の補正テーブルのシェーディング補正係数とを乗算して１つのシェーディング補正係数を作成し、主画素、副画素から出力された信号に対して、前記作成したシェーディング補正係数を乗算することにより単眼３Ｄ起因及び光学系起因のシェーディング補正を１度に行うようにしてもよい。
　さらにまた、各実施の形態は別々に実施する場合に限定されず、複数の実施の形態を組み合わせて実施することも可能である。また、第３～第７の実施の形態においては、シェーディング補正に用いる１次元テーブルは、主画素、副画素同一のものでもよいし、別々のものでもよい。
　１、２、３、４、５、６：単眼立体撮像装置、１４：撮影レンズ、１６：絞り、１７Ａ、１７Ｂ：遮光部材、１７、１７’：位相差ＣＣＤ、４０：ＣＰＵ、４５：タイミングジェネレータ、４６：絞り駆動部、４７：レンズ駆動部、５４：記録メディア、６７、６７－Ａ、６７－Ｂ、６７－Ｃ、６７－Ｄ、６７－Ｅ、６７－Ｆ：ＳＤ補正部

Claims (11)

  1. 　単一の撮影光学系と、
    　前記撮影光学系を通過した光束を複数の光束に分割する瞳分割手段と、
    　前記複数の光束をそれぞれ受光する複数の画素群により構成された単一の撮像素子と、
    　少なくとも前記撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、前記単一の撮像素子より出力される撮像信号全体に対してシェーディング補正をする第１のシェーディング補正手段と、
    　前記瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、前記複数の画素群より出力される撮像信号をそれぞれシェーディング補正する第２のシェーディング補正手段と、
    　を備えたことを特徴とする単眼立体撮像装置。
  2. 　前記第２のシェーディング補正手段は、前記複数の画素群に対するシェーディング補正を同一の１次元の補正テーブルを用いて行うことを特徴とする請求項１に記載の単眼立体撮像装置。
  3. 　前記撮像素子は、前記複数の光束をそれぞれ受光する第１の画素群と第２の画素群とを有し、
    　前記第２のシェーディング補正手段は、
    　前記第１の画素群の所定の列の任意の位置の画素を第１の画素として選択し、かつ前記第２の画素群の所定の列の前記第１の画素に対応する位置にある画素を第２の画素として選択する手段と、
    　前記第１の画素に対する補正値を、前記第１の画素の位置に対応する位置にある補正値を前記１次元の補正テーブルから読み出す手段と、
    　前記１次元の補正テーブルにおいて前記第１の画素に対する補正値と左右対称位置にある補正値を、前記第２の画素に対する補正値として読み出す手段と、
    　前記第１の画素の画素値と前記第１の画素に対する補正値とに基づいて前記第１の画素に対してシェーディング補正をし、かつ前記第２の画素の画素値と前記第２の画素に対する補正値とに基づいて前記第２の画素に対してシェーディング補正をする手段と、
    　を有することを特徴とする請求項２に記載の単眼立体撮像装置。
  4. 　前記撮像素子は、前記複数の光束をそれぞれ受光する第１の画素群と第２の画素群とを有し、
    　前記第２のシェーディング補正手段は、
    　前記第１の画素群の所定の列の任意の位置の画素を第１の画素として選択し、かつ前記第２の画素群の所定の列から前記第１の画素と左右対称位置にある画素を第２の画素として選択する手段と、
    　前記第１の画素の位置に対応する位置にある補正値を前記１次元の補正テーブルから読み出す手段と、
    　前記第１の画素の画素値と前記第１の画素の位置に対応する位置にある補正値とに基づいて前記第１の画素に対してシェーディング補正をし、かつ前記第２の画素の画素値と前記第１の画素の位置に対応する位置にある補正値とに基づいて前記第２の画素に対してシェーディング補正をする手段と、
    　を有することを特徴とする請求項２に記載の単眼立体撮像装置。
  5. 　前記撮影光学系はズームレンズを有し、
    　前記ズームレンズの位置より焦点距離を取得する焦点距離取得手段を備え、
    　前記第２のシェーディング補正手段は、焦点距離に応じて複数の１次元の補正テーブルを記憶し、前記焦点距離取得手段により取得された焦点距離に応じた１次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項１から４のいずれかに記載の単眼立体撮像装置。
  6. 　前記撮影光学系は絞り値を変化させる絞りを有し、
    　前記第２のシェーディング補正手段は、前記絞りの絞り値に応じて複数の１次元の補正テーブルを記憶し、前記絞りの現在の絞り値に応じた１次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項１から５のいずれかに記載の単眼立体撮像装置。
  7. 　前記第２のシェーディング補正手段は、Ｒ、Ｇ、Ｂの各色の１次元の補正テーブルを記憶し、前記複数の画素群から選択された画素（以下、選択された画素）の画素色がＲの場合にはＲ色用の１次元の補正テーブルを用い、選択された画素の画素色がＧの場合にはＧ色用の１次元の補正テーブルを用い、選択された画素の画素色がＢの場合にはＢ色用の１次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項１から６のいずれかに記載の単眼立体撮像装置。
  8. 　前記第２のシェーディング補正手段は、Ｇ色用の１次元の補正テーブルとして、ＲＧＲＧ…の配列の水平ライン（以下、ＧＲラインという）のＧ画素であるＧｒ色用の１次元の補正テーブルと、ＧＢＧＢ…の配列の水平ライン（以下、ＧＢラインという）のＧ画素であるＧｂ色用の１次元の補正テーブルを記憶し、選択された画素の画素色が前記ＧＲラインから読み出されたＧ画素の場合には前記Ｇｒ色用の１次元の補正テーブルを用い、選択された画素の画素色が前記ＧＢラインから読み出されたＧ画素の場合にはＧｂ色用の１次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項７に記載の単眼立体撮像装置。
  9. 　前記撮像素子の向きを検出する向き検出手段を備え、
    　前記第２のシェーディング補正手段は、前記撮像素子が横向きの場合の１次元の補正テーブルと、前記撮像素子が縦向きの場合の１次元の補正テーブルとを記憶し、前記向き検出手段により検出された撮像素子の向きに基づいた１次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項１から８のいずれかに記載の単眼立体撮像装置。
  10. 　単一の撮影光学系を通過した光束を瞳分割手段により瞳分割して得られた複数の光束がそれぞれ受光された複数の画素群からの出力信号を取得するステップと、
    　前記複数の画素群からの出力信号に対してシェーディング補正するステップであって、前記瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、前記複数の画素群よりそれぞれ出力される出力信号に対してそれぞれシェーディング補正をする、及び少なくとも前記撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、前記複数の画素群より出力される出力信号全体に対してシェーディング補正をするステップと、
    　を有することを特徴とする単眼立体撮像装置用シェーディング補正方法。
  11. 　単一の撮影光学系を通過した光束を瞳分割手段により瞳分割して得られた複数の光束がそれぞれ受光された複数の画素群からの出力信号を取得するステップと、
    　前記複数の画素群からの出力信号に対してシェーディング補正するステップであって、前記瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、前記複数の画素群よりそれぞれ出力される出力信号に対してそれぞれシェーディング補正をする、及び少なくとも前記撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、前記複数の画素群より出力される出力信号全体に対してシェーディング補正をするステップと、
    　を演算装置に実行させることを特徴とする単眼立体撮像装置用プログラム。
PCT/JP2011/070226 2010-09-13 2011-09-06 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム WO2012036019A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11825025.7A EP2618585B1 (en) 2010-09-13 2011-09-06 Monocular 3d-imaging device, shading correction method for monocular 3d-imaging device, and program for monocular 3d-imaging device
JP2012533952A JP5385462B2 (ja) 2010-09-13 2011-09-06 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
CN201180042931.2A CN103109536B (zh) 2010-09-13 2011-09-06 单眼立体摄像装置、单眼立体摄像装置用阴影校正方法
US13/781,144 US9282312B2 (en) 2010-09-13 2013-02-28 Single-eye stereoscopic imaging device, correction method thereof, and recording medium thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010204566 2010-09-13
JP2010-204566 2010-09-13
JP2011026428 2011-02-09
JP2011-026428 2011-02-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/781,144 Continuation US9282312B2 (en) 2010-09-13 2013-02-28 Single-eye stereoscopic imaging device, correction method thereof, and recording medium thereof

Publications (1)

Publication Number Publication Date
WO2012036019A1 true WO2012036019A1 (ja) 2012-03-22

Family

ID=45831486

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/070226 WO2012036019A1 (ja) 2010-09-13 2011-09-06 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム

Country Status (5)

Country Link
US (1) US9282312B2 (ja)
EP (1) EP2618585B1 (ja)
JP (2) JP5385462B2 (ja)
CN (1) CN103109536B (ja)
WO (1) WO2012036019A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013146996A1 (ja) * 2012-03-29 2013-10-03 富士フイルム株式会社 画像処理装置、撮像装置および画像処理方法
JP2014026062A (ja) * 2012-07-26 2014-02-06 Sony Corp 撮像装置および撮像方法
WO2014156202A1 (ja) * 2013-03-29 2014-10-02 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US9432570B2 (en) 2013-01-04 2016-08-30 Fujifilm Corporation Image processing device, imaging device, image processing method and computer readable medium
US9832404B2 (en) 2013-05-31 2017-11-28 Nikon Corporation Image sensor, imaging apparatus, and image processing device
US10027942B2 (en) 2012-03-16 2018-07-17 Nikon Corporation Imaging processing apparatus, image-capturing apparatus, and storage medium having image processing program stored thereon

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5395273B2 (ja) * 2010-09-08 2014-01-22 パナソニック株式会社 立体画像処理装置、立体撮像装置、立体撮像方法およびプログラム
WO2012137650A1 (ja) * 2011-04-01 2012-10-11 富士フイルム株式会社 撮影装置及びプログラム
KR102103983B1 (ko) * 2013-07-31 2020-04-23 삼성전자주식회사 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
JP6033454B2 (ja) * 2013-09-27 2016-11-30 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US9300888B2 (en) * 2013-10-03 2016-03-29 Amlogic Co., Ltd. Methods and systems for lens shading correction
US10141107B2 (en) 2013-10-10 2018-11-27 Analog Devices, Inc. Miniature planar transformer
CN105100550A (zh) * 2014-04-21 2015-11-25 展讯通信（上海）有限公司 阴影校正方法及装置、成像***
US10567636B2 (en) 2017-08-07 2020-02-18 Qualcomm Incorporated Resolution enhancement using sensor with plural photodiodes per microlens
CN109709759A (zh) * 2019-02-21 2019-05-03 北京交通大学 仅采用一个图像感知元件即可构成立体视觉的方法
CN113495366B (zh) * 2020-04-03 2022-05-17 驻景(广州)科技有限公司 基于子像素出射光空间叠加的三维显示方法
JP2022184138A (ja) * 2021-05-31 2022-12-13 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005043891A1 (ja) * 2003-10-31 2005-05-12 Mitsubishi Denki Kabushiki Kaisha 画像補正方法および撮像装置
JP2005216191A (ja) * 2004-01-30 2005-08-11 Canon Inc ステレオ画像処理装置およびステレオ画像処理方法
JP2007279512A (ja) 2006-04-10 2007-10-25 Fujifilm Corp 立体カメラ及び立体撮像素子
JP2008270937A (ja) 2007-04-17 2008-11-06 Seiko Epson Corp 画像処理コントローラ、電子機器及び画像処理方法
JP2009244858A (ja) * 2008-03-11 2009-10-22 Canon Inc 撮像装置及び画像処理方法
JP2010152006A (ja) * 2008-12-24 2010-07-08 Canon Inc 焦点検出装置及び方法、及び撮像装置
JP2011223562A (ja) * 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5756981A (en) * 1992-02-27 1998-05-26 Symbol Technologies, Inc. Optical scanner for reading and decoding one- and-two-dimensional symbologies at variable depths of field including memory efficient high speed image processing means and high accuracy image analysis means
US6107637A (en) * 1997-08-11 2000-08-22 Hitachi, Ltd. Electron beam exposure or system inspection or measurement apparatus and its method and height detection apparatus
US6603885B1 (en) * 1998-04-30 2003-08-05 Fuji Photo Film Co., Ltd. Image processing method and apparatus
JP3261115B2 (ja) * 1999-09-22 2002-02-25 富士重工業株式会社 ステレオ画像処理装置
US20030222998A1 (en) * 2000-12-20 2003-12-04 Satoru Yamauchi Digital still camera system and method
JP4574022B2 (ja) * 2001-01-17 2010-11-04 キヤノン株式会社 撮像装置及びシェーディング補正方法
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2004191629A (ja) 2002-12-11 2004-07-08 Canon Inc 焦点検出装置
JP2004289055A (ja) * 2003-03-25 2004-10-14 Fuji Photo Film Co Ltd 固体撮像素子
WO2004106857A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオ光学モジュール及びステレオカメラ
CN100554878C (zh) * 2003-05-29 2009-10-28 奥林巴斯株式会社 立体光学模块和立体摄像机
EP1706702A2 (en) * 2003-12-21 2006-10-04 KREMEN, Stanley H. System and apparatus for recording, transmitting, and projecting digital three-dimensional images
JP2006157344A (ja) 2004-11-29 2006-06-15 Matsushita Electric Ind Co Ltd 撮像装置
GB2425363A (en) * 2005-04-18 2006-10-25 Sharp Kk Panoramic adapter with mirrors formed by rotating conic section
WO2007095307A1 (en) * 2006-02-13 2007-08-23 3M Innovative Properties Company Monocular three-dimensional imaging
US8619865B2 (en) * 2006-02-16 2013-12-31 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
JP4301308B2 (ja) * 2007-03-02 2009-07-22 ソニー株式会社 撮像装置および画像処理方法
JP5040458B2 (ja) 2007-06-16 2012-10-03 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
JP5552214B2 (ja) * 2008-03-11 2014-07-16 キヤノン株式会社 焦点検出装置
US8194159B2 (en) * 2008-04-28 2012-06-05 Omnivision Technologies, Inc. System and method for lens shading correction of an image sensor using splines
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
JP5424679B2 (ja) * 2009-03-18 2014-02-26 キヤノン株式会社 撮像装置及び信号処理装置
JP2011017800A (ja) * 2009-07-07 2011-01-27 Canon Inc 焦点検出装置
US8363093B2 (en) * 2009-07-27 2013-01-29 Eastman Kodak Company Stereoscopic imaging using split complementary color filters

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005043891A1 (ja) * 2003-10-31 2005-05-12 Mitsubishi Denki Kabushiki Kaisha 画像補正方法および撮像装置
JP2005216191A (ja) * 2004-01-30 2005-08-11 Canon Inc ステレオ画像処理装置およびステレオ画像処理方法
JP2007279512A (ja) 2006-04-10 2007-10-25 Fujifilm Corp 立体カメラ及び立体撮像素子
JP2008270937A (ja) 2007-04-17 2008-11-06 Seiko Epson Corp 画像処理コントローラ、電子機器及び画像処理方法
JP2009244858A (ja) * 2008-03-11 2009-10-22 Canon Inc 撮像装置及び画像処理方法
JP2010152006A (ja) * 2008-12-24 2010-07-08 Canon Inc 焦点検出装置及び方法、及び撮像装置
JP2011223562A (ja) * 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2618585A4

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10027942B2 (en) 2012-03-16 2018-07-17 Nikon Corporation Imaging processing apparatus, image-capturing apparatus, and storage medium having image processing program stored thereon
CN104221370A (zh) * 2012-03-29 2014-12-17 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
JP5655174B2 (ja) * 2012-03-29 2015-01-14 富士フイルム株式会社 画像処理装置、撮像装置および画像処理方法
US9167224B2 (en) 2012-03-29 2015-10-20 Fujifilm Corporation Image processing device, imaging device, and image processing method
WO2013146996A1 (ja) * 2012-03-29 2013-10-03 富士フイルム株式会社 画像処理装置、撮像装置および画像処理方法
JP2014026062A (ja) * 2012-07-26 2014-02-06 Sony Corp 撮像装置および撮像方法
US9432570B2 (en) 2013-01-04 2016-08-30 Fujifilm Corporation Image processing device, imaging device, image processing method and computer readable medium
CN105122793A (zh) * 2013-03-29 2015-12-02 株式会社尼康 图像处理装置、摄像装置及图像处理程序
JP6048574B2 (ja) * 2013-03-29 2016-12-21 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
CN105122793B (zh) * 2013-03-29 2017-05-10 株式会社尼康 图像处理装置、摄像装置及图像处理程序
US9942537B2 (en) 2013-03-29 2018-04-10 Nikon Corporation Image processing device, imaging apparatus, and computer-readable medium having stored thereon an image processing program
WO2014156202A1 (ja) * 2013-03-29 2014-10-02 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US9832404B2 (en) 2013-05-31 2017-11-28 Nikon Corporation Image sensor, imaging apparatus, and image processing device

Also Published As

Publication number Publication date
JP5385462B2 (ja) 2014-01-08
CN103109536A (zh) 2013-05-15
US20130278730A1 (en) 2013-10-24
EP2618585A4 (en) 2014-02-26
JP2014039311A (ja) 2014-02-27
EP2618585A1 (en) 2013-07-24
US9282312B2 (en) 2016-03-08
JP5722975B2 (ja) 2015-05-27
JPWO2012036019A1 (ja) 2014-02-03
CN103109536B (zh) 2015-09-02
EP2618585B1 (en) 2016-07-27

Similar Documents

Publication Publication Date Title
JP5722975B2 (ja) 撮像装置、撮像装置用シェーディング補正方法及び撮像装置用プログラム
JP5640143B2 (ja) 撮像装置及び撮像方法
JP4875225B2 (ja) 立体撮像装置
JP5595499B2 (ja) 単眼立体撮像装置
US8786676B2 (en) Imaging device for generating stereoscopic image
JP4626684B2 (ja) 複眼撮像装置及び像ブレ補正方法
JP5166650B2 (ja) 立体撮像装置、画像再生装置及び編集ソフトウエア
WO2012039180A1 (ja) 撮像デバイス及び撮像装置
JP5474234B2 (ja) 単眼立体撮像装置及びその制御方法
JP5243666B2 (ja) 撮像装置、撮像装置本体およびシェーディング補正方法
US20110234767A1 (en) Stereoscopic imaging apparatus
JP5469258B2 (ja) 撮像装置および撮像方法
JP2011197277A (ja) 立体撮像装置
JP2011259168A (ja) 立体パノラマ画像撮影装置
JP2011199755A (ja) 撮像装置
JP2011114547A (ja) 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム
JP5611469B2 (ja) 立体撮像装置および方法
JP2010204385A (ja) 立体撮像装置および立体撮像方法
JP2012124650A (ja) 撮像装置および撮像方法
JP2010200024A (ja) 立体画像表示装置および立体画像表示方法
JP5649837B2 (ja) 立体撮像装置
JP5307189B2 (ja) 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180042931.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11825025

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012533952

Country of ref document: JP

REEP Request for entry into the european phase

Ref document number: 2011825025

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011825025

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE