WO2011121841A1 - 立体撮像装置 - Google Patents

立体撮像装置 Download PDF

Info

Publication number
WO2011121841A1
WO2011121841A1 PCT/JP2010/070778 JP2010070778W WO2011121841A1 WO 2011121841 A1 WO2011121841 A1 WO 2011121841A1 JP 2010070778 W JP2010070778 W JP 2010070778W WO 2011121841 A1 WO2011121841 A1 WO 2011121841A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical axis
image
axis deviation
unit
deviation amount
Prior art date
Application number
PCT/JP2010/070778
Other languages
English (en)
French (fr)
Inventor
謙治 星野
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2011534949A priority Critical patent/JP4897940B2/ja
Priority to US13/202,721 priority patent/US8502863B2/en
Priority to EP10845971.0A priority patent/EP2391119B1/en
Priority to BRPI1008318A priority patent/BRPI1008318A2/pt
Priority to CN201080013467.XA priority patent/CN102362487B/zh
Publication of WO2011121841A1 publication Critical patent/WO2011121841A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the present invention relates to a stereoscopic imaging apparatus, and more particularly to a stereoscopic imaging apparatus that captures a plurality of images having parallax with each other.
  • the stereoscopic imaging device captures the same subject from the left and right viewpoints using two imaging units arranged with parallax on the left and right, and acquires a left-eye image and a right-eye image, respectively.
  • the left and right images acquired in this way are input to a 3D display capable of three-dimensional (3D) display and displayed so that they can be viewed separately by the left and right eyes so that they can be recognized as a stereoscopic image. Become.
  • the imaging optical systems of the two imaging units usually have the same performance and characteristics, and are adjusted and incorporated with respect to the apparatus main body so that the optical axes of the respective imaging optical systems coincide with each other.
  • storage means for storing the optical axis deviations of the two photographing optical systems for each zoom position, and the light corresponding to the zoom position of the photographing optical system at the time of photographing is provided.
  • a stereoscopic imaging apparatus is proposed that reads out the axis deviation, converts the coordinates of one of the left and right images taken based on this optical axis deviation, and thereby matches the optical axis coordinates of the left and right images. (Patent Document 1).
  • Patent Document 2 discloses a first lens barrel having a CCD for obtaining photographing information for the right eye, a second lens barrel having a CCD for obtaining photographing information for the left eye, and the like.
  • a camera detection circuit for detecting the focal lengths of the first lens barrel and the second lens barrel, and the shift amounts of the optical axis centers of the first lens barrel and the second lens barrel at each focal length are stored in advance.
  • a stereoscopic imaging device including a ROM composed of an EEPROM or the like and a CPU that controls an image cut-out area in at least one of the pair of left and right CCDs at each focal length based on an output from the ROM.
  • Patent Documents 1 and 2 the optical axis deviation due to individual differences between the two imaging optical systems is calculated based on the amount of optical axis deviation acquired in advance for each zoom position.
  • a technique for correcting by converting coordinates or changing a cutout range of an image is disclosed.
  • the present invention has been made in view of such circumstances, and it is possible to satisfactorily correct the optical axis shift of a plurality of photographing optical systems regardless of the subject distance (focus position), and a plurality of images that are easily stereoscopically viewed.
  • An object of the present invention is to provide a stereoscopic imaging apparatus capable of obtaining the above.
  • a stereoscopic imaging apparatus includes a plurality of imaging devices each having a photographing optical system and an image sensor that photoelectrically converts a subject image formed through the photographing optical system.
  • a plurality of imaging units that capture a plurality of images having parallax with each other, a storage unit that stores optical axis deviation amounts of each imaging optical system with respect to a plurality of focus positions detected in advance, and the plurality of imaging optics A light corresponding to the current focus position of the imaging optical system detected by the focus position detection unit based on the amount of optical axis deviation of each imaging optical system based on a focus position detection unit that detects the current focus position of the system
  • An optical axis deviation amount acquisition unit that acquires an axis deviation amount
  • an imaging control unit that acquires a plurality of images for a stereoscopic image from the plurality of imaging units, and a current focus position by the optical axis deviation amount acquisition unit
  • An image cutout unit that cuts out a
  • the optical axis deviation amount acquisition unit acquires an optical axis deviation amount corresponding to the current focus position, and a plurality of images are obtained based on the acquired optical axis deviation amount. Since the display image is cut out, the optical axis shift of the plurality of photographing optical systems can be favorably corrected regardless of the focus position (subject distance), and a plurality of images that are easy to view stereoscopically are obtained. be able to.
  • the storage unit calculates an optical axis deviation amount at each focus position of the photographing optical system as an optical axis deviation amount of each photographing optical system.
  • the optical axis deviation amount acquisition unit stores the optical axis deviation amount according to the focus position, and the reading unit reads out the corresponding optical axis deviation amount from the storage unit according to the current focus position.
  • the storage unit calculates an optical axis deviation amount at each focus position of the photographing optical system as an optical axis deviation amount of each photographing optical system.
  • Information indicating optical axis deviation amounts or calculation formulas at two or more focus positions for calculation is stored, and the optical axis deviation amount acquisition unit is based on the information stored in the storage unit and the current focus position. It has a calculation part which calculates the amount of optical axis deviation.
  • the amount of optical axis deviation corresponding to the current focus position is read from the storage unit, but in the third aspect of the present invention, the amount of optical axis deviation is calculated by calculation. I have to.
  • the zoom unit further includes a zoom position detection unit that detects current zoom positions of the plurality of imaging optical systems, and the storage unit further detects in advance.
  • the optical axis shift amount of each photographing optical system with respect to the plurality of zoom positions is stored.
  • the optical axis deviation of a plurality of imaging optical systems also occurs depending on the zoom position in addition to the focus position of each imaging optical system
  • the optical axis deviation amount is stored in the storage unit in advance according to the focus position and the zoom position.
  • the corresponding optical axis deviation amount is read from the storage unit according to the current zoom position and focus position at the time of shooting. According to this, regardless of the focus position (subject distance) and zoom position (shooting magnification), it is possible to satisfactorily correct the optical axis shift of the plurality of shooting optical systems, and to obtain a plurality of images that are easy to view stereoscopically. Can do.
  • the storage unit uses the optical axis of each focus position and zoom position of the photographing optical system as an optical axis shift amount of each photographing optical system.
  • the shift amount is stored according to the zoom position and the focus position, and the optical axis shift amount acquisition unit has a reading unit that reads the corresponding optical axis shift amount from the storage unit according to the current zoom position and focus position. It is characterized by that.
  • the storage unit calculates an optical axis deviation amount at each focus position of the photographing optical system as an optical axis deviation amount of each photographing optical system.
  • Information indicating an optical axis deviation amount or a calculation formula at two or more focus positions for calculation is stored according to a zoom position of the photographing optical system, and the optical axis deviation amount acquisition unit is configured to store the current optical axis deviation amount of the photographing optical system.
  • a calculation unit that calculates the amount of optical axis deviation based on the information read from the storage unit based on the zoom position and the current focus.
  • distortion correction is performed on a plurality of images acquired by the imaging control unit based on a predetermined distortion correction formula.
  • the optical axis deviation amount acquisition unit acquires an optical axis deviation amount after distortion correction is performed using the predetermined distortion correction formula.
  • the center of the optical axis shifts due to the distortion correction. Therefore, even if the distortion correction is performed by acquiring the optical axis deviation amount after the distortion correction, and performing the cut-out processing of the image for stereoscopic display on the plurality of images based on the acquired optical axis deviation amount, The optical axis deviation can be corrected without being affected by the distortion correction.
  • the predetermined distortion correction formula corresponding to the current zoom position among the distortion correction formulas corresponding to the zoom positions of the photographing optical system is characterized by the above-mentioned. That is, since the distortion changes depending on each zoom position of the photographing optical system, a distortion correction formula for correcting the distortion corresponding to the current zoom position is acquired.
  • the zoom imaging apparatus further includes a zoom position detection unit that detects a current zoom position of the plurality of imaging optical systems
  • the distortion correction formula acquisition unit includes: A storage unit that stores a distortion correction expression corresponding to the zoom position of the photographing optical system according to the zoom position; and a reading unit that reads out a distortion correction expression corresponding to the current zoom position from the storage unit. It is characterized by.
  • the optical axis deviation amount acquisition unit includes a storage unit that stores an optical axis deviation amount before distortion correction; And a calculating unit that calculates the optical axis deviation amount after distortion correction by substituting the optical axis deviation amount read from the storage unit into the predetermined distortion correction formula.
  • An eleventh aspect of the present invention is the stereoscopic imaging device according to any one of the seventh to tenth aspects, further comprising a shading correction unit that performs shading correction of a plurality of images acquired by the imaging control unit,
  • the image cutout unit is characterized in that the image cutout process is performed on the image subjected to the shading correction by the shading correction unit. Since the image cut-out process is performed after the brightness of the plurality of images is made uniform by shading correction, it is possible to obtain an image having no difference in brightness between the plurality of cut-out images.
  • the image cutout unit performs an image cutout process on the image after distortion correction by the distortion correction unit. It is characterized by doing. Regardless of the cutout range of each image, it is possible to cut out an image without a shift due to distortion between cutout images.
  • continuous shooting for acquiring a plurality of time-series images from the plurality of imaging units during a preset number of images or a shooting instruction period.
  • a mode selection unit, and an internal storage unit that temporarily stores an image being shot in the continuous shooting mode.
  • the shading correction unit is stored in the internal storage unit after the shooting in the continuous shooting mode is completed. It is characterized by reading out a plurality of images and performing shading correction. By performing shading correction after the end of continuous shooting, a reduction in continuous shooting speed can be prevented.
  • a mode selection unit that selects a shooting mode or a playback mode, and a shooting mode selected by the mode selection unit
  • the distortion correction formula acquired by the distortion correction formula acquisition unit and the optical axis shift amount acquired by the optical axis shift amount acquisition unit the acquired plurality of images.
  • the distortion correction unit and the image cutout unit are associated with the image together with the plurality of images from the recording medium in the reproduction mode selected by the mode selection unit.
  • the distortion correction formula and the amount of optical axis deviation stored in the It is characterized by performing a clipping processing of the distortion correction and image based on each of the distortion correction formula and optical axis shift amount.
  • the recording unit records the image subjected to the distortion correction and the image cut-out process in the reproduction mode in the recording medium. It is said.
  • a parallax amount adjusting unit that adjusts a parallax amount between a plurality of images output from the plurality of imaging units.
  • the image cutout unit performs image cutout processing in which the cutout position is further adjusted based on the amount of parallax adjusted by the parallax amount adjustment unit during the cutout processing of the image for stereoscopic display.
  • the optical axis deviation amount registered at the time of optical axis adjustment corresponding to the focus positions (subject distances) of a plurality of photographing optical systems is acquired, and a three-dimensional image is obtained from each image based on the optical axis deviation amount. Since the images for viewing are cut out, it is possible to obtain a plurality of images that are easily stereoscopically viewed without any optical axis shift between the images for stereoscopic viewing, regardless of the focus position (subject distance).
  • the perspective view which looked at the appearance of the stereoscopic imaging device concerning the present invention from the front The figure which looked at the appearance of the stereoscopic imaging device concerning the present invention from the back 1 is a block diagram showing an embodiment of a stereoscopic imaging apparatus according to the present invention.
  • the figure which shows the 1st example of the table recorded on EEPROM at the time of the optical axis adjustment before shipment 3 is a flowchart showing a shooting operation of the first embodiment of the stereoscopic imaging apparatus according to the present invention.
  • the flowchart which shows 2nd Embodiment of the process at the time of the optical axis adjustment before shipment The figure which shows the 4th example of the table recorded on EEPROM at the time of the optical axis adjustment before shipment The figure which shows the 4th example of the table recorded on EEPROM at the time of the optical axis adjustment before shipment The figure which shows the 4th example of the table recorded on EEPROM at the time of the optical axis adjustment before shipment.
  • FIG. 1 Flowchart showing a third embodiment of processing at the time of optical axis adjustment before shipment
  • the flowchart which shows 2nd Embodiment of the image processing in FIG. A flowchart showing a first embodiment of image processing during continuous shooting.
  • the flowchart which shows 3rd Embodiment of the image processing at the time of photography 1 is a flowchart showing a first embodiment of shooting processing of a stereoscopic imaging apparatus according to the present invention.
  • FIG. 6 is a flowchart showing a second embodiment of the photographing process of the stereoscopic imaging apparatus according to the present invention.
  • the flowchart which shows 2nd Embodiment of the reproduction
  • FIG. 17 is a diagram used for explaining the image cut-out process of the second embodiment at the time of shooting / reproduction shown in FIG. 17 and FIG.
  • FIG. 1A and 1B are views showing an external appearance of a stereoscopic imaging apparatus according to the present invention
  • FIG. 1A is a perspective view of the stereoscopic imaging apparatus viewed from the front side
  • FIG. 1B is a rear view.
  • This stereoscopic imaging device (compound camera) 10 is a digital camera capable of recording and reproducing 2D / 3D still images and 2D / 3D moving images, and is a thin rectangular parallelepiped camera as shown in FIGS. 1A and 1B.
  • a shutter button 11 and a zoom button 12 are disposed on the upper surface of the main body.
  • a lens barrier 13 having a width substantially equal to the width in the left-right direction of the camera body is disposed so as to be movable in the up-down direction of the camera body.
  • the front surfaces of the pair of left and right photographic optical systems 14-1 and 14-2 can be opened and closed simultaneously by moving in the vertical direction between the position indicated by and the position indicated by the solid line. Note that as the photographing optical systems 14-1 and 14-2, a zoom lens of a bending optical system is used.
  • the camera power supply can be turned on / off in conjunction with the opening / closing operation of the lens front surface by the lens barrier 13.
  • a 3D liquid crystal monitor 16 is disposed at the center of the back of the camera body.
  • the liquid crystal monitor 16 can display a plurality of parallax images (right-eye image and left-eye image) as directional images each having a predetermined directivity by a parallax barrier.
  • the 3D liquid crystal monitor 16 uses a lenticular lens, or can display a right eye image and a left eye image individually by wearing dedicated glasses such as polarized glasses or liquid crystal shutter glasses. Is applicable.
  • the operation switch 18A is a changeover switch for switching between still image shooting and moving image shooting
  • the operation switch 18B is a parallax adjustment switch for adjusting the amount of parallax between the right-eye image and the left-eye image
  • the operation switch 18C is 2D shooting. This is a changeover switch for switching between 3D shooting.
  • the operation switch 18D is a seesaw key that functions as both a MENU / OK button and a playback button
  • the operation switch 18E is a multifunction cross key
  • the operation switch 18F is a DISP / BACK key.
  • the MENU / OK button is an operation switch having both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 16 and a function as an OK button for instructing confirmation and execution of selection contents. It is.
  • the playback button is a button for switching from the shooting mode to the playback mode.
  • the cross key is an operation switch for inputting instructions in four directions, up, down, left, and right.
  • a macro button, a flash button, a self-timer button, or the like is assigned to the menu key. When a menu is selected, the menu screen is displayed. Function as a switch (cursor moving operation unit) for selecting an item from the menu or instructing selection of various setting items from each menu.
  • the left / right key of the cross key functions as a frame advance (forward / reverse feed) button in the playback mode.
  • the DISP / BACK key is used for switching the display form of the liquid crystal monitor 16, canceling the instruction content on the menu screen, or returning to the previous operation state.
  • 15 is a stereo microphone.
  • FIG. 2 is a block diagram showing an embodiment of the stereoscopic imaging apparatus 10.
  • the stereoscopic imaging apparatus 10 mainly includes a plurality of imaging units 20-1 and 20-2, a central processing unit (CPU) 32, the shutter button 11, the zoom button 12, and various operation switches described above. Including an operation unit 34, a display control unit 36, a liquid crystal monitor 16, a recording control unit 38, a compression / expansion processing unit 42, a digital signal processing unit 44, an AE (Automatic Exposure) detection unit 46, and an AF (Auto Focus): An automatic focus detection unit 48, an AWB (Automatic White Balance) detection unit 50, a VRAM 52, a RAM 54, a ROM 56, an EEPROM 58, and the like. Note that the imaging units 20-1 and 20-2 capture two parallax images, a left-eye image and a right-eye image, that have parallax with each other, but there may be three or more imaging units 20.
  • the imaging units 20-1 and 20-2 capture two parallax images, a left-eye image and a right-eye image, that have par
  • the imaging unit 20-1 that captures an image for the left eye includes a photographing optical system 14-1 (FIGS. 1A and 1B) including a prism (not shown), a focus lens and a zoom lens 21, an aperture 22, and a mechanical shutter 23.
  • An optical unit, a solid-state imaging device (CCD) 24, an analog signal processing unit 25, an A / D converter 26, an image input controller 27, a lens driving unit 28 for driving the optical unit, an aperture driving unit 29, and A shutter control unit 30 and a CCD control unit 31 for controlling the CCD 24 are provided.
  • the imaging unit 20-2 that captures the image for the right eye has the same configuration as the imaging unit 20-1 that captures the image for the left eye, and thus the description of the specific configuration is omitted.
  • the CPU 32 controls the overall operation of the camera according to a predetermined control program based on the input from the operation unit 34.
  • the ROM 56 stores a control program executed by the CPU 32 and various data necessary for the control.
  • the EEPROM 58 stores various information indicating adjustment results at the time of adjustment before product shipment, for example, pixel defect information of the CCD 24, Correction parameters, tables, and the like used for image processing are stored. The details of various information stored here will be described later.
  • the VRAM 52 is a memory for temporarily storing image data for display displayed on the liquid crystal monitor 16, and the RAM 54 includes a calculation work area for the CPU 32 and a temporary storage area for image data.
  • the focus lens and zoom lens 21 included in the photographing optical system are driven by the lens driving unit 28 and moved back and forth along the optical axis.
  • the CPU 32 controls the driving of the lens driving unit 28 to control the position of the focus lens so as to adjust the focus so that the subject is in focus, and in response to a zoom command from the zoom button 12 in the operation unit 34. Control the zoom position of the zoom lens to change the zoom magnification.
  • the diaphragm 22 is configured by an iris diaphragm, for example, and is driven by the diaphragm driving unit 29 to operate.
  • the CPU 32 controls the aperture amount (aperture value) of the aperture 22 via the aperture drive unit 29 and controls the amount of light incident on the CCD 24.
  • the mechanical shutter 23 determines the exposure time in the CCD 24 by opening and closing the optical path, and prevents unwanted light from entering the CCD 24 when the image signal is read from the CCD 24, thereby preventing smear.
  • the CPU 32 outputs a shutter close signal synchronized with the exposure end time corresponding to the shutter speed to the shutter control unit 30 to control the mechanical shutter 23.
  • the CCD 24 is composed of a two-dimensional color CCD solid-state imaging device. A large number of photodiodes are two-dimensionally arranged on the light receiving surface of the CCD 24, and color filters are arranged in a predetermined arrangement on each photodiode.
  • the optical image of the subject imaged on the CCD light receiving surface via the optical unit having the above configuration is converted into a signal charge corresponding to the amount of incident light by the photodiode.
  • the signal charge accumulated in each photodiode is sequentially read out from the CCD 24 as a voltage signal (image signal) corresponding to the signal charge based on a drive pulse given from the CCD control unit 31 according to a command from the CPU 32.
  • the CCD 24 has an electronic shutter function, and the exposure time (shutter speed) is controlled by controlling the charge accumulation time in the photodiode.
  • the electronic shutter controls the charge accumulation start time corresponding to the shutter speed, and the exposure end time (charge accumulation end time) is controlled by closing the mechanical shutter 23.
  • the CCD 24 is used as the image pickup device, but an image pickup device having another configuration such as a CMOS sensor may be used.
  • the analog signals R, G, and B read from the CCD 24 are subjected to correlated double sampling (CDS) and amplification by the analog signal processing unit 25, and then the R, G, and B analog signals are output by the A / D converter 26. Converted to a digital signal.
  • CDS correlated double sampling
  • the image input controller 27 has a built-in line buffer having a predetermined capacity, and temporarily stores R, G, B image signals (CCDRAW data) A / D converted by the A / D converter 26 and then a bus 60. And stored in the RAM 54.
  • the CPU 32 controls the imaging unit 20-2 that captures the image for the right eye in the same manner as the imaging unit 20-1 that captures the image for the left eye in the 3D imaging mode.
  • the AE detection unit 46 calculates subject brightness necessary for AE control based on an image signal captured when the shutter button 11 is half-pressed, and outputs a signal indicating the subject brightness (shooting EV value) to the CPU 32.
  • the CPU 32 sets the shutter speed (exposure time), aperture value, and imaging sensitivity in the plurality of imaging units 20-1 and 20-2 according to a predetermined program diagram based on the input imaging EV value.
  • the AF detection unit 48 integrates the absolute value of the high frequency component of the image signal in the AF area captured when the shutter button 11 is half-pressed, and outputs this integrated value (AF evaluation value) to the CPU 32.
  • the CPU 32 moves the focus lens from the closest position to the infinity side, searches for a focus position where the AF evaluation value detected by the AF detection unit 48 is maximum, and moves the focus lens to the focus position. Adjust the focus on the subject (main subject).
  • so-called hill climbing control is performed in which the focus lens is moved so that the AF evaluation value always takes the maximum value.
  • the AWB detection unit 50 automatically obtains the light source type (the color temperature of the object scene) based on the R, G, and B image signals acquired at the time of the main imaging, and R, G, The corresponding white balance gain is read out from the table storing the B white balance gain (white balance correction value).
  • the digital signal processing unit 44 interpolates a spatial shift of color signals such as R, G, and B accompanying a white balance correction circuit, a gradation conversion processing circuit (for example, a gamma correction circuit), and a color filter array of a single-plate CCD.
  • the image processing is performed on the R, G, and B image signals (CCDRAW data) stored in the RAM 54, including a synchronization circuit for aligning the position of each color signal, a contour correction circuit, a luminance / color difference signal generation circuit, and the like. .
  • the R, G, and B CCDRAW data are multiplied by the white balance gain detected by the AWB detection unit 50 in the digital signal processing unit 44 and subjected to white balance correction, and thereafter, a gradation conversion process (for example, After predetermined processing such as gamma correction is performed, the signal is converted into a YC signal including a luminance signal (Y signal) and a color difference signal (Cr, Cb signal).
  • Y signal a luminance signal
  • Cr, Cb signal color difference signal
  • the YC signal processed by the digital signal processing unit 44 is stored in the RAM 54.
  • the digital signal processing unit 44 cuts out an image of a predetermined cutout area from each of the distortion correction circuit and the left and right viewpoint images for correcting the lens distortion correction of the imaging optical systems of the plurality of imaging units 20-1 and 20-2.
  • the image pickup processing circuit includes an image cutout processing circuit that corrects an optical axis shift of the imaging optical system of the plurality of imaging units 20-1 and 20-2. Details of processing contents of the distortion correction circuit and the image cut-out processing circuit will be described later.
  • the compression / decompression processing unit 42 compresses the YC signal stored in the RAM 54 in accordance with a command from the CPU 32 during recording on the memory card 40, and decompresses the compressed compressed data recorded on the memory card 40. To YC signal.
  • the recording control unit 38 converts the compressed data compressed by the compression / decompression processing unit 42 into an image file in a predetermined format (for example, a 3D still image is an MP (multi-picture) format image file, a 3D video is motion JPEG, H .264, MPEG4, MPEG4-MVC video files) or recorded on the memory card 40, or image files are read from the memory card 40.
  • the liquid crystal monitor 16 is used as an image display unit for displaying captured images, and is used as a GUI (graphical user interface) at various settings.
  • the liquid crystal monitor 16 is used as an electronic viewfinder that displays a live view image (hereinafter referred to as “through image”) for confirming the angle of view in the shooting mode.
  • through image a live view image
  • the display control unit 36 alternately displays the left-eye image and the right-eye image held in the VRAM 52 pixel by pixel.
  • the parallax barrier provided in the liquid crystal monitor 16 the left and right images alternately arranged pixel by pixel are visually recognized separately by the left and right eyes of the user observing from a predetermined distance. This enables stereoscopic viewing.
  • the stereoscopic imaging apparatus 10 also has a function of recording and reproducing audio information (audio data) acquired by the stereo microphone 15 shown in FIGS. 1A and 1B.
  • FIG. 3 is a flow chart showing a first embodiment of processing at the time of optical axis adjustment before shipment according to the present invention.
  • the variable N changes between Near (for example, 1) indicating the closest end and Inf (for example, n) indicating infinity corresponding to the focus position.
  • the stereoscopic imaging device 10 to be adjusted and the adjustment chart for adjusting the optical axis are set to have a predetermined positional relationship, and the focus lens of each imaging optical system of the stereoscopic imaging device 10 is adjusted.
  • the adjustment chart is focused (step S12). Note that the adjustment chart is first set at the subject distance corresponding to the near end (Near).
  • Corresponding point detection for detecting corresponding feature points from the acquired left and right images is performed (step S18).
  • a corresponding point detection method for example, a block matching method can be applied.
  • the degree of coincidence between a block of a predetermined block size extracted from an arbitrary pixel from the left image and the block of the right image is evaluated, and the reference of the block of the right image when the degree of coincidence between the blocks is maximized.
  • Let a pixel be a pixel of the right image corresponding to an arbitrary pixel of the left image.
  • a function for evaluating the degree of matching between blocks in the block matching method for example, there is a function that uses a sum of squares (SSD) of luminance differences of pixels in each block (SSD block matching method).
  • SSD sum of squares
  • a deviation amount of the corresponding point (when a plurality of corresponding points are detected, an average of deviation amounts of the plurality of corresponding points) is detected, and the detected deviation amount is calculated.
  • the optical axis deviation amounts of the two photographing optical systems are stored in the EEPROM 58 in association with the focus position N (steps S20 and S22).
  • the focus positions FN (N 1, 2,..., N) as shown in FIG.
  • the corresponding optical axis deviation amount is stored in the EEPROM 58.
  • the amount of optical axis deviation shown in FIG. 4 is perpendicular to the coordinate value of the center of the optical axis of the other (right image) with respect to the coordinate value of the center of the optical axis of one of the left and right images (for example, the left image).
  • the amount of deviation in the (V) direction is used.
  • the CPU 32 determines whether or not there is a photographing instruction (full depression of the shutter button 11 (switch S2 is turned on)) (step S30). If the switch S2 is OFF, a 3D through image is displayed on the liquid crystal monitor 16 (step S32).
  • this 3D through image When displaying this 3D through image, it corresponds to the current focus position from the table shown in FIG. 4 for the left and right images sequentially acquired from the left and right imaging units 20-1 and 20-2 in time series.
  • the optical axis deviation amounts in the left and right images to be read are read out, and an image for a 3D through image is cut out from the full angle image so as to cancel out the optical axis deviation amount and output to the liquid crystal monitor 16.
  • step S34 When the left and right full angle images are acquired by the actual photographing (step S34), information on the current focus position of the focus lens (for example, the number of pulses from the reference position of the focus motor (step motor)) is acquired.
  • the optical axis deviation amount corresponding to the acquired current focus position (F-pos) is read from the EEPROM 48 (step S38).
  • the right and left cutout positions are moved with respect to each other by the optical axis deviation amount (step S40). For example, when the amount of optical axis deviation is +2 (pixels), the left image is extracted by shifting the left image cut-out center by +1 pixel in the V direction, and the right image cut-out center is shifted by -1 pixel in the V direction. To crop the right image. Thereby, the cut-out image becomes an image in which the optical axis deviation is corrected.
  • the left and right images cut out as described above are each compressed in a predetermined compression format and then recorded in a file created on the memory card 40 (step S42).
  • the imaging optical system is a single focus lens
  • the optical axis read out corresponding to the current focus position from the optical axis deviation stored in advance for each focus position as shown in FIGS.
  • the image is cut out using the shift amount.
  • the imaging optical system is a zoom lens as in the present embodiment
  • the optical axis shift amount is acquired for each zoom position and focus position of the zoom lens.
  • the zoom lens is moved to each zoom position and in addition, by executing the processing from step S10 to step S26 in FIG. 3, the optical axis deviation amount is stored in the EEPROM 58 for each zoom position and focus position.
  • FIG. 6 shows a second example of the table in which the optical axis deviation amount for each zoom position and focus position stored in the EEPROM 58 is stored as described above.
  • step S38 of FIG. 5 the current zoom position and focus position are acquired, and the optical axis deviation amount corresponding to the acquired zoom position and focus position is read from the table shown in FIG.
  • the table shown in FIG. 6 stores the optical axis deviation amounts corresponding to all zoom positions and focus positions.
  • the table is not limited to this, and two focus positions (closest focus positions as shown in FIG. 7) are stored. (Near) and infinity focus position (Inf)) are detected and stored for the optical axis misalignment amount, and the optical axis misalignment amount at the intermediate focus position is the intermediate focus position. May be calculated by linear interpolation.
  • the optical axis deviation amounts at the three focus positions of close, intermediate, and infinity are detected and stored, and from close to intermediate, Alternatively, it is preferable to calculate the amount of optical axis deviation by linear interpolation from the middle to infinity.
  • the optical axis center O L of the left image with Taruyugami as shown in FIG. 8 when the center of the optical axis of the right image and O R, the optical axis center after distortion correction of these images, respectively O L ', O R' becomes, the horizontal and vertical directions [Delta] H, [Delta] V only to the optical axis center is shifted.
  • FIG. 9 is a flowchart showing a second embodiment of the process at the time of optical axis adjustment before shipment according to the present invention.
  • the stereoscopic imaging device 10 to be adjusted and the adjustment chart for adjusting the optical axis are set to have a predetermined positional relationship, and each imaging optical system of the stereoscopic imaging device 10 is set.
  • the focus position is adjusted to focus on the adjustment chart (step S50).
  • a variable M indicating the imaging mode is set to 1 (step S52).
  • step S54 and S56 the adjustment chart is photographed to obtain left and right images.
  • the distortion correction corresponding to the current imaging mode N is performed on the acquired left and right images (step S58).
  • corresponding point detection for detecting corresponding feature points of the left and right images is performed (step S60).
  • a corresponding point detection method for example, a block matching method can be applied.
  • a deviation amount of the corresponding point (when a plurality of corresponding points are detected, an average of deviation amounts of the plurality of corresponding points) is detected, and the detected deviation amount is calculated.
  • the optical axis deviation amounts of the two imaging optical systems are stored in the EEPROM 58 in association with the imaging mode M (steps S62 and S64).
  • the detection and storage of the optical axis deviation amount when the zoom position and the focus position are changed are omitted, but the optical axis when the zoom position and the focus position are changed for each imaging mode. It also detects and stores the amount of deviation.
  • the distortion correction in step S58 uses a distortion correction formula corresponding to each zoom position.
  • FIG. 10A to 10C show an example of a table indicating the optical axis deviation amount for each imaging mode stored in the EEPROM 58.
  • FIG. 10A to 10C show an example of a table indicating the optical axis deviation amount for each imaging mode stored in the EEPROM 58.
  • FIGS. 10A to 10C respectively show a through image table, a still image table, and a moving image table.
  • Each table has an optical axis shift amount (optical axis in the V direction) with respect to the left and right images at each zoom position. (Deviation amount) is stored.
  • the optical axis deviation in the V direction between the images becomes a problem when performing stereoscopic viewing. Therefore, only the optical axis deviation in the V direction is stored, but this is not restrictive. You may make it memorize
  • the distortion correction formula for each imaging mode and each zoom position is also stored in the EEPROM 58.
  • the same general distortion correction formula is stored for each zoom position, and only the coefficients of each term are stored differently for each zoom position, and different distortion correction formulas are stored for each zoom position. It can be considered that
  • Switching to the moving image capturing mode with the operation switch 18A shown in FIG. 1B and switching to the 3D imaging mode with the operation switch 18C sets the imaging mode for capturing a 3D moving image (hereinafter referred to as “3D moving image capturing mode”).
  • the image capturing mode (hereinafter referred to as “3D still image capturing mode”) for capturing a 3D still image is obtained. Can be set.
  • step S80 it is determined by the operation switches 18A and 18C whether the 3D moving image imaging mode is set as the imaging mode or the 3D still image imaging mode is set.
  • the CPU 32 determines whether or not there is an instruction for moving image shooting (the shutter button 11 is fully pressed (switch S2 is turned on)) (step S82). If the switch S2 is OFF, a 3D through image is displayed on the liquid crystal monitor 16 (step S84).
  • a distortion correction equation (second order polynomial) for the through image is applied to the left and right images sequentially acquired in time series from the left and right imaging units 20-1 and 20-2.
  • the optical axis deviation amounts in the left and right images corresponding to the zoom position of the current zoom lens are read from the through image table shown in FIG. 10A, and these optical axis deviation amounts are canceled out.
  • a 3D live view image is cut out from the distortion-corrected image and output to the liquid crystal monitor 16.
  • step S86 when the switch S2 is turned on, the CPU 32 starts shooting a 3D moving image (step S86).
  • image processing such as distortion correction and image segmentation processing and recording are performed on the left and right images sequentially acquired from the left and right imaging units 20-1 and 20-2 in time series. Processing is performed (step S88).
  • FIG. 12 is a flowchart showing the first embodiment of the image processing in step S88 of FIG.
  • the distortion correction circuit in the digital signal processing unit 44 is a distortion correction formula (fourth order polynomial) for moving images, and the zoom of the current zoom lens.
  • the distortion correction of the acquired left and right images is performed using a distortion correction formula corresponding to the position (step S884).
  • the optical axis shift amount corresponding to the current zoom position (Z-pos) and focus position is read from the moving image table of FIG. 10C, and the distortion-corrected left and right images are read based on the read optical axis shift amount.
  • the cutout range is moved in accordance with the optical axis deviation amount, and image cutout processing is performed (step S886). Thereby, the cut-out image becomes an image in which the optical axis deviation is corrected.
  • the left and right images cut out as described above are each compressed in a predetermined compression format and then recorded in a moving image file created on the memory card 40 (step S888).
  • the moving image recording process is performed every time image processing of a prescribed number of frames for one second (60 frames when the frame rate is 60 frames / second) is completed. Will be added sequentially.
  • audio data acquired by the stereo microphone 15 is compressed every second and recorded in a moving image file.
  • step S90 it is determined whether or not the switch S2 is turned on again (step S90). If the switch S2 is turned off, the process proceeds to step S88 to continue the moving image processing. When the switch S2 is turned on, The shooting of the 3D video is terminated.
  • step S80 when it is determined in step S80 that the 3D still image capturing mode is set, the CPU 32 determines whether or not there is a still image shooting instruction (switch S2 is ON) (step S92). If the switch S2 is OFF, a 3D through image is displayed on the liquid crystal monitor 16 (step S94). The display of the 3D through image on the liquid crystal monitor 16 is performed in the same manner as in step S84 described above.
  • step S96 When the switch S2 is turned on, the CPU 32 takes a 3D still image (step S96). Needless to say, when the two-stroke shutter button is half-pressed before it is fully pressed, the switch S1 is turned on, thereby performing preparatory shooting preparation operations such as AE processing and AF processing.
  • step S98 The left and right images acquired from the left and right imaging units 20-1 and 20-2 at the time of actual photographing are subjected to image processing such as distortion correction and image cutout processing and recording processing in the same manner as in step S88 (step S98).
  • the distortion correction in step S98 is performed using a distortion correction expression of a sixth-order polynomial with high correction accuracy, and the image clipping process is performed from the still image table in FIG. 10B using the current zoom position and focus position. This is performed based on the amount of optical axis deviation read out corresponding to
  • FIG. 13 is a flowchart showing a third embodiment of the processing at the time of optical axis adjustment according to the present invention.
  • the same step number is attached
  • the optical axis deviation amount is detected and stored in the EEPROM 58 for each imaging mode of the through image, moving image, and still image (see FIGS. 10A to 10C).
  • the corresponding points of the left and right images are detected without performing distortion correction on the left and right images acquired in step S56, and the optical axis deviation amount of the left and right images is detected.
  • the detected optical axis deviation amount is stored in the EEPROM 48 (step S64).
  • the optical axis deviation amount is stored in the EEPROM 48 for each zoom position and focus position of the zoom lens, as in the embodiment shown in FIG.
  • the optical axis deviation amounts of the left and right images before distortion correction are detected and recorded, and the optical axis deviation amount is not detected and stored for each imaging mode.
  • step S100 and S102 information on the current imaging mode and information on the zoom position and focus position of the zoom lens are acquired.
  • the optical axis shift amount corresponding to the zoom position and the focus position is acquired (step S104). Further, a distortion correction formula (calculation formula) corresponding to the current imaging mode and zoom position is acquired from the EEPROM 48 based on the acquired current imaging mode and current zoom position.
  • the amount of optical axis deviation after distortion correction is calculated by substituting the amount of optical axis deviation obtained in step S104 into the obtained calculation formula to calculate the amount of optical axis deviation after distortion correction (steps S106 and S108).
  • the calculated optical axis misalignment amount is used for image segmentation processing in steps S84, S88, S88 shown in FIG. 11 and step S886 shown in FIG.
  • the optical axis deviation amount before distortion correction is held in the EEPROM 48, and the value held in the EEPROM 48 is applied to the distortion correction calculation formula at the time of actual image cutout processing, so that the optical axis deviation after distortion correction is obtained.
  • the memory capacity of the EEPROM 48 can be reduced, and the cutout position can be easily changed even when the firmware or the like is changed (including changing the distortion correction). .
  • the optical axis deviation amount table stores the optical axis deviation amount for each zoom position, but at least two zoom positions (for example, the wide end and the tele end). Only the optical axis deviation amount is stored, and the optical axis deviation amount at a zoom position other than the stored zoom position is obtained by linearly interpolating the stored optical axis deviation amounts of at least two zoom positions according to the current zoom position. May be calculated.
  • FIG. 15 is a flowchart showing a second embodiment of the image processing in step S88 of FIG. Note that the same step numbers are assigned to portions common to the first embodiment of FIG. 12, and detailed description thereof is omitted.
  • step S ⁇ b> 883 for performing shading correction is added before step S ⁇ b> 884 for performing distortion correction. This is different from the first embodiment.
  • step S883 the left and right images acquired in step S882 are obtained from the left and right image-specific tables in which shading correction values are stored according to the view angle position, or by calculation formulas according to the view angle position.
  • the luminance of each pixel is corrected (shading correction) using the shading correction value.
  • FIG. 16 is a flowchart showing a first embodiment of image processing during continuous shooting.
  • step S110 When the continuous shooting mode is set and a continuous shooting instruction (switch S2 is ON) is input (step S110), the CPU 32 performs shooting for one frame of continuous shooting (step S112), A full angle of view image is temporarily stored in the RAM 54 (step S114).
  • step S116 ON / OFF of the switch S2 is determined (step S116). If it is ON, the process proceeds to step S112. If it is OFF, the process proceeds to step S118. That is, when the switch S2 is turned on, continuous shooting is performed during that time, and left and right full angle images are stored in the RAM 54.
  • step S118 When the switch S2 is turned OFF, the time-series left and right images stored in the RAM 54 are read out frame by frame, and the distortion correction formula corresponding to the zoom position of the zoom lens and the continuous shooting mode during continuous shooting is used. Distortion correction is performed (step S118).
  • the optical axis shift amount corresponding to the zoom position, focus position, and continuous shooting mode of the zoom lens during continuous shooting is read or calculated from the EEPROM 58, and distortion correction is performed based on the optical axis shift amount.
  • An image for correcting the optical axis deviation is cut out from an image with a full angle of view (step S120).
  • the image cut out as described above is recorded on the memory card 40 after being subjected to compression processing or the like (step S122).
  • FIG. 17 is a flowchart illustrating a second embodiment of image processing during continuous shooting.
  • the same step number is attached
  • step S117 is added between steps S116 and S118.
  • the second embodiment of the image processing during continuous shooting shown in FIG. 17 is different from the first embodiment in that the processing of step S117 is added between steps S116 and S118.
  • the second embodiment of the image processing during continuous shooting shown in FIG. 17 is different from the first embodiment in that the processing of step S117 is added between steps S116 and S118.
  • step S117 the left and right images stored in the RAM 54 are subjected to shading correction corresponding to the angle of view, respectively, so that the brightness of the left and right images is uniform. As a result, it is possible to obtain an image having no difference in brightness between the left and right images on which the subsequent distortion correction and the image clipping process are performed.
  • FIG. 18 is a flowchart showing a third embodiment of image processing during continuous shooting.
  • the same step number is attached
  • step S116 when the switch S2 is turned off (step S116), the time-series left and right images stored in the RAM 54 are read out and reproduced in the shooting order (step S130).
  • N 3D images are shot by continuous shooting
  • Steps S118 and S120 The left and right images after this processing are displayed as 3D still images on the liquid crystal monitor 16 (step S132).
  • the user determines whether or not to save the image in the memory card 40 while viewing the 3D still image displayed on the liquid crystal monitor 16 (step S134). In the case of “Yes” (for example, when the MENU / OK button is turned on), the 3D still image displayed on the liquid crystal monitor 16 is stored in the memory card 40.
  • step S130 the process proceeds to step S130, and the next left and right images are read from the RAM 54, and the same as above. Processing is performed.
  • continuous shooting is performed while the switch S2 is ON.
  • the present invention is not limited to this, and when the switch S2 is turned ON, continuous shooting is performed for a preset number of images. You can do it.
  • the shooting mode at the time of shooting for example, 3D moving image shooting mode, 3D still image shooting mode
  • zoom position of the zoom lens for example, 3D still image shooting mode
  • optical axis shift The amount is written in the tag of the image file recorded on the memory card 40 (step S140).
  • the amount of optical axis deviation is read from the EEPROM 48 or calculated according to the imaging mode, zoom position, and focus position.
  • the captured left and right full-angle images are stored in the image file (step S142).
  • tag information is read out together with the left and right images from the playback target image file stored in the memory card 40 (step S150). ).
  • a distortion correction formula specified by the imaging mode and zoom position included in the tag information is acquired, and distortion correction is performed on the read left and right images using the distortion correction formula (step S152).
  • an image for correcting the optical axis deviation is cut out from the left and right images after distortion correction based on the optical axis deviation amount included in the tag information (step S154).
  • the left and right images cut out in this way are displayed so that the cut-out center is the center of the screen of the liquid crystal monitor 16 (step S156), and as a result, displayed as a 3D image that is easy to view stereoscopically without optical axis deviation.
  • the optical axis deviation amount is recorded as tag information.
  • the coordinates of the optical axis center or the diagonal coordinates of the cutout range may be recorded.
  • any information may be used as long as it is image cutout information that can correct the optical axis deviation.
  • an image that has been subjected to distortion correction and image clipping processing during 3D playback can be recorded in the memory card 40.
  • the original image file may be deleted, or both image files may coexist.
  • FIGS. 21 and 22 are flowcharts showing a second embodiment of the photographing / reproducing process of the stereoscopic imaging apparatus 10 according to the present invention.
  • the stereoscopic imaging apparatus 10 when the stereoscopic imaging apparatus 10 is set to the shooting mode and shooting is started, various correction processes are performed on the captured left and right full-angle images (moving images or still images) (step S160).
  • the image processing here is image processing other than the image cutout processing for correcting the optical axis shift of the left and right images, and includes white balance correction, gamma correction, shading correction, distortion correction, and the like.
  • the left and right images that have undergone image processing are compressed in a predetermined compression format and then stored in the memory card 40 (step S162).
  • the left and right images are read from the playback target image file stored in the memory card 40 (step S170).
  • corresponding point detection for detecting corresponding feature points of the left and right images is performed, and information for correcting the optical axis shift of the left and right images is acquired (step S172).
  • Corresponding point detection can be performed by, for example, a block matching method.
  • a corresponding pixel on the other image is obtained by corresponding point detection.
  • a region where the corresponding point can be detected and a region where the corresponding point cannot be detected can be obtained between the left and right images. Then, by detecting each of the regions surrounded by the four outermost sides of the region where the corresponding points of the left and right images can be detected, information for correcting the optical axis shift of the left and right images can be acquired.
  • the center of the region surrounded by the four sides is a cut-out region where a stereoscopic image is cut out from pixels at all angles of view, and the center of the region surrounded by the four sides is the cut-out center.
  • the left and right images cut out from the left and right full-view angle images by the cut-out areas obtained as described above are displayed so that the cut-out center is the screen center of the liquid crystal monitor 16 (step S174).
  • the image is displayed as a 3D image that is easy to be viewed stereoscopically without optical axis deviation.
  • cutout areas areas specified by the cutout start point or cutout center and cutout size
  • dotted lines obtained by corresponding point detection
  • the displayed image (left and right overlapping portions) is displayed on the liquid crystal monitor 16 as a stereoscopic image.
  • the cut-out centers of the left and right images are displayed in a consistent manner, so that the optical axis shift (shift in the V direction) of the left and right images is corrected.
  • a pattern such as a frame is arranged in a portion where the left and right images do not overlap.
  • the MTF modulation transfer function
  • the stereoscopic imaging apparatus 10 can display a 3D through image on the liquid crystal monitor 16, and the user operates the parallax adjustment switch 18B (FIG. 1B) while viewing the 3D through image.
  • the amount of parallax of a 3D image (moving image or still image) can be adjusted.
  • the parallax amount (parallax adjustment value) of the 3D image can be increased or decreased by operating the parallax adjustment switch 18B in the + direction or the ⁇ direction.
  • the plurality of imaging modes for performing distortion correction with different correction accuracy are not limited to this embodiment, and include an imaging mode in which distortion correction is not performed and an imaging mode in which distortion is emphasized, such as a fish-eye imaging mode. Also good.
  • the image clipping process is performed on the distortion-corrected image.
  • the image clipping process for correcting the optical axis deviation is performed on the image.
  • distortion correction may be performed.
  • the image cut-out process in this case is performed in consideration of the optical axis shift caused by the subsequent distortion correction.
  • SYMBOLS 10 Stereo imaging device, 11 ... Shutter button, 12 ... Zoom button, 14-1, 14-2 ... Shooting optical system, 16 ... Liquid crystal monitor, 20-1, 20-2 ... Imaging part, 21 ... Focus lens and zoom Lens, 24 ... CCD, 25 ... Analog signal processing unit, 32 ... Central processing unit (CPU), 34 ... Operation unit, 44 ... Digital signal processing unit, 54 ... RAM, 56 ... ROM, 58 ... EEPROM

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

左右の撮像部により取得された左右の画像に対して、左右の撮影光学系の光軸ずれ量に対応する画像の切り出し処理を行うことで光軸ずれを補正する。この場合、予め記憶部に記憶されたフォーカス位置に応じて検出された光軸ずれ量から、現在のフォーカス位置に対応する光軸ずれ量を取得し（ステップＳ３８）、この取得した光軸ずれ量に基づいて左右の画像に対して立体表示用の画像の切り出し処理を行う（ステップＳ４０）。これにより、フォーカス位置（被写体距離）にかかわらず、左右の撮影光学系の光軸ずれを良好に補正できるようにしている。

Description

立体撮像装置
　本発明は立体撮像装置に係り、特に互いに視差を有する複数の画像を撮影する立体撮像装置に関する。
　立体撮像装置は、左右に視差をもって並べられた２つの撮像部を使って同一被写体を左右の視点から撮影し、左目用の画像と右目用の画像とをそれぞれ取得するようにしている。このようにして取得された左右の画像は、３次元（３Ｄ）表示が可能な３Ｄディスプレイに入力され、左右の目で別々に視認できるように表示されることにより、立体画像として認識できるようになる。
　２つの撮像部の撮影光学系は、通常、同じ性能、特性を有するものが使用され、また、各撮影光学系の光軸が一致するように装置本体に対して調整されて組み込まれている。
　しかしながら、２つの撮影光学系には個体差があるため、レンズ移動を伴うズーム倍率の変更等が行われると、２つの撮影光学系の光軸がズーム位置に応じてずれるという問題があり、また、全てのズーム範囲にわたった光軸ずれが生じないようにメカ的に光軸を調整することは極めて困難である。
　従来、この問題を解決するために、２つの撮影光学系の光軸ずれをズーム位置毎に記憶した記憶手段を設け、撮影時の撮影光学系のズーム位置に応じて前記記憶手段から対応する光軸ずれを読み出し、この光軸ずれに基づいて撮影された左右の画像のうちの一方の画像の座標を変換し、これにより左右の画像の光軸座標を一致させるようにした立体撮像装置が提案されている（特許文献１）。
　また、特許文献２には、右眼用の撮影情報を得るためのＣＣＤを有する第１レンズ鏡筒と、左眼用の撮影情報を得るためのＣＣＤを有する第２レンズ鏡筒と、これら第１レンズ鏡筒と第２レンズ鏡筒の焦点距離を検出するカメラ検出回路と、各焦点距離における上記第１レンズ鏡筒と第２レンズ鏡筒のそれぞれの光軸中心のずれ量を予め記憶したＥＥＰＲＯＭ等からなるＲＯＭと、このＲＯＭからの出力に基づき各焦点距離における上記左右一対のＣＣＤの内の少なくとも一方における画像切出しエリアを制御するＣＰＵと、を備えた立体撮像装置が開示されている。
特開２００６－１６２９９１号公報 特開平８－３１７４２４号公報
　上記特許文献１、２には、２つの撮影光学系の個体差による光軸ずれを、ズーム位置毎に予め取得されている光軸ずれ量に基づいて、左右の画像のうちの一方の画像の座標を変換し、又は画像の切り出し範囲を変更することにより補正する技術が開示されている。
　しかしながら、特許文献１、２に記載の発明のように、２つの撮影光学系の光軸ずれを、撮影した画像の座標変換、又は画像の切り出し範囲の調整により補正しても、フォーカスレンズのフォーカス位置が変化すると、２つの撮影光学系の光軸がずれるという問題がある。
　本発明はこのような事情に鑑みてなされたもので、被写体距離（フォーカス位置）にかかわらず、複数の撮影光学系の光軸ずれを良好に補正することができ、立体視しやすい複数の画像を得ることができる立体撮像装置を提供することを目的とする。
　前記目的を達成するために本発明の第１側面に係る立体撮像装置は、撮影光学系と該撮影光学系を介して結像される被写体像をそれぞれ光電変換する撮像素子とを有する複数の撮像部であって、互いに視差を有する複数の画像を撮像する複数の撮像部と、予め検出した複数のフォーカス位置に対する各撮影光学系の光軸ずれ量を記憶する記憶部と、前記複数の撮影光学系の現在のフォーカス位置を検出するフォーカス位置検出部と、前記各撮影光学系の光軸ずれ量に基づき、前記フォーカス位置検出部により検出された前記撮影光学系の現在のフォーカス位置に対応する光軸ずれ量を取得する光軸ずれ量取得部と、前記複数の撮像部から立体画像用の複数の画像を取得する撮像制御部と、前記光軸ずれ量取得部により現在のフォーカス位置に対応して取得された光軸ずれ量に基づいて前記撮像制御部により取得された複数の画像に対して立体表示用の画像の切り出し処理を行う画像切出し部と、を備えたことを特徴としている。
　本発明の第１側面によれば、前記光軸ずれ量取得部により現在のフォーカス位置に対応する光軸ずれ量を取得し、この取得した光軸ずれ量に基づいて複数の画像に対して立体表示用の画像の切り出し処理を行うようにしたため、フォーカス位置（被写体距離）にかかわらず、複数の撮影光学系の光軸ずれを良好に補正することができ、立体視しやすい複数の画像を得ることができる。
　本発明の第２側面は、第１側面に記載の立体撮像装置において、前記記憶部は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置の光軸ずれ量を、フォーカス位置に応じて記憶し、前記光軸ずれ量取得部は、現在のフォーカス位置に応じて前記記憶部から対応する光軸ずれ量を読み出す読出部を有することを特徴としている。
　本発明の第３側面は、第１側面に記載の立体撮像装置において、前記記憶部は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置の光軸ずれ量を算出するための２以上のフォーカス位置における光軸ずれ量又は計算式を示す情報を記憶し、前記光軸ずれ量取得部は、前記記憶部に記憶された情報と現在のフォーカス位置とに基づいて光軸ずれ量を算出する算出部を有することを特徴としている。
　本発明の第２側面は、前記記憶部から現在のフォーカス位置に対応する光軸ずれ量を読み出すようにしているが、本発明の第３側面は、前記光軸ずれ量を計算により算出するようにしている。
　本発明の第４側面は、第１側面に記載の立体撮像装置において、前記複数の撮影光学系の現在のズーム位置を検出するズーム位置検出部を更に有し、前記記憶部は更に、予め検出した複数のズーム位置に対する各撮影光学系の光軸ずれ量を記憶することを特徴としている。
　複数の撮影光学系の光軸ずれは、各撮影光学系のフォーカス位置の他に、ズーム位置によっても発生するため、予めフォーカス位置及びズーム位置に応じて光軸ずれ量を記憶部に記憶させておき、撮影時の現在のズーム位置及びフォーカス位置に応じて前記記憶部から対応する光軸ずれ量を読み出すようにしている。これによれば、フォーカス位置（被写体距離）、ズーム位置（撮影倍率）にかかわらず、複数の撮影光学系の光軸ずれを良好に補正することができ、立体視しやすい複数の画像を得ることができる。
　本発明の第５側面は、第４側面に記載の立体撮像装置において、前記記憶部は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置及びズーム位置の光軸ずれ量を、ズーム位置及びフォーカス位置に応じて記憶し、前記光軸ずれ量取得部は、現在のズーム位置及びフォーカス位置に応じて前記記憶部から対応する光軸ずれ量を読み出す読出部を有することを特徴としている。
　本発明の第６側面は、第４側面に記載の立体撮像装置において、前記記憶部は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置の光軸ずれ量を算出するための２以上のフォーカス位置における光軸ずれ量又は計算式を示す情報を、前記撮影光学系のズーム位置に応じて記憶し、前記光軸ずれ量取得部は、前記撮影光学系の現在のズーム位置に基づいて前記記憶部から読み出した情報と現在のフォーカスとに基づいて光軸ずれ量を算出する算出部を有することを特徴としている。
　本発明の第７側面は、第１側面から第６側面のいずれかに記載の立体撮像装置において、所定のディストーション補正式に基づいて前記撮像制御部により取得された複数の画像に対してディストーション補正を行うディストーション補正部を備え、前記光軸ずれ量取得部は、前記所定のディストーション補正式によりディストーション補正された後の光軸ずれ量を取得することを特徴としている。
　複数の撮像部から取得した各画像に対して、それぞれディストーション補正が行われると、そのディストーション補正により光軸中心がずれる。そこで、ディストーション補正後の光軸ずれ量を取得し、この取得した光軸ずれ量に基づいて複数の画像に対して立体表示用の画像の切り出し処理を行うことで、ディストーション補正を行っても、そのディストーション補正の影響を受けない光軸ずれの補正を行うことができる。
　本発明の第８側面は、第７側面に記載の立体撮像装置において、前記撮影光学系の各ズーム位置に対応するディストーション補正式のうちから現在のズーム位置に対応する、前記所定のディストーション補正式を取得するディストーション補正式取得部を備えたことを特徴としている。即ち、ディストーションは、撮影光学系の各ズーム位置により変化するため、現在のズーム位置に対応するディストーションを補正するためのディストーション補正式を取得するようにしている。
　本発明の第９側面は、第８側面に記載の立体撮像装置において、前記複数の撮影光学系の現在のズーム位置を検出するズーム位置検出部を更に有し、前記ディストーション補正式取得部は、前記撮影光学系のズーム位置に対応するディストーション補正式をズーム位置に応じて記憶する記憶部と、現在のズーム位置に応じて前記記憶部から対応するディストーション補正式を読み出す読出部と、を有することを特徴としている。
　本発明の第１０側面は、第７側面から第９側面のいずれかに記載の立体撮像装置において、前記光軸ずれ量取得部は、ディストーション補正前の光軸ずれ量を記憶する記憶部と、前記記憶部から読み出した光軸ずれ量を、前記所定のディストーション補正式に代入してディストーション補正後の光軸ずれ量を算出する算出部と、を有することを特徴としている。
　本発明の第１１側面は、第７側面から第１０側面のいずれかに記載の立体撮像装置において、前記撮像制御部により取得された複数の画像のシェーディング補正を行うシェーディング補正部を更に備え、前記画像切出し部は、前記シェーディング補正部によるシェーディング補正された画像に対して前記画像の切り出し処理を行うことを特徴としている。複数の画像の明るさをシェーディング補正により均一にしてから画像の切り出し処理が行われるため、切り出される複数の画像間で明るさの差のない画像にすることができる。
　本発明の第１２側面は、第７側面から第１１側面のいずれかに記載の立体撮像装置において、前記画像切出し部は、前記ディストーション補正部によるディストーション補正後の画像に対して画像の切り出し処理を行うことを特徴としている。各画像の切り出し範囲によらず、切り出される画像間でディストーションによるずれのない画像の切り出しが可能になる。
　本発明の第１３側面は、第１１側面又は第１２側面に記載の立体撮像装置において、予め設定した枚数又は撮影指示期間中、前記複数の撮像部から時系列の複数の画像を取得する連写モードを選択する部と、前記連写モードにより撮影中の画像を一時記憶する内部記憶部と、を備え、前記シェーディング補正部は、前記連写モードによる撮影終了後に前記内部記憶部に記憶された複数の画像を読み出してシェーディング補正を行うことを特徴としている。連写終了後にシェーディング補正を行うことにより、連写速度の低下を防止することができる。
　本発明の第１４側面は、第７側面から第１０側面のいずれかに記載の立体撮像装置において、撮影モード又は再生モードを選択するモード選択部と、前記モード選択部により選択された撮影モード時に前記撮像制御部により取得された複数の画像とともに、前記ディストーション補正式取得部により取得したディストーション補正式及び前記光軸ずれ量取得部により取得された光軸ずれ量を、前記取得された複数の画像に関連付けて記録媒体に記録する記録部と、を備え、前記ディストーション補正部及び画像切出し部は、前記モード選択部により選択された再生モード時に前記記録媒体から前記複数の画像とともに、該画像に関連付けて記憶された前記ディストーション補正式及び光軸ずれ量を読み出し、該読み出した複数の画像に対してそれぞれ前記ディストーション補正式及び光軸ずれ量に基づいてディストーション補正及び画像の切り出し処理を行うことを特徴としている。撮影時にディストーション補正及び画像の切り出し処理を行わずに、再生時に行うことにより、撮影時の処理量を低減することができ、特に３次元（３Ｄ）動画の撮影時に高精細な３Ｄ動画を高フレームレートで撮影記録することができる。
　本発明の第１５側面は、第１４側面に記載の立体撮像装置において、前記記録部は、前記再生モード時に前記ディストーション補正及び画像の切り出し処理された画像を、前記記録媒体に記録することを特徴としている。
　本発明の第１６側面は、第１側面から第１５側面のいずれかに記載の立体撮像装置において、前記複数の撮像部から出力される複数の画像間の視差量を調整する視差量調整部を備え、前記画像切出し部は、前記立体表示用の画像の切り出し処理時に前記視差量調整部により調整された視差量に基づいて更に切り出し位置を調整した画像の切り出し処理を行うことを特徴としている。これにより、ユーザの好みの視差量をもった複数の画像の切出し処理を行うことができる。
　本発明によれば、複数の撮影光学系のフォーカス位置（被写体距離）に対応する、予め光軸調整時に登録された光軸ずれ量を取得し、この光軸ずれ量に基づいて各画像から立体視用の画像を切り出すようにしたため、フォーカス位置（被写体距離）にかかわらず、立体視用の画像間で、光軸ずれのない立体視しやすい複数の画像を得ることができる。
本発明に係る立体撮像装置の外観を前面からみた斜視図 本発明に係る立体撮像装置の外観を背面からみた図 本発明に係る立体撮像装置の実施形態を示すブロック図 本発明に係る出荷前の光軸調整時の処理の第１の実施形態を示すフローチャート 出荷前の光軸調整時にＥＥＰＲＯＭに記録されるテーブルの第１の例を示す図 本発明に係る立体撮像装置の第１の実施形態の撮影動作を示すフローチャート 出荷前の光軸調整時にＥＥＰＲＯＭに記録されるテーブルの第２の例を示す図 出荷前の光軸調整時にＥＥＰＲＯＭに記録されるテーブルの第３の例を示す図 ディストーション補正の前後で左右の画像の光軸中心がずれる様子を示す図 出荷前の光軸調整時の処理の第２の実施形態を示すフローチャート 出荷前の光軸調整時にＥＥＰＲＯＭに記録されるテーブルの第４の例を示す図 出荷前の光軸調整時にＥＥＰＲＯＭに記録されるテーブルの第４の例を示す図 出荷前の光軸調整時にＥＥＰＲＯＭに記録されるテーブルの第４の例を示す図 本発明に係る立体撮像装置の各撮像モードに応じた撮影動作を示すフローチャート 図１１に示した画像処理の第１の実施形態を示すフローチャート 出荷前の光軸調整時の処理の第３の実施形態を示すフローチャート 計算によりディストーション補正後の光軸ずれ量を算出する実施形態を示すフローチャート 図１１における画像処理の第２の実施形態を示すフローチャート 連写撮影時の画像処理の第１の実施形態を示すフローチャート 連写撮影時の画像処理の第２の実施形態を示すフローチャート 写撮影時の画像処理の第３の実施形態を示すフローチャート 本発明に係る立体撮像装置の撮影処理の第１の実施形態を示すフローチャート 本発明に係る立体撮像装置の再生処理の第１の実施形態を示すフローチャート 本発明に係る立体撮像装置の撮影処理の第２の実施形態を示すフローチャート 本発明に係る立体撮像装置の再生処理の第２の実施形態を示すフローチャート 図１７及び図１８に示した撮影／再生時の第２の実施形態の画像の切り出し処理を説明するために使用した図
　以下、添付図面に従って本発明に係る立体撮像装置の実施の形態について説明する。
　［立体撮像装置の外観］
　図１Ａ及び図１Ｂは本発明に係る立体撮像装置の外観を示す図であり、図１Ａは立体撮像装置を前面側から見た斜視図であり、図１Ｂは背面図である。
　この立体撮像装置（複眼カメラ）１０は、２Ｄ／３Ｄの静止画、及び２Ｄ／３Ｄの動画の記録再生が可能なデジタルカメラであり、図１Ａ及び図１Ｂに示すように薄型の直方体状のカメラ本体の上面には、シャッタボタン１１、ズームボタン１２が配設されている。
　カメラ本体の前面には、カメラ本体の左右方向の幅と略一の幅を有するレンズバリア１３が、カメラ本体の上下方向に移動自在に配設されており、このレンズバリア１３を、二点鎖線で示す位置と実線で示す位置との間で上下方向に移動させることにより、左右一対の撮影光学系14-1，14-2の前面を同時に開閉できるようになっている。尚、撮影光学系14-1，14-2としては、屈曲光学系のズームレンズが使用されている。また、レンズバリア１３によるレンズ前面の開閉動作に連動して、カメラ電源をＯＮ／ＯＦＦさせることができるようになっている。
　図１Ｂに示すようにカメラ本体の背面には、その中央部に３Ｄ用の液晶モニタ１６が配設されている。液晶モニタ１６は、複数の視差画像（右目用画像、左目用画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できるものである。尚、３Ｄ用の液晶モニタ１６としては、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右目用画像と左目用画像とを個別に見ることができるものなどが適用できる。
　上記液晶モニタ１６の左右には、各種の操作スイッチが配設されている。操作スイッチ１８Ａは、静止画撮影と動画撮影とを切り替える切り替えスイッチであり、操作スイッチ１８Ｂは、右目用画像と左目用画像の視差量を調整する視差調整スイッチであり、操作スイッチ１８Ｃは２Ｄ撮影と３Ｄ撮影とを切り替える切り替えスイッチである。また、操作スイッチ１８Ｄは、MENU／OKボタンと再生ボタンとを兼ねたシーソーキーであり、操作スイッチ１８Ｅは、マルチファンクションの十字キーであり、操作スイッチ１８Ｆは、DISP／BACKキーである。
　MENU／OKボタンは、液晶モニタ１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作スイッチである。再生ボタンは、撮影モードから再生モードに切り替えるボタンである。十字キーは、上下左右の４方向の指示を入力する操作スイッチであり、マクロボタン、フラッシュボタン、セルフタイマーボタン等が割り当てられており、また、メニューが選択されている場合には、そのメニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示するスイッチ（カーソル移動操作部）として機能する。また、十字キーの左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。DISP／BACKキーは、液晶モニタ１６の表示形態を切り替えたり、メニュー画面上での指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
　尚、図１Ａ上で、１５はステレオマイクである。
　［立体撮像装置の内部構成］
　図２は上記立体撮像装置１０の実施形態を示すブロック図である。
　図２に示すように、この立体撮像装置１０は、主として複数の撮像部20-1,20-2、中央処理装置（ＣＰＵ）３２、前述したシャッタボタン１１、ズームボタン１２、及び各種の操作スイッチを含む操作部３４、表示制御部３６、液晶モニタ１６、記録制御部３８、圧縮／伸張処理部４２、デジタル信号処理部４４、ＡＥ（Automatic Exposure：自動露出）検出部４６、ＡＦ（Auto Focus：自動焦点）検出部４８、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）検出部５０、ＶＲＡＭ５２、ＲＡＭ５４、ＲＯＭ５６、及びＥＥＰＲＯＭ５８等から構成されている。尚、撮像部20-1,20-2は、互いに視差を有する左眼用画像と右眼用画像の２枚の視差画像を撮像するが、撮像部２０は、３つ以上あってもよい。
　左眼用画像を撮像する撮像部20-1は、プリズム（図示せず）、フォーカスレンズ及びズームレンズ２１からなる撮影光学系14-1(図１Ａ及び図１Ｂ)、絞り２２及びメカシャッタ２３からなる光学ユニットと、固体撮像素子（ＣＣＤ）２４と、アナログ信号処理部２５と、Ａ／Ｄ変換器２６と、画像入力コントローラ２７と、前記光学ユニットを駆動するレンズ駆動部２８、絞り駆動部２９及びシャッタ制御部３０と、ＣＣＤ２４を制御するＣＣＤ制御部３１とを備えている。尚、右眼用画像を撮像する撮像部20-2は、前記左眼用画像を撮像する撮像部20-1と同じ構成を有するため、その具体的な構成の説明は省略する。
　ＣＰＵ３２は、操作部３４からの入力に基づき所定の制御プログラムに従ってカメラ全体の動作を統括制御する。尚、ＲＯＭ５６には、ＣＰＵ３２が実行する制御プログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ５８には、製品出荷前の調整時の調整結果を示す各種の情報、例えばＣＣＤ２４の画素欠陥情報、画像処理等に使用する補正パラメータやテーブル等が記憶されている。尚、ここに記憶される各種の情報の詳細については後述する。
　また、ＶＲＡＭ５２は、液晶モニタ１６に表示する表示用の画像データを一時記憶するメモリであり、ＲＡＭ５４は、ＣＰＵ３２の演算作業用領域及び画像データの一時記憶領域を含んでいる。
　撮影光学系に含まれるフォーカスレンズ及びズームレンズ２１は、レンズ駆動部２８により駆動されて光軸に沿って前後に移動する。ＣＰＵ３２は、レンズ駆動部２８の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作部３４中のズームボタン１２からのズーム指令に応じてズームレンズのズーム位置を制御してズーム倍率を変更させる。
　絞り２２は、例えば、アイリス絞りで構成されており、絞り駆動部２９に駆動されて動作する。ＣＰＵ３２は、絞り駆動部２９を介して絞り２２の開口量（絞り値）を制御し、ＣＣＤ２４への入射光量を制御する。
　メカシャッタ２３は、光路を開閉することによりＣＣＤ２４での露光時間を決めるとともに、ＣＣＤ２４からの画像信号の読み出し時に不要光がＣＣＤ２４に入射しないようにしてスミアの発生を防止する。ＣＰＵ３２は、シャッタ速度に対応する露光終了時点に同期したシャッタ閉信号をシャッタ制御部３０に出力し、メカシャッタ２３を制御する。
　ＣＣＤ２４は、２次元のカラーＣＣＤ固体撮像素子により構成されている。ＣＣＤ２４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。
　上記構成の光学ユニットを介してＣＣＤ受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ３２の指令に従ってＣＣＤ制御部３１から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてＣＣＤ２４から順次読み出される。ＣＣＤ２４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。尚、電子シャッタによりシャッタ速度に対応する電荷蓄積開始時点が制御され、前記メカシャッタ２３を閉じることにより露光終了時点（電荷蓄積終了時点）が制御される。この実施形態では、撮像素子としてＣＣＤ２４を用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。
　ＣＣＤ２４から読み出されたＲ、Ｇ、Ｂのアナログ信号は、アナログ信号処理部２５により相関二重サンプリング（ＣＤＳ）や増幅が行われた後、Ａ／Ｄ変換器２６によりＲ、Ｇ、Ｂのデジタル信号に変換される。
　画像入力コントローラ２７は、所定容量のラインバッファを内蔵しており、Ａ／Ｄ変換器２６によりＡ／Ｄ変換されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)を一時蓄積したのち、バス６０を介してＲＡＭ５４に格納する。
　ＣＰＵ３２は、３Ｄ撮像モード時には左目用画像を撮像する撮像部20-1と同様に右眼用画像を撮像する撮像部20-2を制御する。
　ＡＥ検出部４６は、シャッタボタン１１の半押し時に取り込まれる画像信号に基づいてＡＥ制御に必要な被写体輝度を算出し、被写体輝度（撮影ＥＶ値）を示す信号をＣＰＵ３２に出力する。ＣＰＵ３２は、入力する撮影ＥＶ値に基づいて所定のプログラム線図に従って複数の撮像部20-1,20-2におけるシャッタ速度（露光時間）、絞り値、撮影感度を設定する。
　ＡＦ検出部４８は、シャッタボタン１１の半押し時に取り込まれるＡＦエリアの画像信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をＣＰＵ３２に出力する。ＣＰＵ３２は、フォーカスレンズを至近から無限遠側に移動させ、ＡＦ検出部４８により検出されるＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点調節を行う。尚、動画撮影時には、前記ＡＦ評価値が常に最大値をとるようにフォーカスレンズを移動させる、いわゆる山登り制御が行われる。
　ＡＷＢ検出部５０は、本撮像時に取得されたＲ、Ｇ、Ｂの画像信号に基づいて自動的に光源種（被写界の色温度）を求め、予め光源種別に設定されたＲ、Ｇ、Ｂのホワイトバランスゲイン（ホワイトバランス補正値）を記憶するテーブルから対応するホワイトバランスゲインを読み出す。
　デジタル信号処理部４４は、ホワイトバランス補正回路、階調変換処理回路（例えば、ガンマ補正回路）、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂなどの色信号の空間的なズレを補間して各色信号の位置を合わせる同時化回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＲＡＭ５４に格納されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)に対して画像処理を行う。即ち、Ｒ、Ｇ、ＢのCCDRAWデータは、デジタル信号処理部４４において、ＡＷＢ検出部５０により検出されたホワイトバランスゲインが乗算されてホワイトバランス補正が行われ、その後、階調変換処理（例えば、ガンマ補正）等の所定の処理が施された後、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＣ信号に変換される。デジタル信号処理部４４により処理されたＹＣ信号はＲＡＭ５４に格納される。
　また、デジタル信号処理部４４は、複数の撮像部20-1,20-2の撮影光学系のレンズ歪補正を補正するディストーション補正回路、左右視点画像からそれぞれ所定の切り出しエリアの画像を切り出すことにより複数の撮像部20-1,20-2の撮影光学系の光軸ずれを補正する画像切り出し処理回路を含んで構成されている。尚、ディストーション補正回路及び画像切り出し処理回路の処理内容の詳細については後述する。
　圧縮／伸張処理部４２は、メモリカード４０への記録時にはＣＰＵ３２からの指令に従い、ＲＡＭ５４に格納されたＹＣ信号を圧縮処理し、また、メモリカード４０に記録された圧縮された圧縮データを伸張処理してＹＣ信号にする。記録制御部３８は、圧縮／伸張処理部４２により圧縮された圧縮データを所定形式の画像ファイル（例えば、３Ｄ静止画は、ＭＰ（マルチピクチャ）フォーマットの画像ファイル、３Ｄ動画は、モーションＪＰＥＧ、Ｈ．２６４、ＭＰＥＧ４、ＭＰＥＧ４－ＭＶＣの動画ファイル）にしてメモリカード４０に記録し、又はメモリカード４０から画像ファイルの読み出しを行う。
　液晶モニタ１６は、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩ（グラフィカルユーザインターフェース）として使用される。また、液晶モニタ１６は、撮影モード時に画角を確認するためのライブビュー画像（以下、「スルー画」という）を表示する電子ビューファインダとして利用される。表示制御部３６は、液晶モニタ１６に３Ｄ画像を表示させる場合には、ＶＲＡＭ５２に保持されている左目用画像と右眼用画像とを１画素ずつ交互に表示させる。液晶モニタ１６に設けられているパララックスバリアにより、所定の距離から観察するユーザの左右の眼には、１画素ずつ交互に配列された左右の画像がそれぞれ別々に視認される。これにより、立体視を可能にしている。
　尚、図２には図示されていないが、この立体撮像装置１０は、図１Ａ及び図１Ｂに示したステレオマイク１５により取得した音声情報（オーディオデータ）を記録再生する機能も有している。
　［製品出荷前の光軸調整の第１の実施形態］
　次に、製品出荷前の調整時にＥＥＰＲＯＭ５８に記憶させる光軸調整用の情報について説明する。
　図３は本発明に係る出荷前の光軸調整時の処理の第１の実施形態を示すフローチャートである。
　図３に示すように、まず、フォーカスレンズのフォーカス位置を示す変数Ｎを、Ｎ＝Near（至近端)に設定する（ステップＳ１０）。尚、この変数Ｎは、至近端を示すNear（例えば、１）から無限遠を示すInf(例えば、ｎ)の間で、フォーカス位置に対応して変化する。
　続いて、調整対象の立体撮像装置１０と光軸を調整するための調整用チャートとを所定の位置関係になるようにセットし、立体撮像装置１０の各撮影光学系のフォーカレンズを調整して調整用チャートにピントを合わせる（ステップＳ１２）。尚、調整用チャートは、最初に至近端（Near）に対応する被写体距離に設置される。
　続いて、前記調整用チャートにピントが合うようにフォーカスレンズを移動させた後、そのレンズ位置（フォーカス位置）にて撮影を行い、左右の画像を取得する（ステップＳ１４、Ｓ１６）。
　上記取得した左右の画像からそれぞれ対応する特徴点を検出する対応点検出を行う（ステップＳ１８）。対応点の検出方法としては、例えばブロックマッチング法を適用することができる。即ち、左画像から任意の画素を基準に切り出した所定のブロックサイズのブロックと右画像のブロックとの一致度を評価し、ブロック間の一致度が最大となる時の右画像のブロックの基準の画素を、前記左画像の任意の画素に対応する右画像の画素とする。また、ブロックマッチング法でのブロック間の一致度を評価する関数として、例えば各ブロック内の画素の輝度差の２乗和（ＳＳＤ）を使用するものがある（ＳＳＤブロックマッチング法）。
　上記のようにして対応点が検出されると、対応点のずれ量（複数の対応点を検出した場合には、複数の対応点のずれ量の平均）を検出し、その検出したずれ量を２つの撮影光学系の光軸ずれ量として、フォーカス位置Ｎに関連付けてＥＥＰＲＯＭ５８に記憶させる（ステップＳ２０、Ｓ２２）。
　次に、Ｎ＝Inf(n)になったか否かを判別し（ステップＳ２４）、「Ｎｏ」の場合には、変数Ｎを１だけインクリメントし（ステップ２６）、ステップＳ１２に遷移させ、変数Ｎに対応する被写体距離に調整用チャートを移動させて上記の処理（ステップＳ１２～Ｓ２４）を実施させ、一方、「Ｙｅｓ」の場合には、調整処理を終了する（ステップＳ２８）。
　このようにフォーカスレンズのフォーカス位置を変えながら調整用チャートを撮影して光軸ずれ量を検出することにより、図４に示すように各フォーカス位置ＦＮ（Ｎ＝１、２、…、ｎ）に対応する光軸ずれ量がＥＥＰＲＯＭ５８に記憶される。尚、図４に示す光軸ずれ量は、左右の画像の一方の画像（例えば、左の画像）の光軸中心の座標値に対する、他方（右の画像）の光軸中心の座標値の垂直（Ｖ）方向のずれ量としている。
　［撮影動作の第１の実施形態］
　次に、本発明に係る立体撮像装置１０の第１の実施形態の撮影動作について、図５に示すフローチャートを参照しながら説明する。
　図５において、ＣＰＵ３２は、撮影指示（シャッタボタン１１の全押し（スイッチＳ２のＯＮ））の有無を判別する（ステップＳ３０）。スイッチＳ２がＯＦＦの場合には、液晶モニタ１６には３Ｄスルー画が表示される（ステップＳ３２）。
　この３Ｄスルー画を表示する場合には、左右の撮像部20-1,20-2から時系列で順次取得される左右の画像に対して、図４に示したテーブルから現在のフォーカス位置に対応する左右の画像における光軸ずれ量を読み出し、この光軸ずれ量を相殺するように、フル画角の画像から３Ｄスルー画用の画像を切り出して液晶モニタ１６に出力する。
　これにより、２つの撮像光学系のフォーカス位置毎に異なる光軸ずれが補正された３Ｄスルー画を液晶モニタ１６に表示させることができる。
　一方、スイッチＳ２がＯＮされると、ＣＰＵ３２は、本撮影を開始させる（ステップＳ３４）。
　本撮影により左右のフル画角の画像が取得されると（ステップＳ３４）、フォーカスレンズの現在のフォーカス位置の情報（例えば、フォーカスモータ（ステップモータ）の基準位置からのパルス数）を取得し、この取得した現在のフォーカス位置(Ｆ-pos)に対応する光軸ずれ量をＥＥＰＲＯＭ４８から読み出す（ステップＳ３８）。
　この読み出した光軸ずれ量に基づいてスイッチＳ３６で取得した左右の画像から、前記光軸ずれ量だけ左右の切り出し位置を互いに移動させて画像の切り出し処理を行う（ステップＳ４０）。例えば、光軸ずれ量が＋２（画素）の場合、左の画像の切り出し中心をＶ方向に＋１画素ずらして左の画像を切り出すとともに、右の画像の切り出し中心をＶ方向に－１画素だけずらして右の画像を切り出す。これにより、切り出された画像は、光軸ずれが補正された画像となる。
　上記のようにして切り出された左右の画像は、それぞれ所定の圧縮形式で圧縮した後、メモリカード４０に作成したファイルに記録される（ステップＳ４２）。
　尚、撮像光学系が単焦点レンズの場合には、図３及び図４に示したように事前にフォーカス位置毎に記憶した光軸ずれ量から、現在のフォーカス位置に対応して読み出した光軸ずれ量を使用して画像の切り出しを行うが、本実施形態のように撮像光学系がズームレンズの場合には、そのズームレンズのズーム位置及びフォーカス位置毎に光軸ずれ量を取得する。
　即ち、ズームレンズのズーム位置として、ワイド端のズーム位置（Ｚ１）からテレ端のズーム位置（Ｚ１０）まで１０段階のズーム位置がある場合、ズームレンズを各ズーム位置に移動させ、各ズーム位置毎に、図３のステップＳ１０からステップＳ２６の処理を実行させることにより、ズーム位置及びフォーカス位置毎に光軸ずれ量をＥＥＰＲＯＭ５８に記憶させる。
　図６は上記のようにしてＥＥＰＲＯＭ５８に記憶されたズーム位置及びフォーカス位置毎の光軸ずれ量が記憶されたテーブルの第２の例である。
　この場合、図５のステップＳ３８において、現在のズーム位置及びフォーカス位置を取得し、その取得したズーム位置及びフォーカス位置に対応する光軸ずれ量を、図６に示したテーブルから読み
出すようにする。
　これによれば、左右の撮影光学系のズーム位置及びフォーカス位置にかかわらず、光軸ずれが補正された立体視用の左右の画像を切り出すことができる。
　尚、図６に示したテーブルは、全てのズーム位置及びフォーカス位置に対応する光軸ずれ量を記憶しているが、これに限らず、図７に示すよう２つのフォーカス位置（至近のフォーカス位置(Near)、及び無限遠のフォーカス位置(Inf)）のみ光軸ずれ量を検出記憶し、中間のフォーカス位置における光軸ずれ量は、上記２つのフォーカス位置の光軸ずれ量を中間のフォーカス位置により線形補間することにより算出するようにしてもよい。
　尚、ズーム位置がテレ端側になり、フォーカスレンズの移動量が大きくなる場合には、至近、中間、無限遠の３つのフォーカス位置における光軸ずれ量を検出記憶しておき、至近から中間、又は中間から無限遠で線形補間して光軸ずれ量を算出することが好ましい。
　［ディストーション補正］
　次に、撮影した左右の画像に対して、レンズ歪みによる画像の歪み（樽歪み、糸巻歪み等）を補正するディストーション補正を行う場合について説明する。
　左右の画像に対してディストーション補正を行うと、このディストーション補正により光軸がずれるという問題がある。
　例えば、図８に示すように樽歪みを有する左の画像の光軸中心をＯＬ，右の画像の光軸中心をＯＲとすると、これらの画像のディストーション補正後の光軸中心は、それぞれＯＬ’、ＯＲ’になり、水平及び垂直方向にΔＨ、ΔＶだけ光軸中心がずれることになる。
　また、ディストーション補正は、高次多項式のディストーション補正式に各画素の座標値を代入して計算することにより行うため、計算量が多く、例えば、３Ｄ動画の撮影時に補正精度の高いディストーション補正式を使用してディストーション補正を行う場合には、高精細（ＨＤ）な３Ｄ動画を高フレームレートで撮影記録することが困難であるという問題がある。
　そのため、３Ｄ動画の場合には、ディストーション補正を行わないか、又は次数の低いディストーション補正式を使用し、補正精度の低いディストーション補正を行うことになる。
　一方、３Ｄ静止画のディストーション補正は、撮影後、メモリカードへの書き込みまでの間に行えばよいため、補正精度の高いディストーション補正式を使用して補正精度の高いディストーション補正を行うことができる。
　上記のように３Ｄ動画と３Ｄ静止画とで、補正精度の異なるディストーション補正式を使用した場合、使用するディストーション補正式に応じて、ディストーション補正後の光軸中心がずれるという問題がある。
　以下の実施形態では、補正精度の異なるディストーション補正を行っても、光軸ずれのない画像を取得する方法について説明する。
　［製品出荷前の光軸調整の第２の実施形態］
　図９は本発明に係る出荷前の光軸調整時の処理の第２の実施形態を示すフローチャートである。
　図９に示すように、まず、調整対象の立体撮像装置１０と光軸を調整するための調整用チャートとを所定の位置関係になるようにセットし、立体撮像装置１０の各撮影光学系のフォーカ位置を調整して調整用チャートにピントを合わせる（ステップＳ５０）。
　次に、撮像モードを示す変数Ｍを１にセットする（ステップＳ５２）。ここで、Ｎ＝１は、３Ｄスルー画を液晶モニタ１６に表示させる時の撮像モードを示し、Ｍ＝２は、３Ｄ動画を撮影する時の撮像モードを示し、Ｍ＝３は、３Ｄ静止画を撮影する時の撮像モードを示す。
　続いて、前記調整用チャートを撮影し、左右の画像を取得する（ステップＳ５４、Ｓ５６）。
　上記取得した左右の画像に対して、それぞれ現在の撮像モードＮに対応するディストーション補正を行う（ステップＳ５８）。ここで、ディストーション補正を行うためのディストーション補正式は、撮像モードＮにより補正精度の異なるものが使用される。例えば、スルー画用の撮像モード（Ｍ＝１）では、２次多項式が使用され、動画画用の撮像モード（Ｍ＝２）では、４次多項式が使用され、静止画用の撮像モード（Ｍ＝３）では、６次多項式が使用される。尚、ディストーション補正式の次数が大きいもの程、より精度の高いディストーション補正を行うことができるが、計算量が増加し、補正精度と計算量との関係は、トレードオフの関係にある。
　ステップＳ５８でのディストーション補正後、左右の画像の対応する特徴点を検出する対応点検出を行う（ステップＳ６０）。対応点の検出方法としては、例えばブロックマッチング法を適用することができる。
　上記のようにして対応点が検出されると、対応点のずれ量（複数の対応点を検出した場合には、複数の対応点のずれ量の平均）を検出し、その検出したずれ量を２つの撮影光学系の光軸ずれ量として、撮像モードＭに関連付けてＥＥＰＲＯＭ５８に記憶させる（ステップＳ６２、Ｓ６４）。
　次に、Ｍ＝４になったか否かを判別し（ステップＳ６６）、「Ｎｏ」の場合には、変数Ｍを１だけインクリメントし（ステップＳ６８）、ステップＳ５８に遷移させ、「Ｙｅｓ」の場合には、調整処理を終了する（ステップＳ７０）。
　これにより、各撮像モード（Ｍ＝１、２、３）毎に光軸ずれ量がＥＥＰＲＯＭ５８に記憶される。
　尚、図９では、ズーム位置及びフォーカス位置を変化させた場合の光軸ずれ量の検出記憶については省略されているが、各撮像モード毎にズーム位置及びフォーカス位置を変化させた場合の光軸ずれ量の検出記憶も行う。また、ステップＳ５８におけるディストーション補正は、各ズーム位置に対応するディストーション補正式を使用する。
　図１０Ａ～図１０ＣにＥＥＰＲＯＭ５８に記憶された各撮像モード毎の光軸ずれ量を示すテーブルの一例を示す。
　図１０Ａ～図１０Ｃは、それぞれスルー画用テーブル、静止画用テーブル、及び動画用テーブルを示しており、各テーブルには、ズーム位置毎に左右の画像に対する光軸ずれ量（Ｖ方向の光軸ずれ量）が記憶されている。
　尚、３Ｄ画像の場合、各画像間のＶ方向の光軸ずれが立体視を行う上で問題となるため、Ｖ方向の光軸ずれ量のみを記憶するようにしたが、これに限らず、水平（Ｈ）方向の光軸ずれ量も記憶させるようにしてもよい。
　また、各撮像モード毎及びズーム位置毎のディストーション補正式もＥＥＰＲＯＭ５８に記憶させておく。この場合、ディストーション補正式の一般式は、各ズーム位置毎に同じものを記憶し、各項の係数のみをズーム位置毎に異ならせて記憶させる場合と、ズーム位置毎に異なるディストーション補正式を記憶させる場合とが考えられる。
　また、図１０Ａ～図１０Ｃのテーブルでは、フォーカス位置別の光軸ずれ量は省略されている。
　［撮影動作の第２の実施形態］
　次に、本発明に係る立体撮像装置１０の第２の実施形態の撮影動作について、図１１に示すフローチャートを参照しながら説明する。
　図１Ｂに示した操作スイッチ１８Ａにより動画撮像モードに切り替え、かつ操作スイッチ１８Ｃにより３Ｄ撮像モードに切り替えることにより、３Ｄ動画を撮影する撮像モード（以下、「３Ｄ動画撮像モード」という）に設定することができ、また、操作スイッチ１８Ａにより静止画撮像モードに切り替え、かつ操作スイッチ１８Ｃにより３Ｄ撮像モードに切り替えることにより、３Ｄ静止画を撮影する撮像モード（以下、「３Ｄ静止画撮像モード」という）に設定することができる。
　ステップＳ８０では、上記操作スイッチ１８Ａ、１８Ｃにより撮像モードとして、３Ｄ動画撮像モードが設定されているか、又は３Ｄ静止画撮像モードが設定されているかを判別する。
　撮像モードが３Ｄ動画撮像モードと判別されると、ＣＰＵ３２は、動画撮影の指示（シャッタボタン１１の全押し（スイッチＳ２のＯＮ））の有無を判別する（ステップＳ８２）。スイッチＳ２がＯＦＦの場合には、液晶モニタ１６には３Ｄスルー画が表示される（ステップＳ８４）。
　この３Ｄスルー画を表示する場合には、左右の撮像部20-1,20-2から時系列で順次取得される左右の画像に対して、スルー画用のディストーション補正式（２次多項式）を使用してディストーション補正を行うとともに、図１０Ａに示したスルー画用テーブルから現在のズームレンズのズーム位置に対応する左右の画像における光軸ずれ量をそれぞれ読み出し、これらの光軸ずれ量を相殺するように、ディストーション補正後の画像から３Ｄスルー画用の画像を切り出して液晶モニタ１６に出力する。
　これにより、２つの撮像光学系のズーム位置及びフォーカス位置毎に異なる光軸ずれが補正された３Ｄスルー画を液晶モニタ１６に表示させることができる。
　一方、スイッチＳ２がＯＮされると、ＣＰＵ３２は、３Ｄ動画の撮影を開始させる（ステップＳ８６）。
　３Ｄ動画の撮影が開始されると、左右の撮像部20-1,20-2から時系列で順次取得される左右の画像に対して、ディストーション補正及び画像の切り出し処理等の画像処理、及び記録処理が行われる（ステップＳ８８）。
　［画像処理の第１の実施形態］
　図１２は図１１のステップＳ８８等における画像処理の第１の実施形態を示すフローチャートである。
　同図において、左右の画像が取得されると（ステップＳ８８２）、デジタル信号処理部４４内のディストーション補正回路は、動画用のディストーション補正式（４次多項式）であって、現在のズームレンズのズーム位置に対応するディストーション補正式を使用して前記取得された左右の画像のディストーション補正を行う（ステップＳ８８４）。
　続いて、図１０Ｃの動画用テーブルから現在のズーム位置(Z-pos)及びフォーカス位置に対応する光軸ずれ量を読み出し、読み出した光軸ずれ量に基づいて前記ディストーション補正された左右の画像から、前記光軸ずれ量に応じて切り出し範囲を移動させて画像の切り出し処理を行う（ステップＳ８８６）。これにより、切り出された画像は、光軸ずれが補正された画像となる。
　上記のようにして切り出された左右の画像は、それぞれ所定の圧縮形式で圧縮した後、メモリカード４０に作成した動画ファイルに記録される（ステップＳ８８８）。尚、動画の記録処理は、１秒分の規定のフレーム数（フレームレートが６０フレーム／秒の場合には、６０フレーム）の画像処理が終了毎に行われ、圧縮された動画は、動画ファイルに順次追記される。また、ステレオマイク１５で取得した音声データも１秒毎に圧縮されて動画ファイルに記録される。
　図１１に戻って、スイッチＳ２が再度、ＯＮされたか否かを判別し（ステップＳ９０）、ＯＦＦの場合にはステップＳ８８に遷移して動画の処理を継続し、スイッチＳ２がＯＮされると、３Ｄ動画の撮影を終了させる。
　一方、ステップＳ８０において、３Ｄ静止画撮像モードと判別されると、ＣＰＵ３２は、静止画撮影の指示（スイッチＳ２のＯＮ）の有無を判別する（ステップＳ９２）。スイッチＳ２がＯＦＦの場合には、液晶モニタ１６には３Ｄスルー画が表示される（ステップＳ９４）。この３Ｄスルー画の液晶モニタ１６への表示は、前述のステップＳ８４と同様にして行われる。
　スイッチＳ２がＯＮされると、ＣＰＵ３２は、３Ｄ静止画の撮影を行う（ステップＳ９６）。尚、２段ストロークのシャッタボタンは、全押しされる前の半押し時にスイッチＳ１がＯＮされ、これによりＡＥ処理及びＡＦ処理等の本撮影前の撮影準備動作が行われることは言うまでもない。
　本撮影時に左右の撮像部20-1,20-2から取得される左右の画像は、ステップＳ８８と同様にディストーション補正及び画像の切り出し処理等の画像処理、及び記録処理が行われる（ステップＳ９８）。尚、ステップＳ９８におけるディストーション補正は、補正精度の高い６次多項式のディストーション補正式を使用して行われ、また、画像の切り出し処理は、図１０Ｂの静止画用テーブルから現在のズーム位置及びフォーカス位置に対応して読み出した光軸ずれ量に基づいて行われる。
　［製品出荷前の光軸調整の第３の実施形態］
　図１３は本発明に係る光軸調整時の処理の第３の実施形態を示すフローチャートである。尚、図９に示した第２の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
　図１３に示す第３の実施形態では、図９に示したステップＳ５２、Ｓ５８、Ｓ５６、及びＳ６８の処理が省略されている。
　図９に示した第２の実施形態では、スルー画、動画及び静止画の各撮像モード毎に光軸ずれ量を検出してＥＥＰＲＯＭ５８に記憶させるようにしたが（図１０Ａ～図１０Ｃ参照）、図１３に示す第３の実施形態では、ステップＳ５６で取得された左右の画像に対してディストーション補正を行わずに、左右の画像の対応点検出を行い、左右の画像の光軸ずれ量を検出し（ステップＳＳ６０，Ｓ６２）、この検出した光軸ずれ量をＥＥＰＲＯＭ４８に記憶させる（ステップＳ６４）。尚、ズームレンズのズーム位置及びフォーカス位置毎に光軸ずれ量をＥＥＰＲＯＭ４８に記憶させることは、図９に示した実施形態と同様である。
　即ち、図１３に示す第３の実施形態では、ディストーション補正前の左右の画像の光軸ずれ量を検出記録するようにしており、撮像モード毎の光軸ずれ量の検出記憶は行わない。
　そして、上記ＥＥＰＲＯＭ４８に記憶させたズーム位置毎の光軸ずれ量のテーブルを使用し、図１４に示すように撮影時にディストーション補正後の光軸ずれ量を算出する。
　図１４において、現在の撮像モードの情報と、ズームレンズのズーム位置及びフォーカス位置の情報を取得する（ステップＳ１００、Ｓ１０２）。
　前記取得したズーム位置及びフォーカス位置の情報に基づいてＥＥＰＲＯＭ４８に記憶させたテーブルを参照してズーム位置及びフォーカス位置に対応する光軸ずれ量を取得する（ステップＳ１０４）。また、前記取得した現在の撮像モードと現在のズーム位置に基づいて現在の撮像モード及びズーム位置に対応するディストーション補正式（計算式）を、ＥＥＰＲＯＭ４８から取得する。
　前記取得した計算式に、ステップＳ１０４で取得した光軸ずれ量を代入して計算を行うことにより、ディストーション補正後の光軸ずれ量を算出する（ステップＳ１０６、Ｓ１０８）。
　上記算出された光軸ずれ量は、図１１に示したステップＳ８４、Ｓ８８、Ｓ８８、図１２に示したステップＳ８８６における、画像の切り出し処理に使用される。
　このようにディストーション補正前の光軸ずれ量をＥＥＰＲＯＭ４８に保持しておき、実際の画像の切り出し処理時に、ＥＥＰＲＯＭ４８に保持した値を、ディストーション補正の計算式に当てはめて、ディストーション補正後の光軸ずれ量を算出することにより、ＥＥＰＲＯＭ４８のメモリ容量を少なくすることができ、また、ファームウエア等が変更（ディストーション補正の変更を含む）になった場合でも、切り出し位置の変更が容易にできるようになる。
　尚、図１０Ａ～図１０Ｃに示したように光軸ずれ量のテーブルは、ズーム位置毎に光軸ずれ量を記憶しているが、少なくとも２つのズーム位置（例えば、ワイド端とテレ端）の光軸ずれ量のみを記憶し、前記記憶したズーム位置以外のズーム位置における光軸ずれ量は、前記記憶した少なくとも２つのズーム位置の光軸ずれ量を、現在のズーム位置に応じて線形補間して算出するようにしてもよい。
　［画像処理の第２の実施形態］
　図１５は図１１のステップＳ８８等における画像処理の第２の実施形態を示すフローチャートである。尚、図１２の第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
　図１５に示す画像処理の第２の実施形態は、図１２に示した第１の実施形態と比較して、ディストーション補正を行うステップＳ８８４の前に、シェーディング補正を行うステップＳ８８３が追加されている点で、第１の実施形態と相違する。
　即ち、ステップＳ８８３では、ステップＳ８８２により取得された左右の画像に対して、画角位置に応じてシェーディング補正値が記憶された左右の画像別のテーブル、又は画角位置に応じて計算式により求めたシェーディング補正値により、各画素の輝度を補正（シェーディング補正）する。
　このシェーディング補正により、左右の画像の明るさを均一にしてから、ディストーション補正及び画像の切り出し処理が行われるため、切り出される左右の画像間で明るさの差のない画像にすることができる。
　［連写撮影時の画像処理の第１の実施形態］
　連写撮影される各画像は静止画として鑑賞されるため、３Ｄ静止画と同様な画像処理が要求される。即ち、ディストーション補正は、補正精度の高いディストーション補正式による補正を実施する必要がある。
　一方、連写撮影時の撮影間隔が短い場合には、リアルタイムに補正精度の高いディストーション補正及び画像の切り出し処理等を行うことができない。
　図１６は連写撮影時の画像処理の第１の実施形態を示すフローチャートである。
　連写撮像モードが設定され、連写撮影の指示（スイッチＳ２のＯＮ）が入力されると（ステップＳ１１０）、ＣＰＵ３２は、連写の１コマ分の撮影を実施し（ステップＳ１１２）、左右のフル画角の画像を一旦、ＲＡＭ５４に保存させる（ステップＳ１１４）。
　続いて、スイッチＳ２のＯＮ／ＯＦＦが判別され（ステップＳ１１６）、ＯＮの場合にステップＳ１１２に遷移させ、ＯＦＦの場合にはステップＳ１１８に遷移させる。即ち、スイッチＳ２がＯＮされていると、その間、連写撮影が実行され、左右のフル画角の画像がＲＡＭ５４に保存される。
　スイッチＳ２がＯＦＦされると、ＲＡＭ５４に保存された時系列の左右の画像は、１コマずつ読み出され、連写撮影時のズームレンズのズーム位置及び連写撮像モードに対応するディストーション補正式によりディストーション補正される（ステップＳ１１８）。
　続いて、連写撮影時のズームレンズのズーム位置、フォーカス位置及び連写撮像モードに対応する光軸ずれ量がＥＥＰＲＯＭ５８から読み出され又は計算され、この光軸ずれ量に基づいてディストーション補正されたフル画角の画像から、光軸ずれを補正するための画像の切り出しを行う（ステップＳ１２０）。
　上記のようにして切り出された画像は、圧縮処理等が行われた後、メモリカード４０に記録される（ステップＳ１２２）。
　［連写撮影時の画像処理の第２の実施形態］
　図１７は連写撮影時の画像処理の第２の実施形態を示すフローチャートである。尚、図１６に示した連写撮影時の画像処理の第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
　図１７に示す連写撮影時の画像処理の第２の実施形態は、ステップＳ１１６とＳ１１８との間に、ステップＳ１１７の処理が追加されている点で、第１の実施形態と相違する。
　即ち、ステップＳ１１７では、ＲＡＭ５４に保存された左右の画像に対して、それぞれ画角位置に応じたシェーディング補正を行い、左右の画像の明るさを均一にする。これにより、後段のディストーション補正及び画像の切り出し処理が行われる左右の画像間で明るさの差のない画像にすることができる。
　［連写撮影時の画像処理の第３の実施形態］
　図１８は連写撮影時の画像処理の第３の実施形態を示すフローチャートである。尚、図１６に示した連写撮影時の画像処理の第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
　図１８に示す連写撮影時の画像処理の第３の実施形態は、連写撮影された時系列の複数の画像のうち、ユーザにより保存の指示があった画像のみをメモリカード４０に保存する点で、第１の実施形態と相違する。
　図１８において、スイッチＳ２がＯＦＦされると（ステップＳ１１６）、ＲＡＭ５４に保存された時系列の左右の画像が、撮影順に読み出されて再生される（ステップＳ１３０）。
　いま、連写撮影によりＮ回の３Ｄ画像の撮影が行われると、撮影順を示すＮ＝１～ＮのうちからＮ番目の左右の画像が読み出され、ディストーション補正及び画像の切り出しが行われる（ステップＳ１１８、Ｓ１２０）。この処理後の左右の画像は、液晶モニタ１６に３Ｄ静止画として表示される（ステップＳ１３２）。
　ユーザは、液晶モニタ１６に表示された３Ｄ静止画を見ながら、その画像をメモリカード４０に保存するか否かを判断する（ステップＳ１３４）。「Ｙｅｓ」の場合（例えば、MENU／OKボタンをＯＮにした場合）には、液晶モニタ１６に表示されている３Ｄ静止画がメモリカード４０に保存される。
　一方、「Ｎｏ」の場合（例えば、十字キーの左／右キーによるコマ送り指示がある場合）には、ステップＳ１３０に遷移し、ＲＡＭ５４から次の左右の画像が読み出され、上記と同様の処理が行われる。
　尚、上記実施形態では、スイッチＳ２がＯＮされている期間、連写撮影を行うようにしているが、これに限らず、スイッチＳ２がＯＮされると、予め設定された枚数だけ連写撮影を行うものでもよい。
　［撮影／再生処理の第１の実施形態］
　図１９及び図２０は本発明に係る立体撮像装置１０の撮影／再生処理の第１の実施形態を示すフローチャートである。
　図１９において、立体撮像装置１０を撮影モードにして撮影を開始させると、その撮影時の撮像モード（例えば、３Ｄ動画撮像モード、３Ｄ静止画撮像モード）、ズームレンズのズーム位置、及び光軸ずれ量を、メモリカード４０に記録される画像ファイルのタグに書き込む（ステップＳ１４０）。尚、光軸ずれ量は、撮像モード、ズーム位置、フォーカス位置によりＥＥＰＲＯＭ４８から読み出され、又は計算されたものである。
　また、撮影された左右のフル画角の画像（動画又は静止画）を前記画像ファイルに保存する（ステップＳ１４２）。
　即ち、撮影時には、前述したディストーション補正及び画像の切り出し処理は行わず、補正前の画像と、補正に必要な情報をタグに記録しておく。
　一方、図２０に示すように、立体撮像装置１０を再生モードにして再生を開始させると、メモリカード４０に保存された再生対象の画像ファイルから、左右の画像とともに、タグ情報を読み出す（ステップＳ１５０）。
　そして、前記タグ情報に含まれる撮像モード、ズーム位置により特定されるディストーション補正式を取得し、このディストーション補正式を使用して前記読み出した左右の画像に対してディストーション補正を行う（ステップＳ１５２）。
　続いて、ディストーション補正後の左右の画像から、前記タグ情報に含まれる光軸ずれ量に基づいて光軸ずれを補正するための画像の切り出しを実施する（ステップＳ１５４）。
　このようにして切り出された左右の画像は、切り出し中心が液晶モニタ１６の画面中心になるように表示され（ステップＳ１５６）、これにより光軸ずれのない立体視しやすい３Ｄ画像として表示される。
　上記のようにフル画角の画像を保存することにより、２Ｄの写真プリントを行う場合には、より広角の写真プリントを得ることができる。また、ユーザが２Ｄ再生を選択した場合には、前記切り出した画像のうちのいずれか一方の切り出した画像を再生することもできる。これによれば、３Ｄ再生時に目が疲れて、２Ｄ再生に切り替えた場合でも、３Ｄ画像の画角サイズが分かるようになる。
　尚、この実施形態では、光軸ずれ量をタグ情報として記録するようにしたが、光軸ずれ量の代わりに、光軸中心の座標又は切り出し範囲の対角の座標を記録してもよく、要は光軸ずれを補正することができる画像切り出しの情報であれば、いかなるものでもよい。
　また、３Ｄ再生時にディストーション補正及び画像の切り出し処理をした画像を、メモリカード４０に記録することもできる。この場合、オリジナルの画像ファイルを消去してもよいし、両者の画像ファイルを併存させるようにしてもよい。
　［撮影／再生処理の第２の実施形態］
　図２１及び図２２は本発明に係る立体撮像装置１０の撮影／再生処理の第２の実施形態を示すフローチャートである。
　図２１において、立体撮像装置１０を撮影モードにして撮影を開始させると、撮影された左右のフル画角の画像（動画又は静止画）に対して、各種の補正処理を実施する（ステップＳ１６０）。ここでの画像処理は、左右の画像の光軸ずれを補正するための画像の切り出し処理を除いた他の画像処理であり、ホワイトバランス補正、ガンマ補正、シェーディング補正及びディストーション補正等を含むものである。
　画像処理が施された左右の画像は、所定の圧縮形式で圧縮された後、メモリカード４０に保存される（ステップＳ１６２）。
　一方、図２２に示すように、立体撮像装置１０を再生モードにして再生を開始させると、メモリカード４０に保存された再生対象の画像ファイルから、左右の画像を読み出す（ステップＳ１７０）。
　続いて、左右の画像の対応する特徴点を検出する対応点検出を実施し、左右の画像の光軸ずれを補正するための情報を取得する（ステップＳ１７２）。対応点検出は、例えば、ブロックマッチング法により行うことができる。
　左右の画像のうちの一方の画像（例えば、左の画像）を基準にして、左の画像の各画素について、他方の画像（右の画像）上の対応する画素を、対応点検出により求める。この対応点検出を行うと、左右の画像間で、対応点が検出できる領域と、対応点が検出できない領域とを求めることができる。そして、左右の画像の対応点が検出できる領域の最外周の４辺で囲まれた領域をそれぞれ検出することにより、左右の画像の光軸ずれを補正するための情報を取得することができる。
　即ち、上記４辺で囲まれた領域の中心が、全画角の画素から立体視用の画像を切り出す切り出し領域となり、また、４辺で囲まれた領域の中心が切り出し中心となる。
　左右のフル画角の画像から、それぞれ上記のようにして求めた切り出し領域により切り出された左右の画像は、その切り出し中心が液晶モニタ１６の画面中心になるように表示される（ステップＳ１７４）。これにより光軸ずれのない立体視しやすい３Ｄ画像として表示される。
　例えば、図２３に示すように左右のフル画角の画像から、対応点検出により求めた点線で示す切り出し領域（切り出し開始点又は切り出し中心と、切り出しサイズにより特定される領域）を切り出し、それぞれ切り出された画像（左右の重なり部分）が、立体視用の画像として液晶モニタ１６に表示される。このとき、左右の画像の切り出し中心は、一致して表示されるため、左右の画像の光軸ずれ（Ｖ方向のずれ）は補正される。
　尚、上記の例では、左右の画像の重なり部分のみを表示するようにしたが、これに限らず、下記のａ）～ｃ）に示すような表示を行うようにしてもよい。
　ａ）左右の画像で重ならない部分に関しては、そのまま表示する。これにより、重なっている部分は３Ｄ表示され、重ならない部分は、２Ｄ表示されることになる。
　ｂ）３Ｄ表示する場合に、左右の画像で重ならない部分には、額縁などの模様を配置する。
　ｃ）３Ｄ表示する場合に、左右の画像で重ならない部分は、削除（黒塗り、又は白抜き）する。
　［その他］
　画像の切り出しが行われた左右の画像の切り出し中心は、ほぼ同じ被写体が存在するため、左右の画像の切り出し中心部分のＭＴＦ（modulation transfer function）測定を行い、左右の画像の解像度の差を計算する。そして、左右の画像に対する画質設定（輪郭強調、ガンマ補正）等を変更することにより、左右の画像の解像度を均一にすることができる。
　また、この立体撮像装置１０は、３Ｄスルー画を液晶モニタ１６に表示させることができるようになっており、ユーザはこの３Ｄスルー画を見ながら視差調整スイッチ１８Ｂ（図１Ｂ）を操作することにより、３Ｄ画像（動画又は静止画）の視差量を調整することができる。
　即ち、視差調整スイッチ１８Ｂを＋方向、又は－方向に操作することにより、３Ｄ画像の視差量（視差調整値）を増減することができる。
　画像の切り出し処理時に、光軸ずれ量の情報と上記視差調整値（左右の画像のＨ方向のずらし量）を使用して画像の切り出しを行うことにより、Ｖ方向の光軸ずれのない、ユーザの好みの立体感をもった３Ｄ画像の記録、再生を行うことができる。
　尚、補正精度の異なるディストーション補正を実施する複数の撮像モードは、この実施形態に限らず、ディストーション補正を実施しない撮像モードや、魚眼撮像モードのようにディストーションを強調する撮像モードを含んでいてもよい。
　また、この実施形態では、ディストーション補正後の画像に対して画像の切り出し処理を行うようにしたが、これとは逆に、光軸ずれを補正するための画像の切り出し処理を行った画像に対してディストーション補正を行うようにしてもよい。この場合の画像の切り出し処理は、後段のディストーション補正による光軸ずれを考慮して、画像の切り出し処理を行うことは言うまでもない。
　また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１０…立体撮像装置、１１…シャッタボタン、１２…ズームボタン、14-1,14-2…撮影光学系、１６…液晶モニタ、20-1,20-2…撮像部、２１…フォーカスレンズ及びズームレンズ、２４…ＣＣＤ、２５…アナログ信号処理部、３２…中央処理装置（ＣＰＵ）、３４…操作部、４４…デジタル信号処理部、５４…ＲＡＭ、５６…ＲＯＭ、５８…ＥＥＰＲＯＭ

Claims (16)

  1. 　撮影光学系と該撮影光学系を介して結像される被写体像をそれぞれ光電変換する撮像素子とを有する複数の撮像部であって、互いに視差を有する複数の画像を撮像する複数の撮像部と、
    　予め検出した複数のフォーカス位置に対する各撮影光学系の光軸ずれ量を記憶する記憶部と、
    　前記複数の撮影光学系の現在のフォーカス位置を検出するフォーカス位置検出部と、
    　前記各撮影光学系の光軸ずれ量に基づき、前記フォーカス位置検出部により検出された前記撮影光学系の現在のフォーカス位置に対応する光軸ずれ量を取得する光軸ずれ量取得部と、
    　前記複数の撮像部から立体画像用の複数の画像を取得する撮像制御部と、
    　前記光軸ずれ量取得部により現在のフォーカス位置に対応して取得された光軸ずれ量に基づいて前記撮像制御部により取得された複数の画像に対して立体表示用の画像の切り出し処理を行う画像切出し部と、
    　を備えたことを特徴とする立体撮像装置。
  2. 　前記記憶部は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置の光軸ずれ量を、フォーカス位置に応じて記憶し、
    前記光軸ずれ量取得部は、現在のフォーカス位置に応じて前記記憶部から対応する光軸ずれ量を読み出す読出部を有することを特徴とする請求項１に記載の立体撮像装置。
  3. 　前記記憶部は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置の光軸ずれ量を算出するための２以上のフォーカス位置における光軸ずれ量又は計算式を示す情報を記憶し、
    　前記光軸ずれ量取得部は、前記記憶部に記憶された情報と現在のフォーカス位置とに基づいて光軸ずれ量を算出する算出部を有することを特徴とする請求項１に記載の立体撮像装置。
  4. 　前記複数の撮影光学系の現在のズーム位置を検出するズーム位置検出部を更に有し、　前記記憶部は更に、予め検出した複数のズーム位置に対する各撮影光学系の光軸ずれ量を記憶することを特徴とする請求項１に記載の立体撮像装置。
  5. 　前記記憶部は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置及びズーム位置の光軸ずれ量を、ズーム位置及びフォーカス位置に応じて記憶し、　前記光軸ずれ量取得部は、現在のズーム位置及びフォーカス位置に応じて前記記憶部から対応する光軸ずれ量を読み出す読出部を有することを特徴とする請求項４に記載の立体撮像装置。
  6. 　前記記憶部は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置の光軸ずれ量を算出するための２以上のフォーカス位置における光軸ずれ量又は計算式を示す情報を、前記撮影光学系のズーム位置に応じて記憶し、
    　前記光軸ずれ量取得部は、前記撮影光学系の現在のズーム位置に基づいて前記記憶部から読み出した情報と現在のフォーカスとに基づいて光軸ずれ量を算出する算出部を有することを特徴とする請求項４に記載の立体撮像装置。
  7. 　所定のディストーション補正式に基づいて前記撮像制御部により取得された複数の画像に対してディストーション補正を行うディストーション補正部を備え、
    　前記光軸ずれ量取得部は、前記所定のディストーション補正式によりディストーション補正された後の光軸ずれ量を取得することを特徴とする請求項１から６のいずれかに記載の立体撮像装置。
  8. 　前記撮影光学系の各ズーム位置に対応するディストーション補正式のうちから現在のズーム位置に対応する、前記所定のディストーション補正式を取得するディストーション補正式取得部を備えたことを特徴とする請求項７に記載の立体撮像装置。
  9. 　前記複数の撮影光学系の現在のズーム位置を検出するズーム位置検出部を更に有し、　前記ディストーション補正式取得部は、前記撮影光学系のズーム位置に対応するディストーション補正式をズーム位置に応じて記憶する記憶部と、現在のズーム位置に応じて前記記憶部から対応するディストーション補正式を読み出す読出部と、を有することを特徴とする請求項８に記載の立体撮像装置。
  10. 　前記光軸ずれ量取得部は、ディストーション補正前の光軸ずれ量を記憶する記憶部と、前記記憶部から読み出した光軸ずれ量を、前記所定のディストーション補正式に代入してディストーション補正後の光軸ずれ量を算出する算出部と、を有することを特徴とする請求項７から９のいずれかに記載の立体撮像装置。
  11. 　前記撮像制御部により取得された複数の画像のシェーディング補正を行うシェーディング補正部を更に備え、
    　前記画像切出し部は、前記シェーディング補正部によるシェーディング補正された画像に対して前記画像の切り出し処理を行うことを特徴とする請求項７から１０のいずれかに記載の立体撮像装置。
  12. 　前記画像切出し部は、前記ディストーション補正部によるディストーション補正後の画像に対して画像の切り出し処理を行うことを特徴とする請求項７から１１のいずれかに記載の立体撮像装置。
  13. 　予め設定した枚数又は撮影指示期間中、前記複数の撮像部から時系列の複数の画像を取得する連写モードを選択する部と、
    　前記連写モードにより撮影中の画像を一時記憶する内部記憶部と、を備え、
    　前記シェーディング補正部は、前記連写モードによる撮影終了後に前記内部記憶部に記憶された複数の画像を読み出してシェーディング補正を行うことを特徴とする請求項１１又は１２に記載の立体撮像装置。
  14. 　撮影モード又は再生モードを選択するモード選択部と、
    　前記モード選択部により選択された撮影モード時に前記撮像制御部により取得された複数の画像とともに、前記ディストーション補正式取得部により取得したディストーション補正式及び前記光軸ずれ量取得部により取得された光軸ずれ量を、前記取得された複数の画像に関連付けて記録媒体に記録する記録部と、を備え、
    　前記ディストーション補正部及び画像切出し部は、前記モード選択部により選択された再生モード時に前記記録媒体から前記複数の画像とともに、該画像に関連付けて記憶された前記ディストーション補正式及び光軸ずれ量を読み出し、該読み出した複数の画像に対してそれぞれ前記ディストーション補正式及び光軸ずれ量に基づいてディストーション補正及び画像の切り出し処理を行うことを特徴とする請求項７から１０のいずれかに記載の立体撮像装置。
  15. 　前記記録部は、前記再生モード時に前記ディストーション補正及び画像の切り出し処理された画像を、前記記録媒体に記録することを特徴とする請求項１４に記載の立体撮像装置。
  16. 　前記複数の撮像部から出力される複数の画像間の視差量を調整する視差量調整部を備え、
    　前記画像切出し部は、前記立体表示用の画像の切り出し処理時に前記視差量調整部により調整された視差量に基づいて更に切り出し位置を調整した画像の切り出し処理を行うことを特徴とする請求項１から１５のいずれかに記載の立体撮像装置。
PCT/JP2010/070778 2010-03-31 2010-11-22 立体撮像装置 WO2011121841A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011534949A JP4897940B2 (ja) 2010-03-31 2010-11-22 立体撮像装置
US13/202,721 US8502863B2 (en) 2010-03-31 2010-11-22 Stereoscopic imaging apparatus
EP10845971.0A EP2391119B1 (en) 2010-03-31 2010-11-22 3d-image capturing device
BRPI1008318A BRPI1008318A2 (pt) 2010-03-31 2010-11-22 "aparelho de formação de imagem estereoscópica"
CN201080013467.XA CN102362487B (zh) 2010-03-31 2010-11-22 立体成像设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010081052 2010-03-31
JP2010-081052 2010-03-31

Publications (1)

Publication Number Publication Date
WO2011121841A1 true WO2011121841A1 (ja) 2011-10-06

Family

ID=44711615

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/070778 WO2011121841A1 (ja) 2010-03-31 2010-11-22 立体撮像装置

Country Status (6)

Country Link
US (1) US8502863B2 (ja)
EP (1) EP2391119B1 (ja)
JP (2) JP4897940B2 (ja)
CN (1) CN102362487B (ja)
BR (1) BRPI1008318A2 (ja)
WO (1) WO2011121841A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013132797A1 (ja) * 2012-03-08 2013-09-12 パナソニック株式会社 立体視用映像撮影装置、および立体視用映像撮影方法
JP2018133746A (ja) * 2017-02-16 2018-08-23 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2018157479A (ja) * 2017-03-21 2018-10-04 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び、プログラム
JP6404525B2 (ja) * 2016-05-17 2018-10-10 株式会社オプティム 全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラム
JP2020519930A (ja) * 2017-04-24 2020-07-02 アルコン インコーポレイティド 立体視覚化カメラ及びプラットフォーム
JP2022521653A (ja) * 2020-01-19 2022-04-12 深▲セン▼市商湯科技有限公司 視差補正方法および装置並びに記憶媒体

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011139296A (ja) * 2009-12-28 2011-07-14 Sony Corp 映像信号処理装置及び映像信号処理方法
JP4897940B2 (ja) * 2010-03-31 2012-03-14 富士フイルム株式会社 立体撮像装置
JP5682291B2 (ja) * 2010-12-20 2015-03-11 ソニー株式会社 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法
KR101207343B1 (ko) * 2012-08-30 2012-12-04 재단법인대구경북과학기술원 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
FR2997810B1 (fr) * 2012-11-07 2016-01-29 Stereolabs Alignement automatique des cameras dans un systeme 3d
WO2014147957A1 (ja) 2013-03-21 2014-09-25 パナソニック株式会社 画像処理方法及び画像処理装置
US20150215530A1 (en) * 2014-01-27 2015-07-30 Microsoft Corporation Universal capture
US9262801B2 (en) * 2014-04-01 2016-02-16 Gopro, Inc. Image taping in a multi-camera array
CN106131448B (zh) * 2016-07-22 2019-05-10 石家庄爱赛科技有限公司 可自动调节成像亮度的三维立体视觉***
JP6912313B2 (ja) * 2017-07-31 2021-08-04 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 画像処理装置、カメラ装置及び画像処理方法
CN111512236B (zh) * 2017-12-22 2023-01-24 Asml荷兰有限公司 涉及光学像差的图案化过程改进
JP7140580B2 (ja) * 2018-07-13 2022-09-21 マクセル株式会社 ステレオ撮像装置
EP4158889A4 (en) * 2020-05-26 2024-06-19 Unify Medical GENERATION OF THREE-DIMENSIONAL IMAGES WITH DIGITAL MAGNIFICATION
CN111601148B (zh) * 2020-05-29 2022-02-22 广州酷狗计算机科技有限公司 信息展示方法、装置、终端和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795623A (ja) * 1993-06-25 1995-04-07 Sanyo Electric Co Ltd 立体撮像装置
JPH08317424A (ja) 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
JPH08336165A (ja) * 1995-06-09 1996-12-17 Canon Inc 複眼撮像装置
JPH11355813A (ja) * 1998-06-04 1999-12-24 Honda Motor Co Ltd カメラの内部パラメータ決定装置
JP2004145022A (ja) * 2002-10-24 2004-05-20 Fuji Photo Film Co Ltd デジタルカメラ
JP2006162991A (ja) 2004-12-07 2006-06-22 Fuji Photo Film Co Ltd 立体画像撮影装置
WO2006064770A1 (ja) * 2004-12-16 2006-06-22 Matsushita Electric Industrial Co., Ltd. 撮像装置
JP2007282245A (ja) * 2006-04-10 2007-10-25 Sony Taiwan Ltd 画像合成装置及び画像合成方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11325890A (ja) * 1998-05-14 1999-11-26 Fuji Heavy Ind Ltd ステレオカメラの画像補正装置
JP4012710B2 (ja) * 2001-02-14 2007-11-21 株式会社リコー 画像入力装置
JP3971246B2 (ja) * 2002-06-03 2007-09-05 富士フイルム株式会社 デジタル撮影装置
US20040001138A1 (en) * 2002-06-27 2004-01-01 Weerashinghe W.A. Chaminda P. Stereoscopic panoramic video generation system
JP4397573B2 (ja) 2002-10-02 2010-01-13 本田技研工業株式会社 画像処理装置
EP1617684A4 (en) * 2003-04-17 2009-06-03 Sharp Kk THREE-DIMENSIONAL IMAGE CREATION DEVICE, THREE-DIMENSIONAL IMAGE REPRODUCING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME
JPWO2004106857A1 (ja) 2003-05-29 2006-07-20 オリンパス株式会社 ステレオ光学モジュール及びステレオカメラ
US7596286B2 (en) * 2003-08-06 2009-09-29 Sony Corporation Image processing apparatus, image processing system, imaging apparatus and image processing method
JP3743828B2 (ja) * 2003-10-14 2006-02-08 カシオ計算機株式会社 電子カメラ
JP4483261B2 (ja) * 2003-10-24 2010-06-16 ソニー株式会社 立体視画像処理装置
JP4104571B2 (ja) * 2004-03-29 2008-06-18 三洋電機株式会社 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
WO2006062325A1 (en) 2004-12-06 2006-06-15 Electronics And Telecommunications Research Institute Apparatus for correcting image distortion of stereo-camera and method thereof
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
CN101641951B (zh) * 2006-09-15 2012-10-24 数字光学欧洲有限公司 改进影像质量的成像***及相关方法
JP4406937B2 (ja) * 2006-12-01 2010-02-03 富士フイルム株式会社 撮影装置
JP4714174B2 (ja) * 2007-03-27 2011-06-29 富士フイルム株式会社 撮像装置
JP2009094780A (ja) * 2007-10-09 2009-04-30 Olympus Corp 撮像装置
CN101715064A (zh) * 2008-10-06 2010-05-26 鸿富锦精密工业（深圳）有限公司 影像撷取装置及其影像拍摄方法
JP4897940B2 (ja) * 2010-03-31 2012-03-14 富士フイルム株式会社 立体撮像装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795623A (ja) * 1993-06-25 1995-04-07 Sanyo Electric Co Ltd 立体撮像装置
JPH08317424A (ja) 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
JPH08336165A (ja) * 1995-06-09 1996-12-17 Canon Inc 複眼撮像装置
JPH11355813A (ja) * 1998-06-04 1999-12-24 Honda Motor Co Ltd カメラの内部パラメータ決定装置
JP2004145022A (ja) * 2002-10-24 2004-05-20 Fuji Photo Film Co Ltd デジタルカメラ
JP2006162991A (ja) 2004-12-07 2006-06-22 Fuji Photo Film Co Ltd 立体画像撮影装置
WO2006064770A1 (ja) * 2004-12-16 2006-06-22 Matsushita Electric Industrial Co., Ltd. 撮像装置
JP2007282245A (ja) * 2006-04-10 2007-10-25 Sony Taiwan Ltd 画像合成装置及び画像合成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2391119A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013132797A1 (ja) * 2012-03-08 2013-09-12 パナソニック株式会社 立体視用映像撮影装置、および立体視用映像撮影方法
JP5362157B1 (ja) * 2012-03-08 2013-12-11 パナソニック株式会社 立体視用映像撮影装置、および立体視用映像撮影方法
JP6404525B2 (ja) * 2016-05-17 2018-10-10 株式会社オプティム 全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラム
JPWO2017199352A1 (ja) * 2016-05-17 2018-10-18 株式会社オプティム 全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラム
JP2018133746A (ja) * 2017-02-16 2018-08-23 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
US10438402B2 (en) 2017-02-16 2019-10-08 Canon Kabushiki Kaisha Image processing apparatus, image processing system, image processing method, and storage medium
JP2018157479A (ja) * 2017-03-21 2018-10-04 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び、プログラム
JP2020519930A (ja) * 2017-04-24 2020-07-02 アルコン インコーポレイティド 立体視覚化カメラ及びプラットフォーム
JP2022521653A (ja) * 2020-01-19 2022-04-12 深▲セン▼市商湯科技有限公司 視差補正方法および装置並びに記憶媒体

Also Published As

Publication number Publication date
JP4897940B2 (ja) 2012-03-14
JP2012093779A (ja) 2012-05-17
BRPI1008318A2 (pt) 2018-03-06
EP2391119B1 (en) 2015-06-03
JP5584677B2 (ja) 2014-09-03
EP2391119A1 (en) 2011-11-30
US8502863B2 (en) 2013-08-06
CN102362487A (zh) 2012-02-22
JPWO2011121841A1 (ja) 2013-07-04
CN102362487B (zh) 2014-09-10
US20120038753A1 (en) 2012-02-16
EP2391119A4 (en) 2012-08-01

Similar Documents

Publication Publication Date Title
JP4897940B2 (ja) 立体撮像装置
JP4875225B2 (ja) 立体撮像装置
US9560341B2 (en) Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device
JP5166650B2 (ja) 立体撮像装置、画像再生装置及び編集ソフトウエア
US8736671B2 (en) Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device
JP5722975B2 (ja) 撮像装置、撮像装置用シェーディング補正方法及び撮像装置用プログラム
JP5426262B2 (ja) 複眼撮像装置
US9310672B2 (en) Stereoscopic image capturing device and method of controlling thereof
JP5466773B2 (ja) 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法
JP2010237582A (ja) 立体撮像装置および立体撮像方法
WO2012101916A1 (ja) 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法
JP2010204385A (ja) 立体撮像装置および立体撮像方法
JP5351298B2 (ja) 複眼撮像装置
JP5015340B2 (ja) 複眼撮像装置
JP2010200024A (ja) 立体画像表示装置および立体画像表示方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080013467.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011534949

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13202721

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010845971

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10845971

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI1008318

Country of ref document: BR

ENP Entry into the national phase

Ref document number: PI1008318

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20110825