WO2011121837A1 - 立体撮像装置、画像再生装置及び編集ソフトウエア - Google Patents

立体撮像装置、画像再生装置及び編集ソフトウエア Download PDF

Info

Publication number
WO2011121837A1
WO2011121837A1 PCT/JP2010/069913 JP2010069913W WO2011121837A1 WO 2011121837 A1 WO2011121837 A1 WO 2011121837A1 JP 2010069913 W JP2010069913 W JP 2010069913W WO 2011121837 A1 WO2011121837 A1 WO 2011121837A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
time
parallax images
read
unit
Prior art date
Application number
PCT/JP2010/069913
Other languages
English (en)
French (fr)
Inventor
林　淳司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to US13/638,555 priority Critical patent/US9256116B2/en
Priority to CN201080065964.4A priority patent/CN102860015B/zh
Priority to JP2012508018A priority patent/JP5166650B2/ja
Publication of WO2011121837A1 publication Critical patent/WO2011121837A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the present disclosure relates to a stereoscopic imaging apparatus, and more particularly, to a stereoscopic imaging apparatus that captures a plurality of parallax images having parallax with each other.
  • Patent Document 1 discloses a first lens barrel having a CCD for obtaining photographing information for the right eye, a second lens barrel having a CCD for obtaining photographing information for the left eye, and these first lenses.
  • a camera detection circuit for detecting the focal length of the lens barrel and the second lens barrel, an EEPROM that stores in advance the shift amounts of the optical axis centers of the first lens barrel and the second lens barrel at each focal length, and the like
  • a CPU for controlling an image cut-out area in at least one of the pair of left and right CCDs at each focal length based on an output from the ROM.
  • Patent Document 2 an approximate expression for coordinate correction based on the lens center is set for the lens characteristics of the stereo camera, and the projection coordinates of the target image captured by the camera are corrected based on the approximate expression.
  • An image processing apparatus is disclosed.
  • Patent Document 3 high-definition imaging is performed using a plurality of imaging elements, and each of these imaging outputs is converted into a digital image, and then divided into a plurality of image areas by an image dividing circuit.
  • An image processing apparatus is disclosed that can perform high-speed image processing at a moving image rate even in the case of a high-definition image by performing image processing on regions in parallel.
  • Patent Document 1 discloses a technique for generating a right-and-left viewpoint image suitable for stereoscopic viewing by changing an image cut-out area based on an optical axis shift due to individual differences between two photographing lenses. Discloses a technique for correcting image distortion due to lens distortion.
  • image clipping processing for correcting optical axis misalignment due to individual differences between shooting lenses and image distortion correction processing due to lens distortion may be performed after shooting until writing to the memory card.
  • image clipping processing for correcting optical axis misalignment due to individual differences between shooting lenses and image distortion correction processing due to lens distortion may be performed after shooting until writing to the memory card.
  • it is necessary to write it in a memory card in real time.
  • it is difficult to perform heavy lens distortion correction processing on moving images when shooting moving images where imaging processing, image processing, and compression processing are concentrated, especially when shooting and recording high definition (HD) moving images at a high frame rate. It is difficult.
  • HD high definition
  • Patent Document 3 discloses an image processing apparatus that can perform high-speed image processing at a moving image rate even in the case of a high-definition image.
  • the image processing apparatus described in Cited Document 3 divides a processing region. Since parallel processing is performed, the circuit configuration becomes complicated and expensive. Further, the image processing described in Patent Document 3 is shading correction, is not distortion correction processing of an image with complicated calculation, and is not processing for a three-dimensional (3D) moving image.
  • the present disclosure has been made in view of such circumstances, and is capable of capturing and recording a high-definition 3D moving image at a high frame rate and capable of correcting aberrations such as heavy lens distortion. It is an object of the present invention to provide an apparatus, an image reproducing apparatus and editing software for a 3D moving image photographed by the stereoscopic imaging apparatus.
  • a stereoscopic imaging apparatus includes a plurality of imaging units each including an imaging optical system and imaging elements that photoelectrically convert subject images formed through the imaging optical system.
  • a plurality of imaging units that capture parallax images having parallax with each other, and an optical axis center position and clipping size of each imaging optical system, or a clipping area centered on the optical axis center position of each imaging optical system
  • the first information is information for correcting a deviation amount of the optical axis center of each imaging optical system, which is acquired in advance by inspection of each imaging optical system of a plurality of imaging units before product shipment.
  • the second information is information acquired in advance by inspection of each imaging optical system of a plurality of imaging units before product shipment, and is information indicating aberrations such as distortion and chromatic aberration of each imaging optical system. .
  • the first and second information are stored in advance in a nonvolatile storage unit such as an EEPROM.
  • the stereoscopic imaging apparatus records the first information and the second information in association with a plurality of time-series parallax images (3D moving images) obtained by moving image shooting, and lens distortion during moving image shooting.
  • a high-definition 3D moving image can be captured and recorded at a high frame rate.
  • the first information is for a parallax image before correcting the aberration of the photographing optical system or a parallax image after correcting the aberration.
  • Information may be information based on a parallax image (a parallax image including aberration) before correction processing corresponding to the aberration of the photographing optical system, or corresponds to the aberration of the photographing optical system.
  • Information based on a corrected parallax image may be used.
  • the stereoscopic imaging apparatus according to the first aspect or the second aspect further includes a parallax amount adjusting unit that adjusts a parallax amount between the plurality of parallax images output from the plurality of imaging units.
  • the recording unit records third information indicating the parallax amount adjusted by the parallax amount adjusting unit in association with the plurality of parallax images on the recording medium.
  • the third information is information indicating a shift amount in the left-right direction between a plurality of parallax images, and is information for adjusting the intensity of parallax.
  • the photographing optical system is a zoom lens
  • the storage unit is provided for each zoom position of the zoom lens.
  • the first information and second information are stored, and the recording unit stores all the first information and second information for each zoom position stored in the storage unit and the zoom at the time of moving image shooting.
  • Information indicating the time-series zoom position of the lens or the time-series first information and second information read from the storage unit based on the zoom position of the zoom lens at the time of moving image shooting is the plurality of parallaxes.
  • the image is recorded on the recording medium in association with the image.
  • the storage unit stores the first information and the second information for each zoom position of the zoom lens, and the first information and the second information for each zoom position at the time of moving image shooting. And information indicating the zoom position of the time-series zoom lens in association with the 3D moving image, or first time-series information read from the storage unit based on the zoom position of the zoom lens at the time of moving image shooting, and The second information is recorded in association with the 3D moving image.
  • the stereoscopic imaging device includes a plurality of time-series parallax images, the first information, and the second information from the recording medium.
  • a readout unit that reads out information; and the readout time-series plural parallax images are cut out for stereoscopic display based on the read out first information, and the aberration is corrected based on the read out second information.
  • An image processing unit that generates a plurality of time-series parallax images, and an output unit that outputs the plurality of time-series parallax images generated by the image processing unit to a stereoscopic display unit in the apparatus or an external stereoscopic display unit And further comprising.
  • the stereoscopic imaging device reads a plurality of time-series parallax images, the first information, and the second information from the recording medium during reproduction, and reads the read time-series parallax images.
  • An image is generated, and a plurality of time-series parallax images (3D moving images) in which the optical axis deviation is corrected and the aberration is corrected are output to a stereoscopic display unit in the apparatus or an external stereoscopic display unit.
  • the stereoscopic imaging apparatus reads out a plurality of time-series parallax images and the first information, the second information, and the third information from the recording medium. And a plurality of the read time-series parallax images are cut out for stereoscopic display based on the read first information and third information, and the aberration is corrected based on the read second information
  • An image processing unit that generates a plurality of time-series parallax images, and an output unit that outputs the plurality of time-series parallax images generated by the image processing unit to a stereoscopic display unit in the apparatus or an external stereoscopic display unit And further comprising.
  • the stereoscopic imaging device is further different from the stereoscopic imaging device according to the fifth aspect in that the parallax amount of the 3D moving image is adjusted based on the third information and output.
  • the stereoscopic imaging device reads out a plurality of time-series parallax images and the first information, the second information, and the third information from the recording medium.
  • An image processing unit that generates a plurality of parallax images, and a plurality of time-series parallax images generated by the image processing unit by shifting images based on the third information, or a stereoscopic display unit in the apparatus or an external stereoscopic display And an output unit for outputting to the unit.
  • the stereoscopic imaging device is a stereoscopic imaging according to the sixth aspect in that the third information is used for shifting images of a plurality of parallax images (a point used as an offset amount during stereoscopic display). Different from the device.
  • the stereoscopic imaging device includes a plurality of time-series generated by the image processing unit instead of the output unit or together with the output unit.
  • the apparatus further includes a recording unit that records the parallax image on the recording medium.
  • the stereoscopic imaging apparatus records a 3D moving image processed by the image processing unit such as aberration on the recording medium.
  • a processed 3D video may be recorded instead of an unprocessed 3D video, or a processed 3D video may be recorded separately from an unprocessed 3D image.
  • An image reproduction device includes a plurality of time-series parallax images, the first information, and the second information from the recording medium recorded by the stereoscopic imaging device according to the first, second, or fourth aspect. And reading out the plurality of time-series parallax images for stereoscopic display based on the read first information, and aberrations based on the read second information.
  • An image processing unit that generates a plurality of corrected time-series parallax images, and a stereoscopic display unit that displays a stereoscopic video based on the plurality of time-series parallax images generated by the image processing unit.
  • the image reproducing device includes a plurality of time-series parallax images, the first information, the second information, and the third information from the recording medium recorded by the stereoscopic imaging device according to the third aspect.
  • a readout unit that reads out information, and the read out time-series plural parallax images are cut out for stereoscopic display based on the read out first information and third information, and the read out second information
  • An image processing unit that generates a plurality of time-series parallax images in which aberrations are corrected based on the three-dimensional display unit that displays a stereoscopic video based on the plurality of time-series parallax images generated by the image processing unit; Prepare.
  • An image reproduction device includes a plurality of time-series parallax images, the first information, the second information, and the third information from the recording medium recorded by the stereoscopic imaging device according to the third aspect.
  • a readout unit that reads out information; and the readout time-series plural parallax images are cut out for stereoscopic display based on the read out first information, and the aberration is corrected based on the read out second information.
  • An image processing unit that generates a plurality of time-series parallax images, and a three-dimensional video that displays a stereoscopic video by shifting the plurality of time-series parallax images generated by the image processing unit based on the third information A display unit.
  • the image reproducing device includes an unprocessed 3D moving image that has not been subjected to correction processing such as aberration from the recording medium, and the first, 2 information, or the first, second, and third information is read out, and the unprocessed 3D moving image is corrected and output to the stereoscopic display unit, so that the optical axis shift, lens distortion, and the like are corrected. 3D moving images can be reproduced.
  • the editing software includes a plurality of time-series parallax images, the first information, and the second information from the recording medium recorded by the stereoscopic imaging device according to the first, second, or fourth aspect. And a reading function for reading out the information, and cutting out the read time-series parallax images for stereoscopic display based on the read first information, and aberrations based on the read second information.
  • An image processing function for generating a plurality of corrected time-series parallax images and a recording function for recording the generated time-series parallax images on a recording medium are realized by a computer.
  • the editing software includes a plurality of time-series parallax images, the first information, the second information, and the third information from the recording medium recorded by the stereoscopic imaging device according to the third aspect.
  • a read function for reading information, and the read time-series parallax images are cut out for stereoscopic display based on the read first information and third information, and the read second information is included in the read second information.
  • An image processing function for generating a plurality of time-series parallax images in which aberrations are corrected based on the above and a recording function for recording the generated plurality of time-series parallax images on a recording medium are realized by a computer.
  • the editing software includes a plurality of time-series parallax images, the first information, the second information, and the third information from the recording medium recorded by the stereoscopic imaging device according to the third aspect.
  • a readout function for reading out information, and the readout time-series plural parallax images are cut out for stereoscopic display based on the readout first information, and aberrations are corrected based on the readout second information
  • an output function for outputting to an external stereoscopic display unit is realized by a computer.
  • a 3D moving image that has not been subjected to correction processing for aberration such as heavy lens distortion and information necessary for the correction processing in association with the 3D moving image are recorded on a recording medium. Yes. Therefore, it is not necessary to perform heavy load correction processing at the time of moving image shooting, so that a high-definition 3D moving image can be shot and recorded at a high frame rate.
  • correction processing such as optical axis deviation and lens distortion is performed based on the unprocessed 3D moving image read from the recording medium and information for correction processing recorded in association therewith. I am doing so. Thereby, the reproduction
  • FIG. 1A is a diagram (part 1) illustrating an appearance of a stereoscopic imaging device according to the present disclosure.
  • FIG. 1B is a diagram (part 2) illustrating an appearance of a stereoscopic imaging device according to the present disclosure.
  • FIG. 2 is a block diagram illustrating an embodiment of a stereoscopic imaging device according to the present disclosure.
  • FIG. 3 is a flowchart illustrating an operation at the time of 3D moving image shooting of the stereoscopic imaging device according to the present disclosure.
  • FIG. 4 is a table showing an example of correction parameters unique to the camera acquired in the inspection before shipment.
  • FIG. 5 is a diagram showing the relationship between the left and right full-angle images and the image cut-out area when the zoom position is at the wide end.
  • FIG. 1A is a diagram (part 1) illustrating an appearance of a stereoscopic imaging device according to the present disclosure.
  • FIG. 1B is a diagram (part 2) illustrating an appearance of a stereoscopic imaging device according to the
  • FIG. 6 is a diagram illustrating the relationship between the left and right angle-of-view images and the image cut-out area when the zoom position is moved to the tele side.
  • FIG. 7 is a diagram illustrating an example of a file structure of a recording file for recording a 3D moving image.
  • FIG. 8 is a flowchart illustrating an operation during playback of a 3D moving image of the stereoscopic imaging apparatus according to the present disclosure.
  • FIG. 9A is a diagram for explaining image clipping for correcting optical axis misalignment or the like of the left and right photographing optical systems (part 1).
  • FIG. 9B is a diagram for explaining image clipping for correcting optical axis misalignment and the like of the left and right photographing optical systems (part 2).
  • FIG. 9A is a diagram for explaining image clipping for correcting optical axis misalignment or the like of the left and right photographing optical systems (part 1).
  • FIG. 9B is a diagram for explaining image clipping for
  • FIG. 10 is a flowchart illustrating 3D moving image conversion processing by the stereoscopic imaging device according to the present disclosure.
  • FIG. 1A and 1B are diagrams illustrating an external appearance of a stereoscopic imaging apparatus according to the present disclosure
  • FIG. 1A is a perspective view of the stereoscopic imaging apparatus viewed from the front side
  • FIG. 1B is a rear view.
  • This stereoscopic imaging device (compound-eye camera) 10 is a digital camera capable of recording and reproducing 2D / 3D still images and 2D / 3D moving images, and is a thin rectangular parallelepiped camera body as shown in FIGS. 1A and 1B.
  • a shutter button 11 and a zoom button 12 are disposed on the upper surface of the camera.
  • a lens barrier 13 having a width substantially equal to the width in the left-right direction of the camera body is disposed so as to be movable in the up-down direction of the camera body.
  • the front surfaces of the pair of left and right photographic optical systems 14-1 and 14-2 can be opened and closed simultaneously by moving in the vertical direction between the position indicated by and the position indicated by the solid line. Note that as the photographing optical systems 14-1 and 14-2, a zoom lens of a bending optical system is used.
  • the camera power supply can be turned on / off in conjunction with the opening / closing operation of the lens front surface by the lens barrier 13.
  • a 3D liquid crystal monitor 16 is disposed at the center of the back of the camera body.
  • the liquid crystal monitor 16 can display a plurality of parallax images (right-eye image and left-eye image) as directional images each having a predetermined directivity by a parallax barrier.
  • the 3D liquid crystal monitor 16 uses a lenticular lens, or can display a right eye image and a left eye image individually by wearing dedicated glasses such as polarized glasses or liquid crystal shutter glasses. Is applicable.
  • the operation switch 18A is a changeover switch for switching between still image shooting and moving image shooting
  • the operation switch 18B is a parallax adjustment switch for adjusting the amount of parallax between the right-eye image and the left-eye image
  • the operation switch 18C is 2D shooting. This is a changeover switch for switching between 3D shooting.
  • the operation switch 18D is a seesaw key that functions as both a MENU / OK button and a playback button
  • the operation switch 18E is a multifunction cross key
  • the operation switch 18F is a DISP / BACK key.
  • the MENU / OK button is an operation switch having both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 16 and a function as an OK button for instructing confirmation and execution of selection contents. It is.
  • the playback button is a button for switching from the shooting mode to the playback mode.
  • the cross key is an operation switch for inputting instructions in four directions, up, down, left, and right.
  • a macro button, a flash button, a self-timer button, or the like is assigned to the menu key. When a menu is selected, the menu screen is displayed. Function as a switch (cursor moving operation unit) for selecting an item from the menu or instructing selection of various setting items from each menu.
  • the left / right key of the cross key functions as a frame advance (forward / reverse feed) button in the playback mode.
  • the DISP / BACK key is used for switching the display form of the liquid crystal monitor 16, canceling the instruction content on the menu screen, or returning to the previous operation state.
  • reference numeral 15 indicates a stereo microphone.
  • FIG. 2 is a block diagram showing an embodiment of the stereoscopic imaging apparatus 10.
  • the stereoscopic imaging apparatus 10 mainly includes a plurality of imaging units 20-1 and 20-2, a central processing unit (CPU) 32, the shutter button 11, the zoom button 12, and various operation switches described above. Including an operation unit 34, a display control unit 36, a liquid crystal monitor 16, a recording control unit 38, a compression / expansion processing unit 42, a digital signal processing unit 44, an AE (Automatic Exposure) detection unit 46, and an AF (Auto Focus): An automatic focus detection unit 48, an AWB (Automatic White Balance) detection unit 50, a VRAM (Video RAM) 52, a RAM 54, a ROM 56, an EEPROM (Electrically Erasable and Programmable ROM) 58, and the like. Note that the imaging units 20-1 and 20-2 capture two parallax images, a left-eye image and a right-eye image, that have parallax with each other, but there may be three or more imaging units 20.
  • the imaging units 20-1 and 20-2 capture two parallax images
  • the imaging unit 20-1 that captures an image for the left eye includes a prism (not shown), a photographing optical system including a focus lens and a zoom lens 21, an optical unit including a diaphragm 22 and a mechanical shutter 23, and a solid-state image sensor (CCD). 24, an analog signal processing unit 25, an A / D converter 26, an image input controller 27, a lens driving unit 28 for driving the optical unit, an aperture driving unit 29, a shutter control unit 30, and a CCD 24.
  • CCD control unit 31 is provided.
  • the imaging unit 20-2 that captures the image for the right eye has the same configuration as the imaging unit 20-1 that captures the image for the left eye, and thus the description of the specific configuration is omitted.
  • the CPU 32 controls the overall operation of the camera according to a predetermined control program based on the input from the operation unit 34.
  • the ROM 56 stores a control program executed by the CPU 32 and various data necessary for the control.
  • the EEPROM 58 stores various information indicating inspection results at the time of inspection before product shipment, for example, pixel defect information of the CCD 24, Correction parameters, tables, and the like used for image processing are stored. The details of various information stored here will be described later.
  • the VRAM 52 is a memory for temporarily storing image data for display displayed on the liquid crystal monitor 16, and the RAM 54 includes a calculation work area for the CPU 32 and a temporary storage area for image data.
  • the focus lens and zoom lens 21 included in the photographing optical system are driven by the lens driving unit 28 and moved back and forth along the optical axis.
  • the CPU 32 controls the driving of the lens driving unit 28 to control the position of the focus lens so as to adjust the focus so that the subject is in focus, and in response to a zoom command from the zoom button 12 in the operation unit 34. Control the zoom position of the zoom lens to change the zoom magnification.
  • the diaphragm 22 is configured by an iris diaphragm, for example, and is driven by the diaphragm driving unit 29 to operate.
  • the CPU 32 controls the aperture amount (aperture value) of the aperture 22 via the aperture drive unit 29 and controls the amount of light incident on the CCD 24.
  • the mechanical shutter 23 determines the exposure time in the CCD 24 by opening and closing the optical path, and prevents unwanted light from entering the CCD 24 when the image signal is read from the CCD 24, thereby preventing smear.
  • the CPU 32 outputs a shutter close signal synchronized with the exposure end time corresponding to the shutter speed to the shutter control unit 30 to control the mechanical shutter 23.
  • the CCD 24 is composed of a two-dimensional color CCD solid-state imaging device. A large number of photodiodes are two-dimensionally arranged on the light receiving surface of the CCD 24, and color filters are arranged in a predetermined arrangement on each photodiode.
  • the optical image of the subject imaged on the CCD light receiving surface via the optical unit having the above configuration is converted into a signal charge corresponding to the amount of incident light by the photodiode.
  • the signal charge accumulated in each photodiode is sequentially read out from the CCD 24 as a voltage signal (image signal) corresponding to the signal charge based on a drive pulse given from the CCD control unit 31 according to a command from the CPU 32.
  • the CCD 24 has an electronic shutter function, and the exposure time (shutter speed) is controlled by controlling the charge accumulation time in the photodiode.
  • the electronic shutter controls the charge accumulation start time corresponding to the shutter speed, and the exposure end time (charge accumulation end time) is controlled by closing the mechanical shutter 23.
  • the CCD 24 is used as the image pickup device, but an image pickup device having another configuration such as a CMOS sensor may be used.
  • the analog signals R, G, and B read from the CCD 24 are subjected to correlated double sampling (CDS) and amplification by the analog signal processing unit 25, and then the R, G, and B analog signals are output by the A / D converter 26. Converted to a digital signal.
  • CDS correlated double sampling
  • the image input controller 27 has a built-in line buffer having a predetermined capacity, and temporarily stores R, G, B image signals (CCDRAW data) A / D converted by the A / D converter 26 and then a bus 60. And stored in the RAM 54.
  • the CPU 32 controls the imaging unit 20-2 that captures the image for the right eye in the same manner as the imaging unit 20-1 that captures the image for the left eye in the 3D shooting mode.
  • the AE detection unit 46 calculates subject brightness necessary for AE control based on an image signal captured when the shutter button 11 is half-pressed, and outputs a signal indicating the subject brightness (shooting EV value) to the CPU 32.
  • the CPU 32 sets the shutter speed (exposure time), aperture value, and imaging sensitivity in the plurality of imaging units 20-1 and 20-2 according to a predetermined program diagram based on the input imaging EV value.
  • the AF detection unit 48 integrates the absolute value of the high frequency component of the image signal in the AF area captured when the shutter button 11 is half-pressed, and outputs this integrated value (AF evaluation value) to the CPU 32.
  • the CPU 32 moves the focus lens from the closest position to the infinity side, searches for a focus position where the AF evaluation value detected by the AF detection unit 48 is maximum, and moves the focus lens to the focus position. Adjust the focus on the subject (main subject).
  • the AWB detection unit 50 automatically obtains the light source type (the color temperature of the object scene) based on the R, G, and B image signals acquired at the time of the main imaging, and R, G, The corresponding white balance gain is read out from the table storing the B white balance gain (white balance correction value).
  • the digital signal processing unit 44 interpolates a spatial shift of color signals such as R, G, and B accompanying a white balance correction circuit, a gradation conversion processing circuit (for example, a gamma correction circuit), and a color filter array of a single-plate CCD.
  • R, G, B image signals (CCDRAW data) stored in the RAM 54 including a first image processing unit such as a synchronization circuit for matching the position of each color signal, a contour correction circuit, and a luminance / color difference signal generation circuit.
  • First image processing is performed by the first image processing unit.
  • the R, G, and B CCDRAW data are multiplied by the white balance gain detected by the AWB detection unit 50 in the digital signal processing unit 44 and subjected to white balance correction, and thereafter, a gradation conversion process (for example, After predetermined processing such as gamma correction is performed, the signal is converted into a YC signal including a luminance signal (Y signal) and a color difference signal (Cr, Cb signal).
  • Y signal a luminance signal
  • Cr, Cb signal color difference signal
  • the YC signal processed by the digital signal processing unit 44 is stored in the RAM 54.
  • the digital signal processing unit 44 corrects the optical axis shift of the imaging optical systems of the plurality of imaging units 20-1 and 20-2 by cutting out images of predetermined clipping areas from the left and right viewpoint images during 3D video playback.
  • a second image processing unit such as a lens distortion correction processing circuit for correcting lens distortion correction of the imaging optical system of the plurality of imaging units 20-1 and 20-2.
  • the unit performs second image processing on the YC signal processed by the first image processing unit. Details of processing contents of the second image processing unit will be described later.
  • the compression / decompression processing unit 42 compresses the YC signal stored in the RAM 54 in accordance with a command from the CPU 32 during recording on the memory card 40, and decompresses the compressed compressed data recorded on the memory card 40. To YC signal.
  • the recording control unit 38 converts the compressed data compressed by the compression / decompression processing unit 42 into an image file of a predetermined format (for example, a 3D still image is an MP (multi-picture) format image file) and records it on the memory card 40. Alternatively, the image file is read from the memory card 40.
  • the liquid crystal monitor 16 is used as an image display unit for displaying captured images, and is used as a GUI (graphical user interface) at various settings.
  • the liquid crystal monitor 16 is used as an electronic viewfinder for confirming the angle of view in the shooting mode.
  • the display control unit 36 alternately displays the left-eye image and the right-eye image held in the VRAM 52 pixel by pixel.
  • the left and right images alternately arranged pixel by pixel are visually recognized separately by the left and right eyes of the user observing from a predetermined distance. This enables stereoscopic viewing.
  • the stereoscopic imaging apparatus 10 also has a function of recording and reproducing audio information (audio data) acquired by the stereo microphone 15 shown in FIGS. 1A and 1B.
  • 3D moving image shooting mode Switching to the moving image shooting mode by the operation switch 18A shown in FIG. 1B and switching to the 3D shooting mode by the operation switch 18C sets the shooting mode for shooting a 3D moving image (hereinafter referred to as “3D moving image shooting mode”). Can do.
  • the stereoscopic imaging apparatus 10 set to the 3D moving image shooting mode can display a 3D through image on the liquid crystal monitor 16 before or during moving image recording, and the user displays the 3D through image.
  • the parallax amount adjustment switch 18B see FIG. 1B
  • the parallax amount of the 3D moving image left-eye image and right-eye image
  • the parallax amount of the 3D moving image can be increased or decreased by operating the parallax amount adjustment switch 18B in the + direction or the ⁇ direction.
  • the CPU 32 monitors the operation of the parallax amount adjustment switch 18B, and when there is an operation of the parallax amount adjustment switch 18B (in the case of “No”), sets the parallax adjustment value H_SHIFT in the internal memory (RAM 54) ( Steps S10 and S12). When the parallax amount adjustment switch 18B is not operated, the parallax adjustment value is set to zero.
  • the CPU 32 determines whether or not there is a moving image shooting instruction (full depression of the shutter button 11) (step S14).
  • the CPU 32 first creates a recording file for 3D moving image recording in the memory card 40, and records the data of the table shown in FIG. 4 in its header (step S16).
  • the EEPROM 58 shown in FIG. 2 stores data unique to the camera acquired in the inspection before shipment as shown in the table of FIG.
  • a cutting center optical axis center
  • all images there is a cutting center (optical axis center) for cutting out an image from an image having a full shooting angle of view of the CCD (hereinafter referred to as “all images”).
  • Information (first information) indicating coordinates and cut-out sizes (vertical and horizontal pixel numbers), and information (second information) indicating lens distortion correction parameters and calculation formulas are stored separately for the left and right photographing optical systems. Yes.
  • FIG. 5 and FIG. 6 show the cutting center, cutting size, and the like for all the left and right images at the zoom position ZP1 (wide end; 35 mm angle of view) and the zoom position ZP3 (Tele side; 45 mm angle of view), respectively.
  • the clipping center (Lx1, Ly1) for all images for the left eye and the clipping center (Rx1, Ry1) for all images for the right eye are the optical axis centers of the left and right imaging optical systems, respectively. It deviates from the center (x mark) of the CCD imaging surface.
  • the lens distortion shown in FIG. 5 is an example of barrel distortion.
  • An image having this type of lens distortion is information (second information) for inspecting lens distortion in advance and correcting it. )
  • the cut-out centers (Lx3, Ly3) for all images for the left eye shown in FIG. 6 and the cut-out centers (Rx3, Ry3) for all images for the right eye shown in FIG. 6 are the cut-out centers (Lx1, Ly1) shown in FIG. It is different from the cutting center (Rx1, Ry1). This is due to the difference between the optical axis centers of the left and right photographing optical systems for each zoom position of the zoom lens.
  • the lens distortion correction parameter is held for each zoom lens zoom position of each of the left and right photographing optical systems as shown in the table of FIG. is doing.
  • the cutout center and cutout size in this embodiment are values on the image on which lens distortion correction has been performed. Further, when the lens characteristics of the left and right photographing optical systems are the same, the same lens distortion correction parameter may be used for the left and right.
  • the CPU 32 determines whether or not the zoom operation using the zoom button 12 has been performed (step S18). When the zoom operation is performed (in the case of “Yes”), the left and right zoom lenses are moved to the zoom position ZPx instructed by the zoom operation (step S20). When the zoom operation is not performed (in the case of “No”), the process proceeds to step S22. The CPU 32 always knows the current zoom position ZPx regardless of whether or not the zoom operation is performed.
  • step S22 the CPU 32 operates the AE detection unit 46 to acquire a photographing EV value indicating the brightness of the subject, and operates the AF detection unit 48 to obtain an AF evaluation value indicating the contrast of the subject image in the AF area. Then, the left and right focus lenses are driven so that the AF evaluation value is maintained at the maximum value.
  • the CPU 32 determines shooting conditions (aperture value, shutter speed, shooting sensitivity) in the left and right imaging units 20-1 and 20-2 based on the shooting EV value acquired in step S32 (step S24-1). , S24-2). Note that if the performance of the left and right imaging units 20-1, 20-2 varies, or if different lenses are used, the shooting conditions must be determined individually as described above. When the imaging units 20-1 and 20-2 have the same performance, common imaging conditions may be used.
  • the CPU 32 performs exposure control in the left and right imaging units 20-1 and 20-2 according to the imaging conditions determined as described above, and acquires left and right viewpoint images (CCDRAW data) for one frame (step S26-). 1, S26-2).
  • the obtained CCDRAW data is subjected to image processing such as white balance correction, gamma correction, and YC conversion by the first image processing unit of the digital signal processing unit 44 (steps S28-1, S28-2). Then, heavy processing by the second image processing unit (image cutout processing circuit, lens distortion correction processing circuit) of the digital signal processing unit 44 is not performed.
  • image processing such as white balance correction, gamma correction, and YC conversion by the first image processing unit of the digital signal processing unit 44 (steps S28-1, S28-2).
  • the YC signal before lens distortion correction which has been YC converted from the CCDRAW data in steps S28-1 and S28-2, is temporarily stored in the RAM 54 and is stored in a predetermined number of frames (for example, 60 when the frame rate is 60 / second).
  • Image of the full angle of view before correction in which the YC signal is compressed for each frame, the zoom position ZPx of the current zoom lens in association with the image, and the parallax adjustment value H_SHIFT set in step S12
  • the file is stored in the recording file created in step S16 (step S30).
  • Motion JPEG, H.264, H.264, MPEG4, MPEG4-MVC, etc. can be applied as a compression method of a moving image.
  • FIG. 7 shows an example of the file structure of the recording file.
  • the cutting center optical axis center
  • a table of cutout sizes, lens distortion correction parameters (including calculation formulas), 3D moving image thumbnails (reduced right and left reduced images of 3D still images representing 3D moving images), and parallax adjustment values of the respective thumbnails are recorded.
  • the main body of the recording file includes a parallax adjustment value H_SHIFT of 3D moving image every second, a packet of information of the zoom position ZPx (packet for each frame for one second), and a compressed 3D moving image (for example, 60 frames). Left and right parallax images in time series) and audio data for one second are recorded.
  • information such as the 3D moving image per second is continuously recorded for an arbitrary moving image shooting time.
  • step S ⁇ b> 32 the CPU 32 determines whether or not there is an instruction to end shooting of the 3D moving image. For example, if the shutter button 11 is fully pressed in step S14 and then the shutter button 11 is fully pressed again, the CPU 32 determines that “shooting end instruction is present”.
  • step S32 a 3D moving image or the like of less than 1 second is recorded in a recording file, and then the 3D moving image is shot End recording.
  • the stereoscopic imaging apparatus 10 can play back the image recorded on the memory card 40.
  • step S50 when a recording file in which a 3D moving image is recorded is selected and its reproduction is instructed (step S50), the CPU 32 performs data in the table shown in FIG. 4 based on the tag of the recording file (see FIG. 7). Is stored in the internal memory (RAM 54) (step S52).
  • the CPU 32 reads the 3D moving image and the zoom position ZPx and the parallax adjustment value H_SHIFT recorded in association with the 3D moving image from the main body of the recording file (step S54).
  • the read 3D moving image (compressed YC signal) is decompressed by the compression / decompression processing unit 42 and restored to an uncompressed YC signal (step S56), and then the second signal of the digital signal processing unit 44 is restored.
  • Image processing is performed by the image processing unit (steps S58 to S64).
  • the restored YC signal is first subjected to lens distortion correction on the left and right viewpoint images by the lens distortion correction processing circuit.
  • This lens distortion correction processing is performed based on the zoom position ZPx recorded in association with each frame, and corresponding lens distortion correction parameters and cut-out center (optical axis center) coordinates from the table shown in FIG.
  • a new coordinate value is obtained by substituting the coordinate value based on the optical axis center of each pixel of the viewpoint image into the calculation formula using the lens distortion correction parameter as a coefficient, and the pixel is moved to the coordinate value.
  • a parallax image with corrected lens distortion is obtained (see step S58, FIG. 5 and FIG. 6).
  • the parallax images of all the left and right angles of view that have been subjected to lens distortion correction are cut out by adjusting the cut-out areas respectively by the image cut-out processing circuit, and the optical axis deviations of the left and right photographing optical systems are corrected. That is, the image cutout processing circuit reads out the coordinates of the cutout center (optical axis center) and the cutout size information from the RAM 54 in correspondence with the zoom positions ZPx of the parallax images of all angles of view, and based on these information, The left and right parallax images in which the optical axis shift for 3D display is corrected are cut out from the parallax images at the angle of view (step S60).
  • the left and right parallax images with the corrected optical axis deviation are cut out from the left and right parallax images with the corrected lens distortion shown in FIG. 9A.
  • the image cutout processing circuit offsets the parallax adjustment value H_SHIFT by a half in the left-right direction as shown in FIG. 9C. Cut out in the cut out area (steps S62 and S64). In the example illustrated in FIG. 9C, the cut-out is performed in the direction in which the amount of parallax increases. However, when the sign of the parallax adjustment value H_SHIFT is reversed, the cut-out is performed in the direction in which the amount of parallax is reduced.
  • the left and right parallax images cut out as described above are output to the liquid crystal monitor 16 (stereoscopic display unit) via the display control unit 36, and are displayed as a 3D image (step S66).
  • step S68 it is determined whether the video frame has ended or the end of moving image reproduction has been instructed. If “No”, the process returns to step S54.
  • the reproduction process is repeated for each frame, and a 3D moving image is displayed on the liquid crystal monitor 16.
  • the output destination of the 3D moving image is not limited to the liquid crystal monitor 16 and may be an external 3D display device.
  • step S70 When the video frame ends or the end of moving image reproduction is instructed (in the case of “Yes”), the 3D moving image reproduction process is terminated (step S70).
  • an image that has been subjected to parallax adjustment based on the parallax adjustment value H_SHIFT is further cut out from the cut-out image.
  • the coordinates of the cut-out center of the left and right parallax images are offset by a value that is half the parallax adjustment value H_SHIFT, and the offset cut-out center and cut-out size are used to cut out from the image of the full angle of view at once. May be.
  • the cutout image may be subjected to parallax adjustment based on the parallax adjustment value H_SHIFT (shifting the image).
  • H_SHIFT / 2 on the left and right edges of the display image may be filled with black or the like. Of course, it may be displayed as it is without being painted.
  • the operation switch 18D (MENU / OK button) of the stereoscopic imaging apparatus 10 is operated to display the moving image conversion menu on the liquid crystal monitor 16, and when the selection execution of the moving image conversion menu is instructed, the 3D moving image is displayed.
  • the conversion process is started (step S80).
  • a 3D moving image to be converted is selected.
  • the selection of the 3D moving image can be performed by displaying a thumbnail of the 3D moving image and selecting a desired thumbnail.
  • by displaying the thumbnail before conversion processing and the thumbnail after conversion processing so as to be identifiable by a marker, characters, or the like, it is possible to prevent the conversion-processed 3D moving image from being selected.
  • lens distortion correction processing When there is an instruction to convert the selected 3D moving image, lens distortion correction processing, image cut-out processing for correcting optical axis deviation, and the like are performed frame by frame in steps S52 to S64 described above.
  • step S86 When the image processing for the prescribed number of frames for one second is completed, the left and right parallax images are respectively compressed (step S86), overwritten on the recording file, or created and stored (step S88). .
  • step S54 to step S88 is repeated until the video frame is completed. Thereby, it is possible to generate a converted 3D moving image recording file in which lens distortion correction, optical axis center deviation, and the like are corrected.
  • the stereoscopic imaging apparatus 10 performs the 3D moving image reproduction process illustrated in FIG. 8.
  • the present invention is not limited to this, and the 3D reproduction apparatus having the 3D display may A reproduction process may be performed.
  • the 3D playback device acquires the recording file of the 3D moving image recorded by the stereoscopic imaging device 10 from the recording medium directly or via communication means.
  • the stereoscopic imaging apparatus 10 performs the 3D moving image conversion process illustrated in FIG. 10.
  • the present invention is not limited to this, and editing software that performs the 3D moving image conversion process illustrated in FIG. 10.
  • a personal computer in which is installed, or another external device may input an unprocessed 3D video and perform a 3D video conversion process.
  • the coordinates of the cutout center and the cutout size information in the image after the lens distortion correction are stored and held.
  • the coordinates of the cutout center and the cutout size information in the image before distortion correction may be stored and held.
  • an image for correcting the deviation of the optical axis center is first cut out from the image before the lens distortion correction, and then the lens distortion is corrected for the cut out image. .
  • the coordinate value of the cutout center (optical axis center) and cutout size information are provided according to the zoom position ZP.
  • the present invention is not limited to this, and a diagonal coordinate value of the cut-out area may be provided.
  • the present disclosure is not limited to correction of lens distortion of the photographing optical system, but can be applied to correction of other aberrations such as chromatic aberration.
  • the table shown in FIG. 4 is stored in the tag of the recording file, and information on the zoom position ZPx is recorded in association with the frame of each moving image.
  • the data selected from the table shown in FIG. 4 based on ZPx may be recorded in association with the frames of the moving image directly. In this case, it is not necessary to record information on the zoom position ZPx in the table shown in FIG.
  • SYMBOLS 10 Stereoscopic imaging device, 11 ... Shutter button, 12 ... Zoom button, 16 ... Liquid crystal monitor, 20-1, 20-2 ... Imaging part, 21 ... Focus lens and zoom lens, 24 ... CCD, 25 ... Analog signal processing part 32 ... Central processing unit (CPU), 34 ... Operation unit, 44 ... Digital signal processing unit, 54 ... RAM, 56 ... ROM, 58 ... EEPROM

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Camera Data Copying Or Recording (AREA)
  • Studio Devices (AREA)

Abstract

高精細な３Ｄ動画を高フレームレートで撮影記録することができ、かつ負荷の重いレンズ歪等の収差の補正処理が可能な立体撮像装置を提供する。撮影光学系と該撮影光学系を介して結像される被写体像をそれぞれ光電変換する撮像素子とを有する複数の撮像部（２０－１，２０－２）と、予め撮像部（２０－１，２０－２）の各撮影光学系の検査により取得された情報であって、各撮影光学系の光軸中心位置及び切り出しサイズを示す第１の情報と、各撮影光学系の収差を示す第２の情報とが記憶された記憶手段と、を備え、３Ｄ動画撮影時に撮像部（２０－１，２０－２）から得られる３Ｄ動画に対して前記第１、第２の情報に基づく負荷の重い補正処理は行わずに、前記補正前の３Ｄ動画をメモリカードに記録するとともに（ステップＳ２８－１，Ｓ２８－２）、この３Ｄ動画に関連付けて前記第１、第２の情報をメモリカードに記録する（ステップＳ３０）。

Description

立体撮像装置、画像再生装置及び編集ソフトウエア
　本開示内容は立体撮像装置に係り、特に互いに視差を有する複数の視差画像を撮像する立体撮像装置に関する。
　特許文献１には、右眼用の撮影情報を得るためのＣＣＤを有する第１レンズ鏡筒と、左眼用の撮影情報を得るためのＣＣＤを有する第２レンズ鏡筒と、これら第１レンズ鏡筒と第２レンズ鏡筒の焦点距離を検出するカメラ検出回路と、各焦点距離における上記第１レンズ鏡筒と第２レンズ鏡筒のそれぞれの光軸中心のずれ量を予め記憶したＥＥＰＲＯＭ等からなるＲＯＭと、このＲＯＭからの出力に基づき各焦点距離における上記左右一対のＣＣＤの内の少なくとも一方における画像切出しエリアを制御するＣＰＵと、を備えた立体撮影装置が開示されている。
　特許文献２には、ステレオカメラのレンズ特性に対して、レンズ中心を基準とする座標補正のための近似式を設定し、この近似式に基づいてカメラにより捉えた対象画像の投影座標を補正する画像処理装置が開示されている。
　一方、特許文献３には、複数の撮像素子を用いて高精細な撮像を行い、それらの各撮像出力に対してデジタル画像にした後、画像分割回路で複数の画像領域に分割し、各画像領域に対して並列に画像処理を行うことにより、高精細な画像の場合においても動画レートで高速の画像処理ができる画像処理装置が開示されている。
特開平８－８－３１７４２４号公報 特開２００４－１２６９０５号公報 特開２００２－２４７５９３号公報
　特許文献１には、２つの撮影レンズ間の個体差による光軸ずれを、画像切り出しエリアを変更することにより、立体視に好適な左右視点画像を生成する技術が開示され、また、特許文献２には、レンズ歪による画像の歪を補正する技術が開示されている。
　静止画の撮影時には、撮影レンズ間の個体差による光軸ずれを補正するための画像切り出し処理やレンズ歪による画像の歪補正処理は、撮影後、メモリカードへの書き込みまでの間に行えばよい。しかし、動画の撮影時には、リアルタイムにメモリカードに書き込む必要がある。ところが、撮像処理、画像処理及び圧縮処理が集中する動画撮影時には、負荷の重いレンズ歪補正処理を動画で行うことは難しく、特に高精細（ＨＤ）な動画を高フレームレートで撮影記録する場合には困難である。
　特許文献３には、高精細な画像の場合においても動画レートで高速の画像処理ができる画像処理装置が開示されているが、引用文献３に記載の画像処理装置は、処理領域を分割して並列処理するため、回路構成が複雑になり、高価になる。また、特許文献３に記載の画像処理は、シェーディング補正であり、計算が複雑な画像の歪補正処理ではなく、更に３次元（３Ｄ）動画に対する処理ではない。
　本開示内容はこのような事情に鑑みてなされたもので、高精細な３Ｄ動画を高フレームレートで撮影記録することができ、かつ負荷の重いレンズ歪等の収差の補正処理が可能な立体撮像装置と、その立体撮像装置により撮影された３Ｄ動画の画像再生装置及び編集ソフトウエアを提供することを目的とする。
　前記目的を達成するために第１の態様に係る立体撮像装置は、撮影光学系と該撮影光学系を介して結像される被写体像をそれぞれ光電変換する撮像素子とを有する複数の撮像部であって、互いに視差を有する視差画像を撮像する複数の撮像部と、各撮影光学系の光軸中心位置及び切り出しサイズ、又は各撮影光学系の光軸中心位置を中心にした切り出しエリアを示す第１の情報と、各撮影光学系の収差を示す第２の情報とが記憶された記憶部と、前記複数の撮像部から立体動画となる時系列の複数の視差画像を出力させる撮像制御部と、動画撮影時に前記複数の撮像部から出力される時系列の複数の視差画像を記録媒体に記録するとともに、前記記憶部から読み出した前記第１の情報及び第２の情報を前記複数の視差画像に関連付けて前記記録媒体に記録する記録部と、を備える。
　前記第１の情報は、製品出荷前に予め複数の撮像部の各撮影光学系の検査により取得された、各撮影光学系の光軸中心のずれ量を補正するための情報であり、各撮影光学系の光軸中心位置及び切り出しサイズを示す情報、又は各撮影光学系の光軸中心位置を中心にした切り出しエリア（例えば、切り出しエリアの対角の位置座標）を示す情報である。また、前記第２の情報も同様に製品出荷前に予め複数の撮像部の各撮影光学系の検査により取得された情報であり、各撮影光学系のディストーション、色収差等の収差を示す情報である。これらの第１、第２の情報は、予めＥＥＰＲＯＭ等の不揮発性の記憶部に記憶されている。
　第１の態様に係る立体撮像装置は、前記第１の情報と第２の情報とを、動画撮影した時系列の複数の視差画像（３Ｄ動画）に関連付けて記録し、動画撮影中にレンズ歪補正等の重い処理を行わないようにし、これにより高精細な３Ｄ動画を高フレームレートで撮影記録できるようにしている。
　第２の態様によれば、第１の態様に係る立体撮像装置において、前記第１の情報は、前記撮影光学系の収差を補正する前の視差画像、又は収差を補正した後の視差画像に対する情報である。即ち、前記第１の情報は、撮影光学系の収差に対応する補正処理がされる前の視差画像（収差を含む視差画像）を前提にした情報でもよいし、撮影光学系の収差に対応する補正処理がされた視差画像（収差のない視差画像）を前提にした情報でもよい。
　第３の態様によれば、第１の態様又は第２の態様に係る立体撮像装置は、前記複数の撮像部から出力される複数の視差画像間の視差量を調整する視差量調整部を更に備え、前記記録部は、前記視差量調整部により調整された視差量を示す第３の情報を前記複数の視差画像に関連付けて前記記録媒体に記録する。前記第３の情報は、複数の視差画像間の左右方向のずらし量を示す情報であり、視差の強弱を調整するための情報である。
　第４の態様によれば、第１の態様から第３の態様のいずれかに係る立体撮像装置において、前記撮影光学系はズームレンズであり、前記記憶部は、前記ズームレンズのズーム位置毎に前記第１の情報及び第２の情報を記憶し、前記記録部は、前記記憶部に記憶された前記ズーム位置毎の第１の情報及び第２の情報の全情報と動画撮影時の前記ズームレンズの時系列のズーム位置を示す情報、又は動画撮影時の前記ズームレンズのズーム位置に基づいて前記記憶部から読み出した時系列の前記第１の情報及び第２の情報を、前記複数の視差画像に関連付けて前記記録媒体に記録する。
　複数の撮影光学系の光軸中心のずれをメカ的（機械的）に調整することは難しく、特にズームレンズの全ズーム範囲において光軸中心のずれを調整するには限界がある。また、複数の撮影光学系の収差は、そのズーム位置に応じて変化する。そこで、前記記憶部には、ズームレンズのズーム位置毎に前記第１の情報及び第２の情報を記憶させておき、動画撮影時にズーム位置毎の第１の情報及び第２の情報の全情報と、時系列のズームレンズのズーム位置を示す情報とを３Ｄ動画に関連付けて記録し、又は動画撮影時のズームレンズのズーム位置に基づいて前記記憶部から読み出した時系列の第１の情報及び第２の情報を３Ｄ動画に関連付けて記録するようにしている。
　第５の態様によれば、第１の態様、第２の態様又は第４の態様に係る立体撮像装置は、前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出す読出部と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、前記画像処理部により生成された時系列の複数の視差画像を、装置内の立体表示部又は外部の立体表示部に出力する出力部と、をさらに備える。
　第５の態様に係る立体撮像装置は、再生時に前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出し、前記読み出した時系列の複数の視差画像を第１の情報に基づいて立体表示用の視差画像として切り出すことにより、複数の視差画像の光軸ずれを補正し、また、前記第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成し、光軸ずれが補正され、かつ収差が補正された時系列の複数の視差画像（３Ｄ動画）を装置内の立体表示部又は外部の立体表示部に出力するようにしている。
　尚、動画再生時には、動画撮影時に比べて動画撮影処理や伸張処理よりも時間を要する圧縮記録処理がないため、上記収差等の補正処理を行いながら３Ｄ動画を表示させることができる。
　第６の態様によれば、第３の態様に係る立体撮像装置は、前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報及び第３の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、前記画像処理部により生成された時系列の複数の視差画像を、装置内の立体表示部又は外部の立体表示部に出力する出力部と、をさらに備える。
　第６の態様に係る立体撮像装置は、更に、前記第３の情報に基づいて３Ｄ動画の視差量を調整して出力する点で、第５の態様に係る立体撮像装置と相違する。
　第７の態様によれば、第３の態様に係る立体撮像装置は、前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいて画像ずらして装置内の立体表示部又は外部の立体表示部に出力する出力部と、をさらに備える。
　第７の態様に係る立体撮像装置は、前記第３の情報を複数の視差画像の画像ずらしに使用する点（立体表示時のオフセット量として使用する点）で、第６の態様に係る立体撮像装置と相違する。
　第８の態様によれば、第５から第７の態様のいずれかに係る立体撮像装置は、前記出力部の代わりに、又は前記出力部とともに前記画像処理部により生成された時系列の複数の視差画像を前記記録媒体に記録する記録部をさらに備える。
　即ち、第８の態様に係る立体撮像装置は、前記画像処理部により収差等の処理済みの３Ｄ動画を前記記録媒体に記録するようにしている。このとき、未処理の３Ｄ動画に代えて処理済みの３Ｄ動画を記録するようにしてもよいし、未処理の３Ｄ画像とは別に処理済みの３Ｄ動画を記録するようにしてもよい。
　第９の態様に係る画像再生装置は、第１、第２又は第４の態様に係る立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出す読出部と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、前記画像処理部により生成された時系列の複数の視差画像に基づいて立体動画を表示する立体表示部と、を備える。
　第１０の態様に係る画像再生装置は、第３の態様に係る立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報及び第３の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、前記画像処理部により生成された時系列の複数の視差画像に基づいて立体動画を表示する立体表示部と、を備える。
　第１１の態様に係る画像再生装置は、第３の態様に係る立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいて画像ずらして立体動画を表示する立体表示部と、を備える。
　即ち、第９、第１０又は第１１の態様に係る画像再生装置は、前記記録媒体から収差等の補正処理が施されていない未処理の３Ｄ動画と、それに関連付けられて記録された第１、２の情報、又は第１、第２、第３の情報とを読み出し、未処理の３Ｄ動画を補正処理して立体表示部に出力するようにしたため、光軸ずれやレンズ歪等が補正処理された３Ｄ動画を再生することができる。
　第１２の態様に係る編集ソフトウエアは、第１、第２又は第４の態様に係る立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出す読出機能と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、前記生成された時系列の複数の視差画像を記録媒体に記録する記録機能と、をコンピュータにより実現させる。
　第１３の態様に係る編集ソフトウエアは、第３の態様に係る立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出機能と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報及び第３の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、前記生成された時系列の複数の視差画像を記録媒体に記録する記録機能と、をコンピュータにより実現させる。
　第１４の態様に係る編集ソフトウエアは、第３の態様に係る立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出機能と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいて画像ずらして装置内の立体表示部又は外部の立体表示部に出力する出力機能と、をコンピュータにより実現させる。
　これにより、再生時に光軸ずれやレンズ歪等の補正処理を行わずに済み、再生処理を簡略化することができ、また、リアルタイムに補正処理する必要がないため、高性能なコンピュータでなくても補正処理が可能である。
　本開示内容によれば、負荷の重いレンズ歪等の収差の補正処理が行われていない３Ｄ動画と、その３Ｄ動画に関連付けて前記補正処理に必要な情報とを記録媒体に記録するようにしている。従って、動画撮影時に負荷の重い補正処理を行わずに済み、これにより高精細な３Ｄ動画を高フレームレートで撮影記録することができる。
　また、３Ｄ動画の再生時又は変換時に、前記記録媒体から読み出した未処理の３Ｄ動画とそれに関連付けて記録された補正処理用の情報とに基づいて光軸ずれやレンズ歪等の補正処理を行うようにしている。これにより、立体視に適した高品質の３Ｄ動画の再生又は変換を行うことができる。
図１Ａは、本開示内容に係る立体撮像装置の外観を示す図（その１）である。 図１Ｂは、本開示内容に係る立体撮像装置の外観を示す図（その２）である。 図２は、本開示内容に係る立体撮像装置の実施形態を示すブロック図である。 図３は、本開示内容に係る立体撮像装置の３Ｄ動画撮影時の動作を示すフローチャートである。 図４は、出荷前の検査で取得したカメラ固有の補正パラメータの一例を示す図表である。 図５は、ズームポジションがワイド端のときの左右の全画角の画像と画像切り出しエリアとの関係を示す図である。 図６は、ズームポジションがテレ側に移動したときの左右の全画角の画像と画像切り出しエリアとの関係を示す図である。 図７は、３Ｄ動画を記録する記録ファイルのファイル構造の一例を示す図である。 図８は、本開示内容に係る立体撮像装置の３Ｄ動画の再生時の動作を示すフローチャートである。 図９Ａは、左右の撮影光学系の光軸ずれ等を補正するための画像の切り出しを説明する図である（その１）。 図９Ｂは、左右の撮影光学系の光軸ずれ等を補正するための画像の切り出しを説明する図である（その２）。 図９Ｃは、左右の撮影光学系の光軸ずれ等を補正するための画像の切り出しを説明する図である（その３）。 図１０は、本開示内容に係る立体撮像装置による３Ｄ動画の変換処理を示すフローチャートである。
　以下、添付図面に従って本開示内容に係る立体撮像装置の実施の形態について説明する。
　［立体撮像装置の外観］
　図１Ａ及び１Ｂは本開示内容に係る立体撮像装置の外観を示す図であり、図１Ａは立体撮像装置を前面側から見た斜視図であり、図１Ｂは背面図である。
　この立体撮像装置（複眼カメラ）１０は、２Ｄ／３Ｄの静止画、及び２Ｄ／３Ｄの動画の記録再生が可能なデジタルカメラであり、図１Ａ及び１Ｂに示すように薄型の直方体状のカメラ本体の上面には、シャッタボタン１１、ズームボタン１２が配設されている。
　カメラ本体の前面には、カメラ本体の左右方向の幅と略一の幅を有するレンズバリア１３が、カメラ本体の上下方向に移動自在に配設されており、このレンズバリア１３を、二点鎖線で示す位置と実線で示す位置との間で上下方向に移動させることにより、左右一対の撮影光学系14-1，14-2の前面を同時に開閉できるようになっている。尚、撮影光学系14-1，14-2としては、屈曲光学系のズームレンズが使用されている。また、レンズバリア１３によるレンズ前面の開閉動作に連動して、カメラ電源をＯＮ／ＯＦＦさせることができるようになっている。
　図１Ｂに示すようにカメラ本体の背面には、その中央部に３Ｄ用の液晶モニタ１６が配設されている。液晶モニタ１６は、複数の視差画像（右目用画像、左目用画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できるものである。尚、３Ｄ用の液晶モニタ１６としては、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右目用画像と左目用画像とを個別に見ることができるものなどが適用できる。
　上記液晶モニタ１６の左右には、各種の操作スイッチが配設されている。操作スイッチ１８Ａは、静止画撮影と動画撮影とを切り替える切替えスイッチであり、操作スイッチ１８Ｂは、右目用画像と左目用画像の視差量を調整する視差調整スイッチであり、操作スイッチ１８Ｃは２Ｄ撮影と３Ｄ撮影とを切り替える切替えスイッチである。また、操作スイッチ１８Ｄは、MENU／OKボタンと再生ボタンとを兼ねたシーソーキーであり、操作スイッチ１８Ｅは、マルチファンクションの十字キーであり、操作スイッチ１８Ｆは、DISP／BACKキーである。
　MENU／OKボタンは、液晶モニタ１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作スイッチである。再生ボタンは、撮影モードから再生モードに切り替えるボタンである。十字キーは、上下左右の４方向の指示を入力する操作スイッチであり、マクロボタン、フラッシュボタン、セルフタイマーボタン等が割り当てられており、また、メニューが選択されている場合には、そのメニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示するスイッチ（カーソル移動操作部）として機能する。また、十字キーの左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。DISP／BACKキーは、液晶モニタ１６の表示形態を切り替えたり、メニュー画面上での指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
　尚、図１Ａ上で、参照符号１５はステレオマイクを示す。
　［立体撮像装置の内部構成］
　図２は上記立体撮像装置１０の実施形態を示すブロック図である。
　図２に示すように、この立体撮像装置１０は、主として複数の撮像部20-1,20-2、中央処理装置（ＣＰＵ）３２、前述したシャッタボタン１１、ズームボタン１２、及び各種の操作スイッチを含む操作部３４、表示制御部３６、液晶モニタ１６、記録制御部３８、圧縮／伸張処理部４２、デジタル信号処理部４４、ＡＥ（Automatic Exposure：自動露出）検出部４６、ＡＦ（Auto Focus：自動焦点）検出部４８、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）検出部５０、ＶＲＡＭ（Video ＲＡＭ）５２、ＲＡＭ５４、ＲＯＭ５６、及びＥＥＰＲＯＭ（Electrically Erasable and Programmable ＲＯＭ）５８等から構成されている。尚、撮像部20-1,20-2は、互いに視差を有する左眼用画像と右眼用画像の２枚の視差画像を撮像するが、撮像部２０は、３つ以上あってもよい。
　左眼用画像を撮像する撮像部20-1は、プリズム（図示せず）、フォーカスレンズ及びズームレンズ２１からなる撮影光学系、絞り２２及びメカシャッタ２３からなる光学ユニットと、固体撮像素子（ＣＣＤ）２４と、アナログ信号処理部２５と、Ａ／Ｄ変換器２６と、画像入力コントローラ２７と、前記光学ユニットを駆動するレンズ駆動部２８、絞り駆動部２９及びシャッタ制御部３０と、ＣＣＤ２４を制御するＣＣＤ制御部３１とを備えている。尚、右眼用画像を撮像する撮像部20-2は、前記左眼用画像を撮像する撮像部20-1と同じ構成を有するため、その具体的な構成の説明は省略する。
　ＣＰＵ３２は、操作部３４からの入力に基づき所定の制御プログラムに従ってカメラ全体の動作を統括制御する。尚、ＲＯＭ５６には、ＣＰＵ３２が実行する制御プログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ５８には、製品出荷前の検査時の検査結果を示す各種の情報、例えばＣＣＤ２４の画素欠陥情報、画像処理等に使用する補正パラメータやテーブル等が記憶されている。尚、ここに記憶される各種の情報の詳細については後述する。
　また、ＶＲＡＭ５２は、液晶モニタ１６に表示する表示用の画像データを一時記憶するメモリであり、ＲＡＭ５４は、ＣＰＵ３２の演算作業用領域及び画像データの一時記憶領域を含んでいる。
　撮影光学系に含まれるフォーカスレンズ及びズームレンズ２１は、レンズ駆動部２８により駆動されて光軸に沿って前後に移動する。ＣＰＵ３２は、レンズ駆動部２８の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作部３４中のズームボタン１２からのズーム指令に応じてズームレンズのズーム位置を制御してズーム倍率を変更させる。
　絞り２２は、例えば、アイリス絞りで構成されており、絞り駆動部２９に駆動されて動作する。ＣＰＵ３２は、絞り駆動部２９を介して絞り２２の開口量（絞り値）を制御し、ＣＣＤ２４への入射光量を制御する。
　メカシャッタ２３は、光路を開閉することによりＣＣＤ２４での露光時間を決めるとともに、ＣＣＤ２４からの画像信号の読み出し時に不要光がＣＣＤ２４に入射しないようにしてスミアの発生を防止する。ＣＰＵ３２は、シャッタ速度に対応する露光終了時点に同期したシャッタ閉信号をシャッタ制御部３０に出力し、メカシャッタ２３を制御する。
　ＣＣＤ２４は、２次元のカラーＣＣＤ固体撮像素子により構成されている。ＣＣＤ２４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。
　上記構成の光学ユニットを介してＣＣＤ受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ３２の指令に従ってＣＣＤ制御部３１から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてＣＣＤ２４から順次読み出される。ＣＣＤ２４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。尚、電子シャッタによりシャッタ速度に対応する電荷蓄積開始時点が制御され、前記メカシャッタ２３を閉じることにより露光終了時点（電荷蓄積終了時点）が制御される。この実施形態では、撮像素子としてＣＣＤ２４を用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。
　ＣＣＤ２４から読み出されたＲ、Ｇ、Ｂのアナログ信号は、アナログ信号処理部２５により相関二重サンプリング（ＣＤＳ）や増幅が行われた後、Ａ／Ｄ変換器２６によりＲ、Ｇ、Ｂのデジタル信号に変換される。
　画像入力コントローラ２７は、所定容量のラインバッファを内蔵しており、Ａ／Ｄ変換器２６によりＡ／Ｄ変換されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)を一時蓄積したのち、バス６０を介してＲＡＭ５４に格納する。
　ＣＰＵ３２は、３Ｄ撮影モード時には左目用画像を撮像する撮像部20-1と同様に右眼用画像を撮像する撮像部20-2を制御する。
　ＡＥ検出部４６は、シャッタボタン１１の半押し時に取り込まれる画像信号に基づいてＡＥ制御に必要な被写体輝度を算出し、被写体輝度（撮影ＥＶ値）を示す信号をＣＰＵ３２に出力する。ＣＰＵ３２は、入力する撮影ＥＶ値に基づいて所定のプログラム線図にしたがって複数の撮像部20-1,20-2におけるシャッタ速度（露光時間）、絞り値、撮影感度を設定する。
　ＡＦ検出部４８は、シャッタボタン１１の半押し時に取り込まれるＡＦエリアの画像信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をＣＰＵ３２に出力する。ＣＰＵ３２は、フォーカスレンズを至近から無限遠側に移動させ、ＡＦ検出部４８により検出されるＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点調節を行う。
　ＡＷＢ検出部５０は、本撮像時に取得されたＲ、Ｇ、Ｂの画像信号に基づいて自動的に光源種（被写界の色温度）を求め、予め光源種別に設定されたＲ、Ｇ、Ｂのホワイトバランスゲイン（ホワイトバランス補正値）を記憶するテーブルから対応するホワイトバランスゲインを読み出す。
　デジタル信号処理部４４は、ホワイトバランス補正回路、階調変換処理回路（例えば、ガンマ補正回路）、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂなどの色信号の空間的なズレを補間して各色信号の位置を合わせる同時化回路、輪郭補正回路、輝度・色差信号生成回路等の第１の画像処理部を含み、ＲＡＭ５４に格納されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)に対して第１の画像処理部により第１の画像処理を行う。即ち、Ｒ、Ｇ、ＢのCCDRAWデータは、デジタル信号処理部４４において、ＡＷＢ検出部５０により検出されたホワイトバランスゲインが乗算されてホワイトバランス補正が行われ、その後、階調変換処理（例えば、ガンマ補正）等の所定の処理が施された後、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＣ信号に変換される。デジタル信号処理部４４により処理されたＹＣ信号はＲＡＭ５４に格納される。
　また、デジタル信号処理部４４は、３Ｄ動画再生時に、左右視点画像からそれぞれ所定の切り出しエリアの画像を切り出すことにより複数の撮像部20-1,20-2の撮影光学系の光軸ずれを補正する画像切り出し処理回路、複数の撮像部20-1,20-2の撮影光学系のレンズ歪補正を補正するレンズ歪補正処理回路等の第２の画像処理部を含み、この第２の画像処理部は、前記第１の画像処理部により処理されたＹＣ信号に対して第２の画像処理を行う。尚、第２の画像処理部の処理内容の詳細については後述する。
　圧縮／伸張処理部４２は、メモリカード４０への記録時にはＣＰＵ３２からの指令に従い、ＲＡＭ５４に格納されたＹＣ信号を圧縮処理し、また、メモリカード４０に記録された圧縮された圧縮データを伸張処理してＹＣ信号にする。記録制御部３８は、圧縮／伸張処理部４２により圧縮された圧縮データを所定形式の画像ファイル（例えば、３Ｄの静止画は、ＭＰ（マルチピクチャ）フォーマットの画像ファイル）にしてメモリカード４０に記録し、又はメモリカード４０から画像ファイルの読み出しを行う。
　液晶モニタ１６は、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩ（グラフィカルユーザインターフェース）として使用される。また、液晶モニタ１６は、撮影モード時に画角を確認するための電子ファインダとして利用される。表示制御部３６は、液晶モニタ１６に３Ｄ画像を表示させる場合には、ＶＲＡＭ５２に保持されている左目用画像と右眼用画像とを１画素ずつ交互に表示させる。液晶モニタ１６に設けられているパララックスバリアにより、所定の距離から観察するユーザの左右の眼には、１画素ずつ交互に配列された左右の画像がそれぞれ別々に視認される。これにより、立体視を可能にしている。
　尚、図２には図示されていないが、この立体撮像装置１０は、図１Ａ及び１Ｂに示したステレオマイク１５により取得した音声情報（オーディオデータ）を記録再生する機能も有している。
　［３Ｄ動画撮影時の動作］
　次に、本開示内容に係る立体撮像装置１０の３Ｄ動画撮影時の動作について、図３に示すフローチャートを参照しながら説明する。
　図１Ｂに示した操作スイッチ１８Ａにより動画撮影モードに切り替え、かつ操作スイッチ１８Ｃにより３Ｄ撮影モードに切り替えることにより、３Ｄ動画を撮影する撮影モード（以下、「３Ｄ動画撮影モード」という）に設定することができる。
　３Ｄ動画撮影モードに設定された立体撮像装置１０は、動画記録前又は動画記録中に３Ｄのスルー画を液晶モニタ１６に表示させることができるようになっており、ユーザはこの３Ｄのスルー画を見ながら視差量調整スイッチ１８Ｂ（図１Ｂ参照）を操作することにより、３Ｄ動画（左目用画像と右眼用画像）の視差量を調整できる。
　即ち、視差量調整スイッチ１８Ｂを＋方向、又は－方向に操作することにより、３Ｄ動画の視差量を増減することができる。
　図３において、ＣＰＵ３２は、視差量調整スイッチ１８Ｂの操作を監視し、視差量調整スイッチ１８Ｂの操作があると(「No」の場合)、視差調整値H_SHIFTを内部メモリ（ＲＡＭ５４）に設定する（ステップＳ１０、Ｓ１２）。尚、視差量調整スイッチ１８Ｂが操作されない場合には、視差調整値は０に設定される。
　続いて、ＣＰＵ３２は、動画撮影の指示（シャッタボタン１１の全押し）の有無を判別する（ステップＳ１４）。シャッタボタン１１が全押しされると、ＣＰＵ３２は、まずメモリカード４０に３Ｄ動画記録用の記録ファイルを作成し、そのヘッダに図４に示す表のデータを記録する（ステップＳ１６）。
　ここで、図４にしめす表のデータについて説明する。
　図２に示したＥＥＰＲＯＭ５８には、図４の表に示すような、出荷前の検査で取得したカメラ固有のデータが格納されている。この実施形態では、ズームレンズの６段のズームポジションZP1～ZP6ごとに、ＣＣＤの全撮影画角の画像（以下、「全画像」という）から画像を切り出すための切り出し中心（光軸中心）の座標及び切り出しサイズ（縦横の画素数）を示す情報（第１の情報）と、レンズ歪補正パラメータ及び計算式を示す情報（第２の情報）とが、左右の撮影光学系別にそれぞれ格納されている。
　図５及び図６は、それぞれズームポジションZP1(ワイド端;35mm画角)とズームポジションZP3(Tele側;45mm画角)における左右の全画像に対する切り出し中心及び切り出しサイズ等を示している。
　図５に示すように、左眼用の全画像に対する切り出し中心(Lx1,Ly1)と、右眼用の全画像に対する切り出し中心(Rx1,Ry1)は、それぞれ左右の撮影光学系の光軸中心を示しており、ＣＣＤ撮像面の中心（×印）からずれている。
　左眼用の全画像から切り出し中心(Lx1,Ly1)を中心に切り出しサイズ(LH1,LV1)の画像を切り出し、同様に右眼用の全画像から切り出し中心(Rx1,Ry1)を中心に切り出しサイズ(RH1,RV1)の画像を切り出すことにおり、このズームポジションZP1における左右の撮影光学系の光軸ずれに伴う画像ずれを補正すること、即ち、光軸ずれを補正することができる。
　また、図５に示すレンズ歪は樽型歪の例が示されているが、この種のレンズ歪をもつ画像は、予めレンズ歪を検査してそれを補正するための情報（第２の情報）を使用することによりレンズ歪を補正することができる。即ち、レンズ歪を補正するための計算式（図４に示す表の例では６次多項式）の各項の係数にレンズ歪補正パラメータを代入した計算式を使用し、この計算式に切り出し中心を基準にした各画素の座標値を代入して得た座標位置に画素を再配置することより、レンズ歪が補正された画像を生成することができる。
　尚、計算式の次数が大きいほど、高精度の歪補正を行うことができるが、計算量が増加する。
　図６に示す左眼用の全画像に対する切り出し中心(Lx3,Ly3)と、右眼用の全画像に対する切り出し中心(Rx3,Ry3)は、それぞれ図５に示した切り出し中心(Lx1,Ly1)、切り出し中心(Rx1,Ry1)と異なっている。これは、ズームレンズのズームポジション毎に左右の撮影光学系の光軸中心のずれが異なることに起因している。
　従って、図４に示す表に示したように左右の撮影光学系のそれぞれのズームレンズのズームポジション毎に切り出し中心の情報を保持している。
　また、ズームレンズのズームポジション毎に撮影光学系のレンズ歪も変化するため、図４の表に示したように左右の撮影光学系のそれぞれのズームレンズのズームポジション毎にレンズ歪補正パラメータを保持している。
　尚、この実施形態の切り出し中心及び切り出しサイズは、レンズ歪補正が行われた画像上の値である。また、左右の撮影光学系のレンズ特性が同じ場合には、レンズ歪補正パラメータは、左右で共通のものを使用してもよい。
図３に戻って、ＣＰＵ３２は、ズームボタン１２によるズーム操作が行われたかを判別する（ステップＳ１８）。ズーム操作が行われた場合(「Yes」の場合)には、左右のズームレンズをズーム操作により指示されたズームポジションZPxに移動させる（ステップＳ２０）。ズーム操作が行われない場合(「No」の場合)には、ステップＳ２２に遷移させる。尚、ＣＰＵ３２は、ズーム操作の有無にかかわらず、常に現在のズームポジションZPxを把握している。
　ステップＳ２２では、ＣＰＵ３２は、ＡＥ検出部４６を動作させて被写体の明るさを示す撮影ＥＶ値を取得するとともに、ＡＦ検出部４８を動作させてＡＦエリアの被写体像のコントラストを示すＡＦ評価値を取得し、このＡＦ評価値が最大値に維持されるように左右のフォーカスレンズを駆動させる。
　続いて、ＣＰＵ３２は、ステップＳ３２で取得した撮影ＥＶ値に基づいて左右の撮像部20-1,20-2における撮影条件（絞り値、シャッタ速度、撮影感度）をそれぞれ決定する（ステップＳ24-1,Ｓ24-2）。尚、左右の撮像部20-1,20-2の性能にバラツキがあったり、異なるレンズ等が使用されている場合には、上記のように個別に撮影条件を決定する必要があるが、左右の撮像部20-1,20-2が同一の性能を有するものである場合には、共通の撮影条件を使用してもよい。
　ＣＰＵ３２は、上記のようにして決定した撮影条件にしたがって左右の撮像部20-1,20-2における露光制御を行い、１フレーム分の左右の視点画像（CCDRAWデータ）を取得する（ステップＳ26-1,Ｓ26-2）。
　前記取得されたCCDRAWデータは、デジタル信号処理部４４の第１の画像処理部によりホワイトバランス補正、ガンマ補正、ＹＣ変換等の画像処理が行われるが（ステップＳ28-1,Ｓ28-2）、ここでは、デジタル信号処理部４４の第２の画像処理部（画像切り出し処理回路、レンズ歪補正処理回路）による負荷の重い処理は行われない。
　ステップＳ28-1,Ｓ28-2によりCCDRAWデータからＹＣ変換されたレンズ歪補正前のＹＣ信号は、一旦ＲＡＭ５４に蓄えられ、規定のフレーム数（例えば、フレームレートが６０／秒の場合には、６０フレーム）に達すると、フレーム毎にＹＣ信号が圧縮された補正前の全画角の画像と、その画像に関連付けて現在のズームレンズのズームポジションZPx、ステップＳ１２で設定した視差調整値H_SHIFTとを、ステップＳ１６で作成した記録ファイルに格納する（ステップＳ３０）。尚、動画の圧縮方式としては、モーションＪＰＥＧ、Ｈ．２６４、ＭＰＥＧ４、ＭＰＥＧ４－ＭＶＣなどが適用できる。
　図７は前記記録ファイルのファイル構造の一例を示す図である。同図に示すように、記録ファイルのタグには、撮影情報、撮影条件、撮影日時等の通常の付属情報の他に、図４の表に示したズームポジション毎の切り出し中心（光軸中心）、切り出しサイズ、レンズ歪補正パラメータ（計算式含む）のテーブル、３Ｄ動画のサムネイル（３Ｄ動画を代表する３Ｄ静止画の左右の縮小画像）、各サムネイルの視差調整値が記録される。また、記録ファイルの本体には、１秒毎に３Ｄ動画の視差調整値H_SHIFT、ズームポジションZPxの情報のパケット（１秒間の各フレーム毎のパケット）、圧縮された３Ｄ動画（例えば、６０フレーム分の時系列の左右の視差画像）、及び１秒間のオーディオデータが記録される。
　上記記録ファイルの本体には、上記１秒毎の３Ｄ動画等の情報が、任意の動画撮影時間だけ連続して記録される。
　図３に戻って、ステップＳ３２では、ＣＰＵ３２は、３Ｄ動画の撮影終了指示があったか否かを判別する。例えば、ＣＰＵ３２は、ステップＳ１４でシャッタボタン１１が全押しされた後、再びシャッタボタン１１が全押しされた場合、「撮影終了指示あり」と判別する。
　そして、「撮影終了指示あり」が判別されない場合(「No」の場合)には、ステップＳ１０に戻り、上記３Ｄ動画の撮影と記録を繰り返す。
　一方、「撮影終了指示あり」と判別された場合(「Yes」の場合)には、ステップＳ３２に遷移し、ここで１秒未満の３Ｄ動画等を記録ファイルに記録した後、３Ｄ動画の撮影記録を終了する。
　［３Ｄ動画再生時の動作］
　次に、本開示内容に係る立体撮像装置１０の３Ｄ動画再生時の動作について、図８に示すフローチャートを参照しながら説明する。
　MENU／OKボタンと再生ボタンとを兼ねた操作スイッチ１８Ｄにより再生モードが設定されると、立体撮像装置１０はメモリカード４０に記録された画像の再生を行うことができる。
　図８において、３Ｄ動画が記録された記録ファイルが選択されてその再生が指示されると（ステップＳ５０）、ＣＰＵ３２は、記録ファイルのタグ（図７参照）に基づいて図４に示す表のデータを読み出し、これを内部メモリ（ＲＡＭ５４）に記憶させる（ステップＳ５２）。
　続いて、ＣＰＵ３２は、記録ファイルの本体から３Ｄ動画と、それに関連付けられて記録されているズームポジションZPx、視差調整値H_SHIFTとを読み出す（ステップＳ５４）。
　読み出された３Ｄ動画（圧縮されたＹＣ信号）は、圧縮／伸張処理部４２により伸張処理されて非圧縮のＹＣ信号に復元され（ステップＳ５６）、その後、デジタル信号処理部４４の第２の画像処理部により画像処理が行われる（ステップＳ５８～Ｓ６４）。
　即ち、復元されたＹＣ信号は、まずレンズ歪補正処理回路により左右の視点画像に対してそれぞれレンズ歪補正が行われる。このレンズ歪補正処理は、フレーム毎に対応付けて記録されたズームポジションZPxに基づいて、ＲＡＭ５４に記憶させた図４に示す表から対応するレンズ歪補正パラメータ、及び切り出し中心（光軸中心）座標を読み出し、このレンズ歪補正パラメータを係数とする計算式に視点画像の各画素の光軸中心を基準にした座標値を代入することにより新たな座標値を取得し、その座標値に画素を移動させることで、レンズ歪が補正された視差画像を得る（ステップＳ５８、図５、図６参照）。
　レンズ歪補正された左右の全画角の視差画像は、画像切り出し処理回路によりそれぞれ切り出しエリアが調整されて切り出され、左右の撮影光学系の光軸ずれが補正される。即ち、画像切り出し処理回路は、全画角の視差画像のズームポジションZPxに対応してＲＡＭ５４から切り出し中心（光軸中心）の座標及び切り出しサイズの情報を読み出し、これらの情報に基づいて左右の全画角の視差画像から３Ｄ表示用の光軸ずれが補正された左右の視差画像を切り出す（ステップＳ６０）。
　図９Ａに示すレンズ歪が補正された左右の全画角の視差画像から、図９Ｂに示すように光軸ずれが補正された左右の視差画像を切り出す。
　次に、画像切り出し処理回路は、前記切り出した左右の視差画像からステップＳ５４で読み出した視差調整値H_SHIFTに基づいて、図９Ｃに示すように左右方向に視差調整値H_SHIFTの２分の１だけオフセットした切り出しエリアで切り出す（ステップＳ６２、Ｓ６４）。尚、図９Ｃに示す例では、視差量が大きくなる方向に切り出しているが、視差調整値H_SHIFTの符号が逆転している場合には、視差量が小さくなる方向に切り出される。
　上記のようにして切り出された左右の視差画像は、表示制御部３６を介して液晶モニタ１６（立体表示部）に出力され、ここで３Ｄ画像として表示される（ステップＳ６６）。
　ステップＳ６８では、映像フレームが終了したか、又は動画再生の終了が指示されたかが判別され、「No」の場合には、ステップＳ５４に戻る。
　これにより、上記再生処理がフレーム毎に繰り返され、液晶モニタ１６には３Ｄ動画が表示される。尚、上記３Ｄ動画の出力先は、液晶モニタ１６に限らず、外部の３Ｄ表示装置でもよい。
　映像フレームが終了し、又は動画再生の終了が指示されると(「Yes」の場合)、３Ｄ動画の再生処理を終了させる（ステップＳ７０）。
　上記実施形態の画像切り出し処理は、光軸ずれを補正するための切り出しを行った後、その切り出された画像から更に視差調整値H_SHIFTに基づいて視差調整した画像を切り出すようにしたが、これに限らず、左右の視差画像の切り出し中心の座標を、視差調整値H_SHIFTの２分の１の値でオフセットし、このオフセットした切り出し中心と切り出しサイズにより、全画角の画像から一度に切り出すようにしてもよい。
　あるいは、光軸ずれを補正するための切り出しを行った後、その切り出された画像を視差調整値H_SHIFTに基づいて（画像をずらす）視差調整をしてもよい。それを立体表示する場合、表示画像の左右端のH_SHIFT/2を黒等で塗りつぶしてもよい。もちろん塗り潰さずそのまま表示してもよい。
　［３Ｄ動画の変換処理］
　次に、本開示内容に係る立体撮像装置１０の３Ｄ動画の変換処理について、図１０に示すフローチャートを参照しながら説明する。尚、図８に示した動画再生時にフローチャートと共通する部分については、共通のステップ番号を付し、その詳細な説明は省略する。
　図１０において、まず、立体撮像装置１０の操作スイッチ１８Ｄ（MENU／OKボタン）を操作し、液晶モニタ１６に動画変換メニューを表示させ、その動画変換メニューの選択実行が指示されると、３Ｄ動画の変換処理が開始される（ステップＳ８０）。
　ステップＳ８２では、変換処理を行う３Ｄ動画の選択が行われる。この３Ｄ動画の選択は、３Ｄ動画のサムネイルを表示させ、所望のサムネイルを選択することにより行うことができる。尚、変換処理前のサムネイルと変換処理後のサムネイルとをマーカや文字等により識別可能に表示させることにより、変換処理済みの３Ｄ動画が選択されないようにすることができる。
　上記選択した３Ｄ動画の変換指示があると、前述したステップＳ５２からＳ６４により１フレームずつレンズ歪補正処理、光軸ずれを補正の画像切り出し処理等が行われる。
　１秒分の規定のフレーム数の画像処理が終了すると、左右の視差画像をそれぞれ圧縮処理し（ステップＳ８６）、記録ファイルに上書きし、又は新規の記録ファイルを作成して保存する（ステップＳ８８）。
　そして、映像フレームが終了するまで、ステップＳ５４からステップＳ８８までの処理を繰り返す。これにより、レンズ歪補正、光軸中心のずれ等が補正された変換済みの３Ｄ動画の記録ファイルを生成することができる。
　［その他］
　この実施形態では、立体撮像装置１０が、図８に示した３Ｄ動画の再生処理を行うようにしたが、これに限らず、３Ｄディスプレイを有する３Ｄ再生装置が、図８に示した３Ｄ動画の再生処理を行うようにしてもよい。この場合、３Ｄ再生装置は、立体撮像装置１０により記録された３Ｄ動画の記録ファイルを記録メディアから直接又は通信手段を介して取得するようにする。
　また、この実施形態では、立体撮像装置１０が、図１０に示した３Ｄ動画の変換処理を行うようにしたが、これに限らず、図１０に示した３Ｄ動画の変換処理を行う編集ソフトウエアがインストールされたパーソナルコンピュータ、その他の外部機器が、未処理の３Ｄ動画を入力して３Ｄ動画の変換処理を行うようにしてもよい。
　この実施形態では、光軸中心のずれを補正するための情報として、レンズ歪補正後の画像における切り出し中心の座標、及び切り出しサイズの情報を記憶保持するようにしたが、これに限らず、レンズ歪補正前の画像における切り出し中心の座標、及び切り出しサイズの情報を記憶保持するようにしてもよい。この場合、前記記憶保持した情報に基づいて最初にレンズ歪補正前の画像から光軸中心のずれを補正する画像の切り出しを行い、その後、切り出した画像に対してレンズ歪を補正する処理を行う。
　また、この実施形態では、光軸中心のずれを補正するための情報として、図４に示したようにズームポジションZPに応じて切り出し中心（光軸中心）の座標値と切り出しサイズの情報をもつようにしたが、これに限らず、切り出しエリアの対角の座標値をもつようにしてもよい。
　また、本開示内容は撮影光学系のレンズ歪補正に限らず、色収差等の他の収差を補正する場合にも適用できる。
　更に、図７に示したように記録ファイルのタグに図４に示す表を格納し、各動画のフレームに関連付けてズームポジションZPｘの情報を記録するようにしたが、これに限らず、ズームポジションZPxに基づいて図４に示す表から選択されたデータを、直接動画のフレームに関連付けて記録するようにしてもよい。この場合には、図４に示す表のズームポジションZPｘの情報の記録は不要になる。
　また、本開示内容は上述した実施形態に限定されず、本開示内容の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１０…立体撮像装置、１１…シャッタボタン、１２…ズームボタン、１６…液晶モニタ、20-1,20-2…撮像部、２１…フォーカスレンズ及びズームレンズ、２４…ＣＣＤ、２５…アナログ信号処理部、３２…中央処理装置（ＣＰＵ）、３４…操作部、４４…デジタル信号処理部、５４…ＲＡＭ、５６…ＲＯＭ、５８…ＥＥＰＲＯＭ

Claims (14)

  1. 　撮影光学系と該撮影光学系を介して結像される被写体像をそれぞれ光電変換する撮像素子とを有する複数の撮像部であって、互いに視差を有する視差画像を撮像する複数の撮像部と、
    　各撮影光学系の光軸中心位置及び切り出しサイズ、又は各撮影光学系の光軸中心位置を中心にした切り出しエリアを示す第１の情報と、各撮影光学系の収差を示す第２の情報とが記憶された記憶部と、
    　前記複数の撮像部から立体動画となる時系列の複数の視差画像を出力させる撮像制御部と、
    　動画撮影時に前記複数の撮像部から出力される時系列の複数の視差画像を記録媒体に記録するとともに、前記記憶部から読み出した前記第１の情報及び第２の情報を前記複数の視差画像に関連付けて前記記録媒体に記録する記録部と、
    　を備える立体撮像装置。
  2. 　前記第１の情報は、前記撮影光学系の収差を補正する前の視差画像、又は収差を補正した後の視差画像に対する情報である、請求項１に記載の立体撮像装置。
  3. 　前記複数の撮像部から出力される複数の視差画像間の視差量を調整する視差量調整部をさらに備え、
    　前記記録部は、前記視差量調整部により調整された視差量を示す第３の情報を前記複数の視差画像に関連付けて前記記録媒体に記録する、請求項１又は２に記載の立体撮像装置。
  4. 　前記撮影光学系はズームレンズであり、
    　前記記憶部は、前記ズームレンズのズーム位置毎に前記第１の情報及び第２の情報を記憶し、
    　前記記録部は、前記記憶部に記憶された前記ズーム位置毎の第１の情報及び第２の情報の全情報と動画撮影時の前記ズームレンズの時系列のズーム位置を示す情報、又は動画撮影時の前記ズームレンズのズーム位置に基づいて前記記憶部から読み出した時系列の前記第１の情報及び第２の情報を、前記複数の視差画像に関連付けて前記記録媒体に記録する請求項１から３のいずれかに記載の立体撮像装置。
  5. 　前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出す読出部と、
    　前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、
    　前記画像処理部により生成された時系列の複数の視差画像を、装置内の立体表示部又は外部の立体表示部に出力する出力部と、
    　をさらに備える請求項１、２又は４に記載の立体撮像装置。
  6. 　前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、
    　前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報及び第３の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、
    　前記画像処理部により生成された時系列の複数の視差画像を、装置内の立体表示部又は外部の立体表示部に出力する出力部と、
    　をさらに備える請求項３に記載の立体撮像装置。
  7. 　前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、
    　前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、
    　前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいて画像ずらして装置内の立体表示部又は外部の立体表示部に出力する出力部と、
    　をさらに備える請求項３に記載の立体撮像装置。
  8. 　前記出力部の代わりに、又は前記出力部とともに前記画像処理部により生成された時系列の複数の視差画像を前記記録媒体に記録する記録部をさらに備える請求項５から７のいずれかに記載の立体撮像装置。
  9. 　請求項１、２又は４の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出す読出部と、
    　前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、
    　前記画像処理部により生成された時系列の複数の視差画像に基づいて立体動画を表示する立体表示部と、
    　を備える画像再生装置。
  10. 　請求項３に記載の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、
    　前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報及び第３の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、
    　前記画像処理部により生成された時系列の複数の視差画像に基づいて立体動画を表示する立体表示部と、
    　を備える画像再生装置。
  11. 　請求項３の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、
    　前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、
    　前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいて画像ずらして立体動画を表示する立体表示部と、
    　を備える画像再生装置。
  12. 　請求項１、２又は４の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出す読出機能と、
    　前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、
    　前記生成された時系列の複数の視差画像を記録媒体に記録する記録機能と、
    　をコンピュータにより実現させる編集ソフトウエア。
  13. 　請求項３の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出機能と、
    　前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報及び第３の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、
    　前記生成された時系列の複数の視差画像を記録媒体に記録する記録機能と、
    　をコンピュータにより実現させる編集ソフトウエア。
  14. 　請求項３の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出機能と、
    　前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、
    　前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいて画像ずらして装置内の立体表示部又は外部の立体表示部に出力する出力機能と、
    　をコンピュータにより実現させる編集ソフトウエア。
PCT/JP2010/069913 2010-03-29 2010-11-09 立体撮像装置、画像再生装置及び編集ソフトウエア WO2011121837A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/638,555 US9256116B2 (en) 2010-03-29 2010-11-09 Stereoscopic imaging device, image reproducing device, and editing software
CN201080065964.4A CN102860015B (zh) 2010-03-29 2010-11-09 立体成像装置、图像再现装置
JP2012508018A JP5166650B2 (ja) 2010-03-29 2010-11-09 立体撮像装置、画像再生装置及び編集ソフトウエア

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-075750 2010-03-29
JP2010075750 2010-03-29

Publications (1)

Publication Number Publication Date
WO2011121837A1 true WO2011121837A1 (ja) 2011-10-06

Family

ID=44711611

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/069913 WO2011121837A1 (ja) 2010-03-29 2010-11-09 立体撮像装置、画像再生装置及び編集ソフトウエア

Country Status (4)

Country Link
US (1) US9256116B2 (ja)
JP (1) JP5166650B2 (ja)
CN (1) CN102860015B (ja)
WO (1) WO2011121837A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220460A (zh) * 2012-01-20 2013-07-24 华晶科技股份有限公司 影像处理方法及其装置
JP2013247518A (ja) * 2012-05-25 2013-12-09 Sharp Corp 空間情報算出システム
TWI625051B (zh) * 2017-03-21 2018-05-21 奇景光電股份有限公司 深度感測裝置
WO2022219985A1 (ja) * 2021-04-12 2022-10-20 ソニーセミコンダクタソリューションズ株式会社 情報処理方法、情報処理装置、プログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787369B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US20140225991A1 (en) * 2011-09-02 2014-08-14 Htc Corporation Image capturing apparatus and method for obatining depth information of field thereof
JP5281720B1 (ja) * 2011-09-20 2013-09-04 パナソニック株式会社 立体映像処理装置及び立体映像処理方法
TWI524735B (zh) * 2012-03-30 2016-03-01 華晶科技股份有限公司 三維影像產生方法及裝置
DE102013012988A1 (de) * 2013-08-03 2015-02-05 Carl Zeiss Microscopy Gmbh Verfahren zur Kalibrierung eines digitalen optischen Abbildungssystems, Verfahren zur Korrektur von Abbildungsfehlern in einem digitalen optischen Abbildungssystem, sowie digitales optisches Abblildungssystem
CN105023275B (zh) * 2015-07-14 2018-08-28 清华大学 超分辨率光场采集装置及其的三维重建方法
WO2017169014A1 (ja) * 2016-03-30 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
CN107801012B (zh) * 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
JP7392712B2 (ja) * 2019-03-18 2023-12-06 ソニーグループ株式会社 撮像装置、情報処理方法、およびプログラム
JP2023079119A (ja) 2021-11-26 2023-06-07 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007304A (ja) * 2002-06-03 2004-01-08 Fuji Photo Film Co Ltd デジタル撮影装置
JP2004128565A (ja) * 2002-09-30 2004-04-22 Fuji Photo Film Co Ltd デジタルカメラ
JP2008131551A (ja) * 2006-11-24 2008-06-05 Konica Minolta Opto Inc 撮像装置
JP2008141518A (ja) * 2006-12-01 2008-06-19 Fujifilm Corp 撮影装置
JP2009302657A (ja) * 2008-06-10 2009-12-24 Canon Inc 画像処理装置、制御方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317424A (ja) 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
JP2002247593A (ja) 2001-02-16 2002-08-30 Olympus Optical Co Ltd 画像処理装置
JP4397573B2 (ja) 2002-10-02 2010-01-13 本田技研工業株式会社 画像処理装置
WO2006062325A1 (en) * 2004-12-06 2006-06-15 Electronics And Telecommunications Research Institute Apparatus for correcting image distortion of stereo-camera and method thereof
CN101001309A (zh) * 2006-01-13 2007-07-18 鸿富锦精密工业（深圳）有限公司 一种成像***及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007304A (ja) * 2002-06-03 2004-01-08 Fuji Photo Film Co Ltd デジタル撮影装置
JP2004128565A (ja) * 2002-09-30 2004-04-22 Fuji Photo Film Co Ltd デジタルカメラ
JP2008131551A (ja) * 2006-11-24 2008-06-05 Konica Minolta Opto Inc 撮像装置
JP2008141518A (ja) * 2006-12-01 2008-06-19 Fujifilm Corp 撮影装置
JP2009302657A (ja) * 2008-06-10 2009-12-24 Canon Inc 画像処理装置、制御方法、及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220460A (zh) * 2012-01-20 2013-07-24 华晶科技股份有限公司 影像处理方法及其装置
JP2013247518A (ja) * 2012-05-25 2013-12-09 Sharp Corp 空間情報算出システム
TWI625051B (zh) * 2017-03-21 2018-05-21 奇景光電股份有限公司 深度感測裝置
WO2022219985A1 (ja) * 2021-04-12 2022-10-20 ソニーセミコンダクタソリューションズ株式会社 情報処理方法、情報処理装置、プログラム

Also Published As

Publication number Publication date
JPWO2011121837A1 (ja) 2013-07-04
CN102860015B (zh) 2015-08-26
JP5166650B2 (ja) 2013-03-21
US20130038699A1 (en) 2013-02-14
US9256116B2 (en) 2016-02-09
CN102860015A (zh) 2013-01-02

Similar Documents

Publication Publication Date Title
JP5166650B2 (ja) 立体撮像装置、画像再生装置及び編集ソフトウエア
JP4875225B2 (ja) 立体撮像装置
JP4897940B2 (ja) 立体撮像装置
JP4692770B2 (ja) 複眼デジタルカメラ
JP5722975B2 (ja) 撮像装置、撮像装置用シェーディング補正方法及び撮像装置用プログラム
JP5640143B2 (ja) 撮像装置及び撮像方法
JP4686795B2 (ja) 画像生成装置及び画像再生装置
WO2011136190A1 (ja) 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置
WO2011136191A1 (ja) 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置
JP5433109B2 (ja) 立体撮像装置および立体撮像方法
US9310672B2 (en) Stereoscopic image capturing device and method of controlling thereof
WO2012101916A1 (ja) 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法
JP2010237582A (ja) 立体撮像装置および立体撮像方法
WO2012105120A1 (ja) 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法
JP2012124650A (ja) 撮像装置および撮像方法
JP2010200024A (ja) 立体画像表示装置および立体画像表示方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080065964.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10849010

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012508018

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13638555

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10849010

Country of ref document: EP

Kind code of ref document: A1