WO2012053136A1 - 立体映像処理回路および立体映像撮影装置 - Google Patents
立体映像処理回路および立体映像撮影装置 Download PDFInfo
- Publication number
- WO2012053136A1 WO2012053136A1 PCT/JP2011/004039 JP2011004039W WO2012053136A1 WO 2012053136 A1 WO2012053136 A1 WO 2012053136A1 JP 2011004039 W JP2011004039 W JP 2011004039W WO 2012053136 A1 WO2012053136 A1 WO 2012053136A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- eye
- processing circuit
- eye image
- captured
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/02—Stereoscopic photography by sequential recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Definitions
- the present invention relates to a stereoscopic video processing circuit and a stereoscopic video imaging apparatus for processing a right-eye image and a left-eye image for forming a stereoscopic video.
- Patent Document 1 discloses a left and right binocular movable mirror having a reflection function and a left and right binocular for alternately inputting light beams of images having different left and right parallax in time series to one image sensor.
- the parallax amount of the subject is controlled by driving a movable mirror during the zoom operation of the lens unit.
- a technique for shooting a high-quality stereoscopic image is disclosed.
- an image shift may occur between the left and right parallax images (the image for the right eye and the image for the left eye) due to an error in the physical mounting accuracy of the movable mirror.
- an image shift may occur between the left and right parallax images.
- human eyes are sensitive to vertical image shifts, if vertical image shifts occur between left and right parallax images, there is a high possibility of causing eye strain and motion sickness.
- an object of the present invention is to provide a stereoscopic video processing circuit and a stereoscopic video imaging apparatus capable of correcting a vertical image shift between a right eye image and a left eye image.
- the stereoscopic video processing circuit captures a right-eye captured image and a left-eye captured image for constituting a stereoscopic video, and within the right-eye readout region from the right-eye captured image.
- the right-eye image and the left-eye image obtained by the imaging processing circuit that repeats the operation of reading the image of the right-eye image as the right-eye image and reading the image in the left-eye readout area as the left-eye image from the left-eye captured image.
- a stereoscopic video processing circuit for processing an eye image which is detected by a parallax detection unit that detects a vertical image shift amount between the right eye image and the left eye image, and the parallax detection unit.
- a readout area control unit that changes at least one of the arrangement of the readout area for the right eye and the arrangement of the readout area for the left eye so that the amount of vertical image shift is small.
- the stereoscopic image processing circuit can correct a vertical image shift between the right-eye image and the left-eye image.
- the stereoscopic video processing circuit is detected by the parallax detection unit so that a vertical image shift amount between the central portion of the right-eye image and the central portion of the left-eye image is small.
- An image shift correction unit that processes at least one of the peripheral portion of the right-eye image and the peripheral portion of the left-eye image according to a vertical image shift amount may be further provided.
- the above-described stereoscopic video processing circuit can correct the vertical image shift also for the right-eye image and the left-eye image that do not reflect the read area arrangement correction based on the image shift amount.
- the stereoscopic video processing circuit further includes an image interpolation unit, the right-eye image and the left-eye image are alternately captured, and the image interpolation unit is based on the right-eye image. And interpolating a new right eye image corresponding to a time when the right eye image is not captured, and a new left corresponding to a time when the left eye image is not captured based on the left eye image. It may interpolate an ophthalmic image.
- temporal resolution can be improved by interpolating images (right-eye image and left-eye image) that are not actually captured.
- power consumption can be reduced.
- the parallax detection unit includes a right eye corresponding to the same time among the right eye image and the left eye image from the imaging processing circuit and the right eye image and the left eye image interpolated by the image interpolation unit. It is also possible to detect an image shift amount in the vertical direction between the image for use and the image for the left eye.
- the stereoscopic video imaging apparatus includes the stereoscopic video processing circuit, the imaging processing circuit, and a right eye video and a left eye video of a subject corresponding to the right eye viewpoint and the left eye viewpoint, respectively. And an optical device that alternately images the right-eye video and the left-eye video on the imaging surface of the imaging processing circuit, and the imaging processing circuit uses the optical device to capture the imaging surface.
- the captured image for the right eye and the captured image for the left eye are acquired by capturing the image formed on the left eye.
- the vertical image misalignment between the right-eye image and the left-eye image can be corrected, so that it is possible to capture a stereoscopic image that viewers are watching and are not tired.
- the stereoscopic video processing circuit includes the right-eye image obtained by the imaging processing circuit that repeats the operation of capturing the right-eye image and the left-eye image for forming the stereoscopic video, and A stereoscopic video processing circuit for processing the left-eye image, a parallax detection unit for detecting a vertical image shift amount between the right-eye image and the left-eye image, and the right-eye image The right-eye image according to the vertical image shift amount detected by the parallax detection unit so that the vertical image shift amount between the central portion of the left-eye image and the central portion of the left-eye image is small. And an image shift correction unit that processes at least one of the peripheral portion of the left eye and the peripheral portion of the left-eye image.
- the stereoscopic image processing circuit can correct a vertical image shift between the right-eye image and the left-eye image.
- the stereoscopic video imaging apparatus includes the stereoscopic video processing circuit, the imaging processing circuit, and a right eye video and a left eye video of a subject corresponding to the right eye viewpoint and the left eye viewpoint, respectively. And an optical device that alternately images the right-eye video and the left-eye video on the imaging surface of the imaging processing circuit, and the imaging processing circuit uses the optical device to capture the imaging surface.
- the image for the right eye and the image for the left eye are acquired by imaging the image formed on the left eye.
- the vertical image misalignment between the right-eye image and the left-eye image can be corrected, so that it is possible to capture a stereoscopic image that viewers are watching and are not tired.
- the optical device includes a shutter unit that alternately passes the right-eye image and the left-eye image, and a photographing lens that forms an image that has passed through the shutter unit on the imaging surface of the imaging processing circuit.
- the shutter unit may be detachably connected to the photographing lens.
- the optical device includes a shutter unit that alternately passes the right-eye image and the left-eye image, and a photographing lens that forms an image that has passed through the shutter unit on the imaging surface of the imaging processing circuit.
- the shutter unit may be integrated with the photographing lens.
- FIG. 1 shows a configuration example of a stereoscopic video imaging apparatus.
- This apparatus includes a stereoscopic video processing circuit 10, an optical device 20, an imaging processing circuit 30, and a storage 40 (for example, an SD card or an HDD).
- a storage 40 for example, an SD card or an HDD.
- the optical device 20 alternately passes the right-eye video RR and the left-eye video LL of the subject corresponding to the right-eye viewpoint and the left-eye viewpoint, respectively, and the right-eye video RR and the left-eye on the imaging surface of the imaging processing circuit 30.
- the eye images LL are alternately formed.
- the optical device 20 may include a shutter unit 21 and a photographing lens 22.
- the shutter unit 21 alternately passes the right-eye video R0 and the left-eye video L0 of the subject corresponding to the right-eye viewpoint and the left-eye viewpoint, respectively.
- the shutter unit 21 includes a right eye optical system 211R and a left eye optical system 211L, and a liquid crystal shutter 212 arranged in parallel.
- the right eye optical system 211R is bent so as to make an angle with the optical axis of the right eye image
- the left eye optical system 211L is bent so as to make an angle with the optical axis of the left eye image.
- the liquid crystal shutter 212 alternately passes the right-eye video and the left-eye video in time series.
- the photographic lens 22 forms an image that has passed through the shutter unit 21 on the imaging surface of the imaging processing circuit 30.
- the right-eye video RR and the left-eye video LL are alternately formed on the imaging surface of the imaging processing circuit 30.
- the shutter unit 21 may be detachably connected to the photographing lens 22.
- the shutter unit 21 may be an attachment that is detachably attached to the photographing lens 22. With this configuration, it is possible to easily switch between a stereoscopic video and a normal two-dimensional video.
- the shutter unit 21 may be integrated with the photographing lens 22.
- the shutter unit 21 may constitute a lens unit that can be integrated with the photographing lens 22 and exchanged. With this configuration, it is possible to easily switch between a stereoscopic video and a normal two-dimensional video.
- the imaging processing circuit 30 captures a right-eye captured image and a left-eye captured image for forming a stereoscopic image by capturing an image formed on the imaging surface by the optical device 20. Accordingly, as shown in FIG. 3, the left-eye captured image L0 (n-3) , right eye at times T (n-3) , T (n-2) ,..., T (n + 2) , T (n + 3) use the captured image R0 (n-2), ... , the right-eye captured image R0 (n + 2), left-eye captured image L0 (n + 3) are respectively imaged. That is, the right-eye captured image R0 and the left-eye captured image L0 are alternately captured.
- right-eye captured image R0 is a generic name for right-eye captured images (..., R0 (n ⁇ 2) , R0 (n) , R0 (n + 2) ,
- L0 ′′ is a generic name for the left-eye captured images (..., L0 (n ⁇ 3) , L0 (n ⁇ 1) , L0 (n + 1) , L0 (n + 3) ,.
- the imaging processing circuit 30 captures the right-eye captured image R0 and the left-eye captured image L0, reads an image in the right-eye readout region from the right-eye captured image R0 as the right-eye image R1, and The operation of reading the image in the left-eye readout region from the eye-captured image L0 as the left-eye image L1 is repeated. In this way, the right-eye image R1 and the left-eye image L1 are alternately read. For example, as illustrated in FIG. 4, the imaging processing circuit 30 uses the upper left of the right-eye captured image R0 (or the left-eye captured image L0) as the origin (0, 0), and sets the readout position coordinates (x, y).
- the arrangement of the right-eye readout area R101 and the arrangement of the left-eye readout area L101 can be changed.
- the imaging processing circuit 30 may include an imaging element 31, an analog processing unit 32, and a digital processing unit 33.
- the imaging device 31 captures an image formed on the imaging surface by the optical device 20 by converting light applied to the imaging surface into an electrical signal. As a result, the imaging element 31 has captured the right-eye captured image R0 and the left-eye captured image L0.
- the imaging element 31 captures the right-eye captured image R0 and the left-eye captured image L0, reads the image in the right-eye readout region R101 from the right-eye captured image R0 as the right-eye image R1, and The operation of reading the image in the left eye readout region L101 from the eye captured image L0 as the left eye image L1 is repeated.
- the analog processing unit 32 performs analog signal processing (for example, noise reduction, gain control, A / D) on the right-eye image R1 (analog signal) and the left-eye image L1 (analog signal) obtained by the image sensor 31. Conversion).
- the digital processing unit 33 performs digital signal processing (for example, white balance processing, Y / C conversion) on the right-eye image R1 (digital signal) and the left-eye image L1 (digital signal) processed by the analog processing unit 32. Process).
- the stereoscopic video processing circuit 10 is connected to the imaging processing circuit 30 and processes the right-eye image R1 and the left-eye image L1 obtained by the imaging processing circuit 30. Further, here, the stereoscopic video processing circuit 10 controls the arrangement of the right eye readout region R101 and the arrangement of the left eye readout region L101 in the imaging processing circuit 30.
- the stereoscopic video processing circuit 10 includes a memory 11 that temporarily stores an image for the right eye and an image for the left eye, and an image format of the image for the right eye and the image for the left eye that is stored in a predetermined image format (the storage 40).
- the memory 11 includes an image memory 101 and an encode buffer 102.
- the image processing unit 12 includes a parallax detection unit 201, an image interpolation unit 202, and an image shift correction unit 203.
- the CPU 13 includes a read area control unit 301 and an image shift control unit 302.
- the image recording unit 14 includes an encoder 401 and a storage control unit 402.
- the image memory 101 stores a right-eye image and a left-eye image obtained by the imaging processing circuit 30, and a right-eye image and a left-eye image obtained by the image processing unit 12.
- the image interpolation unit 202 reads the right-eye image R1 stored in the image memory 101, and based on the read right-eye image R1, the time when the right-eye image R1 is not captured (the right-eye image A new right-eye image R1 corresponding to a time different from the time corresponding to R1 is interpolated. Also, the image interpolation unit 202 reads the left eye image L1 stored in the image memory 101, and based on the read left eye image L1, the time when the left eye image L1 is not captured (the left eye A new left-eye image L1 corresponding to a time different from the time corresponding to the image L1 is interpolated. In addition, the image interpolation unit 202 stores a new right-eye image R1 and left-eye image L1 in the image memory 101.
- the image interpolation processing by the image interpolation unit 202 will be described with reference to FIGS. 5A and 5B.
- the right-eye image R1 corresponding to the time T (k) is referred to as “right-eye image R1 (k) ”
- the left-eye image corresponding to the time T (k) is used.
- the image L1 is expressed as “left-eye image L1 (k) ”.
- the imaging processing circuit 30 stores the right-eye image R1 (n) corresponding to the time T (n) in the image memory 101
- the image interpolation unit 202 performs the time T (n-3).
- image interpolation processing for example, motion estimation and motion compensation
- the image interpolation unit 202 stores the new left eye image L1 (n ⁇ 2) in the image memory 101.
- the image interpolation unit 202 when the imaging processing circuit 30 stores the left-eye image L1 (n + 1) corresponding to the time T (n + 1) in the image memory 101, the image interpolation unit 202 performs the time T (n -2) and right-eye image R (n-2) and right-eye image R (n) corresponding to time T (n) , respectively, and read right-eye images R1 (n-2) and R1 (n) Based on the above, the image interpolation process is executed to interpolate a new right-eye image R1 (n-1) corresponding to the time T (n-1) . In addition, the image interpolation unit 202 stores the new right-eye image R1 (n ⁇ 1) in the image memory 101. By repeating such an operation, it is possible to interpolate images that are not actually captured (right-eye image R1 and left-eye image L1).
- the parallax detection unit 201 detects an image shift amount D201 in the vertical direction between the right-eye image and the left-eye image stored in the image memory 101.
- the right-eye image R1 and the left-eye image L1 are images of n rows and m columns, and the right-eye image R1 is “2L (horizontal line 2) below the left-eye image L1 in the vertical direction. This)) ”
- the image shift amount D201 is a value indicating the image shift amount in the vertical direction of the right-eye image R1 with respect to the left-eye image L1, and the right-eye image R1 is in the vertical direction with respect to the left-eye image L1. It is assumed that the value when the image is shifted downward is “positive” and the value when the image R1 for the right eye is shifted upward in the vertical direction with respect to the image L1 for the left eye is “negative”.
- the parallax detection unit 201 calculates, for each horizontal line of the right-eye image R1, the sum of luminance values of m pixels included in the horizontal line as a right-eye feature amount. Thereby, n right eye feature quantities RS (1) , RS (2) ,..., RS (n) respectively corresponding to n horizontal lines of the right eye image R1 are calculated. Similarly, the parallax detection unit 201 calculates the sum of the luminance values of n pixels included in the horizontal line for each horizontal line of the left-eye image L1 as the left-eye feature amount, thereby N left eye feature values LS (1) , LS (2) ,..., LS (n) respectively corresponding to n horizontal lines of the image L1 are calculated.
- the parallax detection unit 201 changes the vertical image shift amount ⁇ y between the right-eye image R1 and the left-eye image L1 and, according to the image shift amount ⁇ y, the right-eye feature amount RS ( 1) , RS (2) ,..., RS (n) and the left eye feature quantity LS (1) , LS (2) ,..., LS (n) are changed, and the right eye feature quantity RS is changed.
- the right eye feature quantity RS is changed.
- the disparity detection unit 201 the right-eye feature amount RS (1), RS (2 ), ..., RS (n) and the left-eye feature amount LS (1), LS (2 ), ..., LS ( The image shift amount ⁇ y when the difference square sum with n) is minimized is detected as the image shift amount D201.
- the sum of squared differences is minimized when the image shift amount ⁇ y is “+ 2L”, and thus the parallax detection unit 201 determines the image shift amount D201 to be “+ 2L”.
- the parallax detection unit 201 detects the image shift amount D201 in the vertical direction between the right-eye image R1 and the left-eye image L1.
- the method of detecting the image shift amount by the parallax detection unit 201 is not limited to the above-described method (a method of detecting based on the sum of squared differences), and another method such as block matching may be used.
- the readout area control unit 301 arranges the arrangement of the readout area R101 for the right eye in the imaging processing circuit 30 (specifically, the imaging element 31) and reduces the vertical image shift amount D201 detected by the parallax detection unit 201. At least one of the arrangements of the left-eye readout area L101 is changed.
- the read area control unit 301 shifts the image shift amount D201 detected by the parallax detection unit 201 (the right-eye image R1 is shifted by the image shift amount ⁇ y downward in the vertical direction with respect to the left-eye image L1.
- the readout position coordinates of the right eye readout area R101 (the coordinates of the upper left corner of the right eye readout area R101) are changed from the coordinates (x, y) to the coordinates (x, y + ⁇ y). To do. As a result, the arrangement of the right-eye readout region R101 is shifted by the image shift amount ⁇ y downward in the vertical direction.
- the image shift control unit 302 controls processing by the image shift correction unit 203 based on the vertical image shift amount D201 detected by the parallax detection unit 201.
- the image shift correction unit 203 reads the right-eye image R1 and the left-eye image L1 stored in the image memory 101, and the central portion of the read right-eye image R1.
- the right-eye image R1 based on the vertical image shift amount D201 detected by the parallax detection unit 201 so that the vertical image shift amount between the read-out image L1 and the central portion of the read left-eye image L1 becomes small.
- At least one of the peripheral portion of the right eye image R1 read from the image memory 101 and the peripheral portion of the left eye image L1 (left eye image L1 read from the image memory 101) is processed. Further, the image shift correction unit 203 stores the processed right-eye image R1 (or the left-eye image L1) in the image memory 101.
- the image shift correction processing by the image shift correction unit 203 will be described.
- the right-eye image R1 is shifted by the image shift amount ⁇ y downward in the vertical direction with respect to the left-eye image L1.
- the right-eye image R1 is an image of n rows and m columns.
- the image shift correction unit 203 discards the upper end portion R111 (the image region from the coordinates (x, y) to the coordinates (x, y + ⁇ y)) of the right eye image R1, and the center portion of the right eye image R1.
- R112 image area from coordinates (x, y + ⁇ y) to coordinates (x, y + n-2 ⁇ y)
- the lower end portion R113 coordinates (x, y + n-2 ⁇ y) to the coordinates (x, y + n-2 ⁇ y)
- the image area) up to y + n) is enlarged twice.
- the image shift correction unit 203 uses the lower end portion R113 (in this case) of the right-eye image R1. , The image region from the coordinates (x, y + n ⁇ y) to the coordinates (x, y + n)) is discarded, and the central portion R112 (in this case, the coordinates (x, y + 2 ⁇ y) to the coordinates (x, y + n) of the right-eye image R1.
- -Image area up to - ⁇ y is magnified and the upper end portion R111 of the right-eye image R1 (in this case, the image area from coordinates (x, y) to coordinates (x, y + 2 ⁇ y)) is doubled. May be.
- the central portion R112 of the right-eye image R1 is shifted downward in the vertical direction. Therefore, the central portion R112 of the right-eye image R1 and the central portion of the left-eye image L1 The amount of image shift in the vertical direction can be reduced.
- the case where the lower end portion R113 (or the upper end portion R111) of the right eye image R1 is uniformly doubled has been described as an example, but the center of the right eye image R1 (or the left eye image L1) has been described.
- Other methods such as a method of reducing the enlargement factor in the vicinity and processing the image so that the enlargement factor increases as it approaches the periphery of the right-eye image R1 (or the left-eye image L1), may be employed.
- the encoder 401 compresses the right eye image and the left eye image stored in the image memory 101 in accordance with a predetermined format, and stores the compressed right eye image and left eye image in the encode buffer 102.
- the encode buffer 102 stores not only the compressed right eye image and left eye image but also intermediate data generated by image compression by the encoder 401.
- the storage control unit 402 stores the compressed right eye image and left eye image stored in the encode buffer 102 in the storage 40.
- images (right-eye image R1 and left-eye image L1) read from the captured image (right-eye captured image R0 and left-eye captured image L0) are referred to as “read-out images”, and image interpolation is performed.
- Images interpolated by the unit 202 (right-eye image R1 and left-eye image L1) are referred to as “interpolated images”.
- the vertical image shift amount D201 between the right-eye image R1 (k) and the left-eye image L1 (k) corresponding to the time T (k) is expressed as “image shift amount D201 (k) ”. To do.
- the imaging processing circuit 30 captures the right-eye captured image R0 (n-2) and reads the left-eye image read from the left-eye captured image L0 (n-3).
- L1 (n-3) is stored in the image memory 101.
- the imaging processing circuit 30 captures the left-eye captured image L0 (n ⁇ 1) and reads the right-eye captured from the right-eye captured image R0 (n ⁇ 2).
- the eye image R1 (n-2) is stored in the image memory 101.
- the imaging processing circuit 30 captures the right-eye captured image R0 (n) and reads the left-eye image L1 read from the left-eye captured image L0 (n ⁇ 1).
- N ⁇ 1 is stored in the image memory 101.
- the image interpolation unit 202 performs the time T based on the left-eye image L1 (n-3) and the left-eye image L1 (n-1) stored in the image memory 101.
- the left-eye image L1 (n-2) corresponding to (n-2) is interpolated and stored in the image memory 101.
- the parallax detection unit 201 detects the right-eye image R1 (n-2) (read-out image) and the left-eye image L1 (n-2 ) corresponding to the time T (n-2). ) A vertical image shift amount D201 (n ⁇ 2) between (interpolated image) is detected.
- the readout region control unit 301 arranges the right eye readout region R101 and the left eye based on the image shift amount D201 (n-2) detected by the parallax detection unit 201. At least one of the arrangements of the read areas L101 is changed.
- the image shift amount D201 (n-2) corresponding to the right-eye captured image R0 (n-2) is left-eye captured image based on the image shift amount D201 (n-2) from being imaged It takes 5 cycle times (5T) until the arrangement of the read area of L0 (n + 3) is corrected. That is, in the right-eye image R1 and the left-eye image L1 obtained during the period from the time T (n-2) to the time T (n + 3) , the readout region based on the image shift amount D201 (n-2) This means that the arrangement correction is not reflected.
- the image shift correction unit 203 performs the right eye image R1 and the left eye image L1 (during the period from time T (n-2) to time T (n + 3).
- Right-eye images R1 (n-3) , R1 (n-2) , R1 (n-1) , R1 (n) , and left-eye images L1 (n-4) , L1 (n-3) , L1 (N-2) , L1 (n-1) , L1 (n + 1) ) are subjected to image shift correction processing.
- At least one of the arrangement of the right-eye readout area R101 and the arrangement of the left-eye readout area L101 is changed so that the vertical image shift amount D201 detected by the parallax detection unit 201 is reduced.
- the vertical image shift amount D201 detected by the parallax detection unit 201 is reduced.
- the image shift correction processing by the image shift correction unit 203 corrects the image shift in the vertical direction also for the right-eye image R1 and the left-eye image L1 that do not reflect the read area arrangement correction based on the image shift amount D201. it can.
- the image interpolation processing by the image interpolation unit 202 can interpolate images that are not actually captured (the right-eye image R1 and the left-eye image L1). Thereby, temporal resolution can be improved and a 3D image with smooth motion can be obtained.
- the amount of signal processing in the imaging processing circuit 30 can be reduced by interpolating images that are not actually captured. Thereby, power consumption can be reduced. For example, assuming that 60 right-eye images R1 and 60 left-eye images L1 are required per second in order to form a stereoscopic video, if the above-described image interpolation processing is not performed, the imaging process The circuit 30 must process 120 images per second. On the other hand, when the above-described image interpolation processing is executed, the number of images processed by the imaging processing circuit 30 per second can be reduced from 120 to 60.
- the parallax detection unit 201 preferably uses the right-eye image R1 and the left-eye image L1 corresponding to the same time as an object of image shift amount detection processing. By performing the processing in this way, it is possible to appropriately correct the image shift in the vertical direction even when the subject or the camera moves. Note that the parallax detection unit 201 may use the image R1 for the right eye and the image L1 for the left eye corresponding to different times as targets for the image shift amount detection processing.
- the image interpolation unit 202 also uses the right-eye image R1 corresponding to the future time from the right-eye image R1 (or the left-eye image L1) stored in the image memory 101. (Or the left-eye image L1) may be interpolated. For example, as shown in FIG.
- the image interpolation unit 202 performs the time T (n ⁇ 3) and the left eye image L (n-3) and the left eye image L (n-1) corresponding to the time T (n-1) , respectively, are read out, and the left eye images L1 (n-3) , L1 are read out.
- An image interpolation process (for example, motion estimation or motion compensation) may be executed based on (n ⁇ 1) to interpolate a new left eye image L1 (n) corresponding to time T (n) . Further, as shown in FIG.
- the image interpolation unit 202 performs the time T (n ⁇ 2) and the right-eye image R (n-2) and the right-eye image R (n) corresponding to the time T (n) , respectively, are read out to the right-eye images R1 (n-2) and R1 (n) . Based on this, an image interpolation process may be executed to interpolate a new right eye image R1 (n + 1) corresponding to time T (n + 1) .
- the left eye is picked up based on the image shift amount D201 (n) after the right-eye captured image R0 (n) corresponding to the image shift amount D201 (n) is captured.
- the time required for correcting the arrangement of the readout region of the captured image L0 (n + 3) is 3 cycle times (3T). That is, as compared with the case of FIG. 9, it is possible to shorten the time required from when the captured image corresponding to the image shift amount D201 is captured until the arrangement of the readout region of the captured image is corrected based on the image shift amount D201.
- the imaging processing circuit 30 reads an image in the right-eye readout area R101a (an area wider than the right-eye readout area R101) from the right-eye captured image R0 as the right-eye image R1.
- an image in the left-eye readout area L101a (an area wider than the left-eye readout area L101) may be read out as the left-eye image L1 from the left-eye captured image L0.
- the parallax detection unit 201 and the image interpolation unit 202 process the right-eye image R1 (or the left-eye image L1) wider than the right-eye readout region R101 (or the left-eye readout region L101). It will be.
- the image shift correction unit 203 also performs the right-eye image R1 and the left-eye image so that the amount of vertical image shift between the center portion of the right-eye image R1 and the center portion of the left-eye image L1 is small.
- the right-eye readout area R101 and the left-eye readout area L101 are respectively arranged in the image L1, and the image in the right-eye readout area R101 and the image in the left-eye readout area L101 are replaced with a new right-eye image R1 and left You may read as the image L1 for eyes.
- the encoder 401 responds to the control by the image shift control unit 302 and the vertical image between the central portion of the right eye image R1 and the central portion of the left eye image L1 stored in the image memory 101.
- the right-eye readout region R101 and the left-eye readout region L101 are arranged in the right-eye image R1 and the left-eye image L1, respectively, so that the shift amount is small, and the image in the right-eye readout region R101 and the left-eye
- the image in the read-out area L101 may be read out as a new right-eye image R1 and a left-eye image L1, and the new right-eye image R1 and the left-eye image L1 may be subjected to compression processing.
- the imaging processing circuit 30 may execute the reading process based on the right-eye reading area R101a and the left-eye reading area L101a including the vertical image shift correction amount as an offset.
- the image processing unit 12, the CPU 13, and the image recording unit 14 may be formed on the same semiconductor chip to form a SoC (System on Chip) circuit, or each on a different semiconductor chip. It may be formed.
- the SoC circuit may include not only the image processing unit 12, the CPU 13, and the image recording unit 14, but also the digital processing unit 33. That is, in the SoC circuit, the image processing unit 12, the CPU 13, the image recording unit 14, and the digital processing unit 33 may be formed on the same semiconductor chip.
- the digital processing unit 33 may be formed on a semiconductor chip different from the SoC circuit.
- the imaging processing circuit 30 may not execute the readout process. That is, the imaging processing circuit 30 captures the right-eye captured image R0 and the left-eye captured image L0 for forming a stereoscopic image by capturing the image formed on the imaging surface by the optical device 20, The right-eye captured image R0 and the left-eye captured image L0 may be output as the right-eye image R1 and the left-eye image L1.
- the CPU 13 does not have to include the read area control unit 301. Even in such a configuration, the image shift in the vertical direction between the right-eye image R1 and the left-eye image L1 can be corrected by the image shift correction process by the image shift correction unit 203.
- the above-described stereoscopic video processing circuit and stereoscopic video imaging apparatus are useful in fields such as a video camera and a digital still camera with a moving image function.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
撮像処理回路(30)は、立体映像を構成するための右眼用撮像画像および左眼用撮像画像を撮像し、右眼用撮像画像から右眼用読み出し領域内の画像を右眼用画像(R1)として読み出し、左眼用撮像画像から左眼用読み出し領域内の画像を左眼用画像(L1)として読み出す動作を繰り返す。視差検出部(201)は、右眼用画像(R1)と左眼用画像(L1)との間の垂直方向の画像ずれ量(D201)を検出する。読み出し領域制御部(301)は、視差検出部(201)によって検出された垂直方向の画像ずれ量(D201)が小さくなるように右眼用読み出し領域の配置および左眼用読み出し領域の配置の少なくとも一方を変更する。
Description
この発明は、立体映像を構成するための右眼用画像および左眼用画像を処理する立体映像処理回路および立体映像撮影装置に関する。
近年の映像表示装置の大画面化,高精細化,および色表現の豊かさ向上などの技術革新を背景に、立体映像表示システムに関する研究・開発が盛んに行われている。映画やアミューズメント施設などの大規模システムだけでなく、家庭用のテレビ受像機やポータブルな映像再生装置など立体映像の再生環境は急速に整いつつあり、立体映像コンテンツを手軽に得るための立体映像撮影装置にも注目が集まっている。
立体映像を撮影するには左右の視差画像が必要となるが、装置全体を小型にでき高品位な視差画像を容易に得られる技術として、左右両眼視差を有する光学系と、左右光学系の光束を時系列的に1つの撮像素子に入射するためのシャッターを有した、着脱可能なレンズユニット及びそれを用いた立体映像撮影装置が提案されている(例えば、特許文献1)。特許文献1には、反射機能を有した左右両眼用の可動ミラーと、左右異なる視差を有した画像の光束を時系列的に交互に1つの撮像素子に入射するための左右両眼用の2つの液晶シャッターと、ズーム機能を含む撮影光学系とを有したレンズユニットを用いて、該レンズユニットのズーム操作中に可動ミラーを駆動させることで被写体の視差量を制御し、簡易な構成で品位の高い立体映像を撮影する技術が開示されている。
しかしながら、可動ミラーの物理的な取り付け精度の誤差により、左右視差画像(右眼用画像および左眼用画像)の間に画像ずれが発生する場合がある。また、動きのある被写体を撮影したり、立体映像撮影装置の操作中に手振れが発生したりすると、左右視差画像の間に画像ずれが発生する場合がある。特に、人間の眼は垂直方向の画像ずれに敏感であるので、左右視差画像の間に垂直方向の画像ずれが発生すると眼精疲労や映像酔いの原因となる可能性が高い。
そこで、この発明は、右眼用画像と左眼用画像との間の垂直方向の画像ずれを補正可能な立体映像処理回路および立体映像撮影装置を提供することを目的とする。
この発明の1つの局面に従うと、立体映像処理回路は、立体映像を構成するための右眼用撮像画像および左眼用撮像画像を撮像し、上記右眼用撮像画像から右眼用読み出し領域内の画像を右眼用画像として読み出し、上記左眼用撮像画像から左眼用読み出し領域内の画像を左眼用画像として読み出す動作を繰り返す撮像処理回路によって得られた上記右眼用画像および上記左眼用画像を処理する立体映像処理回路であって、上記右眼用画像と上記左眼用画像との間の垂直方向の画像ずれ量を検出する視差検出部と、上記視差検出部によって検出された垂直方向の画像ずれ量が小さくなるように、上記右眼用読み出し領域の配置および上記左眼用読み出し領域の配置の少なくとも一方を変更する読み出し領域制御部とを備える。
上記立体映像処理回路では、右眼用画像と左眼用画像との間の垂直方向の画像ずれを補正できる。
なお、上記立体映像処理回路は、上記右眼用画像の中央部分と上記左眼用画像の中央部分との間の垂直方向の画像ずれ量が小さくなるように、上記視差検出部によって検出された垂直方向の画像ずれ量に応じて上記右眼用画像の周辺部分および上記左眼用画像の周辺部分の少なくとも一方を加工する画像ずれ補正部をさらに備えていても良い。
上記立体映像処理回路では、画像ずれ量に基づく読み出し領域の配置補正が反映されていない右眼用画像および左眼用画像についても垂直方向の画像ずれを補正できる。
また、上記立体映像処理回路は、画像補間部をさらに備え、上記右眼用画像および左眼用画像は、交互に撮像されたものであり、上記画像補間部は、上記右眼用画像に基づいてその右眼用画像が撮像されていない時刻に対応する新たな右眼用画像を補間し、上記左眼用画像に基づいてその左眼用画像が撮像されていない時刻に対応する新たな左眼用画像を補間するものであっても良い。
上記立体映像処理回路では、実際には撮像されていない画像(右眼用画像および左眼用画像)を補間することにより、時間解像度を向上させることができる。また、撮像処理回路における信号処理量を削減できるので、消費電力を低減できる。
また、上記視差検出部は、上記撮像処理回路からの右眼用画像および左眼用画像と上記画像補間部によって補間された右眼用画像および左眼用画像のうち同一時刻に対応する右眼用画像と左眼用画像との間の垂直方向の画像ずれ量を検出するものであっても良い。
このように構成することにより、被写体やカメラに動きがある場合でも適切に垂直方向の画像ずれを補正できる。
この発明の別の局面に従うと、立体映像撮影装置は、上記立体映像処理回路と、上記撮像処理回路と、右眼視点および左眼視点にそれぞれ対応する被写体の右眼用映像および左眼用映像を交互に通過させ、上記撮像処理回路の撮像面に上記右眼用映像および上記左眼用映像を交互に結像させる光学器とを備え、上記撮像処理回路は、上記光学器によって上記撮像面に結像された映像を撮像することによって上記右眼用撮像画像および上記左眼用撮像画像を取得する。
上記立体映像撮影装置では、右眼用画像と左眼用画像との間の垂直方向の画像ずれを補正できるので、視聴者が観ていて疲れにくい立体映像を撮影できる。
この発明の別の局面に従うと、立体映像処理回路は、立体映像を構成するための右眼用画像および左眼用画像を撮像する動作を繰り返す撮像処理回路によって得られた上記右眼用画像および上記左眼用画像を処理する立体映像処理回路であって、上記右眼用画像と上記左眼用画像との間の垂直方向の画像ずれ量を検出する視差検出部と、上記右眼用画像の中央部分と上記左眼用画像の中央部分との間の垂直方向の画像ずれ量が小さくなるように、上記視差検出部によって検出された垂直方向の画像ずれ量に応じて上記右眼用画像の周辺部分および上記左眼用画像の周辺部分の少なくとも一方を加工する画像ずれ補正部とを備える。
上記立体映像処理回路では、右眼用画像と左眼用画像との間の垂直方向の画像ずれを補正できる。
この発明の別の局面に従うと、立体映像撮影装置は、上記立体映像処理回路と、上記撮像処理回路と、右眼視点および左眼視点にそれぞれ対応する被写体の右眼用映像および左眼用映像を交互に通過させ、上記撮像処理回路の撮像面に上記右眼用映像および上記左眼用映像を交互に結像させる光学器とを備え、上記撮像処理回路は、上記光学器によって上記撮像面に結像された映像を撮像することによって上記右眼用画像および上記左眼用画像を取得する。
上記立体映像撮影装置では、右眼用画像と左眼用画像との間の垂直方向の画像ずれを補正できるので、視聴者が観ていて疲れにくい立体映像を撮影できる。
なお、上記光学器は、上記右眼用映像および上記左眼用映像を交互に通過させるシャッターユニットと、上記シャッターユニットを通過した映像を上記撮像処理回路の撮像面に結像させる撮影レンズとを含み、上記シャッターユニットは、上記撮影レンズに着脱可能に接続されるものであっても良い。
このように構成することにより、立体映像と通常の二次元映像を手軽に切り替えて撮影できる。
または、上記光学器は、上記右眼用映像および上記左眼用映像を交互に通過させるシャッターユニットと、上記シャッターユニットを通過した映像を上記撮像処理回路の撮像面に結像させる撮影レンズとを含み、上記シャッターユニットは、上記撮影レンズと一体となっているものであっても良い。
このように構成することにより、立体映像と通常の二次元映像を手軽に切り替えて撮影できる。
以上のように、右眼用画像と左眼用画像との間の垂直方向の画像ずれを補正できる。
以下、実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。
(立体映像撮影装置)
図1は、立体映像撮影装置の構成例を示す。この装置は、立体映像処理回路10と、光学器20と、撮像処理回路30と、ストレージ40(例えば、SDカードやHDDなど)とを備える。
図1は、立体映像撮影装置の構成例を示す。この装置は、立体映像処理回路10と、光学器20と、撮像処理回路30と、ストレージ40(例えば、SDカードやHDDなど)とを備える。
〔光学器〕
光学器20は、右眼視点および左眼視点にそれぞれ対応する被写体の右眼用映像RRおよび左眼用映像LLを交互に通過させ、撮像処理回路30の撮像面に右眼用映像RRおよび左眼用映像LLを交互に結像させる。
光学器20は、右眼視点および左眼視点にそれぞれ対応する被写体の右眼用映像RRおよび左眼用映像LLを交互に通過させ、撮像処理回路30の撮像面に右眼用映像RRおよび左眼用映像LLを交互に結像させる。
図2のように、光学器20は、シャッターユニット21と、撮影レンズ22とを含んでいても良い。シャッターユニット21は、右眼視点および左眼視点にそれぞれ対応する被写体の右眼用映像R0および左眼用映像L0を交互に通過させる。例えば、シャッターユニット21は、並列に配置された右眼光学系211Rおよび左眼光学系211Lと、液晶シャッター212とを含む。右眼光学系211Rは、右眼用映像の光軸に角度をなすよう折り曲げ、左眼光学系211Lは、左眼用映像の光軸に角度をなすよう折り曲げる。液晶シャッター212は、右眼用映像および左眼用映像を時系列的に交互に通過させる。撮影レンズ22は、シャッターユニット21を通過した映像を撮像処理回路30の撮像面に結像させる。これにより、撮像処理回路30の撮像面に右眼用映像RRおよび左眼用映像LLが交互に結像されたことになる。
なお、シャッターユニット21は、撮影レンズ22に着脱可能に接続されても良い。例えば、シャッターユニット21は、撮影レンズ22に着脱可能に取り付けて使用するアタッチメントであっても良い。このように構成することにより、立体映像と通常の二次元映像を手軽に切り替えて撮影できる。または、シャッターユニット21は、撮影レンズ22と一体になっていても良い。例えば、シャッターユニット21は、撮影レンズ22と一体化して交換可能なレンズユニットを構成していても良い。このように構成することにより、立体映像と通常の二次元映像を手軽に切り替えて撮影できる。
〔撮像処理回路〕
撮像処理回路30は、光学器20によって撮像面に結像された映像を撮像することにより、立体映像を構成するための右眼用撮像画像および左眼用撮像画像を撮像する。これにより、図3のように、時刻T(n-3),T(n-2),…,T(n+2),T(n+3)において左眼用撮像画像L0(n-3),右眼用撮像画像R0(n-2),…,右眼用撮像画像R0(n+2),左眼用撮像画像L0(n+3)がそれぞれ撮像される。すなわち、右眼用撮像画像R0および左眼用撮像画像L0が交互に撮像される。なお、“右眼用撮像画像R0”は、右眼用撮像画像(…,R0(n-2),R0(n),R0(n+2),…)の総称であり、“左眼用撮像画像L0”は、左眼用撮像画像(…,L0(n-3),L0(n-1),L0(n+1),L0(n+3),…)の総称である。また、撮像処理回路30は、右眼用撮像画像R0および左眼用撮像画像L0を撮像し、右眼用撮像画像R0から右眼用読み出し領域内の画像を右眼用画像R1として読み出し、左眼用撮像画像L0から左眼用読み出し領域内の画像を左眼用画像L1として読み出す動作を繰り返す。このようにして、右眼用画像R1および左眼用画像L1が交互に読み出される。例えば、図4のように、撮像処理回路30は、右眼用撮像画像R0(または、左眼用撮像画像L0)の左上を原点(0,0)とし、読み出し位置座標(x,y)を左上隅とする矩形状の右眼用読み出し領域R101(または、左眼用読み出し領域L101)内の画像を右眼用画像R1(または、左眼用画像L1)として読み出す。ここでは、右眼用読み出し領域R101の配置および左眼用読み出し領域L101の配置は、変更可能である。
撮像処理回路30は、光学器20によって撮像面に結像された映像を撮像することにより、立体映像を構成するための右眼用撮像画像および左眼用撮像画像を撮像する。これにより、図3のように、時刻T(n-3),T(n-2),…,T(n+2),T(n+3)において左眼用撮像画像L0(n-3),右眼用撮像画像R0(n-2),…,右眼用撮像画像R0(n+2),左眼用撮像画像L0(n+3)がそれぞれ撮像される。すなわち、右眼用撮像画像R0および左眼用撮像画像L0が交互に撮像される。なお、“右眼用撮像画像R0”は、右眼用撮像画像(…,R0(n-2),R0(n),R0(n+2),…)の総称であり、“左眼用撮像画像L0”は、左眼用撮像画像(…,L0(n-3),L0(n-1),L0(n+1),L0(n+3),…)の総称である。また、撮像処理回路30は、右眼用撮像画像R0および左眼用撮像画像L0を撮像し、右眼用撮像画像R0から右眼用読み出し領域内の画像を右眼用画像R1として読み出し、左眼用撮像画像L0から左眼用読み出し領域内の画像を左眼用画像L1として読み出す動作を繰り返す。このようにして、右眼用画像R1および左眼用画像L1が交互に読み出される。例えば、図4のように、撮像処理回路30は、右眼用撮像画像R0(または、左眼用撮像画像L0)の左上を原点(0,0)とし、読み出し位置座標(x,y)を左上隅とする矩形状の右眼用読み出し領域R101(または、左眼用読み出し領域L101)内の画像を右眼用画像R1(または、左眼用画像L1)として読み出す。ここでは、右眼用読み出し領域R101の配置および左眼用読み出し領域L101の配置は、変更可能である。
撮像処理回路30は、撮像素子31と、アナログ処理部32と、デジタル処理部33とを含んでいても良い。撮像素子31は、撮像面に与えられた光を電気信号に変換することにより、光学器20によって撮像面に結像された映像を撮像する。これにより、撮像素子31は、右眼用撮像画像R0および左眼用撮像画像L0を撮像したことになる。また、撮像素子31は、右眼用撮像画像R0および左眼用撮像画像L0を撮像し、右眼用撮像画像R0から右眼用読み出し領域R101内の画像を右眼用画像R1として読み出し、左眼用撮像画像L0から左眼用読み出し領域L101内の画像を左眼用画像L1として読み出す動作を繰り返す。アナログ処理部32は、撮像素子31によって得られた右眼用画像R1(アナログ信号)および左眼用画像L1(アナログ信号)に対してアナログ信号処理(例えば、ノイズ低減,ゲイン制御,A/D変換など)を施す。デジタル処理部33は、アナログ処理部32によって処理された右眼用画像R1(デジタル信号)および左眼用画像L1(デジタル信号)に対してデジタル信号処理(例えば、ホワイトバランス処理,Y/C変換処理など)を施す。
〔立体映像処理回路〕
立体映像処理回路10は、撮像処理回路30に接続され、撮像処理回路30によって得られた右眼用画像R1および左眼用画像L1を処理する。また、ここでは、立体映像処理回路10は、撮像処理回路30における右眼読み出し領域R101の配置および左眼読み出し領域L101の配置を制御する。立体映像処理回路10は、右眼用画像および左眼用画像を一時的に格納するメモリ11と、右眼用画像および左眼用画像の画像形式を所定の画像形式(ストレージ40に格納するための画像形式)に変換する画像処理部12と、立体映像処理回路10の全体を統括的に制御するCPU13と、右眼用画像および左眼用画像をストレージ40に格納する画像記録部14とを含んでいても良い。メモリ11は、画像メモリ101と、エンコードバッファ102とを含む。画像処理部12は、視差検出部201と、画像補間部202と、画像ずれ補正部203とを含む。CPU13は、読み出し領域制御部301と、画像ずれ制御部302とを含む。画像記録部14は、エンコーダ401と、ストレージ制御部402とを含む。
立体映像処理回路10は、撮像処理回路30に接続され、撮像処理回路30によって得られた右眼用画像R1および左眼用画像L1を処理する。また、ここでは、立体映像処理回路10は、撮像処理回路30における右眼読み出し領域R101の配置および左眼読み出し領域L101の配置を制御する。立体映像処理回路10は、右眼用画像および左眼用画像を一時的に格納するメモリ11と、右眼用画像および左眼用画像の画像形式を所定の画像形式(ストレージ40に格納するための画像形式)に変換する画像処理部12と、立体映像処理回路10の全体を統括的に制御するCPU13と、右眼用画像および左眼用画像をストレージ40に格納する画像記録部14とを含んでいても良い。メモリ11は、画像メモリ101と、エンコードバッファ102とを含む。画像処理部12は、視差検出部201と、画像補間部202と、画像ずれ補正部203とを含む。CPU13は、読み出し領域制御部301と、画像ずれ制御部302とを含む。画像記録部14は、エンコーダ401と、ストレージ制御部402とを含む。
《画像メモリ》
画像メモリ101は、撮像処理回路30によって得られた右眼用画像および左眼用画像や画像処理部12によって得られた右眼用画像および左眼用画像を格納する。
画像メモリ101は、撮像処理回路30によって得られた右眼用画像および左眼用画像や画像処理部12によって得られた右眼用画像および左眼用画像を格納する。
《画像補間部》
画像補間部202は、画像メモリ101に格納された右眼用画像R1を読み出し、読み出した右眼用画像R1に基づいて、その右眼用画像R1が撮像されていない時刻(その右眼用画像R1に対応する時刻とは異なる時刻)に対応する新たな右眼用画像R1を補間する。また、画像補間部202は、画像メモリ101に格納された左眼用画像L1を読み出し、読み出した左眼用画像L1に基づいて、その左眼用画像L1が撮像されていない時刻(その左眼用画像L1に対応する時刻とは異なる時刻)に対応する新たな左眼用画像L1を補間する。また、画像補間部202は、新たな右眼用画像R1および左眼用画像L1を画像メモリ101に格納する。
画像補間部202は、画像メモリ101に格納された右眼用画像R1を読み出し、読み出した右眼用画像R1に基づいて、その右眼用画像R1が撮像されていない時刻(その右眼用画像R1に対応する時刻とは異なる時刻)に対応する新たな右眼用画像R1を補間する。また、画像補間部202は、画像メモリ101に格納された左眼用画像L1を読み出し、読み出した左眼用画像L1に基づいて、その左眼用画像L1が撮像されていない時刻(その左眼用画像L1に対応する時刻とは異なる時刻)に対応する新たな左眼用画像L1を補間する。また、画像補間部202は、新たな右眼用画像R1および左眼用画像L1を画像メモリ101に格納する。
ここで、図5A,図5Bを参照して、画像補間部202による画像補間処理について説明する。なお、以下の説明では、説明の便宜上、時刻T(k)に対応する右眼用画像R1を“右眼用画像R1(k)”と表記し、時刻T(k)に対応する左眼用画像L1を“左眼用画像L1(k)”と表記する。図5Aのように、撮像処理回路30が時刻T(n)に対応する右眼用画像R1(n)を画像メモリ101に格納するときに、画像補間部202は、時刻T(n-3)および時刻T(n-1)にそれぞれ対応する左眼用画像L(n-3)および左眼用画像L(n-1)を読み出し、左眼用画像L1(n-3),L1(n-1)に基づいて画像補間処理(例えば、動き推定や動き補償など)を実行して時刻T(n-2)に対応する新たな左眼用画像L1(n-2)を補間する。また、画像補間部202は、新たな左眼用画像L1(n-2)を画像メモリ101に格納する。次に、図5Bのように、撮像処理回路30が時刻T(n+1)に対応する左眼用画像L1(n+1)を画像メモリ101に格納するときに、画像補間部202は、時刻T(n-2)および時刻T(n)にそれぞれ対応する右眼用画像R(n-2)および右眼用画像R(n)を読み出し、右眼用画像R1(n-2),R1(n)に基づいて画像補間処理を実行して時刻T(n-1)に対応する新たな右眼用画像R1(n-1)を補間する。また、画像補間部202は、新たな右眼用画像R1(n-1)を画像メモリ101に格納する。このような動作を繰り返すことにより、実際には撮像されていない画像(右眼用画像R1および左眼用画像L1)を補間することができる。
《視差検出部》
視差検出部201は、画像メモリ101に格納された右眼用画像および左眼用画像の間の垂直方向の画像ずれ量D201を検出する。
視差検出部201は、画像メモリ101に格納された右眼用画像および左眼用画像の間の垂直方向の画像ずれ量D201を検出する。
ここで、図6を参照して、視差検出部201による画像ずれ量の検出処理について説明する。ここでは、右眼用画像R1および左眼用画像L1は、n行m列の画像であり、左眼用画像L1に対して右眼用画像R1が垂直方向の下方に“2L(水平ライン2本分)”だけずれているものとする。ここでは、画像ずれ量D201は、左眼用画像L1に対する右眼用画像R1の垂直方向の画像ずれ量を示す値であり、左眼用画像L1に対して右眼用画像R1が垂直方向の下方にずれている場合を「正」とし、左眼用画像L1に対して右眼用画像R1が垂直方向の上方にずれている場合を「負」とする値であるものとする。
まず、視差検出部201は、右眼用画像R1の水平ライン毎にその水平ラインに含まれるm個の画素の輝度値の総和を右眼用特徴量として算出する。これにより、右眼用画像R1のn個の水平ラインにそれぞれ対応するn個の右眼用特徴量RS(1),RS(2),…,RS(n)が算出される。これと同様に、視差検出部201は、左眼用画像L1の水平ライン毎にその水平ラインに含まれるn個の画素の輝度値の総和を左眼用特徴量として算出することにより、左眼用画像L1のn個の水平ラインにそれぞれ対応するn個の左眼用特徴量LS(1),LS(2),…,LS(n)を算出する。
次に、視差検出部201は、右眼用画像R1と左眼用画像L1との間の垂直方向の画像ずれ量Δyを変更するとともにその画像ずれ量Δyに応じて右眼用特徴量RS(1),RS(2),…,RS(n)と左眼用特徴量LS(1),LS(2),…,LS(n)との対応関係を変更し、右眼用特徴量RS(1),RS(2),…,RS(n)と左眼用特徴量LS(1),LS(2),…,LS(n)との差分二乗和を算出する。例えば、画像ずれ量Δyが“0”である場合、差分二乗和は、(RS(1)-LS(1))2+(RS(2)-LS(2))2+…+(RS(n)-LS(n))2となる。また、画像ずれ量Δyが“+2L”である場合、差分二乗和は、(RS(3)-LS(1))2+(RS(4)-LS(2))2+…+(RS(n)-LS(n-2))2となる。
次に、視差検出部201は、右眼用特徴量RS(1),RS(2),…,RS(n)と左眼用特徴量LS(1),LS(2),…,LS(n)との差分二乗和が最小となるときの画像ずれ量Δyを画像ずれ量D201として検出する。図6の場合、画像ずれ量Δyが“+2L”であるときに差分二乗和が最小となるので、視差検出部201は、画像ずれ量D201を“+2L”と決定する。
このようにして、視差検出部201は、右眼用画像R1と左眼用画像L1との間の垂直方向の画像ずれ量D201を検出する。なお、視差検出部201による画像ずれ量の検出方法は、上述の方法(差分二乗和に基づいて検出する方法)に限らず、ブロックマッチングなど別の方法を用いても構わない。
《読み出し領域制御部》
読み出し領域制御部301は、視差検出部201によって検出された垂直方向の画像ずれ量D201が小さくなるように、撮像処理回路30(詳しくは、撮像素子31)における右眼用読み出し領域R101の配置および左眼用読み出し領域L101の配置の少なくとも一方を変更する。
読み出し領域制御部301は、視差検出部201によって検出された垂直方向の画像ずれ量D201が小さくなるように、撮像処理回路30(詳しくは、撮像素子31)における右眼用読み出し領域R101の配置および左眼用読み出し領域L101の配置の少なくとも一方を変更する。
ここで、図7を参照して、読み出し領域制御部301による読み出し領域の配置変更処理について説明する。ここでは、左眼用画像L1に対して右眼用画像R1が垂直方向の下方に画像ずれ量Δyだけずれているものとする。図7の場合、読み出し領域制御部301は、視差検出部201によって検出された画像ずれ量D201(左眼用画像L1に対して右眼用画像R1が垂直方向の下方に画像ずれ量Δyだけずれていることを示す値)に基づいて、右眼用読み出し領域R101の読み出し位置座標(右眼用読み出し領域R101の左上隅の座標)を座標(x,y)から座標(x,y+Δy)に変更する。その結果、右眼用読み出し領域R101の配置が垂直方向の下方に画像ずれ量Δyだけずれることになる。
《画像ずれ補正部・画像ずれ制御部》
画像ずれ制御部302は、視差検出部201によって検出された垂直方向の画像ずれ量D201に基づいて、画像ずれ補正部203による処理を制御する。画像ずれ補正部203は、画像ずれ制御部302による制御に応答して、画像メモリ101に格納された右眼用画像R1および左眼用画像L1を読み出し、読み出した右眼用画像R1の中央部分と読み出した左眼用画像L1の中央部分との間の垂直方向の画像ずれ量が小さくなるように、視差検出部201によって検出された垂直方向の画像ずれ量D201に基づいて右眼用画像R1(画像メモリ101から読み出した右眼用画像R1)の周辺部分および左眼用画像L1(画像メモリ101から読み出した左眼用画像L1)の周辺部分の少なくとも一方を加工する。また、画像ずれ補正部203は、加工済みの右眼用画像R1(または、左眼用画像L1)を画像メモリ101に格納する。
画像ずれ制御部302は、視差検出部201によって検出された垂直方向の画像ずれ量D201に基づいて、画像ずれ補正部203による処理を制御する。画像ずれ補正部203は、画像ずれ制御部302による制御に応答して、画像メモリ101に格納された右眼用画像R1および左眼用画像L1を読み出し、読み出した右眼用画像R1の中央部分と読み出した左眼用画像L1の中央部分との間の垂直方向の画像ずれ量が小さくなるように、視差検出部201によって検出された垂直方向の画像ずれ量D201に基づいて右眼用画像R1(画像メモリ101から読み出した右眼用画像R1)の周辺部分および左眼用画像L1(画像メモリ101から読み出した左眼用画像L1)の周辺部分の少なくとも一方を加工する。また、画像ずれ補正部203は、加工済みの右眼用画像R1(または、左眼用画像L1)を画像メモリ101に格納する。
ここで、図8を参照して、画像ずれ補正部203による画像ずれ補正処理について説明する。ここでは、左眼用画像L1に対して右眼用画像R1が垂直方向の下方に画像ずれ量Δyだけずれているものとする。また、右眼用画像R1はn行m列の画像であるものとする。この場合、画像ずれ補正部203は、右眼用画像R1の上端部分R111(座標(x,y)から座標(x,y+Δy)までの画像領域)を破棄し、右眼用画像R1の中央部分R112(座標(x,y+Δy)から座標(x,y+n-2Δy)までの画像領域)を等倍し、右眼用画像R1の下端部分R113(座標(x,y+n-2Δy)から座標(x,y+n)までの画像領域)を2倍に拡大する。このように画像加工することにより、右眼用画像R1の中央部分R112が垂直方向の上方にずれたことになるので、右眼用画像R1の中央部分R112と左眼用画像L1の中央部分との垂直方向の画像ずれ量を小さくすることができる。
なお、左眼用画像L1に対して右眼用画像R1が垂直方向の上方に画像ずれ量Δyだけずれている場合、画像ずれ補正部203は、右眼用画像R1の下端部分R113(この場合、座標(x,y+n-Δy)から座標(x,y+n)までの画像領域)を破棄し、右眼用画像R1の中央部分R112(この場合、座標(x,y+2Δy)から座標(x,y+n-Δy)までの画像領域)を等倍し、右眼用画像R1の上端部分R111(この場合、座標(x,y)から座標(x,y+2Δy)までの画像領域)を2倍に拡大しても良い。このように画像加工することにより、右眼用画像R1の中央部分R112が垂直方向の下方にずれたことになるので、右眼用画像R1の中央部分R112と左眼用画像L1の中央部分との垂直方向の画像ずれ量を小さくすることができる。
また、右眼用画像R1の下端部分R113(または、上端部分R111)を均一に2倍する場合を例に挙げて説明したが、右眼用画像R1(または、左眼用画像L1)の中央付近の拡大倍率を小さくするとともに右眼用画像R1(または、左眼用画像L1)の周辺に近くなるほど拡大倍率が大きくなるように画像加工する方法など、他の方法を採用しても良い。
《エンコーダ・ストレージ制御部》
エンコーダ401は、所定のフォーマットに従って、画像メモリ101に格納された右眼用画像および左眼用画像を圧縮し、圧縮済みの右眼用画像および左眼用画像をエンコードバッファ102に格納する。なお、エンコードバッファ102には、圧縮済みの右眼用画像および左眼用画像だけでなく、エンコーダ401による画像圧縮によって生成された中間データも格納される。ストレージ制御部402は、エンコードバッファ102に格納された圧縮済みの右眼用画像および左眼用画像をストレージ40に格納する。
エンコーダ401は、所定のフォーマットに従って、画像メモリ101に格納された右眼用画像および左眼用画像を圧縮し、圧縮済みの右眼用画像および左眼用画像をエンコードバッファ102に格納する。なお、エンコードバッファ102には、圧縮済みの右眼用画像および左眼用画像だけでなく、エンコーダ401による画像圧縮によって生成された中間データも格納される。ストレージ制御部402は、エンコードバッファ102に格納された圧縮済みの右眼用画像および左眼用画像をストレージ40に格納する。
〔動作タイミング〕
次に、図9を参照して、立体映像処理回路10の動作タイミングについて説明する。ここでは、撮像画像(右眼用撮像画像R0および左眼用撮像画像L0)から読み出された画像(右眼用画像R1および左眼用画像L1)を“読み出し画像”と表記し、画像補間部202によって補間された画像(右眼用画像R1および左眼用画像L1)を“補間画像”と表記する。また、時刻T(k)に対応する右眼用画像R1(k)と左眼用画像L1(k)との間の垂直方向の画像ずれ量D201を“画像ずれ量D201(k)”と表記する。
次に、図9を参照して、立体映像処理回路10の動作タイミングについて説明する。ここでは、撮像画像(右眼用撮像画像R0および左眼用撮像画像L0)から読み出された画像(右眼用画像R1および左眼用画像L1)を“読み出し画像”と表記し、画像補間部202によって補間された画像(右眼用画像R1および左眼用画像L1)を“補間画像”と表記する。また、時刻T(k)に対応する右眼用画像R1(k)と左眼用画像L1(k)との間の垂直方向の画像ずれ量D201を“画像ずれ量D201(k)”と表記する。
時刻T(n-2)において、撮像処理回路30は、右眼用撮像画像R0(n-2)を撮像するとともに左眼用撮像画像L0(n-3)から読み出された左眼用画像L1(n-3)を画像メモリ101に格納する。次に、時刻T(n-1)において、撮像処理回路30は、左眼用撮像画像L0(n-1)を撮像するとともに右眼用撮像画像R0(n-2)から読み出された右眼用画像R1(n-2)を画像メモリ101に格納する。次に、時刻T(n)において、撮像処理回路30は、右眼用撮像画像R0(n)を撮像するとともに左眼用撮像画像L0(n-1)から読み出された左眼用画像L1(n-1)を画像メモリ101に格納する。
次に、時刻T(n+1)において、画像補間部202は、画像メモリ101に格納された左眼用画像L1(n-3)および左眼用画像L1(n-1)に基づいて、時刻T(n-2)に対応する左眼用画像L1(n-2)を補間して画像メモリ101に格納する。
次に、時刻T(n+2)において、視差検出部201は、時刻T(n-2)に対応する右眼用画像R1(n-2)(読み出し画像)および左眼用画像L1(n-2)(補間画像)との間の垂直方向の画像ずれ量D201(n-2)を検出する。
次に、時刻T(n+3)において、読み出し領域制御部301は、視差検出部201によって検出された画像ずれ量D201(n-2)に基づいて、右眼用読み出し領域R101の配置および左眼用読み出し領域L101の配置の少なくとも一方を変更する。
また、ここでは、画像ずれ量D201(n-2)に対応する右眼用撮像画像R0(n-2)が撮像されてから画像ずれ量D201(n-2)に基づいて左眼用撮像画像L0(n+3)の読み出し領域の配置が補正されるまでに、5サイクル時間(5T)を要する。すなわち、時刻T(n-2)~時刻T(n+3)までの期間中に得られた右眼用画像R1および左眼用画像L1には、画像ずれ量D201(n-2)に基づく読み出し領域の配置補正が反映されていないことになる。そこで、時刻T(n+3)以降において、画像ずれ補正部203は、時刻T(n-2)~時刻T(n+3)までの期間中に得られた右眼用画像R1および左眼用画像L1(右眼用画像R1(n-3),R1(n-2),R1(n-1),R1(n),および左眼用画像L1(n-4),L1(n-3),L1(n-2),L1(n-1),L1(n+1))に画像ずれ補正処理を施す。
以上のように、視差検出部201によって検出された垂直方向の画像ずれ量D201が小さくなるように、右眼用読み出し領域R101の配置および左眼用読み出し領域L101の配置の少なくとも一方を変更することにより、右眼用画像R1と左眼用画像L1との間の垂直方向の画像ずれを補正できる。これにより、視聴者が観ていて疲れにくい立体映像を撮影できる。
また、画像ずれ補正部203による画像ずれ補正処理により、画像ずれ量D201に基づく読み出し領域の配置補正が反映されていない右眼用画像R1および左眼用画像L1についても垂直方向の画像ずれを補正できる。
また、画像補間部202による画像補間処理により、実際には撮像されていない画像(右眼用画像R1および左眼用画像L1)を補間することができる。これにより、時間解像度を向上させることができ、動きの滑らかな立体映像を得ることができる。また、実際には撮像されていない画像を補間することにより、撮像処理回路30における信号処理量を削減できる。これにより、消費電力を低減できる。例えば、立体映像を構成するために1秒間に60枚の右眼用画像R1と60枚の左眼用画像L1が必要である場合を想定すると、上述の画像補間処理が実行されない場合、撮像処理回路30は、1秒間に120枚の画像を処理しなければならない。一方、上述の画像補間処理が実行される場合、1秒間に撮像処理回路30によって処理される画像の枚数を120枚から60枚に削減することができる。
なお、視差検出部201は、同一時刻に対応する右眼用画像R1および左眼用画像L1を画像ずれ量の検出処理の対象とすることが好ましい。このように処理することにより、被写体やカメラに動きがある場合でも適切に垂直方向の画像ずれを補正できる。なお、視差検出部201は、それぞれ異なる時刻に対応する右眼用画像R1および左眼用画像L1を画像ずれ量の検出処理の対象としても良い。
〔画像補間処理の変形例〕
また、図10A,図10Bのように、画像補間部202は、画像メモリ101に格納された右眼用画像R1(または、左眼用画像L1)から未来の時刻に対応する右眼用画像R1(または、左眼用画像L1)を補間しても良い。例えば、図10Aのように、撮像処理回路30が時刻T(n)に対応する右眼用画像R1(n)を画像メモリ101に格納するときに、画像補間部202は、時刻T(n-3)および時刻T(n-1)にそれぞれ対応する左眼用画像L(n-3)および左眼用画像L(n-1)を読み出し、左眼用画像L1(n-3),L1(n-1)に基づいて画像補間処理(例えば、動き推定や動き補償など)を実行して時刻T(n)に対応する新たな左眼用画像L1(n)を補間しても良い。また、図10Bのように、撮像処理回路30が時刻T(n+1)に対応する左眼用画像L1(n+1)を画像メモリ101に格納するときに、画像補間部202は、時刻T(n-2)および時刻T(n)にそれぞれ対応する右眼用画像R(n-2)および右眼用画像R(n)を読み出し、右眼用画像R1(n-2),R1(n)に基づいて画像補間処理を実行して時刻T(n+1)に対応する新たな右眼用画像R1(n+1)を補間しても良い。このように処理することにより、図11のように、画像ずれ量D201(n)に対応する右眼用撮像画像R0(n)が撮像されてから画像ずれ量D201(n)に基づいて左眼用撮像画像L0(n+3)の読み出し領域の配置が補正されるまでに要する時間は、3サイクル時間(3T)となる。すなわち、図9の場合よりも、画像ずれ量D201に対応する撮像画像が撮像されてからその画像ずれ量D201に基づいて撮像画像の読み出し領域の配置が補正されるまでに要する時間を短縮できる。
また、図10A,図10Bのように、画像補間部202は、画像メモリ101に格納された右眼用画像R1(または、左眼用画像L1)から未来の時刻に対応する右眼用画像R1(または、左眼用画像L1)を補間しても良い。例えば、図10Aのように、撮像処理回路30が時刻T(n)に対応する右眼用画像R1(n)を画像メモリ101に格納するときに、画像補間部202は、時刻T(n-3)および時刻T(n-1)にそれぞれ対応する左眼用画像L(n-3)および左眼用画像L(n-1)を読み出し、左眼用画像L1(n-3),L1(n-1)に基づいて画像補間処理(例えば、動き推定や動き補償など)を実行して時刻T(n)に対応する新たな左眼用画像L1(n)を補間しても良い。また、図10Bのように、撮像処理回路30が時刻T(n+1)に対応する左眼用画像L1(n+1)を画像メモリ101に格納するときに、画像補間部202は、時刻T(n-2)および時刻T(n)にそれぞれ対応する右眼用画像R(n-2)および右眼用画像R(n)を読み出し、右眼用画像R1(n-2),R1(n)に基づいて画像補間処理を実行して時刻T(n+1)に対応する新たな右眼用画像R1(n+1)を補間しても良い。このように処理することにより、図11のように、画像ずれ量D201(n)に対応する右眼用撮像画像R0(n)が撮像されてから画像ずれ量D201(n)に基づいて左眼用撮像画像L0(n+3)の読み出し領域の配置が補正されるまでに要する時間は、3サイクル時間(3T)となる。すなわち、図9の場合よりも、画像ずれ量D201に対応する撮像画像が撮像されてからその画像ずれ量D201に基づいて撮像画像の読み出し領域の配置が補正されるまでに要する時間を短縮できる。
〔読み出し領域の変形例〕
また、図12のように、撮像処理回路30は、右眼用撮像画像R0から右眼用読み出し領域R101a(右眼用読み出し領域R101よりも広い領域)内の画像を右眼用画像R1として読み出し、左眼用撮像画像L0から左眼用読み出し領域L101a(左眼用読み出し領域L101よりも広い領域)内の画像を左眼用画像L1として読み出しても良い。この場合、視差検出部201および画像補間部202は、右眼用読み出し領域R101(または、左眼用読み出し領域L101)よりも広い右眼用画像R1(または、左眼用画像L1)を処理することになる。また、画像ずれ補正部203は、右眼用画像R1の中央部分と左眼用画像L1の中央部分との間の垂直方向の画像ずれ量が小さくなるように、右眼用画像R1および左眼用画像L1に右眼用読み出し領域R101および左眼用読み出し領域L101をそれぞれ配置し、右眼用読み出し領域R101内の画像および左眼用読み出し領域L101の画像を新たな右眼用画像R1および左眼用画像L1として読み出しても良い。または、エンコーダ401は、画像ずれ制御部302による制御に応答して、画像メモリ101に格納された右眼用画像R1の中央部分と左眼用画像L1の中央部分との間の垂直方向の画像ずれ量が小さくなるように、右眼用画像R1および左眼用画像L1に右眼用読み出し領域R101および左眼用読み出し領域L101をそれぞれ配置し、右眼用読み出し領域R101内の画像および左眼用読み出し領域L101の画像を新たな右眼用画像R1および左眼用画像L1として読み出し、新たな右眼用画像R1および左眼用画像L1に圧縮処理を施しても良い。このように、撮像処理回路30は、垂直方向の画像ずれ補正分をオフセットとして含む右眼用読み出し領域R101aおよび左眼用読み出し領域L101aに基づいて読み出し処理を実行しても良い。
また、図12のように、撮像処理回路30は、右眼用撮像画像R0から右眼用読み出し領域R101a(右眼用読み出し領域R101よりも広い領域)内の画像を右眼用画像R1として読み出し、左眼用撮像画像L0から左眼用読み出し領域L101a(左眼用読み出し領域L101よりも広い領域)内の画像を左眼用画像L1として読み出しても良い。この場合、視差検出部201および画像補間部202は、右眼用読み出し領域R101(または、左眼用読み出し領域L101)よりも広い右眼用画像R1(または、左眼用画像L1)を処理することになる。また、画像ずれ補正部203は、右眼用画像R1の中央部分と左眼用画像L1の中央部分との間の垂直方向の画像ずれ量が小さくなるように、右眼用画像R1および左眼用画像L1に右眼用読み出し領域R101および左眼用読み出し領域L101をそれぞれ配置し、右眼用読み出し領域R101内の画像および左眼用読み出し領域L101の画像を新たな右眼用画像R1および左眼用画像L1として読み出しても良い。または、エンコーダ401は、画像ずれ制御部302による制御に応答して、画像メモリ101に格納された右眼用画像R1の中央部分と左眼用画像L1の中央部分との間の垂直方向の画像ずれ量が小さくなるように、右眼用画像R1および左眼用画像L1に右眼用読み出し領域R101および左眼用読み出し領域L101をそれぞれ配置し、右眼用読み出し領域R101内の画像および左眼用読み出し領域L101の画像を新たな右眼用画像R1および左眼用画像L1として読み出し、新たな右眼用画像R1および左眼用画像L1に圧縮処理を施しても良い。このように、撮像処理回路30は、垂直方向の画像ずれ補正分をオフセットとして含む右眼用読み出し領域R101aおよび左眼用読み出し領域L101aに基づいて読み出し処理を実行しても良い。
〔実装形態〕
なお、画像処理部12,CPU13,および画像記録部14は、同一の半導体チップ上に形成されてSoC(System on Chip)回路を構成するものであっても良いし、それぞれ別の半導体チップ上に形成されていても良い。SoC回路は、画像処理部12,CPU13,および画像記録部14だけでなく、デジタル処理部33も含んでいても良い。すなわち、SoC回路は、画像処理部12,CPU13,画像記録部14,およびデジタル処理部33が同一の半導体チップ上に形成されていても良い。また、デジタル処理部33は、SoC回路とは別の半導体チップ上に形成されていても良い。
なお、画像処理部12,CPU13,および画像記録部14は、同一の半導体チップ上に形成されてSoC(System on Chip)回路を構成するものであっても良いし、それぞれ別の半導体チップ上に形成されていても良い。SoC回路は、画像処理部12,CPU13,および画像記録部14だけでなく、デジタル処理部33も含んでいても良い。すなわち、SoC回路は、画像処理部12,CPU13,画像記録部14,およびデジタル処理部33が同一の半導体チップ上に形成されていても良い。また、デジタル処理部33は、SoC回路とは別の半導体チップ上に形成されていても良い。
(その他の実施形態)
以上の説明において、撮像処理回路30(撮像素子31)は、読み出し処理を実行しないものであっても良い。すなわち、撮像処理回路30は、光学器20によって撮像面に結像された映像を撮像することにより、立体映像を構成するための右眼用撮像画像R0および左眼用撮像画像L0を撮像し、右眼用撮像画像R0および左眼用撮像画像L0を右眼用画像R1および左眼用画像L1として出力するものであっても良い。この場合、立体映像処理回路10において、CPU13は、読み出し領域制御部301を含んでいなくても良い。このように構成した場合も、画像ずれ補正部203による画像ずれ補正処理によって右眼用画像R1と左眼用画像L1との間の垂直方向の画像ずれを補正できる。
以上の説明において、撮像処理回路30(撮像素子31)は、読み出し処理を実行しないものであっても良い。すなわち、撮像処理回路30は、光学器20によって撮像面に結像された映像を撮像することにより、立体映像を構成するための右眼用撮像画像R0および左眼用撮像画像L0を撮像し、右眼用撮像画像R0および左眼用撮像画像L0を右眼用画像R1および左眼用画像L1として出力するものであっても良い。この場合、立体映像処理回路10において、CPU13は、読み出し領域制御部301を含んでいなくても良い。このように構成した場合も、画像ずれ補正部203による画像ずれ補正処理によって右眼用画像R1と左眼用画像L1との間の垂直方向の画像ずれを補正できる。
以上説明したように、上述の立体映像処理回路および立体映像撮影装置は、ビデオカメラや動画機能付きデジタルスチルカメラなどの分野で有用である。
10 立体映像処理回路
20 光学器
30 撮像処理回路
40 ストレージ
11 メモリ
12 画像処理部
13 CPU
14 画像記録部
21 シャッターユニット
22 撮影レンズ
31 撮像素子
32 アナログ処理部
33 デジタル処理部
101 画像メモリ
102 エンコードバッファ
201 視差検出部
202 画像補間部
203 画像ずれ補正部
301 読み出し領域制御部
302 画像ずれ制御部
401 エンコーダ
402 ストレージ制御部
20 光学器
30 撮像処理回路
40 ストレージ
11 メモリ
12 画像処理部
13 CPU
14 画像記録部
21 シャッターユニット
22 撮影レンズ
31 撮像素子
32 アナログ処理部
33 デジタル処理部
101 画像メモリ
102 エンコードバッファ
201 視差検出部
202 画像補間部
203 画像ずれ補正部
301 読み出し領域制御部
302 画像ずれ制御部
401 エンコーダ
402 ストレージ制御部
Claims (11)
- 立体映像を構成するための右眼用撮像画像および左眼用撮像画像を撮像し、前記右眼用撮像画像から右眼用読み出し領域内の画像を右眼用画像として読み出し、前記左眼用撮像画像から左眼用読み出し領域内の画像を左眼用画像として読み出す動作を繰り返す撮像処理回路によって得られた前記右眼用画像および前記左眼用画像を処理する立体映像処理回路であって、
前記右眼用画像と前記左眼用画像との間の垂直方向の画像ずれ量を検出する視差検出部と、
前記視差検出部によって検出された垂直方向の画像ずれ量が小さくなるように、前記右眼用読み出し領域の配置および前記左眼用読み出し領域の配置の少なくとも一方を変更する読み出し領域制御部とを備える
ことを特徴とする立体映像処理回路。 - 請求項1において、
前記右眼用画像の中央部分と前記左眼用画像の中央部分との間の垂直方向の画像ずれ量が小さくなるように、前記視差検出部によって検出された垂直方向の画像ずれ量に応じて前記右眼用画像の周辺部分および前記左眼用画像の周辺部分の少なくとも一方を加工する画像ずれ補正部をさらに備える
ことを特徴とする立体映像処理回路。 - 請求項1または2において、
画像補間部をさらに備え、
前記右眼用画像および左眼用画像は、交互に撮像されたものであり、
前記画像補間部は、前記右眼用画像に基づいて当該右眼用画像が撮像されていない時刻に対応する新たな右眼用画像を補間し、前記左眼用画像に基づいて当該左眼用画像が撮像されていない時刻に対応する新たな左眼用画像を補間する
ことを特徴とする立体映像処理回路。 - 請求項3において、
前記視差検出部は、前記撮像処理回路からの右眼用画像および左眼用画像と前記画像補間部によって補間された右眼用画像および左眼用画像のうち同一時刻に対応する右眼用画像と左眼用画像との間の垂直方向の画像ずれ量を検出する
ことを特徴とする立体映像処理回路。 - 請求項1~4のいずれか1項に記載の立体映像処理回路と、
前記撮像処理回路と、
右眼視点および左眼視点にそれぞれ対応する被写体の右眼用映像および左眼用映像を交互に通過させ、前記撮像処理回路の撮像面に前記右眼用映像および前記左眼用映像を交互に結像させる光学器とを備え、
前記撮像処理回路は、前記光学器によって前記撮像面に結像された映像を撮像することによって前記右眼用撮像画像および前記左眼用撮像画像を取得する
ことを特徴とする立体映像撮影装置。 - 立体映像を構成するための右眼用画像および左眼用画像を撮像する動作を繰り返す撮像処理回路によって得られた前記右眼用画像および前記左眼用画像を処理する立体映像処理回路であって、
前記右眼用画像と前記左眼用画像との間の垂直方向の画像ずれ量を検出する視差検出部と、
前記右眼用画像の中央部分と前記左眼用画像の中央部分との間の垂直方向の画像ずれ量が小さくなるように、前記視差検出部によって検出された垂直方向の画像ずれ量に応じて前記右眼用画像の周辺部分および前記左眼用画像の周辺部分の少なくとも一方を加工する画像ずれ補正部とを備える
ことを特徴とする立体映像処理回路。 - 請求項6において、
画像補間部をさらに備え、
前記右眼用画像および左眼用画像は、交互に撮像されたものであり、
前記画像補間部は、前記右眼用画像に基づいて当該右眼用画像が撮像されていない時刻に対応する新たな右眼用画像を補間し、前記左眼用画像に基づいて当該左眼用画像が撮像されていない時刻に対応する新たな左眼用画像を補間する
ことを特徴とする立体映像処理回路。 - 請求項7において、
前記視差検出部は、前記撮像処理回路からの右眼用画像および左眼用画像および前記画像補間部によって補間された右眼用画像および左眼用画像のうち同一時刻に対応する右眼用画像と左眼用画像との間の垂直方向の画像ずれ量を検出する
ことを特徴とする立体映像処理回路。 - 請求項6~8のいずれか1項に記載の立体映像処理回路と、
前記撮像処理回路と、
右眼視点および左眼視点にそれぞれ対応する被写体の右眼用映像および左眼用映像を交互に通過させ、前記撮像処理回路の撮像面に前記右眼用映像および前記左眼用映像を交互に結像させる光学器とを備え、
前記撮像処理回路は、前記光学器によって前記撮像面に結像された映像を撮像することによって前記右眼用画像および前記左眼用画像を取得する
ことを特徴とする立体映像撮影装置。 - 請求項5または9において、
前記光学器は、
前記右眼用映像および前記左眼用映像を交互に通過させるシャッターユニットと、
前記シャッターユニットを通過した映像を前記撮像処理回路の撮像面に結像させる撮影レンズとを含み、
前記シャッターユニットは、前記撮影レンズに着脱可能に接続される
ことを特徴とする立体映像撮影装置。 - 請求項5または9において、
前記光学器は、
前記右眼用映像および前記左眼用映像を交互に通過させるシャッターユニットと、
前記シャッターユニットを通過した映像を前記撮像処理回路の撮像面に結像させる撮影レンズとを含み、
前記シャッターユニットは、前記撮影レンズと一体となっている
ことを特徴とする立体映像撮影装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010235596 | 2010-10-20 | ||
JP2010-235596 | 2010-10-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012053136A1 true WO2012053136A1 (ja) | 2012-04-26 |
Family
ID=45974868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/004039 WO2012053136A1 (ja) | 2010-10-20 | 2011-07-14 | 立体映像処理回路および立体映像撮影装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2012053136A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020100215A1 (ja) * | 2018-11-13 | 2020-05-22 | オリンパス株式会社 | 撮像装置、画像補正方法および画像補正プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10224823A (ja) * | 1997-02-05 | 1998-08-21 | Sanyo Electric Co Ltd | 立体映像表示方法および立体映像表示装置 |
JP2001061165A (ja) * | 1999-08-20 | 2001-03-06 | Sony Corp | レンズ装置及びカメラ |
JP2001218228A (ja) * | 2000-02-01 | 2001-08-10 | Canon Inc | 立体画像撮影用光学系及びそれを用いた立体画像撮影装置 |
JP2008153931A (ja) * | 2006-12-18 | 2008-07-03 | Matsushita Electric Ind Co Ltd | 固体撮像装置、カメラ、車両及び監視装置 |
JP2010062695A (ja) * | 2008-09-02 | 2010-03-18 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
-
2011
- 2011-07-14 WO PCT/JP2011/004039 patent/WO2012053136A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10224823A (ja) * | 1997-02-05 | 1998-08-21 | Sanyo Electric Co Ltd | 立体映像表示方法および立体映像表示装置 |
JP2001061165A (ja) * | 1999-08-20 | 2001-03-06 | Sony Corp | レンズ装置及びカメラ |
JP2001218228A (ja) * | 2000-02-01 | 2001-08-10 | Canon Inc | 立体画像撮影用光学系及びそれを用いた立体画像撮影装置 |
JP2008153931A (ja) * | 2006-12-18 | 2008-07-03 | Matsushita Electric Ind Co Ltd | 固体撮像装置、カメラ、車両及び監視装置 |
JP2010062695A (ja) * | 2008-09-02 | 2010-03-18 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020100215A1 (ja) * | 2018-11-13 | 2020-05-22 | オリンパス株式会社 | 撮像装置、画像補正方法および画像補正プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8466969B2 (en) | Imaging apparatus and shake correcting method | |
WO2015081870A1 (zh) | 一种图像处理方法、装置及终端 | |
US8477231B2 (en) | Image sensing apparatus | |
KR20180032529A (ko) | 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법 | |
US8593531B2 (en) | Imaging device, image processing method, and computer program | |
JP6372983B2 (ja) | 焦点検出装置およびその制御方法、撮像装置 | |
EP2720455B1 (en) | Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device | |
JP6678504B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
CN105407271A (zh) | 图像处理设备和方法、摄像设备以及图像生成设备 | |
US20130027520A1 (en) | 3d image recording device and 3d image signal processing device | |
US20120162453A1 (en) | Image pickup apparatus | |
WO2012169301A1 (ja) | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 | |
US20130343635A1 (en) | Image processing apparatus, image processing method, and program | |
JP5393877B2 (ja) | 撮像装置および集積回路 | |
WO2012053136A1 (ja) | 立体映像処理回路および立体映像撮影装置 | |
JP5869839B2 (ja) | 画像処理装置およびその制御方法 | |
JP5088973B2 (ja) | 立体撮像装置およびその撮像方法 | |
JPH07283999A (ja) | 画像合成装置及び画像撮影装置 | |
JP2012147087A (ja) | 画像生成装置及び方法 | |
JP2014064327A (ja) | 撮像装置と振れ補正方法 | |
JP6439412B2 (ja) | 画像処理装置および画像処理方法 | |
JP2012186718A (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP2012134826A (ja) | 撮像装置 | |
JP5938842B2 (ja) | 撮像装置及びaf評価値算出方法、並びにプログラム | |
JP2011182325A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11833983 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11833983 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |