WO2013108314A1 - 3次元映像処理装置および方法 - Google Patents
3次元映像処理装置および方法 Download PDFInfo
- Publication number
- WO2013108314A1 WO2013108314A1 PCT/JP2012/006635 JP2012006635W WO2013108314A1 WO 2013108314 A1 WO2013108314 A1 WO 2013108314A1 JP 2012006635 W JP2012006635 W JP 2012006635W WO 2013108314 A1 WO2013108314 A1 WO 2013108314A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- viewpoint image
- image
- new
- map
- correction
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Definitions
- the present invention relates to a three-dimensional video processing apparatus that rotates a stereoscopic image.
- Patent Document 1 proposes that, as conventional three-dimensional video processing, edge enhancement processing is strengthened as the subject is in the foreground according to the binocular parallax amount.
- the present disclosure provides a 3D video processing apparatus that more naturally performs a process of rotating a stereoscopic image around a virtual rotation axis parallel to the image plane.
- the 3D video processing apparatus compares a first viewpoint image and a second viewpoint image of a stereoscopic image, and generates a deviation map that represents a deviation map of the second viewpoint image with respect to the first viewpoint image.
- a first new image generation unit that performs a rotation process on the first viewpoint image around a virtual rotation axis parallel to the image plane according to a given rotation angle and generates a new first viewpoint image;
- the deviation map is corrected based on the virtual rotation axis and the rotation angle, and a deviation map correction unit that generates a correction deviation map and the second image based on the correction deviation map.
- a second new image generation unit that generates a viewpoint image.
- a stereoscopic image when rotated, it can be converted into a stereoscopic image having a more natural stereoscopic effect.
- Diagram for explaining generation of displacement map An example of an image and the corresponding displacement map
- One method of rotating an image is a method of rotating and displaying an image plane around a virtual rotation axis that is parallel to the image plane and provided, for example, in a substantially vertical direction.
- Such a display method is also referred to as “perspective transformation”.
- an appropriate stereoscopic image cannot always be obtained simply by performing the conventional perspective transformation processing performed on a two-dimensional image.
- FIG. 1 is a diagram illustrating a configuration of a digital camera as an example of a 3D video processing apparatus according to the present embodiment.
- 1 includes an optical system 110 (a) and 110 (b), a zoom motor 120, an OIS (Optical Image Stabilization) actuator 130, a focus motor 140, CCD image sensors 150 (a) and 150 (b), A video processing unit 160, a memory 200, a controller 210, a gyro sensor 220, a card slot 230, a memory card 240, an operation member 250, a zoom lever 260, a liquid crystal monitor 270, an internal memory 280, and a shooting mode setting button 290 are provided.
- OIS Optical Image Stabilization
- a video processing unit 160 a memory 200, a controller 210, a gyro sensor 220, a card slot 230, a memory card 240, an operation member 250, a zoom lever 260, a liquid crystal monitor 270, an internal memory 280, and a shooting mode
- the optical system 110 (a) includes a zoom lens 111 (a), an OIS 112 (a), and a focus lens 113 (a).
- the optical system 110 (b) includes a zoom lens 111 (b), an OIS 112 (b), and a focus lens 113 (b).
- the optical system 110 (a) forms a subject image at the first viewpoint. Further, the optical system 110 (b) forms a subject image at a second viewpoint different from the first viewpoint.
- the zoom lenses 111 (a) and 111 (b) can enlarge or reduce the subject image by moving along the optical axis of the optical system.
- the zoom lenses 111 (a) and 111 (b) are controlled by the zoom motor 120.
- OIS 112 (a) and 112 (b) have a correction lens that can move in a plane perpendicular to the optical axis.
- the OISs 112 (a) and 112 (b) reduce the blur of the subject image by driving the correction lens in a direction that cancels the blur of the digital camera 1.
- the correction lens can be moved from the center by a maximum L in OIS 112 (a) and 112 (b).
- OIS 112 (a) and 112 (b) are controlled by OIS actuator 130.
- Focus lenses 113 (a) and 113 (b) adjust the focus of the subject image by moving along the optical axis of the optical system.
- the focus lenses 113 (a) and 113 (b) are controlled by the focus motor 140.
- the zoom motor 120 drives and controls the zoom lenses 111 (a) and 111 (b).
- the zoom motor 120 may be realized by a pulse motor, a DC motor, a linear motor, a servo motor, or the like.
- the zoom motor 120 may drive the zoom lenses 111 (a) and 111 (b) via a mechanism such as a cam mechanism or a ball screw.
- the zoom lenses 111 (a) and 111 (b) may be controlled by the same operation.
- the OIS actuator 130 drives and controls the correction lens in the OIS 112 (a) and 112 (b) in a plane perpendicular to the optical axis.
- the OIS actuator 130 can be realized by a planar coil or an ultrasonic motor.
- the focus motor 140 drives and controls the focus lenses 113 (a) and 113 (b).
- the focus motor 140 may be realized by a pulse motor, a DC motor, a linear motor, a servo motor, or the like.
- the focus motor 140 may drive the focus lenses 113 (a) and 113 (b) via a mechanism such as a cam mechanism or a ball screw.
- the CCD image sensors 150 (a) and 150 (b) capture the subject images formed by the optical systems 110 (a) and 110 (b) to generate a first viewpoint image and a second viewpoint image.
- the CCD image sensors 150 (a) and 150 (b) perform various operations such as exposure, transfer, and electronic shutter.
- the first viewpoint image and the second viewpoint image constitute a stereoscopic video when viewed in pairs.
- the video processing unit 160 performs various processes on the first viewpoint image and the second viewpoint image generated by the CCD image sensors 150 (a) and 150 (b).
- the video processing unit 160 performs processing on the first viewpoint image and the second viewpoint image, and generates image data (hereinafter referred to as a review image) to be displayed on the liquid crystal monitor 270.
- the video processing unit 160 generates a video signal to be re-stored in the memory card 240.
- the video processing unit 160 performs various video processes such as gamma correction, white balance correction, and flaw correction on the first viewpoint image and the second viewpoint image.
- the video processing unit 160 performs enhancement processing such as edge enhancement processing on the first viewpoint image and the second viewpoint image based on the control signal from the controller 210.
- the video processing unit 160 compresses the video signal with respect to the processed first viewpoint image and second viewpoint image by a compression format or the like based on the JPEG standard.
- Two compressed video signals obtained by compressing the first viewpoint image and the second viewpoint image are associated with each other and recorded in the memory card 240.
- the two compressed video signals are preferably recorded using a multi-picture format (hereinafter referred to as MPF).
- MPF multi-picture format
- H. Video compression standards such as H.264 / AVC are applied.
- MPF and JPEG images or MPEG moving images may be recorded simultaneously.
- the video processing unit 160 is configured to display the first viewpoint image and the second viewpoint image generated by the CCD image sensors 150 (a) and 150 (b), or the first viewpoint image and the second viewpoint image stored in the memory card 240.
- a new first viewpoint image and a new second viewpoint image constituting a stereoscopic image having a more natural stereoscopic effect are generated from the image.
- the video processing unit 160 generates a shift map generation unit 162, a first new image generation unit 164, a shift map correction unit 165, and a first map to generate a new first viewpoint image and a new second viewpoint image.
- Two new image generation units 166 are provided.
- the shift map generation unit 162 compares the first viewpoint image and the second viewpoint image, and generates a shift map representing the shift of the second viewpoint image with respect to the first viewpoint image.
- Depth information which is a relative positional relationship in the image depth direction between the subjects displayed in the first viewpoint image and the second viewpoint image, is uniquely specified from the deviation represented in the deviation map. The generation of the deviation map will be described later.
- the first new image generation unit 164 performs a rotation process (perspective conversion process) for rotating the first viewpoint image around the virtual rotation axis based on rotation angle information described later, and the new first viewpoint. Generate an image.
- the first viewpoint image may be either a right-eye image or a left-eye image.
- the deviation map correction unit 165 performs a process of correcting the deviation map generated by the deviation map generation unit 162 based on the perspective transformation process performed on the first viewpoint image. Specific correction contents of the deviation map correction unit 165 will be described later.
- the second new image generation unit 166 generates a new second viewpoint image that forms a stereoscopic video paired with the new first viewpoint image from the new first viewpoint image based on the corrected deviation map.
- the video processing unit 160 can be realized by a DSP or a microcomputer.
- the resolution of the review image may be set to the screen resolution of the liquid crystal monitor 270, or may be set to the resolution of image data that is compressed and formed by a compression format or the like conforming to the JPEG standard.
- the memory 200 functions as a work memory for the video processing unit 160 and the controller 210.
- the memory 200 temporarily stores a video signal processed by the video processing unit 160 or image data input from the CCD image sensors 150 (a) and 150 (b) before being processed by the video processing unit 160. accumulate.
- the memory 200 temporarily stores shooting conditions of the optical systems 110 (a) and 110 (b) and the CCD image sensors 150 (a) and 150 (b) at the time of shooting.
- the shooting conditions indicate subject distance, field angle information, ISO sensitivity, shutter speed, EV value, F value, distance between lenses, shooting time, OIS shift amount, and the like.
- the memory 200 can be realized by, for example, a DRAM or a ferroelectric memory.
- the controller 210 is a control means for controlling the whole.
- the controller 210 can be realized by a semiconductor element or the like.
- the controller 210 may be configured only by hardware, or may be realized by combining hardware and software.
- the controller 210 can be realized by a microcomputer or the like.
- the gyro sensor 220 is composed of a vibration material such as a piezoelectric element.
- the gyro sensor 220 vibrates a vibration material such as a piezoelectric element at a constant frequency, converts a force generated by the Coriolis force into a voltage, and obtains angular velocity information.
- the gyro sensor 220 may be any device that can measure at least the angular velocity information of the pitch angle. Further, when the gyro sensor 220 can measure the angular velocity information of the roll angle, it is possible to consider the rotation when the digital camera 1 moves in a substantially horizontal direction.
- the memory card 240 is detachable from the card slot 230.
- the card slot 230 can be mechanically and electrically connected to the memory card 240.
- the memory card 240 includes a flash memory, a ferroelectric memory, and the like, and can store data.
- the memory card 240 may be any memory card as long as it can store data, and may be an SD card, a compact flash (registered trademark), an SSD, a hard disk drive, an optical disk, or the like.
- the operation member 250 includes a release button.
- the release button receives a user's pressing operation. When the release button is pressed halfway, AF control and AE control are started via the controller 210. When the release button is fully pressed, the subject is photographed.
- the operation member 250 is a member that receives rotation angle information indicating the rotation status of the first viewpoint image and the second viewpoint image from the user.
- the rotation angle information determines the rotation angle, that is, how much to rotate these images when displaying the first viewpoint image and the second viewpoint image.
- the operation member 250 receives rotation angle information indicating 90-degree rotation from the user and outputs the rotation angle information to the controller 210.
- the controller 210 outputs a control signal to the video processing unit 160 based on the received rotation angle information.
- the video processing unit 160 rotates the first viewpoint image and the second viewpoint image by 90 degrees.
- the zoom lever 260 is a member that receives a zoom magnification change instruction from the user.
- the liquid crystal monitor 270 displays the first viewpoint image and the second viewpoint image generated by the CCD image sensors 150 (a) and 150 (b), and the first viewpoint image and the second viewpoint image read from the memory card 240 in a two-dimensional display. Alternatively, it is a display device capable of three-dimensional display.
- the liquid crystal monitor 270 can display various setting information of the digital camera 1. For example, the liquid crystal monitor 270 can display EV values, F values, shutter speeds, ISO sensitivity, and the like, which are shooting conditions at the time of shooting.
- the liquid crystal monitor 270 may select and display either the first viewpoint image or the second viewpoint image, or the screen is divided and the first viewpoint image and the second viewpoint image are left and right. Alternatively, they may be displayed side by side. Alternatively, the first viewpoint image and the second viewpoint image may be alternately displayed for each line.
- the liquid crystal monitor 270 may display the first viewpoint image and the second viewpoint image sequentially, or may display the first viewpoint image and the second viewpoint image as an overlay. I do not care.
- the liquid crystal monitor 270 may include a lenticular lens or a parallax barrier so that the first viewpoint image and the second viewpoint image can be displayed as a stereoscopic image with the naked eye.
- the internal memory 280 is composed of a flash memory or a ferroelectric memory.
- the internal memory 280 stores a control program for controlling the entire digital camera 1 and the like.
- the shooting mode setting button 290 is a button for setting a shooting mode when shooting with the digital camera 1.
- the shooting mode indicates a shooting scene assumed by the user, and includes, for example, (1) portrait mode, (2) child mode, (3) pet mode, (4) macro mode, and (5) landscape mode.
- the digital camera 1 performs shooting by setting appropriate shooting parameters based on this shooting mode. In addition, you may make it include the camera automatic setting mode in which the digital camera 1 performs automatic setting.
- the shooting mode setting button 290 is a button for setting a playback mode of a video signal recorded on the memory card 240.
- Video Processing Unit 160 Details of the operation in the video processing unit 160 will be described below with reference to the drawings.
- FIG. 2 shows an example of the first viewpoint image 11 (a) and the second viewpoint image 12 (b). In the first viewpoint image 11 and the second viewpoint image 12, subjects 101 and 102 are projected.
- the deviation map generation unit 162 divides the first viewpoint image 11 read from the memory 200 into a plurality of sub-regions, for example, and the amount of parallax (deviation amount) in units of the sub-regions. Detection is performed.
- the number of sub-regions may be set based on the processing amount of the entire digital camera 1. For example, when the processing load of the digital camera 1 is taken into consideration, if the processing amount is sufficient, control is performed so as to increase the number of sub areas set. Conversely, if the processing amount is not sufficient, control is performed so as to reduce the number of sub-regions set. Specifically, when the processing amount of the digital camera 1 has a margin, the configuration may be such that the amount of parallax is detected in pixel units. And one representative parallax amount may be detected in the sub-region.
- the amount of parallax is, for example, the amount of horizontal displacement of the second viewpoint image 12 with respect to the first viewpoint image 11.
- the deviation map generation unit 162 performs block matching processing between the sub-region in the first viewpoint image 11 and the second viewpoint image 12. Based on the result of the block matching process, the shift map generation unit 162 calculates the shift amount in the horizontal direction and sets the parallax amount.
- FIG. 3 shows an example of a deviation map corresponding to the first viewpoint image 11.
- the amount of deviation in the horizontal direction between the first viewpoint image 11 and the second viewpoint image 12 is represented by a pixel value. It is assumed that the value of the shift amount increases as the position of the subject is in the back, and the shift amount is set to 100 at the maximum. In order to simplify the description of the drawings, the description of the shift amount is omitted for a block whose shift amount is 100 (maximum). Further, the X axis is set in the horizontal direction of the image plane, the Y axis in the vertical direction of the image plane, and the Z axis in the direction from the front side to the back side of the image plane. In the example of FIG.
- the subjects 101 and 102 generally have the same shift amount 10 and the background has a shift amount 100.
- an intermediate value of each shift amount is set based on the size occupied by the subject and the size occupied by the background in the block.
- the value for the depth of the subject or the like is not limited to the above description.
- the method for digitizing the depth varies depending on the method of photographing. For example, when capturing a stereoscopic image, if the parallel method is used, the amount of deviation becomes larger as the subject in the foreground.
- the amount of shift differs depending on the relative relationship between the intersection point where the viewpoint directions of the left eye and the right eye intersect. The direction deviating from the front of the intersection and the back of the intersection is opposite. In the present embodiment, a case in which a stereoscopic image photographed by the intersection method is used will be described, but the present disclosure is not limited to this.
- a value representing the relative positional relationship between the subjects in the image depth direction can be acquired.
- the region where the displacement amount is large is present behind the region where the displacement amount is small.
- the amount of shift in the horizontal direction is simply expressed by the pixel value of the image, but other values may be used.
- the horizontal shift amount may be expressed by the ratio of the pixel value shifted in the horizontal direction to the horizontal size of the image. For example, when the horizontal size of the image is 1920 pixels and the pixel is shifted by 40 pixels in the horizontal direction, the amount of shift in the horizontal direction is 2%.
- the video processing unit 160 rotates (perspective transformation) the first viewpoint image
- the deviation map corresponding to the first viewpoint image is information representing the parallax amount of each subject shown in the first viewpoint image.
- the reason why there are two shift maps is that occlusion occurs in the first viewpoint image and the second viewpoint image. This occlusion occurs when the shooting positions of the first viewpoint image and the second viewpoint image are different. It also occurs due to a difference in the appearance of the subject (for example, trapezoidal distortion) due to an optical axis shift.
- the rotation (perspective transformation) processing described in the present disclosure is to rotate an image around the Y axis as a virtual rotation axis as shown in FIG.
- a coordinate movement process and an enlargement / reduction process are performed on a planar image, thereby making it appear as if the image is rotated in a three-dimensional space.
- the portion on the left side of the Y axis is displayed so as to be positioned relatively in front by the rotation processing, and the portion on the right side of the Y axis is displayed so as to be positioned relatively far behind.
- the right part is displayed with the size in the horizontal direction (X-axis direction) and the vertical direction (Y-axis direction) reduced as the distance from the viewer increases as in the perspective method.
- the rotation process as described above will be described as a perspective transformation process in the present disclosure.
- the first new image generation unit 164 performs a perspective transformation process on the first viewpoint image around the Y axis according to the given rotation angle information to generate a new first viewpoint image.
- the perspective transformation process here may be performed in the same manner as the perspective transformation process performed on a conventional normal image (2D image). In the present disclosure, the conventional perspective transformation process is not limited.
- the deviation map correction unit 165 performs a conversion process suitable for a stereoscopic image on the deviation map based on the first viewpoint image 11 generated by the deviation map generation unit 162.
- FIG. 5 is a diagram illustrating an example of the case where the video processing unit 160 performs the same processing as the perspective transformation processing performed on the first viewpoint image on the deviation map illustrated in FIG. 3.
- the numerical value in each block in FIG. 5 indicates the shift amount after conversion.
- the shift amount in each block changes with the coordinate shift.
- the shift amount itself relating to the subjects 101 and 102 is not changed and is 10 for both.
- FIG. 6A and 6B are diagrams showing the positional relationship of the subject represented by the shift map, in which FIG. 6A shows a state before the perspective transformation process, and FIG. 6B shows a state after the perspective transformation process.
- the subjects 101 and 102 have the same depth 10 before the perspective transformation process.
- the subject 101 is relatively enlarged and the subject 102 is relatively reduced by the perspective transformation process, but the depth value remains 10 for both the subjects 101 and 102. That is, the enlarged subject 101 and the reduced subject 102 have the same depth value.
- the subject 101 on the left side is on the front and the subject 102 on the right side is on the back by perspective transformation processing. This result is inconsistent with the content shown in FIG.
- the shift map correction unit 165 performs a correction process different from the perspective conversion process performed on the first viewpoint image 11 on the shift map. That is, in this correction process, a coordinate movement process common to the perspective conversion process is performed, and a shift amount conversion process different from the enlargement / reduction of the image in the perspective conversion process is performed.
- FIG. 7 is an example of a corrected deviation map obtained by correcting the deviation map of FIG.
- a coordinate movement process common to the perspective conversion process performed on the first viewpoint image is performed.
- conversion processing different from the image enlargement / reduction in the perspective conversion processing performed on the first viewpoint image is performed on the shift amount of each region. Specifically, based on the virtual rotation axis and the rotation angle at the time of the perspective transformation process, the shift amount of the region arranged in front is reduced and the shift amount of the region arranged in the back is increased.
- the shift amount of the region on one side from the virtual rotation axis in the perspective transformation processing for the first viewpoint image is corrected to a value indicating the nearer side, and the shift amount of the region on the other side from the virtual rotation axis is corrected. Then, it is corrected to a value indicating the far side.
- the left subject 101 generally has a displacement amount 6
- the right subject 102 generally has a displacement amount 24.
- the deviation map correction unit 165 corrects the deviation amount in the horizontal direction, but the present disclosure is not limited to this. That is, the shift amount may be corrected in a direction perpendicular to the direction of the virtual rotation axis in the perspective conversion process.
- either the coordinate movement process or the shift amount conversion process here may be executed first. That is, a coordinate movement process common to the perspective transformation process performed on the first viewpoint image may be performed on the shift map, and then the conversion process may be performed on the shift amount of each region. A conversion process may be performed, and then a coordinate movement process may be performed.
- the second viewpoint image generation unit 166 uses the new second viewpoint image based on the corrected deviation map in which the correction process has been performed by the deviation map correction unit 165 from the new first viewpoint image generated by the first new image generation unit 164. Generate a viewpoint image.
- FIG. 8 is a diagram illustrating an example of a new second viewpoint image generated by the second viewpoint image generation unit 166.
- the second viewpoint image generation unit 166 generates a new second viewpoint image by shifting the new first viewpoint image according to the shift amount for each block of the correction shift map.
- FIG. 9 is a diagram when the new first viewpoint image and the new second viewpoint image after perspective transformation processing are superimposed
- FIG. 10 is a diagram showing the relative positional relationship between the subjects 101 and 102 in FIG. is there.
- the subject 101 since the subject 101 has a depth of 6 and the subject 102 has a depth of 24, the subject 101 is arranged in front of the subject.
- the shift amount D1 of the subject 101 disposed relatively in front is smaller than the shift amount D2 of the subject 102 disposed relatively far behind. That is, in the new first viewpoint image and the new second viewpoint image, consistency is maintained with respect to the deviation between the subjects. Thereby, even when a stereoscopic image is subjected to a perspective conversion process, the stereoscopic effect can be normally maintained for the image after the conversion process.
- FIG. 11 shows a processing flow when the video processing unit 160 rotates the stereoscopic image as described above.
- the video processing unit 160 acquires the rotation angle information output from the controller 210. If the video processing unit 160 does not acquire the rotation angle information, the flow ends as it is.
- the video processing unit 160 performs a perspective transformation process on the first viewpoint image based on the rotation angle information output from the controller 210, and generates a new first viewpoint image.
- the video processing unit 160 corrects the deviation map based on the rotation angle information output from the controller 210.
- the video processing unit 160 generates a new second viewpoint image to be paired with the new first viewpoint image after the perspective transformation based on the new first viewpoint image after the perspective transformation process and the correction shift map.
- the video processing unit 160 stores the relative positional relationship between the subjects indicated by the correction deviation map.
- a new second viewpoint image is generated.
- the generation method of the new second viewpoint image may be any method as long as it is a conventional method for generating a pair of images from one image and the correction deviation map. Specifically, it can be realized by using 2D-3D conversion technology.
- the operation of S11 may be performed at any timing before the operation of S13. Further, the operation of S13 and the operation of S14 may be reversed. That is, it is only necessary that the correction shift map and the new first viewpoint image have been generated before the process of generating the new second viewpoint image.
- the video processing unit 160 outputs a stereoscopic image including the new first viewpoint image and the new second viewpoint image to the liquid crystal monitor 270 via the controller 210. Note that the video processing unit 160 may output a stereoscopic image including the new first viewpoint image and the new second viewpoint image to the memory card 240 via the controller 210 and the card throttle 230.
- the digital camera 1 includes the deviation map generation unit 162, the first new image generation unit 164, the deviation map correction unit 165, and the second new image generation unit 166.
- the shift map generation unit 162 compares the first viewpoint image and the second viewpoint image of the stereoscopic image, and generates a shift map representing the shift of the second viewpoint image with respect to the first viewpoint image.
- the first new image generation unit 164 performs a rotation process on the first viewpoint image around the virtual rotation axis according to a given rotation angle, and generates a new first viewpoint image.
- the deviation map correction unit 165 performs correction processing on the deviation map based on the virtual rotation axis and the rotation angle, and generates a corrected deviation map.
- the second new image generation unit 166 generates a new second viewpoint image from the new first viewpoint image based on the correction shift map.
- a new second viewpoint image that is paired with the new first viewpoint image is generated as a stereoscopic video based on the correction deviation map corrected based on the rotation process.
- the generated stereoscopic video composed of the new first viewpoint image and the new second viewpoint image has a more natural stereoscopic effect.
- the first embodiment has been described as an example of the technique disclosed in the present application.
- the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed.
- the rotation process using the Y axis as the virtual rotation axis has been described.
- the present invention is not limited to this.
- the X axis that is, the horizontal axis may be used as the virtual rotation axis.
- the axis in the oblique direction may be a virtual rotation axis. In other words, if the rotation process is centered on a virtual rotation axis parallel to the image plane, the same process as described above can be realized.
- the virtual rotation axis may be at the edge of the screen or outside the screen.
- the shift amount conversion process when correcting the shift map is performed by setting the shift amount of the entire image or at least a part of the image to the near side. What is necessary is just to correct
- the displacement amount of the entire image or at least a part of the region may be corrected to a value indicating the deeper side.
- the new image generation processing in each of the first new image generation unit 164 and the second new image generation unit 166 may be paused. In this way, since the new first viewpoint image and the new second viewpoint image are generated only when the stereoscopic effect may be impaired by the rotation process, the power consumption can be reduced.
- each block may be individually made into one chip by a semiconductor device such as an LSI, or may be made into one chip so as to include a part or all of the blocks.
- the 3D video processing apparatus is not limited to the digital camera used in the description. For example, a broadcast camera, a recorder or player that performs recording / playback of 3D video, a television apparatus, a photo frame, and the like. Or a display device such as a portable information terminal.
- LSI LSI
- IC system LSI
- super LSI ultra LSI depending on the degree of integration
- the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
- An FPGA Field Programmable Gate Array
- a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
- each process of the above embodiment may be realized by hardware, or may be realized by software as a computer program.
- the computer program can be distributed by being recorded on a computer-readable recording medium, for example. Further, it may be realized by mixed processing of software and hardware.
- the digital camera 1 according to the above-described embodiment is realized by hardware, it is necessary to adjust timing for performing each process. In the above embodiment, for convenience of explanation, details of timing adjustment of various signals generated in actual hardware design are omitted.
- execution order of the processing methods in the above embodiment is not necessarily limited to the description of the above embodiment, and the execution order can be changed without departing from the gist of the invention.
- the present disclosure can be applied to a three-dimensional video processing apparatus that performs a stereoscopic image rotation process more naturally. Specifically, digital cameras and broadcast cameras that shoot 3D images, recorders and players that record and play back 3D images, TV devices, display devices such as photo frames and personal digital assistants, etc. The present disclosure is applicable.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
ずれマップ生成部(162)は立体画像に対して、第1視点画像に対する第2視点画像のずれを表すずれマップを生成する。第1の新画像生成部(164)は第1視点画像に対して、与えられた回転角に従って回転処理を行い、新第1視点画像を生成する。ずれマップ補正部(165)は、ずれマップに対して回転角に基づいて補正処理を行い、補正ずれマップを生成する。第2の新画像生成部(164)は第1視点画像から、補正ずれマップに基づいて新第2視点画像を生成する。
Description
本発明は、立体画像を回転処理する3次元映像処理装置に関する。
特許文献1では、従来の3次元映像処理として、両眼視差量に応じて、被写体が近景であるほどエッジの強調処理を強めることを提案している。
本開示は、立体画像に対して画像面に平行な仮想回転軸を中心に回転させる処理を、より自然に行う3次元映像処理装置を提供する。
本開示における3次元映像処理装置は、立体画像の第1視点画像と第2視点画像とを比較して、第1視点画像に対する第2視点画像のずれを表すずれマップを生成するずれマップ生成部と、第1視点画像に対して、画像面に平行な仮想回転軸を中心にして、与えられた回転角に従って回転処理を行い、新第1視点画像を生成する第1の新画像生成部と、ずれマップに対して、仮想回転軸および回転角に基づいて補正処理を行い、補正ずれマップを生成するずれマップ補正部と、新第1視点画像から、補正ずれマップに基づいて、新第2視点画像を生成する第2の新画像生成部と、を備える。
本開示では、立体画像を回転処理した場合に、より自然な立体感を持つ立体画像に変換することができる。
画像を回転する方法の一つに、画像面に平行であって、例えば略鉛直方向に設けた仮想的な回転軸を中心にして、画像平面を回転して表示する方法がある。このような表示方法は「透視変換」とも称される。ところが、立体画像の場合、2次元画像に行っていた従来の透視変換処理を行うだけでは、必ずしも適切な立体画像は得られない。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
<1-1.構成>
図1は本実施形態に係る3次元映像処理装置の一例としての、デジタルカメラの構成を示す図である。図1のデジタルカメラ1は、光学系110(a)および110(b)、ズームモータ120、OIS(Optical Image Stabilization)アクチュエータ130、フォーカスモータ140、CCDイメージセンサ150(a)および150(b)、映像処理部160、メモリ200、コントローラ210、ジャイロセンサ220、カードスロット230、メモリカード240、操作部材250、ズームレバー260、液晶モニタ270、内部メモリ280、および撮影モード設定ボタン290を備えている。
<1-1.構成>
図1は本実施形態に係る3次元映像処理装置の一例としての、デジタルカメラの構成を示す図である。図1のデジタルカメラ1は、光学系110(a)および110(b)、ズームモータ120、OIS(Optical Image Stabilization)アクチュエータ130、フォーカスモータ140、CCDイメージセンサ150(a)および150(b)、映像処理部160、メモリ200、コントローラ210、ジャイロセンサ220、カードスロット230、メモリカード240、操作部材250、ズームレバー260、液晶モニタ270、内部メモリ280、および撮影モード設定ボタン290を備えている。
光学系110(a)は、ズームレンズ111(a)、OIS112(a)およびフォーカスレンズ113(a)を含む。また、光学系110(b)は、ズームレンズ111(b)、OIS112(b)およびフォーカスレンズ113(b)を含む。なお、光学系110(a)は、第1視点における被写体像を形成する。また、光学系110(b)は、第1視点とは異なる第2視点における被写体像を形成する。
ズームレンズ111(a)および111(b)は、光学系の光軸に沿って移動することにより、被写体像を拡大または縮小可能である。ズームレンズ111(a)および111(b)は、ズームモータ120によって制御される。
OIS112(a)および112(b)は、光軸に垂直な面内で移動可能な補正レンズを内部に有する。OIS112(a)および112(b)は、デジタルカメラ1のブレを相殺する方向に補正レンズを駆動することにより、被写体像のブレを低減する。補正レンズは、OIS112(a)および112(b)内において最大Lだけ中心から移動することができる。OIS112(a)および112(b)は、OISアクチュエータ130によって制御される。
フォーカスレンズ113(a)および113(b)は、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。フォーカスレンズ113(a)および113(b)は、フォーカスモータ140によって制御される。
ズームモータ120は、ズームレンズ111(a)および111(b)を駆動制御する。ズームモータ120は、パルスモータやDCモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ120は、カム機構やボールネジなどの機構を介してズームレンズ111(a)および111(b)を駆動するようにしてもよい。また、ズームレンズ111(a)および111(b)を同じ動作で制御する構成にしても良い。
OISアクチュエータ130は、OIS112(a)および112(b)内の補正レンズを光軸と垂直な面内で駆動制御する。OISアクチュエータ130は、平面コイルや超音波モータなどで実現できる。
フォーカスモータ140は、フォーカスレンズ113(a)および113(b)を駆動制御する。フォーカスモータ140は、パルスモータやDCモータ、リニアモータ、サーボモータなどで実現してもよい。フォーカスモータ140は、カム機構やボールネジなどの機構を介してフォーカスレンズ113(a)および113(b)を駆動するようにしてもよい。
CCDイメージセンサ150(a)および150(b)は、光学系110(a)および110(b)で形成された被写体像を撮影して、第1視点画像および第2視点画像を生成する。CCDイメージセンサ150(a)および150(b)は、露光、転送、電子シャッタなどの各種動作を行う。この第1視点画像および第2視点画像は、対で視聴した際に立体映像を構成する。
映像処理部160は、CCDイメージセンサ150(a)および150(b)で生成された第1視点画像および第2視点画像に対して各種の処理を施す。映像処理部160は、第1視点画像および第2視点画像に対して処理を施し、液晶モニタ270に表示するための画像データ(以下、レビュー画像と称す)を生成する。また、映像処理部160は、メモリカード240に再格納するための映像信号を生成する。例えば、映像処理部160は、第1視点画像および第2視点画像に対してガンマ補正やホワイトバランス補正、傷補正などの各種映像処理を行う。
また、映像処理部160は、コントローラ210からの制御信号に基づいて、第1視点画像および第2視点画像に対して、例えば、エッジ強調処理等のエンハンス処理を行う。
さらに、映像処理部160は、処理された第1視点画像および第2視点画像について、それぞれJPEG規格に準拠した圧縮形式等により映像信号の圧縮を行う。第1視点画像および第2視点画像を圧縮して得られた2つの圧縮映像信号は、互いに関連付けられて、メモリカード240に記録される。なお、2つの圧縮映像信号は、マルチピクチャーフォーマット(以下、MPFと称す)を用いて記録されるのが望ましい。また、圧縮する映像信号が動画の場合、H.264/AVC等の動画圧縮規格が適用される。また、MPFとJPEG画像またはMPEG動画とを同時に記録する構成にしても構わない。
さらに、映像処理部160は、CCDイメージセンサ150(a)および150(b)で生成された第1視点画像および第2視点画像または、メモリカード240に格納された第1視点画像および第2視点画像から、より自然な立体感を有する立体画像を構成する新第1視点画像および新第2視点画像を生成する。具体的に、映像処理部160は、新第1視点画像および新第2視点画像を生成するために、ずれマップ生成部162、第1の新画像生成部164、ずれマップ補正部165、および第2の新画像生成部166を備えている。
ずれマップ生成部162は、第1視点画像と第2視点画像とを比較して、第1視点画像に対する第2視点画像のずれを表すずれマップを生成する。ずれマップに表されたずれから、第1視点画像および第2視点画像に映し出される被写体間の画像奥行き方向における相対位置関係である深さ情報が、一意に特定される。ずれマップの生成については後述する。
第1の新画像生成部164は、後述する回転角情報に基づいて、第1視点画像に対して、仮想回転軸を中心にして回転させる回転処理(透視変換処理)を行い、新第1視点画像を生成する。なお、第1視点画像は、右目用画像および左目用画像のいずれであっても構わない。
ずれマップ補正部165は、ずれマップ生成部162が生成したずれマップを、第1視点画像に行う透視変換処理に基づいて補正する処理を行う。ずれマップ補正部165の具体的な補正内容については後述する。
第2の新画像生成部166は、新第1視点画像から、補正されたずれマップに基づいて、新第1視点画像と対となって立体映像を構成する新第2視点画像を生成する。
映像処理部160は、DSPやマイコンなどで実現可能である。なお、レビュー画像の解像度は、液晶モニタ270の画面解像度に設定しても構わないし、JPEG規格に準拠した圧縮形式等により圧縮され形成される画像データの解像度に設定しても構わない。
メモリ200は、映像処理部160およびコントローラ210のワークメモリとして機能する。メモリ200は、例えば、映像処理部160で処理された映像信号または、映像処理部160で処理される前のCCDイメージセンサ150(a)および150(b)から入力される画像データを一時的に蓄積する。また、メモリ200は、撮影時における光学系110(a)および110(b)、CCDイメージセンサ150(a)および150(b)の撮影条件を一時的に蓄積する。撮影条件とは、被写体距離、画角情報、ISO感度、シャッタースピード、EV値、F値、レンズ間距離、撮影時刻、OISシフト量等を示す。メモリ200は、例えば、DRAM、強誘電体メモリなどで実現できる。
コントローラ210は、全体を制御する制御手段である。コントローラ210は、半導体素子などで実現可能である。コントローラ210は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ210は、マイコンなどで実現できる。
ジャイロセンサ220は、圧電素子等の振動材等で構成される。ジャイロセンサ220は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度情報を得る。ジャイロセンサ220から角速度情報を得て、この揺れを相殺する方向にOIS112(a)および112(b)内の補正レンズを駆動させることにより、使用者によりデジタルカメラ1に与えられる手振れは補正される。なお、ジャイロセンサ220は、少なくともピッチ角の角速度情報を計測可能なデバイスであればよい。また、ジャイロセンサ220がロール角の角速度情報を計測可能な場合、デジタルカメラ1の略水平方向に移動した際の回転について考慮することが可能となる。
カードスロット230は、メモリカード240を着脱可能である。カードスロット230は、機械的および電気的にメモリカード240と接続可能である。
メモリカード240は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。要するに、メモリカード240はデータを格納できるものであればどのようなものでもよく、SDカード、コンパクトフラッシュ(登録商標)、SSD、ハードディスクドライブ、光ディスクなどでも構わない。
操作部材250は、レリーズボタンを備える。レリーズボタンは、使用者の押圧操作を受け付ける。レリーズボタンを半押しした場合、コントローラ210を介してAF制御およびAE制御を開始する。また、レリーズボタンを全押しした場合、被写体の撮影を行う。
また、操作部材250は、使用者から第1視点画像および第2視点画像の回転状況を示す回転角情報を受け付ける部材である。回転角情報によって、回転角すなわち、第1視点画像および第2視点画像を表示する際にこれらの画像をどの程度回転すべきかが決まる。例えば、操作部材250は使用者から90度回転を示す回転角情報を受け付けて、当該回転角情報をコントローラ210に出力する。コントローラ210は、受け取った回転角情報に基づいて、映像処理部160に制御信号を出力する。映像処理部160は、コントローラ210から90度回転の制御信号を受け付けると、第1視点画像および第2視点画像を90度回転させる。
ズームレバー260は、使用者からズーム倍率の変更指示を受け付ける部材である。
液晶モニタ270は、CCDイメージセンサ150(a)および150(b)で生成した第1視点画像および第2視点画像、メモリカード240から読み出した第1視点画像および第2視点画像を、2次元表示または3次元表示可能な表示デバイスである。また、液晶モニタ270は、デジタルカメラ1の各種の設定情報を表示可能である。例えば、液晶モニタ270は、撮影時における撮影条件である、EV値、F値、シャッタースピード、ISO感度等を表示可能である。
液晶モニタ270は、2次元表示の場合、第1視点画像および第2視点画像のいずれかを選択して表示しても構わないし、画面分割して第1視点画像と第2視点画像とを左右または上下に並べて表示しても構わない。あるいは、第1視点画像と第2視点画像とをライン毎に交互に表示しても構わない。
液晶モニタ270は、3次元表示の場合、第1視点画像と第2視点画像とをフレームシーケンシャルに表示しても構わないし、第1視点画像と第2視点画像とをオーバーレイして表示しても構わない。また、液晶モニタ270は、レンチキュラレンズまたは視差バリアを備え、第1視点画像と第2視点画像を裸眼で立体映像として表示可能に構成しても構わない。
内部メモリ280は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ280は、デジタルカメラ1全体を制御するための制御プログラム等を格納する。
撮影モード設定ボタン290は、デジタルカメラ1で撮影する際の撮影モードを設定するボタンである。撮影モードとは、ユーザが想定する撮影シーンを示すものであり、例えば、(1)人物モード、(2)子供モード、(3)ペットモード、(4)マクロモード、(5)風景モードを含む2次元撮影モード、(6)3次元撮影モードなどがある。なお、(1)~(5)それぞれに対しての3次元撮影モードを持ってもよい。デジタルカメラ1は、この撮影モードを基に、適切な撮影パラメータを設定して撮影を行う。なお、デジタルカメラ1が自動設定を行うカメラ自動設定モードを含めるようにしてもよい。また、撮影モード設定ボタン290は、メモリカード240に記録される映像信号の再生モードを設定するボタンである。
<1-2.映像処理部160の詳細動作に関して>
以下、映像処理部160における動作の詳細について、図面を参照しながら説明する。
以下、映像処理部160における動作の詳細について、図面を参照しながら説明する。
<1-2-1.ずれマップの生成>
まず、ずれマップの生成に関して説明する。図2は第1視点画像11(a)および第2視点画像12(b)の一例を示す。第1視点画像11および第2視点画像12には、被写体101,102が映し出されている。
まず、ずれマップの生成に関して説明する。図2は第1視点画像11(a)および第2視点画像12(b)の一例を示す。第1視点画像11および第2視点画像12には、被写体101,102が映し出されている。
図2(c)に示すように、ずれマップ生成部162は、例えばメモリ200から読み出した第1視点画像11を複数のサブ領域に分割し、このサブ領域を単位として、視差量(ずれ量)の検出を行う。サブ領域の個数は、デジタルカメラ1全体の処理量を基に設定してもかまわない。例えば、デジタルカメラ1の処理負荷を考慮した場合、処理量に余裕があればサブ領域の設定数を増やすように制御を行う。逆に、処理量に余裕がなければサブ領域の設定数を減らすように制御を行う。具体的には、デジタルカメラ1の処理量に余裕がある場合は、画素単位で視差量を検出する構成にしても構わないし、処理量に余裕がない場合は、16×16画素単位をサブ領域と設定し、当該サブ領域で1つの代表視差量を検出する構成にしても構わない。
なお、視差量は、例えば、第1視点画像11に対する第2視点画像12の水平方向のずれ量となる。この場合、ずれマップ生成部162は、第1視点画像11におけるサブ領域と第2視点画像12とのブロックマッチング処理を行う。ずれマップ生成部162は、ブロックマッチング処理の結果を基に、水平方向のずれ量を算出し、視差量を設定する。
図3は第1視点画像11に対応したずれマップの一例を示す。図3のずれマップ13において、第1視点画像11と第2視点画像12との水平方向のずれ量がピクセル値で表現されている。被写体の位置が奥にあるほどずれ量の値が大きくなるものとし、ずれ量は最大100と設定している。なお、図面の記載を簡単にするため、ずれ量が100(最大)のブロックについてはずれ量の記載を省略している。また、画像面の水平方向にX軸を、画像面の垂直方向にY軸を、画像面の手前から奥へ向かう方向にZ軸を設定している。図3の例では、被写体101,102は概して同じずれ量10を有し、背景はずれ量100としている。また、被写体101,102と背景とが混在するブロックについては、そのブロックにおいて被写体が占める大きさと背景が占める大きさ等に基づいて、それぞれのずれ量の中間値が設定されている。
なお、被写体等の奥行きに対する値は、上記の説明に限られるものではない。また、撮影する手法によっても奥行きを数値化する際の方法は異なる。例えば、立体画像を撮影する際に、並行法で撮影する場合は、手前の被写体程ずれ量が大きくなる。反対に交差法で撮影する場合は、左眼と右眼の視点方向が交差する交点との相対関係でずれ量が異なる。交点より手前と交点より奥とではずれる方向が反対になる。本実施形態では、交差法で撮影された立体画像を用いた場合を説明するが、本開示はこれに限定されるものではない。
以上のようにして、被写体間の画像奥行き方向における相対位置関係を表す値が取得できる。ここでは、ずれ量が大きい領域は、ずれ量が小さい領域よりも奥に存在する。
なお、上記の説明において、水平方向のずれ量を単に画像のピクセル値で表現したが、他の値を用いても構わない。例えば、水平方向のずれ量を、画像の横サイズに対する、水平方向にずれているピクセル値の比率によって表現しても構わない。例えば、画像の横サイズが1920ピクセルであり、水平方向に40ピクセルずれている場合、水平方向のずれ量は2%となる。
なお、映像処理部160が第1視点画像を回転(透視変換)させる場合、当該第1視点画像に対応したずれマップを取得するのが好ましい。ここで、第1視点画像に対応したずれマップとは、第1視点画像に映っている各被写体の視差量を表現した情報である。逆に第2視点画像に対応したずれマップも存在する。2つのずれマップが存在する理由は、第1視点画像と第2視点画像においてオクルージョンが発生するためである。このオクルージョンは、第1視点画像と第2視点画像の撮影位置が異なる場合に発生する。また、光軸のずれによる被写体の見え方の違い(例えば台形歪)によっても発生する。
<1-2-2.新第1視点画像の生成>
本開示で説明する回転(透視変換)処理は、図4に示すように、画像を、仮想回転軸としてのY軸を中心に回転させるものである。この回転処理では、平面画像に座標移動処理と拡大縮小処理とを行うことによって、画像を3次元空間で回転させているかのように見せる。図4の例では、回転処理により、Y軸より左側の部分は相対的に手前に位置するように表示され、Y軸より右側の部分は相対的に奥に位置するように表示される。またその際、例えば右側の部分は、遠近法と同様に、視聴者からの距離が遠くなるにつれて、横方向(X軸方向)及び縦方向(Y軸方向)の大きさが縮小されて表示される。上記のような回転処理を、本開示では透視変換処理と称して説明する。
本開示で説明する回転(透視変換)処理は、図4に示すように、画像を、仮想回転軸としてのY軸を中心に回転させるものである。この回転処理では、平面画像に座標移動処理と拡大縮小処理とを行うことによって、画像を3次元空間で回転させているかのように見せる。図4の例では、回転処理により、Y軸より左側の部分は相対的に手前に位置するように表示され、Y軸より右側の部分は相対的に奥に位置するように表示される。またその際、例えば右側の部分は、遠近法と同様に、視聴者からの距離が遠くなるにつれて、横方向(X軸方向)及び縦方向(Y軸方向)の大きさが縮小されて表示される。上記のような回転処理を、本開示では透視変換処理と称して説明する。
第1の新画像生成部164は、第1視点画像に対して、Y軸を中心にして、与えられた回転角情報に従って透視変換処理を行い、新第1視点画像を生成する。ここでの透視変換処理は、従来の通常の画像(2D画像)で行っていた透視変換処理と同様に行えばよい。本開示では、この従来の透視変換処理について限定するものではない。
<1-2-3.ずれマップの補正>
ずれマップ補正部165は、ずれマップ生成部162が生成した第1視点画像11を基準とするずれマップについて、立体画像に好適な変換処理を行う。
ずれマップ補正部165は、ずれマップ生成部162が生成した第1視点画像11を基準とするずれマップについて、立体画像に好適な変換処理を行う。
ここで、ずれマップに対して単純に従来からの透視変換処理を行うと、正確に立体画像を表現できないという問題が生じる。図5は図3で示したずれマップに、映像処理部160が第1視点画像に行った透視変換処理と同じ処理をした場合の例を示す図である。この場合、図5のそれぞれブロックにおける数値は、変換後のずれ量を示す。
図5に示すように、ずれ量について第1視点画像と同様の座標移動処理が行われているため、この座標移動に伴って、各ブロックにおけるずれ量は変化している。ただし、被写体101,102に係るずれ量自体は変わっておらず、ともに10となっている。
図6はずれマップが表す被写体の位置関係を示した図であり、同図中、(a)が透視変換処理する前の状態、(b)が透視変換処理後の状態である。図6(a)に示すように、透視変換処理前は被写体101,102が同じ奥行き10を有している。一方、図6(b)に示すように、透視変換処理によって被写体101は相対的に拡大され被写体102は相対的に縮小されるが、奥行き値は被写体101,102ともに10のままである。すなわち、拡大された被写体101と縮小された被写体102とが同じ奥行き値を持つことになり、これは、実際の画像では透視変換処理によって左側の被写体101が手前に、右側の被写体102が奥に配されるという図4で示した内容と、矛盾する結果である。
これは、第1視点画像に行う透視変換処理と同じ処理を単純にずれマップに行った場合には、画像処理後の立体画像では、奥行きが正常に示されないことを示している。つまり、立体画像に対して正しく透視変換処理を行うためには、従来の通常画像(2D画像)に行っていた透視変換処理を行うだけでは不十分であり、ずれマップに対して立体画像に好適な変換処理を行う必要がある。
本実施形態では、ずれマップ補正部165は、ずれマップに対して、第1視点画像11に対して行う透視変換処理とは異なる補正処理を行う。すなわち、この補正処理では、透視変換処理と共通の座標移動処理を行い、かつ、透視変換処理における画像の拡大縮小とは異なる、ずれ量の変換処理を行うものである。
図7は図3のずれマップを補正して得た補正ずれマップの一例である。図7の補正ずれマップでは、第1視点画像に対して行う透視変換処理と共通の座標移動処理が行われている。これに加えて、各領域のずれ量について、第1視点画像に対して行う透視変換処理における画像の拡大縮小とは異なる、変換処理が行われている。具体的には、透視変換処理時の仮想回転軸とその回転角に基づいて、手前に配される領域のずれ量を小さくし、奥に配される領域のずれ量を大きくしている。言いかえると、第1視点画像に対する透視変換処理における仮想回転軸より一方の側の領域のずれ量を、より手前側を示す値に補正し、仮想回転軸より他方の側の領域のずれ量を、より奥側を示す値に補正する。このような変換処理の結果、左側の被写体101は概してずれ量6を有しており、右側の被写体102は概してずれ量24を有している。この補正によって、新第1視点画像と補正ずれマップとの間で、奥行き方向の情報が矛盾しなくなる。
なお、ここでは、ずれマップ補正部165が、水平方向においてずれ量を補正する例を示しているが、本開示はこれに限定されるものではない。すなわち、透視変換処理の仮想回転軸の方向と垂直な方向において、ずれ量を補正すればよい。
このように、ずれマップに対して、第1視点画像に行う透視変換処理と共通の座標移動処理を行い、かつ、各領域のずれ量に対して、この透視変換処理に基づく変換処理を行うことによって、透視変換処理後の立体画像における正常なずれ量の情報を生成することが可能となる。
なお、ここでの座標移動処理と、ずれ量の変換処理とは、どちらを先に実行してもかまわない。すなわち、ずれマップに対して、第1視点画像に行う透視変換処理と共通の座標移動処理を行い、その後、各領域のずれ量に対して変換処理を行ってもよいし、先にずれ量に対する変換処理を行い、その後、座標移動処理を行ってもかまわない。
<1-2-4.新第2視点画像の生成>
第2視点画像生成部166は、第1の新画像生成部164において生成された新第1視点画像から、ずれマップ補正部165において補正処理が行われた補正ずれマップに基づいて、新第2視点画像を生成する。図8は第2視点画像生成部166が生成した新第2視点画像の例を示す図である。第2視点画像生成部166は、新第1視点画像を、補正ずれマップのブロック毎のずれ量に応じてずらすことによって、新第2視点画像を生成する。
第2視点画像生成部166は、第1の新画像生成部164において生成された新第1視点画像から、ずれマップ補正部165において補正処理が行われた補正ずれマップに基づいて、新第2視点画像を生成する。図8は第2視点画像生成部166が生成した新第2視点画像の例を示す図である。第2視点画像生成部166は、新第1視点画像を、補正ずれマップのブロック毎のずれ量に応じてずらすことによって、新第2視点画像を生成する。
図9は透視変換処理後の新第1視点画像と新第2視点画像とを重ね合わせた場合の図であり、図10は図9における被写体101,102の相対的な位置関係を示す図である。図10に示すように、被写体101が奥行き6を有し、被写体102が奥行き24を有しているため、被写体101が被写体102より手前に配置されている。そして図9に示すように、相対的に手前に配置される被写体101のずれ量D1が、相対的に奥に配置される被写体102のずれ量D2よりも小さくなっている。すなわち、新第1視点画像と新第2視点画像とでは、被写体間のずれについて整合性が保たれている。これにより、立体画像を透視変換処理した場合でも、変換処理後の画像について正常に立体感を保つことができる。
<1-2-5.立体画像を回転処理する場合のフロー>
図11は上述した、映像処理部160が立体画像に対して回転処理する場合の処理フローを示す。
図11は上述した、映像処理部160が立体画像に対して回転処理する場合の処理フローを示す。
(S11)まず、映像処理部160は、コントローラ210が出力する回転角情報を取得する。もし、映像処理部160が回転角情報を取得しない場合、フローはそのまま終了する。
(S12)次に、映像処理部160は<1-2-1>に説明した方法を用いて、ずれマップを生成する。
(S13)次に、映像処理部160は、コントローラ210が出力する回転角情報に基づいて、第1視点画像を透視変換処理し、新第1視点画像を生成する。
(S14)映像処理部160は、コントローラ210が出力する回転角情報に基づいて、ずれマップを補正する。
(S15)映像処理部160は、透視変換処理後の新第1視点画像および補正ずれマップに基づいて、当該透視変換後の新第1視点画像と対になる新第2視点画像を生成する。この場合、映像処理部160は、視聴者が新第1視点画像と新第2視点画像とを立体映像として視聴した際、補正ずれマップが示す被写体間の相対位置関係が保存されるように、新第2視点画像を生成する。なお、新第2視点画像の生成方法は、1枚の画像と補正ずれマップから対になる画像を生成する従来の方法であればどのような方法でも構わない。具体的には、2D-3D変換技術を用いれば実現することができる。
なお、S11の動作は、S13の動作前であればどのタイミングで行っても構わない。また、S13の動作とS14の動作とは、逆になっていてもよい。すなわち、新第2視点画像を生成する処理までに、補正ずれマップと新第1視点画像が生成されていればよい。
映像処理部160は、新第1視点画像および新第2視点画像からなる立体画像を、コントローラ210を介して液晶モニタ270に出力する。なお、映像処理部160は、新第1視点画像および新第2視点画像からなる立体画像を、コントローラ210およびカードスロットル230を介してメモリカード240に出力してもかまわない。
<1-3.効果等>
以上のように、本実施の形態において、デジタルカメラ1は、ずれマップ生成部162と、第1の新画像生成部164と、ずれマップ補正部165と、第2の新画像生成部166とを備える。ずれマップ生成部162は、立体画像の第1視点画像と第2視点画像とを比較して、第1視点画像に対する第2視点画像のずれを表すずれマップを生成する。第1の新画像生成部164は、第1視点画像に対して、仮想回転軸を中心にして、与えられた回転角に従って回転処理を行い、新第1視点画像を生成する。ずれマップ補正部165は、ずれマップに対して、仮想回転軸および回転角に基づいて補正処理を行い、補正ずれマップを生成する。第2の新画像生成部166は、新第1視点画像から、補正ずれマップに基づいて、新第2視点画像を生成する。
以上のように、本実施の形態において、デジタルカメラ1は、ずれマップ生成部162と、第1の新画像生成部164と、ずれマップ補正部165と、第2の新画像生成部166とを備える。ずれマップ生成部162は、立体画像の第1視点画像と第2視点画像とを比較して、第1視点画像に対する第2視点画像のずれを表すずれマップを生成する。第1の新画像生成部164は、第1視点画像に対して、仮想回転軸を中心にして、与えられた回転角に従って回転処理を行い、新第1視点画像を生成する。ずれマップ補正部165は、ずれマップに対して、仮想回転軸および回転角に基づいて補正処理を行い、補正ずれマップを生成する。第2の新画像生成部166は、新第1視点画像から、補正ずれマップに基づいて、新第2視点画像を生成する。
これによると、回転処理後の新第1視点画像から、回転処理に基づいて補正された補正ずれマップに基づいて、立体映像として新第1視点画像と対になる新第2視点画像が生成される。このため、生成された新第1視点画像および新第2視点画像からなる立体映像は、より自然な立体感を持つものになる。
(他の実施形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
例えば、上述の実施の形態では、Y軸を仮想回転軸とした回転処理について説明したが、これに限定されるものではなく、例えば、X軸すなわち水平方向の軸を仮想回転軸としてもよいし、斜め方向の軸を仮想回転軸としてもよい。すなわち、画像面に平行な仮想回転軸を中心とした回転処理であれば、上述した説明と同様の処理が実現可能である。
また、仮想回転軸は、画面の端にあってもよいし、画面の外にあってもよい。仮想回転軸が画像面の端部または外部にある場合には、ずれマップの補正を行う際のずれ量の変換処理は、画像の全体または少なくとも一部の領域のずれ量を、より手前側を示す値に補正すればよい。あるいは、画像の全体または少なくとも一部の領域のずれ量を、より奥側を示す値に補正すればよい。
また、与えられた回転角が微小値、例えばほぼゼロの場合、第1の新画像生成部164および第2の新画像生成部166のそれぞれにおける新画像の生成処理を休止させてもよい。このようにすれば、回転処理によって立体感が損なわれる可能性がある場合にのみ新第1視点画像および新第2視点画像の生成が行われるので、消費電力を低減することができる。
また、上記実施形態で説明したデジタルカメラ1において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部または全部を含むように1チップ化されても良い。また、本開示に係る3次元映像処理装置は、説明で用いたデジタルカメラに限定されるものではなく、例えば、放送用カメラ、3次元映像の記録再生を行うレコーダーやプレーヤー、テレビ装置、フォトフレームや携帯情報端末のようなディスプレイ装置等であってもよい。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、コンピュータプログラムとしてソフトウェアにより実現してもよい。コンピュータプログラムは、例えばコンピュータが読み取り可能な記録媒体に記録して配布可能である。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係るデジタルカメラ1をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、立体画像の回転処理をより自然に行う3次元映像処理装置に適用可能である。具体的には、3次元映像を撮影するデジタルカメラや放送用カメラ、3次元映像の記録再生を記録再生を行うレコーダーやプレーヤー、テレビ装置、フォトフレームや携帯情報端末のようなディスプレイ装置等に、本開示は適用可能である。
1 デジタルカメラ(3次元映像処理装置)
160 映像処理部
162 ずれマップ生成部
164 第1の新画像生成部
165 ずれマップ補正部
166 第2の新画像生成部
160 映像処理部
162 ずれマップ生成部
164 第1の新画像生成部
165 ずれマップ補正部
166 第2の新画像生成部
Claims (9)
- 立体画像に対して、画像面に平行な仮想回転軸を中心に回転させる処理を行う3次元映像処理装置であって、
前記立体画像の第1視点画像と第2視点画像とを比較して、前記第1視点画像に対する前記第2視点画像のずれを表すずれマップを生成するずれマップ生成部と、
前記第1視点画像に対して、前記仮想回転軸を中心にして、与えられた回転角に従って回転処理を行い、新第1視点画像を生成する第1の新画像生成部と、
前記ずれマップに対して、前記仮想回転軸および前記回転角に基づいて補正処理を行い、補正ずれマップを生成するずれマップ補正部と、
前記新第1視点画像から、前記補正ずれマップに基づいて、新第2視点画像を生成する第2の新画像生成部とを備えた
ことを特徴とする3次元映像処理装置。 - 請求項1記載の3次元映像処理装置において、
前記補正処理は、前記回転処理と共通の座標移動処理を行い、かつ、前記回転処理における画像の拡大縮小とは異なる、ずれ量の変換処理を行うものである
ことを特徴とする3次元映像処理装置。 - 請求項2記載の3次元映像処理装置において、
前記ずれマップ補正部は、前記変換処理において、前記回転処理における前記仮想回転軸より一方の側の領域のずれ量を、より手前側を示す値に補正し、前記仮想回転軸より他方の側の領域のずれ量を、より奥側を示す値に補正する
ことを特徴とする3次元映像処理装置。 - 請求項2記載の3次元映像処理装置において、
前記ずれマップ補正部は、前記回転処理における前記仮想回転軸が前記画像面の端部または外部にある場合、前記変換処理において、全てまたは一部の領域のずれ量をより手前側を示す値に補正するか、全てまたは一部の領域のずれ量をより奥側を示す値に補正する
ことを特徴とする3次元映像処理装置。 - 請求項1記載の3次元映像処理装置において、
前記第2の新画像生成部は、前記新第1視点画像を前記補正ずれマップに基づいてずらして、前記新第2視点画像を生成する
ことを特徴とする3次元映像処理装置。 - 請求項5記載の3次元映像処理装置において、
前記第2の新画像生成部は、前記新第1視点画像と前記新第2視点画像とで構成される立体映像における被写体間の相対位置関係が、前記補正ずれマップから決まる相対位置関係と合うように、前記新第2視点画像を生成する
ことを特徴とする3次元映像処理装置。 - 請求項1~6のうちいずれか1項記載の3次元映像処理装置において、
前記回転角が微小値のとき、前記第1および第2の新画像生成部における処理を休止させる
ことを特徴とする3次元映像処理装置。 - 立体画像に対して、画像面に平行な仮想回転軸を中心に回転させる処理を行う3次元映像処理方法であって、
前記立体画像の第1視点画像と第2視点画像とを比較して、前記第1視点画像に対する前記第2視点画像のずれを表すずれマップを生成し、
前記第1視点画像に対して、前記仮想回転軸を中心に、与えられた回転角に従って回転処理を行い、新第1視点画像を生成し、
前記ずれマップに対して、前記仮想回転軸および前記回転角に基づいて補正処理を行い、補正ずれマップを生成し、
前記新第1視点画像から、前記補正ずれマップに基づいて、新第2視点画像を生成する
ことを特徴とする3次元映像処理方法。 - 立体画像に対して、画像面に平行な仮想回転軸を中心に回転させる処理を行う3次元映像処理方法を、コンピュータに実行させるプログラムを記録する記録媒体であって、
前記プログラムは、
前記立体画像の第1視点画像と第2視点画像とを比較して、前記第1視点画像に対する前記第2視点画像のずれを表すずれマップを生成し、
前記第1視点画像に対して、前記仮想回転軸を中心に、与えられた回転角に従って回転処理を行い、新第1視点画像を生成し、
前記ずれマップに対して、前記仮想回転軸および前記回転角に基づいて補正処理を行い、補正ずれマップを生成し、
前記新第1視点画像から、前記補正ずれマップに基づいて、新第2視点画像を生成する
処理をコンピュータに実行させる
ことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013554086A JP5552197B2 (ja) | 2012-01-18 | 2012-10-17 | 3次元映像処理装置および方法 |
US14/064,688 US9202315B2 (en) | 2012-01-18 | 2013-10-28 | Three-dimensional video image processing device and three-dimensional video image processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-007623 | 2012-01-18 | ||
JP2012007623 | 2012-01-18 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/064,688 Continuation US9202315B2 (en) | 2012-01-18 | 2013-10-28 | Three-dimensional video image processing device and three-dimensional video image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013108314A1 true WO2013108314A1 (ja) | 2013-07-25 |
Family
ID=48798772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/006635 WO2013108314A1 (ja) | 2012-01-18 | 2012-10-17 | 3次元映像処理装置および方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9202315B2 (ja) |
JP (1) | JP5552197B2 (ja) |
WO (1) | WO2013108314A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020017435A1 (ja) * | 2018-07-18 | 2020-01-23 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9495795B2 (en) * | 2012-01-16 | 2016-11-15 | Panasonic Intellectual Property Management Co., Ltd. | Image recording device, three-dimensional image reproducing device, image recording method, and three-dimensional image reproducing method |
JP2015095802A (ja) | 2013-11-13 | 2015-05-18 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
US9948913B2 (en) * | 2014-12-24 | 2018-04-17 | Samsung Electronics Co., Ltd. | Image processing method and apparatus for processing an image pair |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002281526A (ja) * | 2001-03-21 | 2002-09-27 | Namco Ltd | 画像生成装置、プログラム及び情報記憶媒体 |
JP2006174434A (ja) * | 2004-12-13 | 2006-06-29 | Samsung Electronics Co Ltd | 立体映像装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4667236A (en) | 1985-04-26 | 1987-05-19 | Digital Services Corporation | Television perspective effects system |
JPH09116932A (ja) | 1995-10-19 | 1997-05-02 | Sony Corp | 特殊効果装置 |
DE69739685D1 (de) | 1996-09-11 | 2010-01-21 | Sony Corp | Trickeffektvorrichtung fur trickeffekte, bildverabeitungsmethode und objektbilderzeugungsmethode |
AUPO894497A0 (en) * | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
JPH11127456A (ja) * | 1997-10-23 | 1999-05-11 | Sony Corp | 映像表示装置および方法 |
JP2006133665A (ja) | 2004-11-09 | 2006-05-25 | Seiko Epson Corp | 立体画像表示装置 |
KR100677569B1 (ko) | 2004-12-13 | 2007-02-02 | 삼성전자주식회사 | 입체영상장치 |
US20070236514A1 (en) * | 2006-03-29 | 2007-10-11 | Bracco Imaging Spa | Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation |
EP2451164B1 (en) * | 2010-11-08 | 2017-05-03 | Telefonaktiebolaget LM Ericsson (publ) | Improved view synthesis |
US9041734B2 (en) * | 2011-07-12 | 2015-05-26 | Amazon Technologies, Inc. | Simulating three-dimensional features |
-
2012
- 2012-10-17 WO PCT/JP2012/006635 patent/WO2013108314A1/ja active Application Filing
- 2012-10-17 JP JP2013554086A patent/JP5552197B2/ja not_active Expired - Fee Related
-
2013
- 2013-10-28 US US14/064,688 patent/US9202315B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002281526A (ja) * | 2001-03-21 | 2002-09-27 | Namco Ltd | 画像生成装置、プログラム及び情報記憶媒体 |
JP2006174434A (ja) * | 2004-12-13 | 2006-06-29 | Samsung Electronics Co Ltd | 立体映像装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020017435A1 (ja) * | 2018-07-18 | 2020-01-23 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US9202315B2 (en) | 2015-12-01 |
JPWO2013108314A1 (ja) | 2015-05-11 |
JP5552197B2 (ja) | 2014-07-16 |
US20140049544A1 (en) | 2014-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5789793B2 (ja) | 3次元撮像装置、レンズ制御装置、およびプログラム | |
WO2012008224A1 (ja) | 画像撮像装置 | |
JP5420075B2 (ja) | 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置 | |
JP2011259168A (ja) | 立体パノラマ画像撮影装置 | |
JP5374641B2 (ja) | 3d映像記録装置及び3d映像信号処理装置 | |
JP5552197B2 (ja) | 3次元映像処理装置および方法 | |
US20130050532A1 (en) | Compound-eye imaging device | |
US20130050536A1 (en) | Compound-eye imaging device | |
US9602799B2 (en) | Device, method, and computer program for three-dimensional video processing | |
US20120162453A1 (en) | Image pickup apparatus | |
JP2012114896A (ja) | 3d撮像装置及び3d再生装置 | |
JP5325336B2 (ja) | 3次元映像処理装置、方法、およびプログラム | |
JP2013062557A (ja) | デジタル撮影装置及び、3d撮影方法 | |
JP4217182B2 (ja) | 撮影装置 | |
US20130076867A1 (en) | Imaging apparatus | |
JP2013250360A (ja) | 撮像装置、撮像方法及びプログラム | |
JP2012220603A (ja) | 3d映像信号撮影装置 | |
JP2012151538A (ja) | 3d撮像装置 | |
JP5221827B1 (ja) | 立体映像撮影装置及びズーム動作の制御方法 | |
WO2012132088A1 (ja) | 撮像装置及び交換レンズ | |
JP2011135374A (ja) | 3次元デジタルカメラ | |
JP2013162489A (ja) | 3d画像撮像装置 | |
JP2005072674A (ja) | 三次元画像生成装置および三次元画像生成システム | |
JP2011199346A (ja) | 撮像装置、出力装置 | |
WO2013001839A1 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2013554086 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12865667 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12865667 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |