WO2011122177A1 - 立体映像表示装置、立体映像撮像装置および立体映像表示方法 - Google Patents
立体映像表示装置、立体映像撮像装置および立体映像表示方法 Download PDFInfo
- Publication number
- WO2011122177A1 WO2011122177A1 PCT/JP2011/053860 JP2011053860W WO2011122177A1 WO 2011122177 A1 WO2011122177 A1 WO 2011122177A1 JP 2011053860 W JP2011053860 W JP 2011053860W WO 2011122177 A1 WO2011122177 A1 WO 2011122177A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- vertical line
- unit
- display
- parallax
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
- G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/18—Stereoscopic photography by simultaneous viewing
- G03B35/24—Stereoscopic photography by simultaneous viewing using apertured or refractive resolving means on screens or between screen and eye
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Definitions
- the present invention relates to a stereoscopic video display device, a stereoscopic video imaging device, and a stereoscopic video display method for displaying a video based on display data for causing a stereoscopic video to be perceived.
- the manufacturer has displayed an image based on image data generated by imaging or CG or the like on a small monitor or a view finder, and determined the adoption or rejection in a simplified manner.
- the video data may be originally produced for the purpose of being displayed on a large screen of a movie theater. As described above, when the size of the display screen displaying the display data is different, the parallax also changes accordingly, and the stereoscopic effect is different between the small monitor and the large screen.
- the parallax on any display screen can be estimated, but the parallax of the display data can not be derived accurately Also, it was not possible to estimate the parallax in any display screen.
- the present invention provides a stereoscopic video display apparatus, a stereoscopic video imaging apparatus, and a stereoscopic video display, which can make a producer easily and accurately grasp the parallax of individual subject images in display data. It is intended to provide a way.
- a stereoscopic video display apparatus includes a video data acquisition unit that acquires two video data having horizontal parallax, and a combining unit that combines two video data to generate display data.
- a line image overlapping unit that superimposes two vertically extended vertical line images on a video based on display data, and independently moves each of the two vertical line images in the horizontal direction according to a user's operation input;
- a disparity information deriving unit that derives disparity information regarding disparity between two vertical line images, a disparity information overlapping unit that further superimposes the derived disparity information on a video based on display data on which the vertical line image is superimposed, a vertical line
- a display unit for displaying an image based on the display data on which the image and the parallax information are superimposed.
- the two vertical line images are respectively associated with the two video data, and while the stereoscopic video display apparatus moves one vertical line image of the two vertical line images, it is matched with the one vertical line image.
- the image processing apparatus may further include a synthesis limiting unit that causes only the video data that is present to be synthesized to the synthesizing unit.
- the line image superimposing unit may further superimpose the horizontal line image extended in the horizontal direction on the display data, and move the horizontal line image in the vertical direction according to the user's operation input.
- the disparity information may be a ratio of the disparity between two vertical line images and the display width in the horizontal direction of the display data.
- the parallax information may be a ratio of the distance between the display unit and a position at which an object image having a parallax between the two vertical line images is formed to the distance between the display unit and the observer.
- the disparity information deriving unit may specify disparity in the horizontal direction of the two vertical line images as well as the disparity between the two vertical line images to derive disparity information.
- the stereoscopic video display apparatus may further include a line image changing unit configured to change the vertical line image to a display mode that can grasp that the threshold is exceeded when the parallax between the vertical line images exceeds a predetermined threshold.
- a stereoscopic video imaging apparatus combines an imaging unit that generates two video data in each of two optical axes that are arranged substantially in parallel or intersect in the imaging direction, and combines two video data And superimposing the two vertical line images extended in the vertical direction on the image based on the display data, and independently in the horizontal direction the two vertical line images according to the user's operation input
- a line image superimposing unit moving in a stationary state a parallax information deriving unit for deriving parallax information on parallax between two vertical line images, and the derived parallax information on a video based on display data on which the vertical line image is superimposed
- a parallax information superimposing unit to be superimposed, and a display unit for displaying an image based on display data on which a vertical line image and parallax information are superimposed are provided.
- two video data having horizontal parallax are acquired, two video data are combined to generate display data, and a horizontal line is extended.
- the image is superimposed on the image based on the display data, the horizontal line image is moved in the vertical direction according to the user's operation input, and the two vertical line images extended in the vertical direction are superimposed on the image based on the display data.
- the producer it is possible to allow the producer to easily and accurately grasp the parallax of individual subject images in display data, and the producer uses the parallax to obtain a desired display state.
- Image data can be adjusted. Therefore, according to the present invention, it is possible to generate video data that causes a viewer to perceive a stereoscopic video having a natural stereoscopic effect that places no burden on the eyes of the observer.
- FIG. 1 is a functional block diagram showing a schematic relationship of a stereoscopic video production system 100.
- the stereoscopic video display system 100 is a device for the producer 10 to generate two video data having horizontal parallax, for example, a stereoscopic video imaging device 102 for imaging and a computer 104 for CG generation. And a stereoscopic video display device 106 for displaying a video based on the video data.
- the video data produced by the stereoscopic video production system 100 is provided to the observer 12 through, for example, the screen 108 of a movie theater, and the observer 12 may observe the video provided through polarized glasses or the like. it can.
- the person who produces the video data is the producer, and the person who observes the video based on the video data is the observer, but it goes without saying that the present embodiment is not limited by the user. .
- the producer 10 displays the video based on the generated video data on the stereoscopic video display device 106 each time the video data is generated, and confirms whether the parallax of the subject image is maintained in an appropriate range, and the parallax is appropriate. If not, the video data is adjusted to fall within an appropriate range.
- the producer 10 since it is possible for the producer 10 to easily and accurately grasp the parallax between the two images of the individual subject images, the producer 10 uses the parallax.
- the video data can be adjusted to achieve a desired display state, and video data having a natural three-dimensional effect that does not place a burden on the eyes of the observer 12 can be generated.
- FIG. 2 is a functional block diagram showing a schematic function of the stereoscopic video display device 106.
- the stereoscopic video display device 106 includes a video data acquisition unit 110, a synthesis unit 112, an OSD (On-Screen Display) superposition unit 114, a display unit 116, an operation unit 118, and central control. And a unit 120.
- the solid line indicates the flow of data
- the broken line indicates the flow of control signal.
- the image data acquisition unit 110 is a horizontal parallax obtained by digitizing an image captured in each of different optical axes (viewpoints) for perceiving a stereoscopic image, or a CG image equivalent to that captured in different optical axes.
- High-Definition Multimedia Interface (HDMI) terminal Two left and right video data (hereinafter referred to as right-eye video data and left-eye video data when it is necessary to distinguish left and right) Acquired through the terminal for video signal input such as.
- the two left and right video data may be acquired independently and individually, or may be acquired as integral data.
- an LR independent method in which two image data are arranged side by side horizontally, a side by side method in which two image data are horizontally compressed by 1 ⁇ 2 and side by side arrangement, and two image data in a vertical direction
- the combining unit 112 combines the two left and right video data acquired by the video data acquisition unit 110 to generate display data. Specifically, the synthesizing unit 112 temporarily separates the two video data acquired by the video data acquiring unit 110 according to the control signal output from the format judging unit 130 described later, and the synthesizing unit 112 according to the display method of the display unit 116. And combine the two separated video data. Examples of the display method include a passive type, a line-by-line method, a checkerboard method, an anaglyph method, a color code 3D method, and an active type frame sequential method.
- the line-by-line method two types of polarization filters having different polarization characteristics are alternately arranged at intervals (for each horizontal line) on the display surface of the display unit 116, and the right eye is placed on the odd line where one polarization filter is arranged.
- This is a method for displaying the left-eye video on the even-numbered line in which the other polarizing filter is disposed.
- the checkerboard method is a method in which two types of polarization filters having different polarization characteristics are disposed not for lines but for each pixel.
- the right-eye image and the left-eye image are represented by different colors, for example, red and blue, and two images are displayed to the viewer 12 with red and blue color filters.
- the color code 3D system is a system in which color reproducibility is enhanced by replacing two colors in the anaglyph system with blue and amber colors.
- the right-eye image and the left-eye image are alternately displayed on the display unit 116, and the right-eye image is displayed only to the right eye of the observer 12 through the electronic shutter that opens and closes exclusively. This is a method of making an image visible only to the left eye of the observer 12.
- FIG. 3 is an explanatory diagram for explaining the operation of the combining unit 112.
- the combining unit 112 first performs the processing shown in FIG.
- Video signal 150 is separated into right-eye video data 150a and left-eye video data 150b, and odd-line video data is extracted from the right-eye video data 150a as shown in FIG. 3C.
- Image data of even-numbered lines is extracted from the left-eye image data 150b, and the image is enlarged twice in the horizontal direction, and finally, odd-numbered lines of the right-eye image data 150a and left-eye image data 150b And the even-numbered lines are generated to generate line-by-line display data 152 as shown in FIG.
- the total number of lines is 8 for the convenience of description, but the actual total number of lines is equal to the number of scanning lines (for example, 1080). Therefore, when the video based on the display data 152 is observed with the naked eye as it is Illusion as superimposed with.
- the observer 12 observes an image based on the display data 152 through polarized glasses provided with two polarizing filters having different polarization characteristics on the left and right, and the image for the right eye based on the image data 150a for the right eye And visually recognize the left-eye video based on the left-eye video data 150b with only the left eye. Therefore, the observer 12 can form a subject image on the pop-out side or pull-in side of the display unit 116 to perceive a stereoscopic image.
- the OSD superimposing unit 114 includes, for example, a character generator, and the horizontal line image, the vertical line image, the parallax information, and the display unit 116 transmitted from the line image superposing unit 132 and the parallax information superposing unit 138 described later.
- the OSD indicating the display state is superimposed on the video based on the display data 152.
- the OSD superimposing unit 114 receives the horizontal line image, the vertical line image, the position (coordinates) on the screen corresponding to the parallax information, and the pixel data thereof from the line image overlapping unit 132 or the parallax information overlapping unit 138 The image based on the pixel data is superimposed on the position of the image based on the display data 152.
- the display unit 116 includes a liquid crystal display, an organic EL (Electro Luminescence) display, etc., and the OSD superimposing unit 114 superimposes a horizontal line image, a vertical line image, and parallax information according to a control signal of a display control unit 140 described later.
- the video based on the display data 152 is displayed.
- the display unit 116 is set to various display modes corresponding to the display method of the display data 152. For example, when it is assumed that an image based on the display data 152 of the line-by-line method is displayed, as described above, two types of polarization filters having different polarization characteristics are displayed on the display unit 116 at different intervals (for each horizontal line). ) Alternately arranged.
- the observer 12 perceives an image based on the display data 152 of the line-by-line method displayed on the display unit 116 as a stereoscopic image by observing the display unit 116 to which such a polarization filter is applied through polarization glasses. can do. Further, when it is assumed that a video based on the display data 152 of the frame sequential method is displayed, the display unit 116 displays the video for the right eye and the left eye based on the video data 150a for the right eye at a normal 1 ⁇ 2 period. The left-eye video based on the video data 150b is displayed time-divisionally and alternately.
- the operation unit 118 includes an operation key including a power switch, a cross key, a joystick, a touch panel superimposed on a display surface of the display unit 116, and the like, and receives an operation input of the producer 10.
- the remote controller also functions as the operation unit 118.
- the central control unit 120 manages and controls the entire stereoscopic video display device 106 by a semiconductor integrated circuit including a central processing unit (CPU), a ROM in which programs and the like are stored, and a RAM as a work area. Further, in the present embodiment, the central control unit 120 includes the format determination unit 130, the line image superposition unit 132, the combination restriction unit 134, the parallax information derivation unit 136, the parallax information superposition unit 138, and the display control unit 140. And also functions as the line image changing unit 142.
- CPU central processing unit
- ROM read only memory
- RAM random access memory
- the central control unit 120 includes the format determination unit 130, the line image superposition unit 132, the combination restriction unit 134, the parallax information derivation unit 136, the parallax information superposition unit 138, and the display control unit 140. And also functions as the line image changing unit 142.
- the format determination unit 130 determines whether the two video data acquired by the video data acquisition unit 110 are independently acquired individually or acquired as integral data. Further, if two video data are acquired as integral data, the format determination unit 130 further selects any of the format format such as LR independent format, side-by-side format, above-and-below method, frame sequential format, etc. The determination result is output to the combining unit 112. The combining unit 112 grasps the format format of the two video data based on the determination result, and separates the two video data based on the format format. Further, it is assumed that the format determination unit 130 outputs the format format selected according to the operation input of the producer (user) to the combining unit 112 without automatically determining the two video data acquired by the video data acquisition unit 110. It is also good.
- the line image superimposing unit 132 superimposes the horizontal line image extended in the horizontal direction and the two vertical line images extended in the vertical direction on the image based on the display data 152 through the OSD overlapping unit 114. Then, the line image superimposing unit 132 independently moves the horizontal line image in the screen vertical direction and the two vertical line images in the screen horizontal direction in accordance with the operation input of the producer 10.
- FIG. 4 is an explanatory diagram for explaining the operation of the line image superimposing unit 132.
- the parallax information deriving unit 136 derives the parallax between the video data 150 a and 150 b of an arbitrary object image 154 in the video based on the display data 152 in accordance with the operation input of the producer 10.
- the line image superimposing unit 132 superimposes the horizontal line image 156 and the vertical line images 158a and 158b on a predetermined start position on the image based on the display data 152 as shown in FIG. 4A.
- the line image superimposing unit 132 moves the horizontal line image 156 in the vertical direction according to the operation input of the manufacturer 10, and positions the horizontal line image 156 at the subject image 154 for which the parallax is desired to be derived as shown in FIG.
- the line image superimposing unit 132 moves one vertical line image (right-eye vertical line image) 158a in the horizontal direction according to the operation input of the manufacturer 10, as shown in FIG. It is located at a desired portion (eg, an edge) of 154 parallaxes. Finally, the line image superimposing unit 132 moves the other vertical line image (left-eye vertical line image) 158b in the horizontal direction according to the operation input of the manufacturer 10, as shown in FIG. It is located in a portion (for example, an edge) different from the portion in which the vertical line image 158a is desired, for which derivation of the parallax of 154 is desired.
- one vertical line image 158a and the other vertical line image 158b indicate the same part of the same subject image 154 in each of the two video data 150a and 150b.
- the line image overlapping unit 132 may represent the horizontal line image 156, the vertical line image 158a, and the vertical line image 158b in different display modes in order to easily distinguish them from each other.
- the vertical line image 158a is displayed by a broken line
- the vertical line image 158b can be displayed by an alternate long and short dash line
- the horizontal line image 156 and the vertical line images 158a and 158b can be displayed by different colors.
- the parallax can be electronically It becomes possible to read, and it is possible to grasp an accurate value of parallax.
- the line image superimposing unit 132 places the horizontal line image 156 serving as the horizontal reference at an appropriate position before moving the vertical line images 158a and 158b, so that the producer 10 desirably and accurately desires. Both vertical line images 158a and 158b can be superimposed on the horizontal position, which makes it possible to derive more accurate parallax.
- the right-eye video data 150a and the left-eye video data 150b are alternately arranged line by line, and the subject image 154 is included in either the left or right eye video data. It is difficult to see Therefore, in the present embodiment, the operability of the vertical line images 158a and 158b is further improved by the combination limiting unit 134.
- the composition limiting unit 134 While moving the vertical line image 158 of one of the two vertical line images 158 superimposed by the line image superimposing unit 132, the composition limiting unit 134 only the video data associated with the vertical line image 158 of that one. Are synthesized by the synthesis unit 112. Specifically, while moving the one vertical line image 158a, the synthesis restriction unit 134 causes the synthesis unit 112 to synthesize only the right-eye image data 150a associated with the vertical line image 158a, and the left-eye image The data 150b is hidden (eliminated). Such non-display of the left-eye image data 150b is realized, for example, by combining single-color pixels (for example, black pixels) instead of the left-eye image data 150b at the timing when the left-eye image data 150b is combined. it can.
- single-color pixels for example, black pixels
- FIG. 5 is an explanatory diagram for explaining the operation of the synthesis restriction unit 134.
- the line image superimposing unit 132 superimposes the horizontal line image 156 and the vertical line images 158 a and 158 b on the image based on the display data 152.
- the line image superimposing unit 132 moves the horizontal line image 156 in the vertical direction according to the operation input of the producer 10, and positions the horizontal line image 156 at the subject image 154 for which it is desired to derive the parallax.
- one vertical line image 158a to be moved is associated with the right-eye video data 150a of the two video data 150a and 150b combined with the display data 152, and the other vertical line image 158b is , And the left-eye video data 150b. While one vertical line image 158a is selected as the movable vertical line image, the composition limiting unit 134, as shown in FIG. 5A, for the right eye associated with the one vertical line image 158a. Only the video data 150 a is synthesized by the synthesizing unit 112.
- the left-eye video data 150 b is not synthesized by the synthesizing unit 112 that synthesizes the right-eye video data 150 a and the left-eye video data 150 b under the basic circumstances. Therefore, since the producer 10 can move the vertical line image 158a based only on the right-eye image data 150a, the vertical line image 158a can be positioned at a portion suitable for obtaining the parallax.
- the combination limiting unit 134 Only the left-eye image data 150b associated with the vertical line image 158b of the other is synthesized by the synthesizing unit 112. Therefore, since the producer 10 can move the vertical line image 158b based on only the left-eye image data 150b, the vertical line image 158b is positioned at a portion suitable for obtaining the parallax as the vertical line image 158a. It becomes possible.
- the line image overlapping unit 132 detects a pixel including the edge, and the vertical line image 158a, The moving speed may drop at that position at 158 b and stagnate for a short time. By doing this, it is possible to automatically identify the edge portion without resorting to the fine adjustment by the producer 10.
- the linear image superposition unit 132 is not limited to such a combination of 1 and the horizontal line image 156 and the vertical line image 158a. , And 158b, and for each combination, it is possible to execute superposition on the image based on the display data 152 and movement.
- the horizontal line image 156 and the vertical line images 158a and 158b may be represented in different display modes, for example, different color systems (red system, blue system, green system, etc.).
- the producer 10 can continuously derive the parallaxes of the plurality of subject images 154 with more comfortable operability.
- the combining limiting unit 134 moves one vertical line image 158 a of the two vertical line images superimposed by the line image overlapping unit 132.
- Only video data associated with one of the vertical line images 158a is sequentially arranged. Therefore, in the frame sequential method, normally, the combination limiting unit 134 alternately arranges the two video data 150 a and 150 b in the time direction at a period of 1/2 of the normal, and moves one vertical line image 158. During this period, only the right-eye video data 150a is arranged at a normal cycle, and the left-eye video data 150b is regarded as an emergency.
- the disparity information deriving unit 136 obtains (digitizes) the disparity between the vertical line images 158a and 158b positioned by the line image superimposing unit 132, and derives disparity information regarding the disparity.
- the disparity information superimposing unit 138 further superimposes the derived disparity information on the video based on the display data 152 on which the horizontal line image 156 and the vertical line images 158a and 158b are superimposed.
- the display control unit 140 causes the display unit 116 to display an image based on the horizontal line image 156, the vertical line images 158a and 158b, and the display data 152 on which the parallax information is superimposed.
- the parallax information may be the number of pixels corresponding to the parallax, or the ratio of the parallax between the vertical line images 158 a and 158 b to the display width in the horizontal direction when the image based on the display data 152 is displayed on the display unit 116. May be
- FIG. 6 is an explanatory diagram for explaining the operation of the disparity information deriving unit 136.
- the display data 152 is omitted, and the horizontal line image 156, the vertical line images 158a and 158b, and the parallax information 160, which are superimposed on the image based on the display data 152, are shown.
- is derived from
- the ratio ⁇ xr and the pixel become proportional to each other, so the parallax
- the producer 10 can easily, accurately and quantitatively grasp the parallax by referring to the digitized parallax information 160, and for example, a large screen 108 intended to display the video data 150. By displaying on the screen, it is possible to predict how much three-dimensionality can be obtained.
- the parallax information deriving unit 136 specifies the horizontal relative position (the direction of parallax (sign of ⁇ x)) of the vertical line images 158a and 158b together with the parallax
- the parallax information superimposing unit 138 may also superimpose the relative position in the horizontal direction on the image based on the display data. The relative position in the horizontal direction will be described below.
- FIGS. 7A and 7C are explanatory diagrams for explaining the relative position of parallax in the horizontal direction.
- FIGS. 7A and 7C are shown in top view
- FIG. 7A shows the relative position of the subject 174 at the time of imaging
- FIG. 7C shows the imaging position at the time of observation.
- the object image 154 causes parallax due to the position in the perspective direction as described above.
- the relative position appearing in the two left and right video data differs.
- the subject image 154b of the subject 174b present on the stereoscopic video imaging device 102 side from the convergence point 172 is the video for the right eye from the appearance position shown by the dashed dotted line of the video data 150b for the left eye.
- the appearance position indicated by the broken line of the data 150a shifts to the left side of the screen ( ⁇ x> 0).
- the subject image 154c of the subject 174c present on the opposite side of the stereoscopic image pickup device 102 from the convergence point 172 is the right-eye image data 150a from the appearance position of the left-eye image data 150b.
- the appearance position of x shifts to the right of the screen ( ⁇ x ⁇ 0).
- the manufacturer 10 wearing polarized glasses for perceiving the stereoscopic image When an image based on such two left and right image data 150a and 150b is displayed on the stereoscopic image display device 106, as shown in FIG. 7C, the manufacturer 10 wearing polarized glasses for perceiving the stereoscopic image.
- the subject image 154a is formed at the near and far position of the stereoscopic video display device 106 itself, the subject image 154b is formed so as to jump out to the manufacturer 10 side from the stereoscopic video display device 106, and the subject image 154c is three-dimensional
- the image is drawn so as to be drawn from the image display device 106 to the opposite side to the manufacturer 10.
- the parallax information deriving unit 136 sets the relative position of the vertical line images 158a and 158b in the horizontal direction, that is, the image data for the right eye, so that the producer 10 can grasp the imaging position of the subject image 154. It also specifies whether the associated vertical line image 158a is located on the left or right of the vertical line image 158b associated with the left-eye video data.
- the disparity information superimposing unit 138 superimposes a code indicating the relative position in the horizontal direction on the video based on the display data 152.
- Information 160 is superimposed on the image based on display data 152. Also, for the subject image 154c in FIG. 7B where the vertical line image 158a is positioned to the right of the vertical line image 158b, as shown in FIG. 8B, the parallax in which the symbol “-” is described in parallel. Information 160 is superimposed on the image based on display data 152.
- the subject image 154 to be derived is projected to be imaged or drawn in, or the code is confirmed It becomes possible to grasp easily only by doing.
- the vertical line images 158a and 158b are respectively associated with the video data, and the producer 10 moves the vertical line images 158a and 158b because they are moved only based on the associated video data. There is no need to make a mistake in the subject image 154 to be positioned, and the perspective position of the subject image 154 can be grasped with high reliability.
- the parallax information 160 is the ratio of the distance between the display unit 116 and the vertical line images 158 a and 158 b to the position at which the object image 154 having the parallax is formed with respect to the distance between the display unit 116 and the observer 12. May be
- a subject image 154 having a parallax between vertical line images 158a and 158b is formed from the display unit 116
- the ratio ⁇ d / d of the distance ⁇ d to the position at which the subject image 154 having a parallax between the display unit 116 and the vertical line images 158a and 158b is formed with respect to the distance d between the display unit 116 and the viewer 12 is It is represented by ⁇ x / ( ⁇ x + ⁇ k).
- the disparity information deriving unit 136 and the disparity information superimposing unit 138 derive the disparity information 160 and superimpose them on the image based on the display data 152, but there is no limitation on the derivation and superimposing timing,
- the parallax information 160 may be derived as needed according to the position and superimposed on the image based on the display data 152.
- the subject image 154 pops up in a transient manner and is imaged or drawn in a transient fashion, a load may be applied to the eye of the observer 12.
- the producer 10 immediately displays the generated video data 150, and on the spot, the distance between the two video data 150a and 150b of the arbitrary object image 154 included in the video data 150 is in the far and near distance. It is desirable to adjust the imaging condition if it is not appropriate. Therefore, in the present embodiment, the line image changing unit 142 is provided to make the producer 10 intuitively and quickly grasp whether the video data 150 is appropriately generated in a desired state.
- the line image changing unit 142 sets the parallax vector ⁇ x including the relative position between the two video data 150a and 150b of the object image 154 to the first If the threshold value ( ⁇ x> 0 and the parallax
- the first threshold is, for example, + 20% of the display width of the display data 152
- the second threshold is, for example, ⁇ 2% of the display width of the display data 152.
- the line image changing unit 142 changes the line type, line width, and color of the vertical line images 158a and 158b, or blinks the vertical line images 158a and 158b themselves, the vertical line image 158a, An indicator prompting a warning, for example, a symbol such as "!, Is added near 158b.
- the subject image 154 for which parallax is to be derived from the vertical line images 158a and 158b (for example, the subject image 154 with which both the vertical line images 158a and 158b are in contact)
- the display mode of 154 itself may be changed.
- the manufacturer 10 visually recognizes the parallax information 160 digitized by the parallax information derivation unit 136 and does not change the display mode without judging whether the value exceeds the threshold value or not. By doing so, it is possible to grasp quickly and intuitively that the desired state is appropriately generated. Therefore, the producer 10 can easily produce the video data 150 in a desired display state, and can perceive a natural three-dimensional video with no burden on the eyes of the observer 12. Thus, the producer 10 can provide the video data 150 to the observer 12 with confidence.
- the line by line system and the frame sequential system were mentioned as a format format of display part 116 in stereoscopic video display device 106 explained, it is not restricted to such a format format, a checkerboard system, an anaglyph system, color code 3D system Is also applicable.
- the two image data 150a and 150b according to the side-by-side method, the ave and beloW method, etc. are displayed on the display unit 116 not subjected to processing for perceiving stereoscopic images without separation and displayed as they are.
- the horizontal line image 156 is interlocked and superimposed on any video of the video data 150a and 150b, and further, one vertical line image 158a is superimposed on the video based on one video data, and the other on the video based on the other video data It is possible to easily and accurately grasp the parallax of the individual subject images 154 in the display data 152 by superimposing the vertical line images 158 b.
- the synthesizing unit 112 and the OSD superimposing unit 114 are configured by hardware, but the present invention is not limited to this configuration.
- the processing may be performed by software, and an image based on the final display data 152 on which the horizontal line image 156, the vertical line images 158a and 158b, and the parallax information 160 are superimposed may be displayed on the display unit 116.
- FIG. 9 is a flowchart showing the flow of processing of the stereoscopic video display method.
- the combining unit 112 When the video data acquisition unit 110 of the stereoscopic video display device 106 acquires the two video data 150a and 150b having parallax (YES in S200), the combining unit 112 combines the two video data 150a and 150b to display data. Are generated (S202). Then, the line image superimposing unit 132 selects a line image to be moved among the horizontal line image 156 and the vertical line images 158a and 158b according to the operation input of the producer 10 (S204).
- the line image superimposing unit 132 receives from the operation unit 118 whether or not there is an operation input of the maker 10 for moving the horizontal line image 156 in the vertical direction. If there is an operation input of the producer 10 (YES in S208), the horizontal line image 156 to be superimposed is moved by a predetermined amount in the vertical direction according to the operation input (S210). ), If there is no operation input by the producer 10 (NO in S208), the previous position of the horizontal line image 156 is maintained by executing no process on the horizontal line image 156 to be superimposed.
- the line image superimposing unit 132 superimposes the vertical line images 158a and 158b whose previous positions have been maintained, on the image based on the display data 152, together with the horizontal line image 156 whose superimposed position has been determined in this way (S212).
- the three-dimensional video display method is repeated every time two video data 150a and 150b are acquired (YES in S200), so the producer 10 continues the operation input for moving the horizontal line image 156 in the vertical direction for a predetermined time.
- the horizontal line image 156 can be moved to a desired position.
- the line image The superimposing unit 132 causes the combining unit 112 to combine only the right-eye image data 150a associated with the vertical line image 158a (S216).
- the line image superimposing unit 132 determines whether or not there is an operation input of the producer 10 for moving the vertical line image 158a in the horizontal direction (S218), and if there is an operation input of the producer 10 (YES in S218) ), The vertical line image 158a to be superimposed is moved by a predetermined amount in the horizontal direction according to the operation input of the manufacturer 10 (S220), and if there is no operation input of the manufacturer 10 (NO in S218) By performing no processing on the vertical line image 158a, the previous position of the vertical line image 158a is maintained.
- the line image superimposing unit 132 superimposes the horizontal line image 156 and the vertical line image 158b whose previous position is maintained, on the image based on the display data 152, together with the vertical line image 158a for which the overlapping position is determined (S212).
- the producer 10 since the stereoscopic video display method is repeated every time two video data 150a and 150b are acquired (YES in S200), the producer 10 operates to move the vertical line image 158a in the horizontal direction. By continuing for a predetermined time, it is possible to move the vertical line image 158a to a desired position.
- the line image overlapping unit 132 associates the vertical line image 158b with the vertical line image 158b. Only the left-eye image data 150b that has been set is synthesized by the synthesizing unit 112 (S222).
- the line image superimposing unit 132 determines whether or not there is an operation input of the maker 10 for moving the vertical line image 158b in the horizontal direction (S224), and if there is an operation input of the maker 10 (YES in S224) ), The vertical line image 158b to be superimposed is moved by a predetermined amount in the horizontal direction according to the operation input of the manufacturer 10 (S226), and if there is no operation input of the manufacturer 10 (NO in S224) The previous position of the vertical line image 158 b is maintained by executing no process on the vertical line image 158 b.
- the line image superimposing unit 132 superimposes the horizontal line image 156 and the vertical line image 158a, of which the previous position is maintained, on the image based on the display data 152, together with the vertical line image 158b for which the overlapping position is determined (S212). Also here, the manufacturer 10 can move the vertical line image 158 b to a desired position by continuing the operation input for moving the vertical line image 158 b in the horizontal direction for a predetermined time.
- the parallax information deriving unit 136 relates to the parallax between the vertical line images 158a and 158b.
- the parallax information 160 is derived (S228), and the parallax information superimposing unit 138 further superimposes the derived parallax information 160 on the image based on the display data 152 on which the horizontal line image 156 and the vertical line images 158a and 158b are superimposed (S230).
- the display unit 116 displays an image based on the display data 152 on which the horizontal line image 156, the vertical line images 158a and 158b, and the parallax information 160 are superimposed (S232).
- each time two image data 150a and 150b are acquired each line image is repeatedly moved according to the operation input of the producer 10, and the producer 10 can visually recognize the parallax information 160 through the display data 152. It becomes possible.
- the acquisition timing of the operation input of the producer 10 is the acquisition timing of the video data 150, the timing is not limited to this timing, and the operation input of the producer 10 is interrupt processing to allow each operation input to be It can also be reflected in the movement of the image.
- the stereoscopic video display method using the stereoscopic video display device 106 it is possible to make the producer 10 easily and accurately grasp the parallax of the individual object images 154 in the display data 152.
- the stereoscopic video display device 106 displays the video data 150 acquired by the video data acquisition unit 110 as the display data 152 (video based on the display data 152) on the display unit 116, and the producer 10 displays An example of confirming the display of the part 116 has been described.
- the video data 150 can be completely confirmed only by the stereoscopic video imaging device 102.
- FIG. 10 is a functional block diagram showing a schematic function of the stereoscopic video imaging apparatus 102.
- the stereoscopic video imaging apparatus 102 includes two imaging units 310, a data processing unit 312, a combining unit 112, an OSD overlapping unit 114, a display unit 116, an operation unit 118, and an image holding unit. It comprises the part 314 and the central control part 316.
- the central control unit 316 includes a format determination unit 130, a line image superposition unit 132, a combination restriction unit 134, a parallax information derivation unit 136, a parallax information superposition unit 138, a display control unit 140, and a line image change.
- the unit 142 It also functions as the unit 142, the imaging control unit 320, and the storage control unit 322.
- the imaging unit 310, the data processing unit 312, the video holding unit 314, the imaging control unit 320, and the storage control unit 322 will be mainly described.
- the imaging unit 310 photoelectrically converts a light beam incident through the imaging lens 340, the focus lens 342 used for focus adjustment, the aperture (iris) 344 used for exposure adjustment, and the imaging lens 340 into electrical data (image data).
- the imaging device 346 and a drive unit 348 for driving the focus lens 342, the diaphragm 344 and the imaging device 346 according to a control signal of the imaging control unit 320 described later are arranged substantially in parallel or in the imaging direction. Two image data 150a and 150b in each of two intersecting optical axes are generated.
- the data processing unit 312 subjects the video data received from the imaging unit 310 to video signal processing such as R (Red) G (Green) B (Blue) processing ( ⁇ correction and color correction), enhancement processing, noise reduction processing, and the like.
- the processed video data 150 is output to the combining unit 112.
- the video data 150 becomes display data 152 through the combining unit 112 and the OSD superimposing unit 114, and is displayed on the display unit 116 with a relatively small screen size such as a view finder.
- the manufacturer 10 operates the operation unit 118 while visually recognizing the image displayed on the display unit 116, so that the subject image can be captured at a desired position and occupied area.
- the video holding unit 314 includes an HDD, a flash memory, a non-volatile RAM, and the like, and holds the video data 150 transmitted from the central control unit 316 in accordance with a control signal of a storage control unit 322 described later. Further, the video holding unit 314 may be configured as a device for holding video data in a removable storage medium such as an optical disk medium such as a CD, a DVD or a BD, or a portable memory card. At this time, the video data 150 is subjected to M-JPEG (Motion JPEG), MPEG (Moving Picture Experts Group) -2, H.264, or the like. It can also be encoded by a predetermined encoding scheme such as H.264.
- M-JPEG Motion JPEG
- MPEG Motion Picture Experts Group
- the imaging control unit 320 of the central control unit 316 controls the imaging unit 310 according to the operation input of the manufacturer 10. For example, the imaging control unit 320 causes the drive unit 348 to drive the focus lens 342, the aperture 344 and the imaging device 346 so as to obtain appropriate video data 150.
- the storage control unit 322 stores the video data 150 transmitted from the data processing unit 312 in the video holding unit 314 while the producer 10 is generating the video data 150.
- Such a stereoscopic image pickup apparatus 102 tends to be miniaturized as well as the display unit 116 in response to needs for downsizing and weight reduction. Therefore, it becomes extremely difficult to grasp the parallax of the two video data 150a and 150b from the display unit 116.
- accurate parallax can be derived by the line image superposition unit 132 and the parallax information superposition unit 138.
- the line image changing unit 142 enables the producer 10 to quickly and intuitively grasp whether or not the parallax is within an appropriate far-and-short distance, and adjusts the distance between the imaging units 310, etc.
- the adjustment processing of can be performed to cause a viewer to perceive a natural stereoscopic image that does not burden the eyes of the observer 12.
- the producer 10 can provide the video data 150 to the observer 12 with confidence.
- the example (two-lens camera) in which the three-dimensional video imaging apparatus 102 provides the two imaging units 310 and generates the video data 150 has been described here, one subject using an optical method such as a mirror It is also possible to position an adapter for three-dimensional video imaging simultaneously capturing images from two viewpoints in front of the optical path of one imaging unit 310 and integrate two video data into one video data and acquire it.
- the program refers to data processing means described in any language or description method.
- each functional unit is processed in the stereoscopic video display device 106 alone, but the functional unit may be realized by a separate device and the object of the present invention may be achieved together.
- the separation and combining function of the video data 150 by the combining unit 112 may be realized by a separate 3D converter, or the function of the line image overlapping unit 132 may be realized by a separate projector, etc.
- the unit 134 restricts the synthesis of the video data, that is, when projecting the vertical line image 158a through the projector, only the video data 150a for the right eye is synthesized, and when the vertical line image 158b is projected, the left eye Only the video data 150b may be combined.
- the present invention can be used for a stereoscopic video display device, a stereoscopic video imaging device, and a stereoscopic video display method for displaying a video based on display data for causing a stereoscopic video to be perceived.
- 3D image pickup device 106
- 3D image display device 110 image data acquisition unit 112 combination unit 116 display unit 132 linear image superposition unit 134 combination restriction unit 136 parallax information derivation unit 138 parallax information superposition unit 142 ... line image changing unit 150 (150a, 150b) ... video data 152 ... display data 154 ... subject image 156 ... horizontal line image 158 (158a, 158b) ... vertical line image 160 ... parallax information 310 ... imaging unit
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
製作者に表示データ内の個々の被写体像の視差を容易かつ正確に把握させるため、立体映像表示装置106は、水平視差を有する2つの映像データ150を取得する映像データ取得部110と、2つの映像データを合成して表示データ152を生成する合成部112と、垂直方向に延長された2つの縦線画像158a、158bを表示データに基づく映像に重畳し、ユーザの操作入力に応じて2つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部132と、2つの縦線画像間の視差に関する視差情報160を導出する視差情報導出部136と、導出された視差情報を縦線画像が重畳された表示データに基づく映像にさらに重畳する視差情報重畳部138と、縦線画像および視差情報が重畳された表示データに基づく映像を表示する表示部116とを備える。
Description
本発明は、立体映像を知覚させるための表示データに基づく映像を表示する立体映像表示装置、立体映像撮像装置および立体映像表示方法に関する。
近年、ディスプレイ上に、水平視差(両眼視差)を有する2つの映像を提示し、観察者に対してあたかも被写体像が立体的に存在するように知覚させる立体映像の技術が脚光を浴びている。かかる技術で用いられる2つの映像は、異なる光軸(視点)それぞれにおいて撮像された映像、または、異なる光軸で撮像したものに相当するCG(Computer Graphics)の映像である。かかる2つの映像に含まれる被写体像の遠近方向の結像位置は、被写体像の2つの映像間における視差の大小によって定まる。
このように被写体像の2つの映像間の視差を調整すれば被写体像の遠近方向の結像位置を変化させることができる。しかし、視差を大きくとり過ぎて、被写体像が過渡に飛び出して結像されたり、過渡に引き込まれて結像されると、観察者の目に負担がかかる場合がある。そこで、2つの映像を製作する製作者(作業者)は、撮像により、またはCG等の製作により生成された映像データを、その生成の都度、立体映像を知覚させるための表示データに加工して、その表示データに基づく映像を立体映像表示装置に表示し、被写体像の視差が適切な範囲に保たれているかどうか確認していた。しかし、多くの場合、製作者は、立体映像表示装置に定規を当てたり、自己の経験や勘に基づいて視差の大小を判断しなければならなく、相当の手間と労力を費やしていた。
そこで、テンプレートの役目を担うガイドを映像に重畳し、撮像者に左右の映像データの視差を確認させる技術が知られている(特許文献1)。
特許文献1の技術では、ガイドが固定的に配置されているので、視差の導出を試みる被写体像がその固定されたガイドと重なるのは稀である。したがって、製作者は、離隔しているガイドを目安にして、被写体像の映像間における視差を目視で推定することしかできなかったため、視差が適切な範囲に保たれているか否かを正確に把握することは困難であった。また、視差が有るか無いか程度は把握できるものの、2つの映像データが合成された表示データでは被写体像の水平方向の相対位置を視認するのは難しく、その視差が飛び出し側の視差なのか引き込み側の視差なのかを把握することができなかった。さらに、小型のモニタやビューファインダ等の比較的小さな画面では、視差を視認するための基準に乏しく、視差の抽出には困難を極めていた。このような目視による視差の導出では、視差を正確に特定できないばかりか、製作者は、ガイドと視差との比較作業を通じて多大な時間と労力を費やしていた。
また、製作者は、撮像により、またはCG等の製作により生成された映像データに基づく映像を、小型のモニタやビューファインダに表示して、その採否を簡略的に判断していた。しかし、その映像データは、そもそも、映画館の大型スクリーンに表示される目的で製作されている場合がある。このように表示データを表示する表示画面の大きさが異なると、それに伴って視差も変化し、小型のモニタと、大型スクリーンとで立体感が異なってしまうことになる。表示データの水平方向の表示幅に対する視差の比率に、表示画面の倍率(変化率)を乗じれば、任意の表示画面における視差を見積もることもできるが、表示データの視差を正確に導出できない以上、任意の表示画面における視差を見積もることもできなかった。
そこで本発明は、このような課題に鑑み、製作者に表示データ内の個々の被写体像の視差を容易かつ正確に把握させることが可能な、立体映像表示装置、立体映像撮像装置および立体映像表示方法を提供することを目的としている。
上記課題を解決するために、本発明の立体映像表示装置は、水平視差を有する2つの映像データを取得する映像データ取得部と、2つの映像データを合成して表示データを生成する合成部と、垂直方向に延長された2つの縦線画像を表示データに基づく映像に重畳し、ユーザの操作入力に応じて2つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部と、2つの縦線画像間の視差に関する視差情報を導出する視差情報導出部と、導出された視差情報を縦線画像が重畳された表示データに基づく映像にさらに重畳する視差情報重畳部と、縦線画像および視差情報が重畳された表示データに基づく映像を表示する表示部と、を備えることを特徴とする。
2つの縦線画像は2つの映像データにそれぞれ対応付けられ、立体映像表示装置は、2つの縦線画像のうち一方の縦線画像を移動する間、その一方の縦線画像に対応付けられている映像データのみを合成部に合成させる合成制限部をさらに備えてもよい。
線画像重畳部は、さらに、水平方向に延長された横線画像を表示データに重畳し、ユーザの操作入力に応じて横線画像を垂直方向に移動してもよい。
視差情報は、2つの縦線画像間の視差と表示データの水平方向の表示幅との比であってもよい。
視差情報は、表示部と観察者との距離に対する、表示部と2つの縦線画像間の視差を有する被写体像が結像される位置との距離の比であってもよい。
視差情報導出部は、2つの縦線画像間の視差と共に2つの縦線画像の水平方向の相対位置も特定して視差情報を導出してもよい。
立体映像表示装置は、縦線画像間の視差が所定の閾値を越えれば、縦線画像を、閾値を越えたことを把握できる表示態様に変更する線画像変更部をさらに備えてもよい。
上記課題を解決するために、本発明の立体映像撮像装置は、略平行に並んだまたは撮像方向で交わる2つの光軸それぞれにおける2つの映像データを生成する撮像部と、2つの映像データを合成して表示データを生成する合成部と、垂直方向に延長された2つの縦線画像を表示データに基づく映像に重畳し、ユーザの操作入力に応じて2つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部と、2つの縦線画像間の視差に関する視差情報を導出する視差情報導出部と、導出された視差情報を縦線画像が重畳された表示データに基づく映像にさらに重畳する視差情報重畳部と、縦線画像および視差情報が重畳された表示データに基づく映像を表示する表示部と、を備えることを特徴とする。
上記課題を解決するために、本発明の立体映像表示方法は、水平視差を有する2つの映像データを取得し、2つの映像データを合成して表示データを生成し、水平方向に延長された横線画像を表示データに基づく映像に重畳し、ユーザの操作入力に応じて横線画像を垂直方向に移動し、垂直方向に延長された2つの縦線画像を表示データに基づく映像に重畳し、ユーザの操作入力に応じて2つの縦線画像のうち一方の縦線画像を水平方向に移動する間、その一方の縦線画像に対応付けられている映像データのみを合成し、ユーザの操作入力に応じて2つの縦線画像のうち他方の縦線画像を水平方向に移動する間、その他方の縦線画像に対応付けられている映像データのみを合成し、2つの縦線画像間の視差に関する視差情報を導出し、導出した視差情報を、縦線画像を重畳した表示データに基づく映像にさらに重畳し、縦線画像および視差情報を重畳した表示データに基づく映像を表示することを特徴とする。
以上説明したように本発明は、製作者に表示データ内の個々の被写体像の視差を容易かつ正確に把握させることが可能となり、製作者は、その視差を用いて所望する表示状態となるよう映像データを調整することができる。したがって、本発明では、観察者の眼に負担をかけることのない自然な立体感を有する立体映像を知覚させる映像データを生成することができる。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
(立体映像製作システム100)
図1は、立体映像製作システム100の概略的な関係を示した機能ブロック図である。立体映像表示システム100は、製作者10が水平視差を有する2つの映像データを生成するための装置、例えば、撮像のための立体映像撮像装置102やCG生成のためのコンピュータ104と、生成された映像データに基づく映像を表示する立体映像表示装置106とを含んでなる。このように立体映像製作システム100で製作された映像データは、例えば、映画館のスクリーン108等を通じて観察者12に提供され、観察者12は、偏光メガネ等を通じて提供された映像を観察することができる。ここでは、理解を容易にするため、映像データを製作する者を製作者、その映像データに基づく映像を観察する者を観察者としているが、本実施形態が利用者によって限定されないのは言うまでもない。
図1は、立体映像製作システム100の概略的な関係を示した機能ブロック図である。立体映像表示システム100は、製作者10が水平視差を有する2つの映像データを生成するための装置、例えば、撮像のための立体映像撮像装置102やCG生成のためのコンピュータ104と、生成された映像データに基づく映像を表示する立体映像表示装置106とを含んでなる。このように立体映像製作システム100で製作された映像データは、例えば、映画館のスクリーン108等を通じて観察者12に提供され、観察者12は、偏光メガネ等を通じて提供された映像を観察することができる。ここでは、理解を容易にするため、映像データを製作する者を製作者、その映像データに基づく映像を観察する者を観察者としているが、本実施形態が利用者によって限定されないのは言うまでもない。
立体映像製作システム100では、被写体像の2つの映像間における視差を調整すれば、被写体像の遠近方向の結像位置を変化させることができる。しかし、視差を大きくとり過ぎて、被写体像が過渡に飛び出して結像されたり、過渡に引き込まれて結像されると、観察者12の目に負担がかかる場合がある。そこで、製作者10は、生成した映像データに基づく映像を、その生成の都度、立体映像表示装置106に表示し、被写体像の視差が適切な範囲に保たれているか確認し、視差が適切でなければ、適切な範囲に収まるよう映像データを調整する。
本実施形態の立体映像表示装置106では、製作者10に、個々の被写体像の2つの映像間における視差を容易かつ正確に把握させることが可能となるので、製作者10は、その視差を用いて所望する表示状態となるよう映像データを調整することができ、観察者12の眼に負担をかけることのない自然な立体感を有する映像データを生成することができる。
(立体映像表示装置106)
図2は、立体映像表示装置106の概略的な機能を示した機能ブロック図である。図2に示すように、立体映像表示装置106は、映像データ取得部110と、合成部112と、OSD(On-Screen Display)重畳部114と、表示部116と、操作部118と、中央制御部120とを含んで構成される。図2中、実線はデータの流れを示し、破線は制御信号の流れを示している。
図2は、立体映像表示装置106の概略的な機能を示した機能ブロック図である。図2に示すように、立体映像表示装置106は、映像データ取得部110と、合成部112と、OSD(On-Screen Display)重畳部114と、表示部116と、操作部118と、中央制御部120とを含んで構成される。図2中、実線はデータの流れを示し、破線は制御信号の流れを示している。
映像データ取得部110は、立体映像を知覚するための、異なる光軸(視点)それぞれにおいて撮像された映像、または、異なる光軸で撮像したのに相当するCGの映像をデータ化した、水平視差を有する左右2つの映像データ(以下、左右を識別する必要がある場合には、それぞれを右眼用映像データ、左眼用映像データと表現する。)を、HDMI(High-Definition Multimedia Interface)端子等の映像信号入力用の端子を通じて取得する。ここで、左右2つの映像データは独立して個々に取得されてもよいし、一体的なデータとして取得されてもよい。
一体的なデータのフォーマット形式としては、2つの映像データを左右並置したLR独立方式、2つの映像データを水平方向に1/2圧縮して左右並置したサイドバイサイド方式、2つの映像データを垂直方向(鉛直方向)に1/2圧縮して上下並置したアバヴアンドビロウ方式、2つの映像データを時間方向に交互に配置したフレームシーケンシャル方式等が挙げられる。
合成部112は、映像データ取得部110が取得した左右2つの映像データを合成して表示データを生成する。具体的に、合成部112は、後述するフォーマット判別部130から出力された制御信号に応じて、映像データ取得部110が取得した2つの映像データを一旦分離し、表示部116の表示方式に応じて、分離された2つの映像データを合成する。表示方式としては、パッシブタイプの、ラインバイライン方式、チェッカーボード方式、アナグリフ方式、カラーコード3D方式、アクティブタイプのフレームシーケンシャル方式等が挙げられる。
ラインバイライン方式は、表示部116の表示面に、偏光特性が異なる2種類の偏光フィルタを隔行で(水平ライン毎に)交互に配置し、一方の偏光フィルタが配置された奇数ラインに右眼用映像を、他方の偏光フィルタが配置された偶数ラインに左眼用映像を表示させる方式である。チェッカーボード方式は、偏光特性が異なる2種類の偏光フィルタをラインではなく画素毎に配置した方式である。アナグリフ方式は、右眼用映像および左眼用映像をそれぞれ異なる色、例えば赤と青で表し、観察者12に赤と青のカラーフィルタが施された色メガネで2つの映像を右眼および左眼に排他的に視認させる方式である。カラーコード3D方式は、アナグリフ方式における2つの色を青色とアンバー系の色に代えて色の再現性を高めた方式である。フレームシーケンシャル方式は、右眼用映像と左眼用映像を交互に表示部116に表示し、排他的に開閉する電子シャッタを通じて、右眼用映像を観察者12の右眼にのみ、左眼用映像を観察者12の左眼にのみ視認させる方式である。
図3は、合成部112の動作を説明するための説明図である。例えば、映像データ取得部110が、図3(a)に示すような、2つの映像データが一体化されたサイドバイサイド方式の映像データ150を取得した場合、合成部112は、まず、図3(b)のように、映像データ150を右眼用映像データ150aと左眼用映像データ150bとに分離し、図3(c)のように、右眼用映像データ150aから奇数ラインの映像データを抽出し、左眼用映像データ150bからは偶数ラインの映像データを抽出すると共に、水平方向に画像を2倍に拡大し、最後に、右眼用映像データ150aの奇数ラインと左眼用映像データ150bの偶数ラインとを合成して、図3(d)のようなラインバイライン方式の表示データ152を生成する。ここでは、説明の便宜のためライン総数を8としているが、実際のライン総数は走査線数分(例えば1080本)あるので、当該表示データ152に基づく映像をそのまま裸眼で観察すると被写体像が視差を伴って重畳されているように錯覚する。
観察者12は、偏光特性が異なる2つの偏光フィルタが左右に設けられた偏光メガネを通じて上記の表示データ152に基づく映像を観察し、右眼用映像データ150aに基づく右眼用映像を右眼のみで視認し、左眼用映像データ150bに基づく左眼用映像を左眼のみで視認する。したがって、観察者12は、被写体像を表示部116より飛び出し側または引き込み側で結像して立体映像を知覚することができる。
図2に戻ってOSD重畳部114は、例えば、キャラクタジェネレータで構成され、後述する線画像重畳部132や視差情報重畳部138から送信された横線画像、縦線画像、視差情報や表示部116の表示状態を示すOSD等を表示データ152に基づく映像に重畳する。具体的には、OSD重畳部114は、線画像重畳部132や視差情報重畳部138から、横線画像、縦線画像、視差情報に相当する画面中の位置(座標)とその画素データとを受信し、表示データ152に基づく映像のその位置に画素データに基づく映像を重畳している。
表示部116は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等で構成され、後述する表示制御部140の制御信号に応じて、OSD重畳部114により横線画像、縦線画像、視差情報が重畳された表示データ152に基づく映像を表示する。また、表示部116は、表示データ152の表示方式に対応して様々な表示態様に設定される。例えば、ラインバイライン方式の表示データ152に基づく映像を表示することが想定される場合、表示部116には、上述したように、偏光特性が異なる2種類の偏光フィルタが隔行で(水平ライン毎に)交互に配置される。観察者12は、このような偏光フィルタが施された表示部116を、偏光メガネを通じて観察することで、表示部116に表示されたラインバイライン方式の表示データ152に基づく映像を立体映像として知覚することができる。また、フレームシーケンシャル方式の表示データ152に基づく映像を表示することが想定される場合、表示部116は、通常の1/2の周期で右眼用映像データ150aに基づく右眼用映像と左眼用映像データ150bに基づく左眼用映像を時分割かつ交互に表示する。
操作部118は、電源スイッチを含む操作キー、十字キー、ジョイスティック、表示部116の表示面に重畳されたタッチパネル等で構成され、製作者10の操作入力を受け付ける。また、遠隔操作のためのリモートコントローラが設けられる場合、当該リモートコントローラも操作部118として機能する。
中央制御部120は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含む半導体集積回路により、立体映像表示装置106全体を管理および制御する。また、本実施形態において、中央制御部120は、フォーマット判別部130と、線画像重畳部132と、合成制限部134と、視差情報導出部136と、視差情報重畳部138と、表示制御部140と、線画像変更部142としても機能する。
フォーマット判別部130は、映像データ取得部110が取得した2つの映像データが独立して個々に取得されたものか、または、一体的なデータとして取得されたものかを判定する。また、フォーマット判別部130は、2つの映像データが一体的なデータとして取得されたものであれば、さらに、そのフォーマット形式がLR独立方式、サイドバイサイド方式、アバヴアンドビロウ方式、フレームシーケンシャル方式等のいずれの方式であるかを判定して、その判定結果を合成部112に出力する。合成部112は、かかる判定結果によって2つの映像データのフォーマット形式を把握し、そのフォーマット形式に基づいて2つの映像データを分離する。また、フォーマット判別部130は、映像データ取得部110が取得した2つの映像データを自動判定せず、製作者(ユーザ)の操作入力に応じて選択されたフォーマット形式を合成部112に出力するとしてもよい。
線画像重畳部132は、OSD重畳部114を通じて、水平方向に延長された横線画像と垂直方向に延長された2つの縦線画像とを表示データ152に基づく映像に重畳する。そして、線画像重畳部132は、製作者10の操作入力に応じて横線画像を画面垂直方向に、2つの縦線画像を画面水平方向にそれぞれ独立して移動する。
図4は、線画像重畳部132の動作を説明するための説明図である。ここでは、製作者10の操作入力に応じて、視差情報導出部136が表示データ152に基づく映像中の任意の被写体像154の映像データ150a、150b間における視差を導出している。線画像重畳部132は、図4(a)のように表示データ152に基づく映像に横線画像156と縦線画像158a、158bとを所定の開始位置に重畳する。続いて、線画像重畳部132は、製作者10の操作入力に応じて横線画像156を垂直方向に移動し、図4(b)の如く、視差の導出を所望する被写体像154に位置させる。
次に、線画像重畳部132は、製作者10の操作入力に応じて一方の縦線画像(右眼用縦線画像)158aを水平方向に移動し、図4(c)の如く、被写体像154の視差の導出を所望する部分(例えばエッジ)に位置させる。最後に、線画像重畳部132は、製作者10の操作入力に応じて他方の縦線画像(左眼用縦線画像)158bを水平方向に移動し、図4(d)の如く、被写体像154の視差の導出を所望する、縦線画像158aが位置する部分と異なる部分(例えばエッジ)に位置させる。こうして、一方の縦線画像158aと他方の縦線画像158bとが、2つの映像データ150a、150bそれぞれにおける同一の被写体像154の同一の部分を示すこととなる。このとき、線画像重畳部132は、横線画像156、縦線画像158aおよび縦線画像158bそれぞれを他と容易に識別させるため、互いに異なる表示態様で表すとしてもよい。例えば、縦線画像158aを破線で表示させた場合、縦線画像158bを一点鎖線で表示させたり、横線画像156、縦線画像158a、158bそれぞれを異なる色で表示させたりすることもできる。
このように、視差の導出を所望する被写体像154の2つの映像データ150a、150bに基づく映像それぞれにおける所定の部分に縦線画像158a、158bを位置させることで、目視ではなく電子的に視差を読み取ることが可能となり、視差の正確な値を把握することができる。また、線画像重畳部132は、縦線画像158a、158bを移動する前に、その水平基準となる横線画像156を適切な位置に配置することで、製作者10は、正確かつ容易に所望する水平位置に両縦線画像158a、158bを重ねることができ、より正確な視差を導出することが可能となる。
しかし、上述したように、表示データ152には右眼用映像データ150aと左眼用映像データ150bとがライン毎に交互に配されており、被写体像154が左右眼いずれの映像データに含まれるかを視認するのは難しい。そこで、本実施形態では、さらに合成制限部134によって縦線画像158a、158bの操作性を高める。
合成制限部134は、線画像重畳部132で重畳される2つの縦線画像158のうち1の縦線画像158を移動する間、その1の縦線画像158に対応付けられている映像データのみを合成部112に合成させる。具体的に、合成制限部134は、一方の縦線画像158aを移動する間、縦線画像158aに対応付けられている右眼用映像データ150aのみを合成部112に合成させ、左眼用映像データ150bを非表示とする(排除する)。かかる左眼用映像データ150bの非表示は、例えば、左眼用映像データ150bが合成されるタイミングで、左眼用映像データ150bの代わりに単色画素(例えば、黒色画素)を合成することで実現できる。
図5は、合成制限部134の動作を説明するための説明図である。上述したように、線画像重畳部132は、表示データ152に基づく映像に横線画像156と縦線画像158a、158bとを重畳する。線画像重畳部132は、製作者10の操作入力に応じて横線画像156を垂直方向に移動し、視差の導出を所望する被写体像154に位置させる。
このとき、移動対象である一方の縦線画像158aは、表示データ152に合成された2つの映像データ150a、150bのうち、右眼用映像データ150aに対応付けられ、他方の縦線画像158bは、左眼用映像データ150bに対応付けられているとする。合成制限部134は、移動可能な縦線画像として一方の縦線画像158aが選択されている間、図5(a)の如く、その一方の縦線画像158aに対応付けられている右眼用映像データ150aのみを合成部112に合成させる。すなわち、本来であれば、右眼用映像データ150aと左眼用映像データ150bとを合成する合成部112に左眼用映像データ150bを合成させないように制限する。したがって、製作者10は、右眼用映像データ150aのみに基づいて、縦線画像158aを移動できるので、縦線画像158aを、視差を求めるのに適した部分に位置させることが可能となる。
続いて、線画像重畳部132が、製作者10の操作入力に応じて他方の縦線画像158bを水平方向に移動している間、合成制限部134は、図5(b)の如く、その他方の縦線画像158bに対応付けられている左眼用映像データ150bのみを合成部112に合成させる。したがって、製作者10は、左眼用映像データ150bのみに基づいて、縦線画像158bを移動できるので、縦線画像158bを、縦線画像158a同様、視差を求めるのに適した部分に位置させることが可能となる。
このような合成制限部134の構成により、左右2つの映像データ150a、150bが合成され、2つの映像データ150a、150bを区別できない場合においても、縦線画像158の移動時には他の映像データを一時的に非表示にでき、1の映像データに基づいて縦線画像158を移動できるので、製作者10は、正確かつ迅速に所望する位置に縦線画像158を移動することができる。
また、横線画像156上の任意の画素にエッジが含まれる場合において、線画像重畳部132は、縦線画像158a、158bを移動する際、そのエッジを含む画素を検知し、縦線画像158a、158bがその位置で移動速度が落ち短時間停滞するとしてもよい。こうすることで、製作者10による微調整に頼ることなく自動的にエッジ部分を特定することが可能となる。
また、ここでは、横線画像156と縦線画像158a、158bとの1の組合せについて言及したが、このような1の組合せに限らず、線画像重畳部132は、横線画像156と縦線画像158a、158bの組合せを複数設け、それぞれの組合せについて、表示データ152に基づく映像への重畳と、移動を実行することができる。この場合、各組合せを識別するため、それぞれ異なる表示態様、例えば互いに異なる色系統(赤系統、青系統、緑系統等)で横線画像156と縦線画像158a、158bとを表してもよい。こうして、各組合せの視認性を高め、製作者10は、より快適な操作性で複数の被写体像154の視差を連続して導出することが可能となる。
ここで、表示部116のフォーマット形式がフレームシーケンシャル方式であった場合、合成制限部134は、線画像重畳部132で重畳される2つの縦線画像のうち一方の縦線画像158aを移動する間、その一方の縦線画像158aに対応付けられている映像データのみをシーケンシャルに並べる。したがって、フレームシーケンシャル方式では、通常、合成制限部134が、2つの映像データ150a、150bを時間方向に通常の1/2の周期で交互に配置しているところ、一方の縦線画像158を移動している間は、右眼用映像データ150aのみを通常の周期で配置し、左眼用映像データ150bを非常時とする。
視差情報導出部136は、線画像重畳部132により位置づけられた縦線画像158a、158b間の視差を求め(数値化し)、その視差に関する視差情報を導出する。視差情報重畳部138は、導出された視差情報を、横線画像156、縦線画像158a、158bが重畳された表示データ152に基づく映像に、さらに重畳する。表示制御部140は、横線画像156、縦線画像158a、158bおよび視差情報が重畳された表示データ152に基づく映像を表示部116に表示させる。視差情報は、視差に相当する画素数でもよいし、縦線画像158a、158b間の視差と表示部116に表示データ152に基づく映像が表示された場合の水平方向の表示幅との比であってもよい。
図6は、視差情報導出部136の動作を説明するための説明図である。ここでは、説明の便宜のため、表示データ152を省略し、表示データ152に基づく映像に重畳される、横線画像156と、縦線画像158a、158bと視差情報160とを示す。視差|Δx|は、画面左端から縦線画像158aまでの水平方向の距離Rと、画面左端から縦線画像158bの水平方向の距離Lとを用いて|Δx|=|L-R|から導出される。また、縦線画像158a、158b間の視差と表示幅との比Δxrは、表示幅Xを用いてΔxr=|Δx|/X×100(%)から導出される。そして、視差情報重畳部138は、横線画像156、縦線画像158a、158bの表示位置を回避した位置に、導出された視差情報160である視差|Δx|または比Δxrを重畳する。ここで、立体映像表示装置106と大型のスクリーン108とで表示画面の大きさが異なっていても、表示データ152の解像度が等しい場合、比Δxrと画素は比例関係になるので、視差|Δx|を画素数で示すこともできる。
製作者10は、かかる数値化された視差情報160を参照することによって、視差を容易かつ正確に、および定量的に把握することができ、当該映像データ150を表示する予定の例えば大型のスクリーン108に表示すると、どの程度の立体感を得られるかを予測することが可能となる。
また、視差情報導出部136は、縦線画像158a、158b間の視差|Δx|と共に縦線画像158a、158bの水平方向の相対位置(視差の方向(Δxの符号))も特定して視差情報160を導出し、視差情報重畳部138は、その水平方向の相対位置も表示データに基づく映像に重畳してもよい。以下に水平方向の相対位置について説明する。
図7および図8は、視差の水平方向の相対位置を説明するための説明図である。ここで、図7(a)、(c)は上面視で表され、図7(a)は撮像時の被写体174の相対位置を、図7(c)は観察時の結像位置を示している。図7(a)のように、輻輳角を伴う立体映像撮像装置102で撮像された左右2つの映像データ150a、150bでは、遠近方向の位置によって被写体像154が視差を生じることは既に述べた通りであり、その遠近方向の被写体174(図7中174a、174b、174c)の位置によって左右2つの映像データに出現する相対位置が異なる。
例えば、輻輳点(表示時には表示部116の表示面の位置(遠近位置)となる点)172に存在する被写体174aの被写体像154aは図7(b)のように、左右2つの映像データ150a、150bで視差が生じない(Δx=0)。しかし、輻輳点172より立体映像撮像装置102側に存在する被写体174bの被写体像154bは、図7(b)に示すように左眼用映像データ150bの一点鎖線で示す出現位置より右眼用映像データ150aの破線で示す出現位置が画面左側に推移する(Δx>0)。また、輻輳点172より立体映像撮像装置102と逆側に存在する被写体174cの被写体像154cは、図7(b)に示すように左眼用映像データ150bの出現位置より右眼用映像データ150aの出現位置が画面右側に推移する(Δx<0)。
このような左右2つの映像データ150a、150bに基づく映像を立体映像表示装置106で表示すると、立体映像を知覚させるための偏光メガネを装着した製作者10に対して、図7(c)のように、被写体像154aは、立体映像表示装置106自体の遠近位置で結像され、被写体像154bは、立体映像表示装置106より製作者10側に飛び出すように結像され、被写体像154cは、立体映像表示装置106より製作者10と逆側に引き込むように結像される。本実施形態では、製作者10が被写体像154の結像位置を把握できるように、視差情報導出部136は、縦線画像158a、158bの水平方向の相対位置、すなわち、右眼用映像データに対応付けられた縦線画像158aが、左眼用映像データに対応付けられた縦線画像158bの左右いずれに位置しているかも特定する。
具体的に、視差情報導出部136は、縦線画像158aが縦線画像158bより左に位置していれば、すなわち、図6において視差の方向も含む視差ベクトルΔx=L-R>0となれば、その被写体像154は飛び出して知覚されるので、視差情報160に飛び出すことを示す符号「+」を追加、または符号を追加しないものとする。また、視差情報導出部136は、縦線画像158aが縦線画像158bより右に位置していれば、すなわち、図6において視差ベクトルΔx=L-R<0となれば、その被写体像154は引き込むように知覚されるので、視差情報に引き込むことを示す符号「-」を視差情報160に追加する。さらに、視差ベクトルΔx=0の場合には符号を追加しない、または仮に符号「+」を追加するとする。そして、視差情報重畳部138は、その水平方向の相対位置を示す符号も表示データ152に基づく映像に重畳する。
したがって、縦線画像158aが縦線画像158bより左に位置することとなる図7(b)の被写体像154bについては、図8(a)のように、符号「+」が並記された視差情報160が表示データ152に基づく映像に重畳される。また、縦線画像158aが縦線画像158bより右に位置することとなる図7(b)の被写体像154cについては、図8(b)のように、符号「-」が並記された視差情報160が表示データ152に基づく映像に重畳される。このように構成することで、製作者10は、偏光メガネ等を装着しなくても、導出対象である被写体像154が飛び出して結像されるか引き込むように結像されるか、符号を確認するだけで容易に把握することが可能となる。また、上述したように縦線画像158a、158bは、それぞれ映像データと対応付けられ、その対応付けられた映像データに基づいてのみ移動されるので、製作者10は、縦線画像158a、158bを位置させる被写体像154を間違えることはなく、高い信頼性をもって被写体像154の遠近位置を把握することができる。
また、視差情報160は、表示部116と観察者12との距離に対する、表示部116と縦線画像158a、158b間の視差を有する被写体像154が結像される位置との距離の比であってもよい。
人の眼の間隔の平均値をΔk、製作者10と表示部116との距離をdとすると、表示部116から、縦線画像158a、158b間の視差を有する被写体像154が結像される位置までの距離Δdは、視差ベクトルΔxを用いて、Δd=Δx×d/(Δx+Δk)となる。したがって、表示部116と観察者12との距離dに対する、表示部116と縦線画像158a、158b間の視差を有する被写体像154が結像される位置との距離Δdの比Δd/dは、Δx/(Δx+Δk)で表される。かかる比を用いることによって、製作者10は、どの程度の立体感を得られるかを容易に予測することが可能となる。
以上のように、視差情報導出部136や視差情報重畳部138は、視差情報160を導出して表示データ152に基づく映像に重畳するが、その導出および重畳するタイミングに制限はなく、線画像重畳部132が機能してから、すなわち、横線画像156や縦線画像158a、158bの移動中からその位置に応じて随時視差情報160を導出し、表示データ152に基づく映像に重畳するとしてもよい。
ところで、上述したように、被写体像154が過渡に飛び出して結像されたり、過渡に引き込んで結像されると、観察者12の目に負担がかかる場合がある。製作者10は、生成された映像データ150をすぐに表示し、その場で、その映像データ150に含まれる任意の被写体像154の2つの映像データ150a、150b間の視差が適切な遠近距離内にあるか否かを確認して、適切でなければ、撮像状態を調整するのが望ましい。そこで、本実施形態では、線画像変更部142を設けて所望する状態で適切に映像データ150が生成されているか否かを製作者10に直感的かつ迅速に把握させる。
線画像変更部142は、縦線画像158a、158b間の視差が所定の閾値を越えれば、すなわち、被写体像154の、2つの映像データ150a、150b間の相対位置を含む視差ベクトルΔxが第1閾値以上(Δx>0かつ視差|Δx|≧|第1閾値|)または第2閾値以下(Δx<0かつ視差|Δx|≧|第2閾値|)であれば、縦線画像158a、158bを、閾値を越えたことを把握できる表示態様に変更する。ここで、第1閾値は、例えば、表示データ152の表示幅の+20%であり、第2閾値は、例えば、表示データ152の表示幅の-2%である。
具体的に、線画像変更部142は、縦線画像158a、158bの線種、線幅、色を変更したり、また、その縦線画像158a、158b自体を点滅させたり、縦線画像158a、158bの近くに警告を促す指標、例えば「!」等の記号を追加する。このとき、縦線画像158a、158bによる視差導出対象の被写体像154が特定できる場合には(例えば、縦線画像158a、158b両方が接触している被写体像154)、その導出対象となる被写体像154自体の表示態様を変化させてもよい。
かかる構成により、製作者10は、視差情報導出部136によって数値化された視差情報160を視認して、その値が閾値を越えているか否か判断しなくても、表示態様が変化していないことをもって、所望する状態で適切に生成されていることを迅速かつ直感的に把握することができる。したがって、製作者10は、所望する表示状態となる映像データ150を容易に製作でき、観察者12の目に負担をかけない自然な立体映像を知覚させることが可能となる。こうして、製作者10は、安心して当該映像データ150を観察者12に提供することが可能となる。
以上、説明した立体映像表示装置106では、表示部116のフォーマット形式としてラインバイライン方式およびフレームシーケンシャル方式を挙げたが、かかるフォーマット形式に限らず、チェッカーボード方式、アナグリフ方式、カラーコード3D方式等にも適用することが可能である。さらに、立体映像を知覚するための加工を施していない表示部116に、サイドバイサイド方式、アバヴアンドビロウ方式等による2つの映像データ150a、150bを分離することなく、そのままの態様で表示し、2つの映像データ150a、150bのいずれの映像にも横線画像156を連動させて重畳し、さらに、一方の映像データに基づく映像に一方の縦線画像158aを重畳し、他方の映像データに基づく映像に他方の縦線画像158bを重畳することでも、表示データ152内の個々の被写体像154の視差を容易かつ正確に把握させることが可能となる。
また、上述した立体映像表示装置106では、合成部112やOSD重畳部114がハードウェアで構成される例を挙げているが、かかる構成に限られず、すべての映像処理を中央制御部120内のソフトウェアで実行し、横線画像156、縦線画像158a、158bおよび視差情報160が重畳された最終的な表示データ152に基づく映像を表示部116に表示させるとしてもよい。
(立体映像表示方法)
また、上述した立体映像表示装置106を用いた立体映像表示方法も提供される。図9は、立体映像表示方法の処理の流れを示すフローチャートである。
また、上述した立体映像表示装置106を用いた立体映像表示方法も提供される。図9は、立体映像表示方法の処理の流れを示すフローチャートである。
立体映像表示装置106の映像データ取得部110が、視差を有する2つの映像データ150a、150bを取得すると(S200におけるYES)、合成部112は、2つの映像データ150a、150bを合成して表示データを生成する(S202)。そして、線画像重畳部132は、製作者10の操作入力に応じて、横線画像156、縦線画像158a、158bのうち移動する線画像を選択する(S204)。
選択された線画像が横線画像156であれば(S206におけるYES)、線画像重畳部132は、横線画像156を垂直方向に移動させる製作者10の操作入力が有るか否か、操作部118からの入力に基づいて判断し(S208)、製作者10の操作入力が有れば(S208におけるYES)、重畳対象となる横線画像156をその操作入力に応じて垂直方向に所定量移動し(S210)、製作者10の操作入力がなければ(S208におけるNO)、重畳対象となる横線画像156に対して何ら処理を実行しないことで横線画像156の前回位置を維持する。そして、線画像重畳部132は、このように重畳位置が決定された横線画像156と共に、前回位置が維持された縦線画像158a、158bを表示データ152に基づく映像に重畳する(S212)。当該立体映像表示方法は、2つの映像データ150a、150bを取得する度に繰り返されるので(S200におけるYES)、製作者10は、横線画像156を垂直方向に移動させる操作入力を所定の時間継続することで、横線画像156を所望する位置に移動することが可能となる。
また、選択された線画像が横線画像156ではなく(S206におけるNO)、選択された線画像が縦線画像158a、158bのうち一方の縦線画像158aであれば(S214におけるYES)、線画像重畳部132は、縦線画像158aに対応付けられている右眼用映像データ150aのみを合成部112に合成させる(S216)。そして、線画像重畳部132は、縦線画像158aを水平方向に移動させる製作者10の操作入力が有るか否か判断し(S218)、製作者10の操作入力が有れば(S218におけるYES)、製作者10の操作入力に応じて重畳対象となる縦線画像158aを水平方向に所定量移動し(S220)、製作者10の操作入力がなければ(S218におけるNO)、重畳対象となる縦線画像158aに対して何ら処理を実行しないことで縦線画像158aの前回位置を維持する。そして、線画像重畳部132は、重畳位置が決定された縦線画像158aと共に、前回位置が維持された、横線画像156、縦線画像158bを表示データ152に基づく映像に重畳する(S212)。上述したように、当該立体映像表示方法は、2つの映像データ150a、150bを取得する度に繰り返されるので(S200におけるYES)、製作者10は、縦線画像158aを水平方向に移動させる操作入力を所定の時間継続することで、縦線画像158aを所望する位置に移動することが可能となる。
また、選択された線画像が横線画像156および縦線画像158aでなければ(S206およびS214におけるNO)、すなわち縦線画像158bであれば、線画像重畳部132は、縦線画像158bに対応付けられている左眼用映像データ150bのみを合成部112に合成させる(S222)。そして、線画像重畳部132は、縦線画像158bを水平方向に移動させる製作者10の操作入力が有るか否か判断し(S224)、製作者10の操作入力が有れば(S224におけるYES)、製作者10の操作入力に応じて重畳対象となる縦線画像158bを水平方向に所定量移動し(S226)、製作者10の操作入力がなければ(S224におけるNO)、重畳対象となる縦線画像158bに対して何ら処理を実行しないことで縦線画像158bの前回位置を維持する。そして、線画像重畳部132は、重畳位置が決定された縦線画像158bと共に、前回位置が維持された、横線画像156、縦線画像158aを表示データ152に基づく映像に重畳する(S212)。ここでも、製作者10は、縦線画像158bを水平方向に移動させる操作入力を所定の時間継続することで、縦線画像158bを所望する位置に移動することが可能となる。
線画像重畳部132によって、横線画像156、縦線画像158a、158bが表示データ152に基づく映像に重畳されると(S212)、視差情報導出部136は、縦線画像158a、158b間の視差に関する視差情報160を導出し(S228)、視差情報重畳部138は、導出された視差情報160を横線画像156、縦線画像158a、158bが重畳された表示データ152に基づく映像にさらに重畳し(S230)、表示部116は、横線画像156、縦線画像158a、158bおよび視差情報160が重畳された表示データ152に基づく映像を表示する(S232)。ここでは、2つの映像データ150a、150bが取得される度に、製作者10の操作入力に応じて各線画像が繰り返し移動され、製作者10は、表示データ152を通じて視差情報160を視認することが可能となる。また、ここでは、製作者10の操作入力の受付契機を映像データ150の取得タイミングとしたが、かかるタイミングに限られず、製作者10の操作入力を割り込み処理とすることで、その操作入力を各線画像の移動に反映することもできる。
このように、立体映像表示装置106を用いた立体映像表示方法によっても、製作者10に表示データ152内の個々の被写体像154の視差を容易かつ正確に把握させることが可能となる。
(立体映像撮像装置102)
上述した実施形態では、立体映像表示装置106が、映像データ取得部110が取得した映像データ150を表示データ152(表示データ152に基づく映像)として表示部116に表示し、製作者10は、表示部116の表示を確認する例を説明した。ここでは、その映像データ150を生成する立体映像撮像装置102に当該立体映像表示装置106の機能を設けることで、立体映像撮像装置102だけで完結的に映像データ150を確認することができる。
上述した実施形態では、立体映像表示装置106が、映像データ取得部110が取得した映像データ150を表示データ152(表示データ152に基づく映像)として表示部116に表示し、製作者10は、表示部116の表示を確認する例を説明した。ここでは、その映像データ150を生成する立体映像撮像装置102に当該立体映像表示装置106の機能を設けることで、立体映像撮像装置102だけで完結的に映像データ150を確認することができる。
図10は、立体映像撮像装置102の概略的な機能を示した機能ブロック図である。図10に示すように、立体映像撮像装置102は、2つの撮像部310と、データ処理部312と、合成部112と、OSD重畳部114と、表示部116と、操作部118と、映像保持部314と、中央制御部316とを含んで構成される。また、中央制御部316は、フォーマット判別部130と、線画像重畳部132と、合成制限部134と、視差情報導出部136と、視差情報重畳部138と、表示制御部140と、線画像変更部142と、撮像制御部320と、記憶制御部322としても機能する。上述した実施形態における構成要素として既に述べた、合成部112と、OSD重畳部114と、表示部116と、操作部118と、フォーマット判別部130と、線画像重畳部132と、合成制限部134と、視差情報導出部136と、視差情報重畳部138と、表示制御部140と、線画像変更部142とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する、撮像部310と、データ処理部312と、映像保持部314と、撮像制御部320と、記憶制御部322とを主に説明する。
撮像部310は、撮像レンズ340と、焦点調整に用いられるフォーカスレンズ342と、露光調整に用いられる絞り(アイリス)344と、撮像レンズ340を通じて入射した光束を電気データ(映像データ)に光電変換する撮像素子346と、後述する撮像制御部320の制御信号に応じてフォーカスレンズ342、絞り344および撮像素子346をそれぞれ駆動させる駆動部348とを含んで構成され、略平行に並んだまたは撮像方向で交わる2つの光軸それぞれにおける2つの映像データ150a、150bを生成する。
データ処理部312は、撮像部310から受信した映像データに、R(Red)G(Green)B(Blue)処理(γ補正や色補正)、エンハンス処理、ノイズ低減処理等の映像信号処理を施し、処理後の映像データ150を合成部112に出力する。かかる映像データ150は、合成部112やOSD重畳部114を通じて表示データ152となり、ビューファインダ等、比較的画面サイズの小さい表示部116で表示される。製作者10は、表示部116に表示された映像を視認しつつ操作部118を操作することで、被写体像を所望する位置および占有面積で捉えることが可能となる。
映像保持部314は、HDD、フラッシュメモリ、不揮発性RAM等で構成され、後述する記憶制御部322の制御信号に応じて、中央制御部316から送信された映像データ150を保持する。また、映像保持部314は、CD、DVDやBDといった光ディスク媒体や、ポータブルメモリカード等、着脱可能な記憶媒体に映像データを保持させる装置として構成されてもよい。このとき、映像データ150をM-JPEG(Motion JPEG)やMPEG(Moving Picture Experts Group)-2、H.264などの所定の符号化方式で符号化することもできる。
中央制御部316の撮像制御部320は、製作者10の操作入力に応じて撮像部310を制御する。例えば、撮像制御部320は、適切な映像データ150が得られるように、フォーカスレンズ342、絞り344および撮像素子346を駆動部348に駆動させる。
記憶制御部322は、製作者10が映像データ150を生成している間、データ処理部312から送信された映像データ150を映像保持部314に記憶する。
このような立体映像撮像装置102は、小型化、軽量化のニーズを受けて、表示部116も小型化される傾向にある。したがって、表示部116から2つの映像データ150a、150bの視差を把握するのは極めて困難となる。本実施形態では、このような立体映像撮像装置102においても線画像重畳部132や視差情報重畳部138によって、正確な視差を導出することができる。また、線画像変更部142によって、製作者10は、その視差が適切な遠近距離内にあるか否かを迅速かつ直感的に把握することが可能となり、撮像部310間の距離を調整する等の調整処理を行って、観察者12の目に負担をかけない自然な立体映像を知覚させることができる。こうして、製作者10は、安心して当該映像データ150を観察者12に提供することが可能となる。
また、ここでは、立体映像撮像装置102が2つの撮像部310を設けて映像データ150を生成する例(2眼カメラ)を挙げて説明したが、ミラー等の光学的手法を用いて1つの被写体を2つの視点から同時に撮像させる立体映像撮像用アダプタを1の撮像部310の光学経路前方に位置させて2つの映像データを1の映像データに一体化させて取得することも可能である。
さらに、コンピュータを立体映像表示装置106や立体映像撮像装置102として機能させる立体映像表示プログラムおよび立体映像撮像プログラムや、その立体映像表示プログラムおよび立体映像撮像プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD、DVD、BD等の記録媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した実施形態においては、各機能部が立体映像表示装置106単体内で処理されているが、その機能部を別体の装置で実現し、合わせて本願の目的を達成するとしてもよい。例えば、合成部112による映像データ150の分離や合成機能を別体の3Dコンバータで実現したり、線画像重畳部132の機能を別体のプロジェクタ等で実現し、そのプロジェクタと同期して合成制限部134が映像データの合成を制限する、すなわち、プロジェクタを通じて縦線画像158aを投光しているときには右眼用映像データ150aのみを合成し、縦線画像158bを投光しているときには左眼用映像データ150bのみを合成するとしてもよい。
なお、本明細書の立体映像表示方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
本発明は、立体映像を知覚させるための表示データに基づく映像を表示する立体映像表示装置、立体映像撮像装置および立体映像表示方法に利用することができる。
102 …立体映像撮像装置
106 …立体映像表示装置
110 …映像データ取得部
112 …合成部
116 …表示部
132 …線画像重畳部
134 …合成制限部
136 …視差情報導出部
138 …視差情報重畳部
142 …線画像変更部
150(150a、150b) …映像データ
152 …表示データ
154 …被写体像
156 …横線画像
158(158a、158b) …縦線画像
160 …視差情報
310 …撮像部
106 …立体映像表示装置
110 …映像データ取得部
112 …合成部
116 …表示部
132 …線画像重畳部
134 …合成制限部
136 …視差情報導出部
138 …視差情報重畳部
142 …線画像変更部
150(150a、150b) …映像データ
152 …表示データ
154 …被写体像
156 …横線画像
158(158a、158b) …縦線画像
160 …視差情報
310 …撮像部
Claims (9)
- 水平視差を有する2つの映像データを取得する映像データ取得部と、
前記2つの映像データを合成して表示データを生成する合成部と、
垂直方向に延長された2つの縦線画像を前記表示データに基づく映像に重畳し、ユーザの操作入力に応じて前記2つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部と、
前記2つの縦線画像間の視差に関する視差情報を導出する視差情報導出部と、
導出された前記視差情報を縦線画像が重畳された表示データに基づく映像にさらに重畳する視差情報重畳部と、
前記縦線画像および前記視差情報が重畳された表示データに基づく映像を表示する表示部と、
を備えることを特徴とする立体映像表示装置。 - 前記2つの縦線画像は前記2つの映像データにそれぞれ対応付けられ、
前記2つの縦線画像のうち一方の縦線画像を移動する間、その一方の縦線画像に対応付けられている映像データのみを合成部に合成させる合成制限部をさらに備えることを特徴とする請求項1に記載の立体映像表示装置。 - 前記線画像重畳部は、さらに、水平方向に延長された横線画像を前記表示データに重畳し、ユーザの操作入力に応じて前記横線画像を垂直方向に移動することを特徴とする請求項1または2に記載の立体映像表示装置。
- 前記視差情報は、前記2つの縦線画像間の視差と前記表示データの水平方向の表示幅との比であることを特徴とする請求項1から3のいずれか1項に記載の立体映像表示装置。
- 前記視差情報は、前記表示部と観察者との距離に対する、前記表示部と前記2つの縦線画像間の視差を有する被写体像が結像される位置との距離の比であることを特徴とする請求項1から4のいずれか1項に記載の立体映像表示装置。
- 前記視差情報導出部は、前記2つの縦線画像間の視差と共に前記2つの縦線画像の水平方向の相対位置も特定して視差情報を導出することを特徴とする請求項1から5のいずれか1項に記載の立体映像表示装置。
- 前記縦線画像間の視差が所定の閾値を越えれば、前記縦線画像を、前記閾値を越えたことを把握できる表示態様に変更する線画像変更部をさらに備えることを特徴とする請求項1から6のいずれか1項に記載の立体映像表示装置。
- 略平行に並んだまたは撮像方向で交わる2つの光軸それぞれにおける2つの映像データを生成する撮像部と、
前記2つの映像データを合成して表示データを生成する合成部と、
垂直方向に延長された2つの縦線画像を前記表示データに基づく映像に重畳し、ユーザの操作入力に応じて前記2つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部と、
前記2つの縦線画像間の視差に関する視差情報を導出する視差情報導出部と、
導出された前記視差情報を縦線画像が重畳された表示データに基づく映像にさらに重畳する視差情報重畳部と、
前記縦線画像および前記視差情報が重畳された表示データに基づく映像を表示する表示部と、
を備えることを特徴とする立体映像撮像装置。 - 水平視差を有する2つの映像データを取得し、
前記2つの映像データを合成して表示データを生成し、
水平方向に延長された横線画像を前記表示データに基づく映像に重畳し、ユーザの操作入力に応じて前記横線画像を垂直方向に移動し、
垂直方向に延長された2つの縦線画像を前記表示データに基づく映像に重畳し、ユーザの操作入力に応じて前記2つの縦線画像のうち一方の縦線画像を水平方向に移動する間、その一方の縦線画像に対応付けられている映像データのみを合成し、ユーザの操作入力に応じて前記2つの縦線画像のうち他方の縦線画像を水平方向に移動する間、その他方の縦線画像に対応付けられている映像データのみを合成し、
前記2つの縦線画像間の視差に関する視差情報を導出し、
導出した前記視差情報を、前記縦線画像を重畳した表示データに基づく映像にさらに重畳し、
前記縦線画像および前記視差情報を重畳した表示データに基づく映像を表示することを特徴とする立体映像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/595,122 US9104096B2 (en) | 2010-03-30 | 2012-08-27 | 3D-image display apparatus, 3D-image capturing apparatus, and 3D-image display method using longitudinal line images for parallax information |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010076484A JP2011211450A (ja) | 2010-03-30 | 2010-03-30 | 立体映像表示装置、立体映像撮像装置および立体映像表示方法 |
JP2010-076484 | 2010-03-30 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US13/595,122 Continuation-In-Part US9104096B2 (en) | 2010-03-30 | 2012-08-27 | 3D-image display apparatus, 3D-image capturing apparatus, and 3D-image display method using longitudinal line images for parallax information |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011122177A1 true WO2011122177A1 (ja) | 2011-10-06 |
Family
ID=44711909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/053860 WO2011122177A1 (ja) | 2010-03-30 | 2011-02-22 | 立体映像表示装置、立体映像撮像装置および立体映像表示方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9104096B2 (ja) |
JP (1) | JP2011211450A (ja) |
WO (1) | WO2011122177A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015210349A (ja) * | 2014-04-25 | 2015-11-24 | 学校法人幾徳学園 | 映像多重化システム、画像処理装置およびプログラム |
CN107046638A (zh) * | 2016-12-30 | 2017-08-15 | 无锡易维视显示技术有限公司 | 单摄像头的3d影像拍摄方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0985149A1 (en) | 1997-05-30 | 2000-03-15 | Creative Biomolecules, Inc. | Methods for evaluating tissue morphogenesis and activity |
CA2567405A1 (en) | 2004-05-25 | 2005-12-08 | Stryker Corporation | Use of morphogenic proteins for treating cartilage defects |
US9124877B1 (en) * | 2004-10-21 | 2015-09-01 | Try Tech Llc | Methods for acquiring stereoscopic images of a location |
AU2010213575B2 (en) | 2009-02-12 | 2013-11-14 | Stryker Corporation | Peripheral administration of proteins including TGF-beta superfamily members for systemic treatment of disorders and disease |
US20100204124A1 (en) | 2009-02-12 | 2010-08-12 | Mary Elizabeth Pecquet Goad | Compositions and Methods for Minimally-Invasive Systemic Delivery of Proteins Including TGF-Beta Superfamily Members |
EP2516456A1 (en) | 2009-12-22 | 2012-10-31 | Stryker Corporation | Bmp-7 variants with reduced immunogenicity |
US9053562B1 (en) | 2010-06-24 | 2015-06-09 | Gregory S. Rabin | Two dimensional to three dimensional moving image converter |
US20120019528A1 (en) * | 2010-07-26 | 2012-01-26 | Olympus Imaging Corp. | Display apparatus, display method, and computer-readable recording medium |
US9992021B1 (en) | 2013-03-14 | 2018-06-05 | GoTenna, Inc. | System and method for private and point-to-point communication between computing devices |
US9429390B2 (en) * | 2013-11-06 | 2016-08-30 | Lightforce Usa, Inc. | Telescopic sights for firearms, and related methods |
US10922841B2 (en) * | 2016-05-30 | 2021-02-16 | Sharp Kabushiki Kaisha | Image processing device, image processing method, and image processing program |
JP6815181B2 (ja) * | 2016-12-08 | 2021-01-20 | 池上通信機株式会社 | 映像データ伝送処理システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0650736A (ja) * | 1992-07-31 | 1994-02-25 | Topcon Corp | ステレオ画像測定装置 |
JP2002245451A (ja) * | 2001-02-19 | 2002-08-30 | Nippon Hoso Kyokai <Nhk> | 立体画像評価装置 |
JP2004349736A (ja) * | 2003-05-08 | 2004-12-09 | Sharp Corp | 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体 |
JP2005142819A (ja) * | 2003-11-06 | 2005-06-02 | Univ Waseda | 立体映像評価装置および立体映像チューナ |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10322725A (ja) | 1997-05-19 | 1998-12-04 | Sony Corp | 立体撮影像位置決め装置 |
KR100804572B1 (ko) * | 2002-09-27 | 2008-02-20 | 샤프 가부시키가이샤 | 입체화상 표시장치, 입체화상 기록장치, 입체화상 부호화장치, 입체화상 복호장치, 입체화상 기록방법 및 입체화상 전송방법 |
JPWO2004084560A1 (ja) * | 2003-03-20 | 2006-06-29 | 富田 誠次郎 | 立体映像撮影表示システム |
US7538876B2 (en) * | 2006-06-12 | 2009-05-26 | The Boeing Company | Efficient and accurate alignment of stereoscopic displays |
US20080201641A1 (en) * | 2007-02-21 | 2008-08-21 | Yiling Xie | Method And The Associated Mechanism For 3-D Simulation Stored-Image Database-Driven Spectacle Frame Fitting Services Over Public Network |
WO2009098864A1 (ja) * | 2008-02-05 | 2009-08-13 | Panasonic Corporation | 測距装置及び測距方法 |
WO2010064118A1 (en) * | 2008-12-01 | 2010-06-10 | Imax Corporation | Methods and systems for presenting three-dimensional motion pictures with content adaptive information |
-
2010
- 2010-03-30 JP JP2010076484A patent/JP2011211450A/ja active Pending
-
2011
- 2011-02-22 WO PCT/JP2011/053860 patent/WO2011122177A1/ja active Application Filing
-
2012
- 2012-08-27 US US13/595,122 patent/US9104096B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0650736A (ja) * | 1992-07-31 | 1994-02-25 | Topcon Corp | ステレオ画像測定装置 |
JP2002245451A (ja) * | 2001-02-19 | 2002-08-30 | Nippon Hoso Kyokai <Nhk> | 立体画像評価装置 |
JP2004349736A (ja) * | 2003-05-08 | 2004-12-09 | Sharp Corp | 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体 |
JP2005142819A (ja) * | 2003-11-06 | 2005-06-02 | Univ Waseda | 立体映像評価装置および立体映像チューナ |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015210349A (ja) * | 2014-04-25 | 2015-11-24 | 学校法人幾徳学園 | 映像多重化システム、画像処理装置およびプログラム |
CN107046638A (zh) * | 2016-12-30 | 2017-08-15 | 无锡易维视显示技术有限公司 | 单摄像头的3d影像拍摄方法 |
Also Published As
Publication number | Publication date |
---|---|
US20120320050A1 (en) | 2012-12-20 |
JP2011211450A (ja) | 2011-10-20 |
US9104096B2 (en) | 2015-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011122177A1 (ja) | 立体映像表示装置、立体映像撮像装置および立体映像表示方法 | |
JP5963422B2 (ja) | 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム | |
JP4657313B2 (ja) | 立体画像表示装置および方法並びにプログラム | |
JP4925354B2 (ja) | 画像処理装置、画像表示装置、撮像装置及び画像処理方法 | |
JP2005167310A (ja) | 撮影装置 | |
JP2012156680A (ja) | 3d画像処理装置 | |
US20140085435A1 (en) | Automatic conversion of a stereoscopic image in order to allow a simultaneous stereoscopic and monoscopic display of said image | |
US20130050416A1 (en) | Video processing apparatus and video processing method | |
US9258546B2 (en) | Three-dimensional imaging system and image reproducing method thereof | |
JP5117613B1 (ja) | 映像処理装置および映像処理方法ならびに記憶媒体 | |
JP2012257105A (ja) | 立体画像取得装置 | |
JP5121081B1 (ja) | 立体画像表示装置 | |
KR101192121B1 (ko) | 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치 | |
US8963928B2 (en) | Stereoscopic image processing apparatus and stereoscopic image processing method | |
JP2011119810A (ja) | 映像処理装置および映像処理方法 | |
EP2547109A1 (en) | Automatic conversion in a 2D/3D compatible mode | |
JP2016054415A (ja) | 立体撮像装置および立体撮像プログラム | |
KR102242923B1 (ko) | 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법 | |
JP2013242378A (ja) | 撮像装置、表示方法、およびプログラム | |
JP5081316B1 (ja) | 立体映像表示装置 | |
JP2012230478A (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR20110092629A (ko) | 적절한 시청 위치 알림 방법 및 이를 위한 무안경 방식 3차원 디스플레이 장치 | |
JP4591997B2 (ja) | 立体視映像表示装置 | |
JP2015029215A (ja) | 立体画像処理装置 | |
JP5498555B2 (ja) | 映像処理装置および映像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11762417 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11762417 Country of ref document: EP Kind code of ref document: A1 |