WO2014129735A1 - System for providing complex-dimensional content, method for providing same, and complex-dimensional content file therefor - Google Patents

System for providing complex-dimensional content, method for providing same, and complex-dimensional content file therefor Download PDF

Info

Publication number
WO2014129735A1
WO2014129735A1 PCT/KR2013/011933 KR2013011933W WO2014129735A1 WO 2014129735 A1 WO2014129735 A1 WO 2014129735A1 KR 2013011933 W KR2013011933 W KR 2013011933W WO 2014129735 A1 WO2014129735 A1 WO 2014129735A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional content
information
unit
image
partial image
Prior art date
Application number
PCT/KR2013/011933
Other languages
French (fr)
Korean (ko)
Inventor
임형빈
이세준
Original Assignee
주식회사 카몬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카몬 filed Critical 주식회사 카몬
Publication of WO2014129735A1 publication Critical patent/WO2014129735A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams

Definitions

  • Multi-dimensional content providing system its providing method and multi-dimensional content file ⁇ Technical field ⁇
  • the present invention relates to a multi-dimensional content providing system, a method of providing the same, and a multi-dimensional content file, and provides a multi-dimensional content including a 2D partial image part and a 3D partial image part simultaneously in a single file through a single playback means.
  • a multidimensional content providing system, a method of providing the same, and a multidimensional content file is a multidimensional content providing system, a method of providing the same, and a multidimensional content file.
  • 3D video and 2D video are different in that they can appeal to users. Therefore, if multi-dimensional content that combines 2D video and 3D video into one content is produced, it is expected to be popular with many users. On the other hand, 2D or to shoot each 2D video and 3D video to watch each
  • the 3D player is played in a manner in which another player is played at the end of one end, it takes a long time other than the refresh of the player that appears at the next time, that is, when different types of images are replaced. May cause an illusion that the playback of the last video has ended.
  • the integrated editing method has a number of problems, such as 2D up and down because the size of 2D and 3D images are different from each other during integrated editing. There were problems with black margin control and 3D rendering by judging the timing of 2D and 3D video.
  • the 2D and 3D content is not provided to the users through the same playback means, and furthermore, if at least one part of the 2D partial image part and at least one part of the 3D part image part are integrated into one single file, There was no service provision through a single playback means for the file.
  • the first problem to be solved by the present invention is to provide a multi-dimensional content providing system.
  • the second problem to be solved by the present invention is to propose an information processing method of a multi-dimensional content providing system.
  • the third problem to be solved by the present invention is to present the configuration of a multi-dimensional content file.
  • At least one An information processing method of a complex dimensional content providing system for providing a user with complex dimensional content in which the 2D partial image unit and at least one 3D partial image unit are combined, the complex dimensional content providing system (A) the 2D partial image unit Reproducing by 2D reproducing means; (B) reproducing the 3D partial image part by 2D reproducing means; (C) acquiring a distorted reproduction image reproduced in step (B); (D) rendering the distorted reproduction image obtained in the step (C) with a 3D rendering engine; and (E) providing the rendered image to a user.
  • An information processing method of a multi-dimensional content providing system is presented.
  • the multi-dimensional content providing system obtains start position information or section position information of each of the 2D partial image unit and the 3D partial image unit constituting the multi-dimensional content, and at the start position of the 2D partial image unit (A) Step) and the step (B) at the start position of the 3D partial image part.
  • the start position information or the section position information is stored outside the compound dimension content or included in a header of the compound dimension content file.
  • the start position information or the section position information may be in the same storage device or storage system as the storage device in which the multi-dimensional content is stored as the management information of the multi-dimensional content, or before playing the multi-dimensional content. It is preferable to receive from a third system that provides the starting position information through a network.
  • the start position information or section position information may be configured to include a time section unit or a start time, or may be configured to include a frame number section unit or a start frame number.
  • Step (C) is to obtain a bitmap image frame by frame
  • the step (D) is preferably to perform the rendering process in units of frames.
  • the rendering process is performed in a sphere type, or the rendering process is performed in a cube type.
  • the multi-dimensional content providing system is driven in a user terminal, the step (E) is included in the user terminal or provided to at least one display device connected to the user terminal via a wired or wireless network, the composite
  • the dimensional content may be stored in the user terminal or provided in real time from at least one server connected to the user terminal through a wired or wireless network.
  • the multi-dimensional content image information is transmitted from the server to the user terminal using any protocol of ⁇ or RTMP.
  • the cone image information may be transmitted from the server to the user terminal in a progressive download method or a live streaming method.
  • the sound information and the image information are provided by syncing the sound information reproduced by the 2D playback means and the image rendered in the step (D).
  • the step (E) it is preferable that at least one predetermined area of the rendered image is provided as a viewing screen area where the user is shown.
  • the information about the setting of the viewing screen area is stored in header information of the complex dimension content, is received from a server providing the complex dimension content, or is a viewing screen area set or preset in the complex dimension content providing system. It is preferable to change according to a setting rule.
  • the setting of the viewing screen area is set by the user, and the setting of the viewing screen area may be changed by the user during playback of the complex dimension content.
  • the setting of the viewing screen area is for the user to designate or change the viewing area direction for setting the viewing screen area, and the designation or the change of the viewing area direction is keyboard input, keypad input, touch input, voice input, operation input. It is preferable that it is made through any one or more of the input.
  • the multi-dimensional content providing system may change the viewing screen area shown to the user in the rendered image by using the changed viewing screen area setting information.
  • the multi-dimensional content providing system continuously changes the viewing screen area shown to the user by reflecting the changed viewing area direction in the rendered image.
  • the multi-dimensional content providing system preferably controls the preset margin area of the 2D partial image unit to be provided to the user.
  • the boundary information may include starting position information or section position information of each of the 2D partial image unit and the 3D partial image unit constituting the complex dimensional content, or performing the dimensional conversion process, wherein the boundary unit is used. Based on the predetermined time period or the predetermined frame period as a target it is preferable to process to have a fade in (fade in) fade out (fade out) effect.
  • the composite dimensional content providing system for providing a user with a multi-dimensional content combined with at least one or more 2D partial image unit and at least one 3D partial image unit
  • the composite dimensional content includes a 2D playback unit for playing back the 2D partial image unit and the three partial image unit; Playback section property information acquisition unit for obtaining playback section property information on whether the partial video unit to be played is the 2D partial video unit or the three partial video unit; part; And a rendering unit which renders the distorted image obtained by the distorted image obtaining unit using a 3D rendering engine.
  • the playback section attribute information acquisition unit may include start position information for each of the 2D partial image unit and the 3D partial image unit constituting the complex dimension content. Obtaining section position information or configuring the multi-dimensional content;
  • time section corresponding information or frame section corresponding information for each of the 2D partial image unit and the 3D partial image unit.
  • the reproduction section attribute information acquisition unit The start position information and the section position "information and acquired in the time period corresponding to the information or the head of the frame correspondence information that the compound D content file a segment portion or, and the compound D content file is independently it is preferable that the phosphorus to be obtained from the "presence attribute information file for the playback section on the outside, or to obtain from the composite-dimensional content providing servers that provide the composite content dimensional image information.
  • the start position information, the section position information, the time section Daeung information, or the frame section correspondence information is configured to include a time section unit or a start time, or includes a frame number section unit or a start frame number. It is preferable that it is.
  • the distortion image may be a bitmap image in units of frames, and the unit in which the rendering unit performs rendering processing processes in units of frames.
  • the rendering processing unit performs rendering processing in a sphere type or rendering processing in a cube type.
  • the multi-dimensional content providing system is driven in a user terminal, the user terminal is a PC, a smartphone, a tablet computer, a portable computer, a game machine, a smart TV, a kiosk terminal, a terminal capable of communicating, including a display device, from outside
  • the multi-dimensional content file is at least one of a terminal which can be obtained and a built-in display device can communicate with the display device through a wired or wireless network.
  • the user terminal running the multi-dimensional content providing system is to receive the multi-dimensional content image information from at least one or more multi-dimensional content providing server using any protocol of HTTP or RTMP, or provide the multi-dimensional content
  • the cone image information is transmitted from a server by a progressive download method or a live streaming method.
  • a sink processing unit for sinking the sound information and the rendered image reproduced by the 2D playback means.
  • At least one preset area of the rendered image is provided to the viewing screen area displayed to the user, and the viewing screen area selection support unit may be configured to support the user's adjustment.
  • the viewing screen area selection support unit supports the user to set a viewing screen area, and the setting of the viewing screen area is for the user to designate or change a viewing area direction for setting the viewing screen area, and the viewing area It is preferable that the designation or the change of the direction be performed through at least one of a keyboard input, a keypad input, a touch input, a voice input, and an operation input.
  • the multi-dimensional content providing system may change the viewing screen area shown to the user in the rendered image by using the changed viewing screen area setting information.
  • the multi-dimensional content providing system continuously changes the viewing screen area shown to the user by reflecting the changed viewing area direction in the rendered image.
  • the boundary information may include starting position information or section position information of each of the 2D partial image unit and the 3D partial image unit constituting the complex dimensional content, or performing the dimensional conversion process, wherein the boundary unit is used. It is to process a fade in and fade out for a predetermined time section or a predetermined frame section based on the desirable .
  • the present invention includes a file header unit; and an image data unit; wherein the image data unit at least one 2D partial image unit; And at least one 3D partial image part, wherein the 2D partial image part and the 3D partial image part alternately appear at least once or more times.
  • a multidimensional content file is presented.
  • the file header section further includes reproduction section attribute information.
  • the reproduction section attribute information further includes information about image data corresponding to the 2D partial image unit and the 3D partial image unit among the image data units.
  • the playback section attribute information may be obtained from the start position information or the section position information of each of the 2D partial image unit and the 3D partial image unit, or correspond to a time section of each of the 2D partial image unit and the 3D partial image unit. It is preferably information or frame section information.
  • the 2D partial image unit and the 3D partial image unit are connected without distinction between physical boundaries. ⁇ Effects of the Invention ⁇
  • multi-dimensional content can be provided to the user without distortion by a single playback means.
  • FIG. 1 is an exemplary diagram of a system configuration for providing multi-dimensional content of the present invention.
  • FIG. 2 is an exemplary diagram of another system configuration for providing multi-dimensional content of the present invention.
  • FIG. 3 is an exemplary diagram of an exemplary information processing method of a multi-dimensional content providing system according to the present invention.
  • FIG. 4 is a diagram for another embodiment of a method for processing information of a multi-dimensional content providing system according to the present invention.
  • FIG. 5 is a diagram for another embodiment of a method for processing information of a multi-dimensional content providing system according to the present invention.
  • FIG. 6 is an exemplary diagram of another system configuration for providing multi-dimensional content of the present invention.
  • FIG. 7 is an exemplary diagram of an exemplary configuration of multi-dimensional content of the present invention.
  • FIG. 8 is an exemplary diagram for one exemplary configuration of multi-dimensional content of the present invention.
  • 9 is a diagram illustrating a general comparison of 3D and 2D images. 10 is a diagram related to 3D image selection.
  • FIG. 11 is a diagram in which an image in which a black border is removed is provided in providing a 2D image.
  • FIG. 1 to 2 is an exemplary diagram of a configuration for providing multi-dimensional content of the present invention.
  • At least one user terminal 100 including the multi-dimensional content providing system 1000 of the present invention is connected to at least one multi-dimensional content providing server 200 through a wired or wireless network 500.
  • the multi-dimensional content providing system 1000 may download a multi-dimensional content file from the multi-dimensional content providing server 200 or may store a multi-dimensional content file stored in the user terminal 100.
  • the present invention includes a multi-dimensional content providing engine 1100 that executes the present invention or executes the present invention for the multi-dimensional content image information obtained from the multi-dimensional content providing server 200.
  • the multi-dimensional content providing engine 1100 may include a 2D playback unit 1110 for reproducing the multi-dimensional content of the present invention, and playback section attribute information for obtaining information about the 2D partial image unit and the 3D image unit with respect to the multi-dimensional content.
  • Acquisition unit 1120 Distortion image acquisition unit 1130 for receiving a distortion image generated when the 2D playback unit 1110 reproduces the 3D partial image included in the multi-dimensional content, Rendering the distortion image
  • the rendering unit 1140 is included.
  • the multidimensional content providing engine 1100 controls the image reproduced by the 2D playback unit 1110 and sound information included in the multidimensional content to be output from the user terminal output device 2000 by matching a sync. It may further include the sink processor 1150.
  • the multidimensional content providing engine 1100 may be configured to increase the image quality provided to the display device 2100 of the user when the 2D partial image part and the 3D partial image part are switched from each other in the multidimensional content.
  • the processor 1160 may be further included.
  • the multi-dimensional content providing engine 1100 may further include a viewing screen region selection support unit 1170 that supports setting and changing a viewing screen region 620 that the user wants to watch in the 3D partial image unit.
  • Image information processed by the multi-dimensional content providing system 1000 may be of two types. The first form is a form of complex dimensional content image information transmitted by the multidimensional content providing server 200 to the user terminal 100 in a streaming or progressive download manner, and the second form is a complex dimension in which the complex dimension content is stored.
  • FIG. 1 illustrates that the multi-dimensional content image information acquisition unit 1200 of the user terminal 100 receives the multi-dimensional content image information from the multi-dimensional content image information transmission unit 220 of the multi-dimensional content providing server 200.
  • Providing the multi-dimensional content image information obtained by the method One exemplary diagram of how the engine 1100 processes.
  • FIG. 2 illustrates that a user obtains a multi-dimensional content file from the multi-dimensional content file transmission unit ⁇ of the multi-dimensional content file providing unit 200 of the user terminal 100 and receives the multi-dimensional content file from the multi-dimensional content file transmission unit ⁇ .
  • the user terminal 100 may include all of the functions of FIGS.
  • the multi-dimensional content providing server 200 may also include all of the functions of FIGS. 1 and 2.
  • the user terminal 100 may receive complex dimensional-content image information from any complex dimensional content providing server 200, may receive complex dimensional content files from another complex dimensional content providing server 200, and may receive a USB. At least one compound dimension content file may be stored in the user terminal 100 in any manner such as an attachment file or the like. Meanwhile, the same multidimensional content providing server 200 may transmit multidimensional content image information to the user terminal 100, but may simultaneously transmit a multidimensional content file to the user terminal 100. It will be apparent to those skilled in the art that a hybrid form in which the inventive idea of FIGS. 1 and 2 may be combined may be constructed.
  • FIG. 7-8 illustrate one embodiment configuration of the configuration of the multi-dimensional content file of the present invention.
  • the compound dimension content file includes a compound dimension content head portion and a compound dimension content data portion.
  • a typical pile head is shown
  • a unique multi-dimensional content head is shown.
  • the multi-dimensional content head section of FIG. 8 further includes a multi-dimensional content playback section information head section including a conventional file head section and the multi-dimensional content playback section information of the present invention.
  • the multi-dimensional content data unit of the present invention is characterized in that it comprises at least one 2D data unit and one 3D data unit. 7 and 8 illustrate that the 3D content unit includes three 2D data units and two 3D data units.
  • the video information of the 2D data part is a 2D part from the viewpoint of the playback object.
  • the image information of the 3D data unit is displayed in the 3D partial image unit.
  • the composite dimensional content data part appears to start with the 2D partial image part and ends with the 2D part image part, but it may be started with the 3D part image part or may end with the 3D part image part. something to do.
  • a boundary between the 2D partial image part and the 3D partial image part includes a boundary that is a boundary between the 2D partial image part and the 3D partial image part. It is preferable that the boundary is not a physical entity but a boundary that passes from the 2D partial image unit to the 3D partial image unit or from the 3D partial image unit to the 2D partial image unit, and thus is identified as a conceptual object.
  • the multi-dimensional content data unit of the present invention is characterized in that the 2D partial image unit and the 3D partial image unit are alternated.
  • Table 1 below describes the Daeung information between the partial image unit and the time section or frame section.
  • the 2D partial image unit corresponds to T1-T2 based on the reproduction time, and corresponds to Frame Number_a-Frame Number_b as the frame number section of the image.
  • the time of Tl, T2, etc. is generally a unit of time divided into seconds or seconds.
  • playback time is 28 frames per second at normal video playback speed.
  • the screen may correspond to 32 frames, but in some cases, more or less frames may be displayed.
  • the start of the frame number which is referred to as reference number 420a, which is the first 3D image part, is denoted by Frame Number _b + l.
  • Frame Number_b + 1 is one frame larger than the last frame number Frame Number_b of the previous 2D partial image part.
  • T2 is displayed as the first 3D partial image part 420a as 1 greater than the minimum time display unit than the last time T2 of the immediately preceding 2D partial image part, but it corresponds to the first 3D partial image part.
  • T2 may be the starting position information of the 2D part image part
  • T2 the Frame Number_b + 1, etc. may be the starting position information of the 3D part image part.
  • the multidimensional content reproduction section information head of the multidimensional content reproduction section information of the present invention as shown in Table 1 (information that a 2D partial image unit or a 3D partial image unit corresponds to a time section or a frame number section) is shown in FIG. 8. It may be included.
  • the reproducing means can distinguish whether the video currently being reproduced is a 2D video or a 3D video by using the multi-dimensional content reproduction section information.
  • the complex dimension content reproduction section information may exist outside the complex dimension content reproduction section information head unit.
  • the playback section attribute information acquisition unit 1120 receives the complex dimension content image information through the complex dimension content image information transmitter 220 of the complex dimension content providing server 200
  • the complex dimension content image information is received.
  • the multi-dimensional content reproduction section information about the multi-dimensional content may be independently transmitted from the dimensional content providing server 200 or when the multi-dimensional content image information is transmitted.
  • the distortion image acquisition unit 1130 of the multi-dimensional content providing engine 1100 obtains the distortion image generated when the 3D partial image unit is reproduced through the 2D playback means and the The renderer 1140 supports rendering.
  • the complex dimension content reproduction section information may also be obtained independently of the complex dimension content file.
  • the multi-dimensional content reproduction section information may also be provided in the form of such an independent file, and the reproduction section attribute information acquisition unit 1120 is provided.
  • the multi-dimensional content reproduction section information may be stored in the multi-dimensional content file unit 1300 in which individual multi-dimensional content is stored.
  • the file including the multi-dimensional content reproduction section information is included in the table.
  • End Frame Number is the starting Frame Number, and End Frame Number will be the ending Frame Number.
  • the 2D partial image unit and the 3D partial image unit should be set to where and how far from the unit of time (second or less) or frame unit, respectively.
  • the format may be an xml file format.
  • GTweenTimeline sets a timeline between playback and end of an image by way of example in the playback means, and the actual image is streamed and played
  • meta information of the image from the multi-dimensional content providing server 200 is real-time.
  • the current time is determined by acquiring a preset second or less than a second, and the playback time / playback time interval of the 2D video and 3D video sections set in the xml file including the multi-dimensional content playback section information is determined. It can also be determined whether the time / frame number.
  • Figure 3 illustrates an exemplary information processing method of the multi-dimensional content providing system 1000 of the present invention.
  • the multi-dimensional content providing system 1000 reproduces the 2D partial image part by 2D reproduction means (S11), recognizes the start of the three partial image part (S12), reproduces the three partial image part by the 2D reproduction means (S13), Obtain the reproduced bitmap image by frame (S14), render the obtained bitmap image by 3D engine (S15), output the rendered image frame by frame (S16), and sync the output rendered image with voice.
  • S17 reproduces the 2D partial image part by 2D reproduction means
  • S12 recognizes the start of the three partial image part
  • S13 reproduces the three partial image part by the 2D reproduction means
  • output the rendered image frame by frame (S16) output the rendered image frame by frame (S16), and sync the output rendered image with voice.
  • S17 To provide
  • the multi-dimensional content providing system 1000 of the present invention is characterized by reproducing the 2D partial image unit or the 3D partial image unit by one 2D reproduction means.
  • a distorted image is generated. do.
  • the reproduction section attribute information acquisition unit 1120 is reproduced at a specific time point If the partial image part is obtained from the fact that the 3D part image part is obtained, the multi-dimensional content providing engine 1100 does not directly send the 3D part image part to be reproduced to the user terminal output device 2000.
  • the distorted image acquisition unit 1130 obtains a distorted bitmap image that is a result of reproduction of the 3D portion image unit reproduced through the 2D playback unit 1110.
  • the rendering processing unit 1142 of the rendering unit 1140 performs rendering processing on the obtained distortion bitmap image, which is a rendering target image obtained by the rendering target image obtaining unit 1141.
  • the acquisition of the distorted bitmap image is performed in units of frames, and the rendering is also performed in a frame of bitmap images.
  • the first method is to render the scene with the sphere type. This method renders to the sphere so you can see more detail. However, because it is an old type, the line part may become crumpled when expressing content with many straight lines.
  • the following is the cube type, which is a regular hexagon, which renders the bitmap data of the texture on 6 sides. In this method, if the video has many horizontal and vertical lines, the line can be expressed as a straight line rather than the sphere type.
  • the "how-up method is obtained from the output of one shot is the way in which the operation is impossible, and rendering is taken each side separately.
  • the quadrant render engine object which is the rendering engine in the actual papervision3d, starts 3D rendering of the screen with the sphere type for each frame.
  • the rendered image is provided outside the renderer 1140 through the render image provider 1143.
  • the sink processor 1150 of the present invention controls the sound information and the image information to be provided by sinking the sound information reproduced by the 2D playback means and the rendered image.
  • the 2D partial image unit or 3D Playback of the partial video portion is steadily performed.
  • the distortion image reproduced by the 2D reproduction means follows the rendering process, it takes more time than the reproduction image of the 2D partial image part by the conventional 2D reproduction means. Therefore, there is a need for a sync to provide the rendered image, such as a sound or a sound, when the 2D reproducing means reproduces the 3D part image unit. Since a detailed sink method of sound (voice, etc.) information generated while the 3D partial image is reproduced by the rendered image and the 2D reproduction means is obvious to those skilled in the art, a detailed description thereof will be omitted.
  • the user may experience uncomfortable situations such as the screen being broken in the middle due to various causes (especially the specifications of the computer being played) between these conversions on the user's display screen. May occur. Accordingly, when switching the screen from the 2D video to the 3D video or the like, it is necessary to perform switching or switching without causing inconvenience to the user.
  • the dimension conversion processing unit obtains boundary information of the 2D partial image unit and the 3D image unit (S21), and based on the obtained boundary information, a dimension in a preset boundary range from the boundary unit of the 2D partial image unit and the 3D partial image unit.
  • the dimension conversion processing unit 1160 obtains boundary information of the 2D partial image unit and the 3D image unit, and based on the obtained boundary information, the 2D partial image unit and the 3D portion.
  • the dimensional conversion process is performed in a preset boundary range from the boundary of the image unit.
  • the boundary information acquisition unit 1161 of the dimension conversion processing unit 1160 obtains information on the boundary portion, and performs the dimension conversion processing in the vicinity of the boundary portion.
  • the dimensional conversion processor performs a fade in and out effect at the instant when the 2D partial image is changed to the 3D partial image or at the instant when the 3D partial image is changed to the 2D partial image.
  • the multi-dimensional content providing engine 1100 may allow at least one preset area of the rendered image to be provided to the viewing screen area 620 displayed to the user.
  • the setting of the viewing screen area 620 is set by the user, and the setting of the viewing screen area 620 may be changed by the user during playback of the complex dimension content.
  • the information about the setting of the viewing screen area 620 is stored in the header information of the multi-dimensional content, or received from the multi-dimensional content providing server 200 that provides the multi-dimensional content, or the composite It may be set in the dimensional content providing system 1000 or changed according to a preset viewing screen area setting rule.
  • FIG. 5 is an exemplary configuration of how the viewing screen region 620 is set up outside of the user.
  • the viewing screen region selection support unit 1170 obtains information for setting the viewing screen region 620 shown to the user (S31), and uses the obtained viewing screen region 620 setting information to view the viewing screen region 620. Obtain 3D partial image information corresponding to S32.
  • the viewing screen region selection support unit 1170 obtains selection information about the 3D partial image unit that the user wants to watch from the user (S41), and obtains the 3D partial image unit that receives the selection information (S42).
  • the user can watch a 3D image in a desired direction through the viewing screen region 620 setting.
  • the setting of the viewing screen area 620 is for the user to designate or change the viewing area direction for setting the viewing screen area 620.
  • the designation or change of the viewing area direction is for keyboard input, keypad input, touch input, Voice input or motion input It is desirable to have one or more inputs.
  • the multi-dimensional content providing system 1000 uses the changed viewing screen region setting information to view the viewing screen region displayed to the user in the rendered image. It is preferable to change 620. For example, in FIG.
  • the user may change the viewing screen area 620 in order to change the viewing screen region 620.
  • the image corresponding to the moved direction may be provided. That is, a single camera has a plurality of lenses for acquiring images corresponding to any two or more directions of up, down, left, right, and back, and each of the images acquired from these lenses may be combined to form one 3D image.
  • the images obtained through the specific lens may be controlled or edited so as to be arranged at a specific position or area of the 3D image.
  • the image on the left side of the currently viewed image may be provided to the user as a new viewing screen area. This is similar to the view on the left when the person who was looking straight turned his head to the left and looked in the left direction.
  • the multi-dimensional content providing system 1000 may continuously change the viewing screen area shown to the user by reflecting the changed viewing area direction in the rendered image. Do.
  • One example of the 3D image of the present invention may be a panoramic image.
  • the panoramic image is magnified in any two or more directions of up, down, left, right, and back by one camera.
  • There are a plurality of lenses to obtain an image and each image obtained from the lens may be combined, or a plurality of cameras may be used to form a panorama image by combining images obtained from each camera.
  • the 3D partial image part may be a panoramic partial image part.
  • FIG. 10 a conceptual diagram of the inventive concept regarding the selection of the viewing screen region 620 as described above is presented.
  • the 3D partial image unit that the user views is part of the 3D partial image unit that is actually reproduced.
  • FIG. 10 illustrates a concept of the inventive concept in which a selected 3D image 630 is provided in which a selected image in a box-viewing screen area 620 is provided to a user among 3D images 610 which are actually reproduced 3D images. Giving. At this time, if the user wants to change the viewing direction on the screen he is viewing, when the changing direction is set, another corresponding image of the preset size (eg, horizontal n * vertical m size) in the changed direction is provided to the user. do.
  • the preset size eg, horizontal n * vertical m size
  • the rendering target of the rendering unit 1140 may be a reproduction result of the entire 3D partial image unit, but only the viewing screen region 620 provided to the user may be rendered. .
  • the result of selecting the viewing screen region 620 by the viewing screen region selection support unit 1170 acts on the rendered video image (takes the selected viewing screen region), but in the latter case, the distortion is the target image to be rendered. Can act on the image.
  • FIGS. 9 and 11 shows an exemplary comparative example of the 3D image and the 2D image of the present invention.
  • the margin processing unit 1180 of the multi-dimensional content providing system 1000 may remove the margins of the 2D partial image unit and provide only an actual image image to the user.
  • the production method of 2D image or 3D image may be different, but both images may be configured as a single file in the form of a general 2D image of 2400x1200 pixels. (As illustrated in FIG.
  • the complex dimension content providing system 1000 detects the black color of the part and automatically records it as metadata in the video header, or Table 1 Information can be processed to record time table values such as As a result, this timetable value may be read in the reproduction of the multi-dimensional content, and image switching may be easily performed based on this.
  • the information processing of the margin processing unit 1180 of the present invention may be described as follows.
  • the actual size of the image can be adjusted through the camera0bject3D class (this class specifies zoom and focus when playing 3D objects) in the papervision3d library.
  • this class specifies zoom and focus when playing 3D objects
  • the playback section of the 2D video portion when playback of the 2D video portion starts, camera.
  • FIG. 11 shows the information processing objects 660 and 650 of the margin processing unit 1180 in contrast with the resultant image 670 after the margin processing.
  • the communication protocol to be delivered may be one of HTTP or RTMP.
  • the method of providing the multidimensional content to the user terminal 100 may include a progressive download method or a live streaming method from the multidimensional content providing server 200 to the user terminal 100. It is preferable that the cone image information is transmitted.
  • Progressive download using the http protocol is the default protocol used by Internet web browsers. It uses 80 ports and performs a certain level of buffering while downloading service images. This is how to play the video.
  • the rtmp protocol uses port 1935 as the protocol used for transmitting live streaming video and plays back the post buffering set at the time point specified by the user by the header meta value sent in real time.
  • a rtmp (live streaming) method that can receive a header value of an image in real time may be more preferable.
  • Table 2 compares the characteristics of progressive download and live streaming.
  • the present invention can be widely used in various content-related businesses such as sports, music, film, documentary, education, advertising, and video related industries. [Explanation of code]
  • Multi-dimensional content progressive download provider Multi-dimensional content header
  • Multi-dimensional content reproduction section information head part Multi-dimensional content data part

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a system for providing complex-dimensional content and a method for providing same. The method whereby the system for providing complex-dimensional content, which provides a user with the complex-dimensional content having at least one 2D-part image portion and at least one 3D-part image portion combined therein, processes information according to the present invention is characterized in that the system for providing complex-dimensional content processes the information by comprising the steps of: (A) playing a 2D-part image portion by means of a 2D play means; (B) playing a 3D-part image portion by means of the 2D play means; (C) obtaining a distortedly played image played in step (B); (D) performing rendering on the distortedly played image obtained in step (C) by means of a 3D rendering engine; and (E) providing the rendered image to a user.

Description

【명세서】  【Specification】
【발명의 명칭】  [Name of invention]
복합 차원 콘텐츠 제공 시스템，그 제공 방법 및 복합 차원 콘텐츠 파일 【기술분야】  Multi-dimensional content providing system, its providing method and multi-dimensional content file 【Technical field】
본 발명은 복합 차원 콘텐츠 제공 시스템， 그 제공 방법 및 복합 차원 콘텐츠 파일에 관한 것으로서， 1개의 파일에 2D 부분 영상부와 3D 부분 영상부가 동시에 포함되어 있는 복합 차원 콘텐츠를 단일한 재생 수단을 통해 제공될 수 있도록 하는 복합 차원 콘텐츠 제공 시스템， 그 제공 방법 및 복합 차원 콘텐츠 파일에 관한 것이다.  The present invention relates to a multi-dimensional content providing system, a method of providing the same, and a multi-dimensional content file, and provides a multi-dimensional content including a 2D partial image part and a 3D partial image part simultaneously in a single file through a single playback means. A multidimensional content providing system, a method of providing the same, and a multidimensional content file.
【발명의 배경이 되는 기술】 [Technique to become background of invention]
과거에는 일반 카메라로 여러 각도의 사진을 다수 촬영해서， 파노라마 사진이나 영상을 만들어 서비스 하는데는 촬영 가능한 장비와 그것을 볼 수 있는 특수한 뷰어가 있다고 해도 사용자의 컴퓨터 사양이 좋지 않으면 동영상 자체가 원할 하게 재생되지 않는 문제가 있었다. 하지만， 보다 편리하게 3D 영상을 촬영할 수 있는 장비의 등장과 함께 사용자의 컴퓨터 사양이 점점 업그레이드 되면서 이제는 문제가 과연 얼마나 좋은 콘텐츠를 사용자에게 제공하는 가가 문제가 되었다.  In the past, even if you use a general camera to take multiple angles of various angles, and you can make a panorama or video, and you have a recordable device and a special viewer that can see them, the video itself will not play smoothly if your computer is not good. There was no problem. However, with the advent of equipment that can shoot 3D images more conveniently, the user's computer specifications have been gradually upgraded, and the problem now is how to provide good content to users.
3D영상 그리고 2D영상은 각각이 사용자들에게 어필할 수 있는 점이 다르다. 따라서 2D 영상과 3D 영상을 1개의 콘텐츠에 복합시키는 복합 차원 콘텐츠가 나온다면 많은 사용자들에게 인기를 끌 수 있을 것으로 예측된다. 한편, 2D영상과 3D영상을 각각 촬영하여 각각을 시청할 수 있는 2D또는 3D video and 2D video are different in that they can appeal to users. Therefore, if multi-dimensional content that combines 2D video and 3D video into one content is produced, it is expected to be popular with many users. On the other hand, 2D or to shoot each 2D video and 3D video to watch each
3D 플레이어로 한쪽이 끝나는 시점에서 다른 플레이어가 이어서 재생되는 방식으로 재생시키는 경우에는 이어지는 시점 즉， 서로 다른 종류의 영상이 교체되는 시점에서 나타나는 플레이어의 새로 고침 현상이 이외로 긴 시간이 걸리며， 사용자들에게 마지 영상의 재생이 끝나 버렸다는 착각을 일으킬 수 있게 된다. If the 3D player is played in a manner in which another player is played at the end of one end, it takes a long time other than the refresh of the player that appears at the next time, that is, when different types of images are replaced. May cause an illusion that the playback of the last video has ended.
이에， 2D와 3D 영상의 통합 편집으로 구성되는 복합 차원 콘텐츠의 필요성이 대두된다. 하지만， 통합 편집 방식은 여러 가지 문제점이 있는데， 통합 편집 시 2D와 3D 영상의 크기가 서로 를리기 때문에 나오는 2D 위，아래 부분은 검은 여백 부분 제어 문제와 2D와 3D 영상이 나오는 시점을 판단하여 3D 렌더링을 제어하는 문제 등이 있었다. Accordingly, there is a need for multi-dimensional content consisting of integrated editing of 2D and 3D images. However, the integrated editing method has a number of problems, such as 2D up and down because the size of 2D and 3D images are different from each other during integrated editing. There were problems with black margin control and 3D rendering by judging the timing of 2D and 3D video.
따라서 , 복합 차원 콘텐츠의 도입 , 복합 차원 콘텐츠의 구성 및 복합 차원 콘텐츠의 서비스를 위한 기술적인 문제 해결 방법이 절실히 요구되어 왔다.  Therefore, there is an urgent need for a technical problem solving method for introduction of multi-dimensional content, construction of multi-dimensional content, and service of multi-dimensional content.
통상적으로 영상 (동영상 등)을 사용자에게 제공할 때， 2D 콘텐츠에 대해서는 2D 플레이어를 통하여 재생되어 사용자에게 제공되었다. 그리고, 파노라마 영상은 3D 콘텐츠만을 전용을 재생하는 3D 플레이어를 통해서만 제공되었다.  In general, when an image (video, etc.) is provided to a user, 2D content is reproduced through a 2D player and provided to the user. And, the panorama image was provided only through the 3D player that plays only the 3D content.
이때， 2D와 3D 콘텐츠를 동일한 재생 수단을 통하여 사용자들에게 제공되지는 않았으며， 더욱이 적어도 한 부분 이상의 2D 부분 영상부와 적어도 한 부분 이상의 3D부분 영상부가 1개의 단일 파일에 통합된 경우， 이러한 단일 파일에 대한 단일한 재생 수단을 통한 서비스 제공은 없었다.  At this time, the 2D and 3D content is not provided to the users through the same playback means, and furthermore, if at least one part of the 2D partial image part and at least one part of the 3D part image part are integrated into one single file, There was no service provision through a single playback means for the file.
특히， 스포츠， 음악， 영화， 다큐멘터리， 교육， 광고 등 각종 콘텐츠에서 2D 영상부와 3D 영상부가 복합된 콘텐츠를 구성하여 제공하면， 사용자들에게 특별한 경험을 제공할 수 있을 것이다. 이에， 2D영상부와 3D영상부가 복합되어 있는 복합 차원 콘텐츠를 제공하는 시스템 및 그 제공 방법에 대한 개발이 절실히 요구되어 왔다. 【발명의 내용】  In particular, if a content composed of a 2D video unit and a 3D video unit is provided in various contents such as sports, music, film, documentary, education, and advertisement, a special experience may be provided to users. Accordingly, there has been a great demand for the development of a system for providing multi-dimensional content in which a 2D image unit and a 3D image unit are combined and a method of providing the same. [Content of invention]
【해결하고자 하는 과제】  Problem to be solved
본 발명이 해결하고자 하는 첫번째 과제는 복합 차원 콘텐츠 제공 시스템을 제시하는 것이다.  The first problem to be solved by the present invention is to provide a multi-dimensional content providing system.
본 발명이 해결하고자 하는 두번째 과제는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법을 제시하는 것이다.  The second problem to be solved by the present invention is to propose an information processing method of a multi-dimensional content providing system.
본 발명이 해결하고자 하는 세번째 과제는 복합 차원 콘텐츠 파일의 구성을 제시하는 것이다.  The third problem to be solved by the present invention is to present the configuration of a multi-dimensional content file.
【과제의 해결 수단】 [Measures of problem]
. 본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여， 적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법에 있어서, 상기 복합 차원 콘텐츠 제공 시스템이 (A) 2D 부분 영상부를 2D 재생 수단으로 재생하는 단계; (B) 3D 부분 영상부를 2D 재생 수단으로 재생하는 단계; (C) 상기 (B) 단계에서 재생되는 왜곡 재생 이미지를 입수하는 단계; (D) 상기 (C) 단계에서 입수한 상기 왜곡 재생 이미지를 3D 렌더링 (rendering) 엔진으로 렌더링 처리하는 단계 ;및 (E) 상기 렌더링 처리된 이미지를 사용자에게 제공하는 단계;를 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법을 제시한다. . In order to achieve the technical problem to be achieved by the present invention, at least one An information processing method of a complex dimensional content providing system for providing a user with complex dimensional content in which the 2D partial image unit and at least one 3D partial image unit are combined, the complex dimensional content providing system (A) the 2D partial image unit Reproducing by 2D reproducing means; (B) reproducing the 3D partial image part by 2D reproducing means; (C) acquiring a distorted reproduction image reproduced in step (B); (D) rendering the distorted reproduction image obtained in the step (C) with a 3D rendering engine; and (E) providing the rendered image to a user. An information processing method of a multi-dimensional content providing system is presented.
상기 복합 차원 콘텐츠 제공 시스템은 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하고,상기 2D부분 영상부의 시작 위치에서 상기 (A) 단계를 실시하고， 상기 3D 부분 영상부의 시작 위치에서 상기 (B) 단계를 실시하는 것인 것이 바람직하다.  The multi-dimensional content providing system obtains start position information or section position information of each of the 2D partial image unit and the 3D partial image unit constituting the multi-dimensional content, and at the start position of the 2D partial image unit (A) Step) and the step (B) at the start position of the 3D partial image part.
상기 시작 위치 정보나 구간 위치 정보는 상기 복합 차원 콘텐츠의 외부에 저장되어 있는 것이거나， 상기 복합 차원 콘텐츠 파일의 헤더에 포함되어 있는 것인 것이 바람직하다.  Preferably, the start position information or the section position information is stored outside the compound dimension content or included in a header of the compound dimension content file.
상기 시작 위치 정보나 구간 위치 정보는 상기 복합 차원 콘텐츠의 관리 정보로 상기 복합 차원 콘텐츠가 저장되고 있는 저장 장치와 동일한 저장 장치 또는 저장 시스템에 되어 있는 것이거나， 상기 복합 차원 콘텐츠를 재생하기 전에， 유무선 네트워크를 통하여 상기 시작 위치 정보를 제공하는 제 3의 시스템으로부터 전송 받는 것인 것이 바람직하다.  The start position information or the section position information may be in the same storage device or storage system as the storage device in which the multi-dimensional content is stored as the management information of the multi-dimensional content, or before playing the multi-dimensional content. It is preferable to receive from a third system that provides the starting position information through a network.
상기 시작 위치 정보나 구간 위치 정보는 시간 구간 단위 또는 시작 시각을 포함하여 구성되는 것이거나， 프레임 번호 구간 단위 또는 시작 프레임 번호를 포함하여 구성되어 있는 것인 것이 바람직하다.  The start position information or section position information may be configured to include a time section unit or a start time, or may be configured to include a frame number section unit or a start frame number.
(F) 상기 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수하는 단계 ;및 (G)입수된 경계 정보에 기초하여，상기 2D부분 영상부와 상기 3D부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행하는 단계;를 더 포함하는 것인 것이 바람직하다.  (F) acquiring boundary information of the 2D partial image unit and the 3D image unit; and (G) based on the acquired boundary information, within a preset boundary range from a boundary of the 2D partial image unit and the 3D partial image unit; Performing a dimensional transformation process; preferably further.
상기 (C)단계는 비트맵 이미지로 프레임 단위로 입수하는 것인 것이며， 상기 (D) 단계는 프레임 단위로 렌더링 처리하는 것인 것이 바람작하다. Step (C) is to obtain a bitmap image frame by frame, The step (D) is preferably to perform the rendering process in units of frames.
상기 (D) 단계는 구형 (sphere) 유형으로 렌더링 처리하는 것이거나， 큐브 (cube) 유형으로 렌더링 처리하는 것인 것이 바람직하다.  In the step (D), the rendering process is performed in a sphere type, or the rendering process is performed in a cube type.
상기 복합 차원 콘텐츠 제공 시스템은 사용자 단말기에서 구동되는 것이며， 상기 (E) 단계는 상기 사용자 단말기에 포함되어 있거나， 상기 사용자 단말기와 유무선 네트워크로 연결된 적어도 하나 이상의 디스플레이 장치로 제공되는 것인 것이며， 상기 복합 차원 콘텐츠는 상기 사용자 단말기에 저장되어 있는 것이거나， 상기 사용자 단말기와 유무선 네트워크로 연결되는 적어도 하나 이상의 서버로부터 실시간으로 제공되는 것인 것이 바람직하다. 상기 복합 차원 콘텐츠가 상기 사용자 단말기에 제공되는 방법은 상기 서버로부터 상기 사용자 단말기에 ΗΊΤΡ 또는 RTMP 중 어느 하나의 프로토콜을 사용하여 복합 차원 콘텐츠 영상 정보를 전송되는 것얀 것이 바람직하다.  The multi-dimensional content providing system is driven in a user terminal, the step (E) is included in the user terminal or provided to at least one display device connected to the user terminal via a wired or wireless network, the composite The dimensional content may be stored in the user terminal or provided in real time from at least one server connected to the user terminal through a wired or wireless network. In the method of providing the multi-dimensional content to the user terminal, it is preferable that the multi-dimensional content image information is transmitted from the server to the user terminal using any protocol of ΗΊΤΡ or RTMP.
상기 복합 차원 콘텐츠가 상기 사용자 단말기에 제공되는 방법은 상기 서버로부터 상기 사용자 단말기에 프로그레시브 다운로드 방식 또는 라이브 스트리밍 방식으로 상기 콘 영상 정보가 전송되는 것인 것이 바람직하다. 상기 (E) 단계는 상기 2D 재생 수단이 재생하는 소리 정보와 상기 (D) 단계에서 렌더링 처리된 이미지를 씽크 (sync)하여 소리 정보와 이미지 정보가 함께 제공되는 것인 것이 바람직하다.  In the method of providing the multi-dimensional content to the user terminal, the cone image information may be transmitted from the server to the user terminal in a progressive download method or a live streaming method. In the step (E), it is preferable that the sound information and the image information are provided by syncing the sound information reproduced by the 2D playback means and the image rendered in the step (D).
상기 (E) 단계는 상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역으로 제공되는 것이 바람직하다. 상기 시청 화면 영역의 설정에 관한 정보는 상기 복합 차원 콘텐츠의 헤더 정보에 저장되어 있거나， 상기 복합 차원 콘텐츠를 제공하는 서버로부터 전송받는 것이거나， 상기 복합 차원 콘텐츠 제공 시스템에서 설정되거나 기 설정된 시청 화면 영역 설정 규칙에 따라 변경되는 것인 것이 바람직하다. 상기 시청 화면 영역의 설정은 상기 사용자가 설정하는 것인 것이며， 상기 시청 화면 영역의 설정은 상기 사용자가 상기 복합 차원 콘텐츠의 재생 중에 변경할 수 있는 것인 것이 바람직하다.  In the step (E), it is preferable that at least one predetermined area of the rendered image is provided as a viewing screen area where the user is shown. The information about the setting of the viewing screen area is stored in header information of the complex dimension content, is received from a server providing the complex dimension content, or is a viewing screen area set or preset in the complex dimension content providing system. It is preferable to change according to a setting rule. Preferably, the setting of the viewing screen area is set by the user, and the setting of the viewing screen area may be changed by the user during playback of the complex dimension content.
상기 시청 화면 영역의 설정은 상기 사용자가 시청 화면 영역 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이며， 상기 시청 영역 방향의 지정이나 변경은 키보드 입력， 키패드 입력， 터치 입력， 음성 입력， 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어지는 것인 것이 바람직하다. The setting of the viewing screen area is for the user to designate or change the viewing area direction for setting the viewing screen area, and the designation or the change of the viewing area direction is keyboard input, keypad input, touch input, voice input, operation input. It is preferable that it is made through any one or more of the input.
상기 시청 화면 영역 설정에서 변경이 있는 경우， 상기 복합 차원 콘텐츠 제공 시스템은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역을 변경하는 것인 것이 바람직하다.  When there is a change in the viewing screen area setting, the multi-dimensional content providing system may change the viewing screen area shown to the user in the rendered image by using the changed viewing screen area setting information.
상기 시청 영역 방향이 변경되는 경우， 상기 복합 차원 콘텐츠 제공 시스템은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것이 바람직하다.  When the viewing area direction is changed, it is preferable that the multi-dimensional content providing system continuously changes the viewing screen area shown to the user by reflecting the changed viewing area direction in the rendered image.
상기 복합 차원 콘텐츠 제공 시스템은 상기 2D 부분 영상부의 재생 결과가 사용자에게 제공될 때， 상기 2D 부분 영상부의 기 설정된 여백 영역이 제외되고 사용자에게 제공되도록 제어하는 것인 것이 바람직하다.  When the reproduction result of the 2D partial image unit is provided to the user, the multi-dimensional content providing system preferably controls the preset margin area of the 2D partial image unit to be provided to the user.
상기 경계 정보는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 사용하는 것인 것이거나, 상기 차원 변환 처리를 수행하는 것은 상기 경계부를 기준으로 기 설정된 시간 구간 또는 기 설정된 프레임 구간을 대상으로 하여 페이드 인 (fade in) 페이드 아웃 (fade out) 효과가 나도록 처리하는 것인 것이 바람직하다.  The boundary information may include starting position information or section position information of each of the 2D partial image unit and the 3D partial image unit constituting the complex dimensional content, or performing the dimensional conversion process, wherein the boundary unit is used. Based on the predetermined time period or the predetermined frame period as a target it is preferable to process to have a fade in (fade in) fade out (fade out) effect.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템에 있어서, 상기 복합 차원 콘텐츠 제공 시스템은 2D 부분 영상부와 쓰리 부분 영상부를 재생하는 2D 재생부; 재생 대상이 되는 부분 영상부가 2D 부분 영상부인지 쓰리 부분 영상부인지에 대한 재생 구간 속성 정보를 입수하는 재생 구간 속성 정보 입수부；및 상기 2D 재생부가 3D 부분 영상부를 재생한 결과를 입수하는 왜곡 이미지 입수부; 상기 왜곡 이미지 입수부가 입수하는 왜곡 이미지를 3D 렌더링 엔진으로 렌더링 처리하는 렌더링부;를 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템을 제시한다.  In order to achieve the technical problem to be achieved by the present invention, in the multi-dimensional content providing system for providing a user with a multi-dimensional content combined with at least one or more 2D partial image unit and at least one 3D partial image unit, the composite dimensional content The providing system includes a 2D playback unit for playing back the 2D partial image unit and the three partial image unit; Playback section property information acquisition unit for obtaining playback section property information on whether the partial video unit to be played is the 2D partial video unit or the three partial video unit; part; And a rendering unit which renders the distorted image obtained by the distorted image obtaining unit using a 3D rendering engine.
상기 재생 구간 속성 정보 입수부는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하는 것이거나， 상기 복합 차원 콘텐츠를 구성하는 상기The playback section attribute information acquisition unit may include start position information for each of the 2D partial image unit and the 3D partial image unit constituting the complex dimension content. Obtaining section position information or configuring the multi-dimensional content;
2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시간 구간 대응 정보 또는 프레임 구간 대응 정보를 입수하는 것인 것이 바람직하다. It is preferable to obtain time section corresponding information or frame section corresponding information for each of the 2D partial image unit and the 3D partial image unit.
상기 재생 구간 속성 정보 입수부는 상기 시작 위치 정보나 상기 구간 위치 '정보나 상기 시간 구간 대응 정보 또는 상기 프레임 구간 대응 정보를 상기 복합 차원 콘텐츠 파일의 헤드부에서 입수하거나， 상기 복합 차원 콘텐츠 파일과는 독립적으로 외부에 '존재하는 재생 구간 속성 정보 파일로부터 입수하는 것인 것이거나， 상기 복합 차원 콘텐츠 영상 정보를 제공하는 복합 차원 콘텐츠 제공 서버로부터 입수하는 것인 것이 바람직하다. The reproduction section attribute information acquisition unit The start position information and the section position "information and acquired in the time period corresponding to the information or the head of the frame correspondence information that the compound D content file a segment portion or, and the compound D content file is independently it is preferable that the phosphorus to be obtained from the "presence attribute information file for the playback section on the outside, or to obtain from the composite-dimensional content providing servers that provide the composite content dimensional image information.
상기 시작 위치 정보나 상기 구간 위치 정보나 상기 시간 구간 대웅 정보 또는 상기 프레임 구간 대응 정보는 시간 구간 단위 또는 시작 시각을 포함하여 구성되는 것이거나， 프레임 번호 구간 단위 또는 시작 프레임 번호를 포함하여 구성되어 있는 것인 것이 바람직하다.  The start position information, the section position information, the time section Daeung information, or the frame section correspondence information is configured to include a time section unit or a start time, or includes a frame number section unit or a start frame number. It is preferable that it is.
상기 2D부분 영상부와 상기 3D 영상부의 경계 정보를 입수하고， 입수된 경계 정보에 기초하여， 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행하는 차원 전환 처리부；를 더 포함하는 것이 바람직하다. 상기 왜곡 이미지는 프레임 단위의 비트맵 이미지인 것이며， 상기 렌더링부가 렌더링 처리를 수행하는 단위는 프레임 단위로 처리하는 것인 것이 바람직하다.  Obtaining the boundary information of the 2D partial image unit and the 3D image unit, and performing dimension conversion processing in a preset boundary range from the boundary of the 2D partial image unit and the 3D partial image unit based on the obtained boundary information. It is preferable that a processing part is further included. The distortion image may be a bitmap image in units of frames, and the unit in which the rendering unit performs rendering processing processes in units of frames.
상기 렌더링 처리부가 렌더링 처리를 수행하는 것은 구형 (sphere) 유형으로 렌더링 처리하는 것이거나， 큐브 (cube) 유형으로 렌더링 처리하는 것인 것이 바람직하다.  It is preferable that the rendering processing unit performs rendering processing in a sphere type or rendering processing in a cube type.
상기 복합 차원 콘텐츠 제공 시스템은 사용자 단말기에서 구동되는 것이며， 상기 사용자 단말기는 PC, 스마트폰， 태블릿 컴퓨터， 휴대용 컴퓨터， 게임기， 스마트 TV, 키오스크 단말기， 통신 가능하며 디스플레이 장치가 포함되어 있는 단말기， 외부로부터 복합 차원 콘텐츠 파일이 입수될 수 있고 디스플레이 장치가 내장되거나， 유무선 네트워크로 디스플레이 장치와 통신 가능한 단말기 중 어느 하나 이상인 것이 바람직하다. 상기 복합 차원 콘텐츠 제공 시스템이 구동되는 사용자 단말기는 적어도 하나 이상의 복합 차원 콘텐츠 제공 서버로부터 HTTP또는 RTMP중 어느 하나의 프로토콜을 사용하여 복합 차원 콘텐츠 영상 정보를 전송받는 것인 것이거나， 상기 복합 차원 콘텐츠 제공 서버로부터 프로그레시브 다운로드 방식 또는 라이브 스트리밍 방식으로 상기 콘 영상 정보가 전송받는 것인 것이 바람직하다. The multi-dimensional content providing system is driven in a user terminal, the user terminal is a PC, a smartphone, a tablet computer, a portable computer, a game machine, a smart TV, a kiosk terminal, a terminal capable of communicating, including a display device, from outside It is preferable that the multi-dimensional content file is at least one of a terminal which can be obtained and a built-in display device can communicate with the display device through a wired or wireless network. The user terminal running the multi-dimensional content providing system is to receive the multi-dimensional content image information from at least one or more multi-dimensional content providing server using any protocol of HTTP or RTMP, or provide the multi-dimensional content Preferably, the cone image information is transmitted from a server by a progressive download method or a live streaming method.
상기 2D 재생 수단이 재생하는 소리 정보와 렌더링 처리된 이미지를 씽크하는 씽크 처리부;를 더 포함하는 것이 바람직하다.  It is preferable to further include; a sink processing unit for sinking the sound information and the rendered image reproduced by the 2D playback means.
상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역으로 제공되는 것이 상기 사용자가 조절할 수 있도록 지원하는 시청 화면 영역 선택 지원부；를 포함하는 것인 것이 바람직하다. 상기 시청 화면 영역 선택 지원부는 상기 사용자로 하여금 시청 화면 영역의 설정을 지원하는 것이며， 상기 시청 화면 영역의 설정은 상기 사용자가 시청 화면 영역 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이며， 상기 시청 영역 방향의 지정이나 변경은 키보드 입력， 키패드 입력， 터치 입력, 음성 입력, 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어 지는 것인 것이 바람직하다.  Preferably, at least one preset area of the rendered image is provided to the viewing screen area displayed to the user, and the viewing screen area selection support unit may be configured to support the user's adjustment. The viewing screen area selection support unit supports the user to set a viewing screen area, and the setting of the viewing screen area is for the user to designate or change a viewing area direction for setting the viewing screen area, and the viewing area It is preferable that the designation or the change of the direction be performed through at least one of a keyboard input, a keypad input, a touch input, a voice input, and an operation input.
상기 시청 화면 영역 설정에서 변경이 있는 경우， 상기 복합 차원 콘텐츠 제공 시스템은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역을 변경하는 것인 것이 바람직하다.  When there is a change in the viewing screen area setting, the multi-dimensional content providing system may change the viewing screen area shown to the user in the rendered image by using the changed viewing screen area setting information.
상기 시청 영역 방향이 변경되는 경우， 상기 복합 차원 콘텐츠 제공 시스템은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것이 바람직하다.  When the viewing area direction is changed, it is preferable that the multi-dimensional content providing system continuously changes the viewing screen area shown to the user by reflecting the changed viewing area direction in the rendered image.
상기 경계 정보는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 사용하는 것인 것이거나, 상기 차원 변환 처리를 수행하는 것은 상기 경계부를 기준으로 기 설정된 시간 구간 또는 기 설정된 프레임 구간을 대상으로 하여 페이드인 페이드 아웃 효과가 나도록 처리하는 것인 것이 바람직하다 . The boundary information may include starting position information or section position information of each of the 2D partial image unit and the 3D partial image unit constituting the complex dimensional content, or performing the dimensional conversion process, wherein the boundary unit is used. It is to process a fade in and fade out for a predetermined time section or a predetermined frame section based on the desirable .
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여， 파일 헤더부；및 영상 데이터부;를 포함하며， 상기 영상 데이터부는 적어도 하나 이상의 2D 부분 영상부; 및 적어도 하나 이상의 3D 부분 영상부；를 포함하는 것이며， 상기 2D 부분 영상부와 상기 3D 부분 영상부는 적어도 1회 이상 교번하여 나타나는 것인. 것을 특징으로 하는 복합 차원 콘텐츠 파일을 제시한다.  In order to achieve the technical problem to be achieved by the present invention, includes a file header unit; and an image data unit; wherein the image data unit at least one 2D partial image unit; And at least one 3D partial image part, wherein the 2D partial image part and the 3D partial image part alternately appear at least once or more times. A multidimensional content file is presented.
상기 파일 헤더부에는 재생 구간 속성 정보가 더 포함되어 있는 것인 것이 바람직하다.  Preferably, the file header section further includes reproduction section attribute information.
상기 재생 구간 속성 정보는 상기 영상 데이터부 중에서 상기 2D 부분 영상부와 상기 3D 부분 영상부에 대응되는 영상 데이터에 대한 정보가 더 포함되어 있는 것인 것이 바람직하다.  Preferably, the reproduction section attribute information further includes information about image data corresponding to the 2D partial image unit and the 3D partial image unit among the image data units.
재생 구간 속성 정보는 상기 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하는 것이거나， 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시간 구간 대응 정보 또는 프레임 구간 대웅 정보인 것이 바람직하다.  The playback section attribute information may be obtained from the start position information or the section position information of each of the 2D partial image unit and the 3D partial image unit, or correspond to a time section of each of the 2D partial image unit and the 3D partial image unit. It is preferably information or frame section information.
상기 2D 부분 영상부와 상기 3D 부분 영상부는 물리적인 경계의 구분 없이 연결되어 있는 것인 것이 바람직하다. 【발명의 효과】  Preferably, the 2D partial image unit and the 3D partial image unit are connected without distinction between physical boundaries. 【Effects of the Invention】
본 발명을 활용하면, 다음과 같은 효과가 있다.  By utilizing the present invention, the following effects are obtained.
첫째, 복합 차원 콘텐츠를 단일한 재생 수단으로 왜곡 없이 사용자에게 제공할 수 있다.  First, multi-dimensional content can be provided to the user without distortion by a single playback means.
둘째, 3D 영상 중에서 사용자가 원하는 3D 부분 영상부의 특정 부분을 선택할 수 있게 할 수 있고， 선택된 3D 부분 영상을 사용자에게 제공할 수 있다.  Second, it is possible to allow a user to select a specific part of the 3D partial image part among 3D images, and provide the user with the selected 3D partial image.
셋째， 스포츠， 음악， 영화， 다큐멘터리， 교육， 광고 등 각종 콘텐츠에서 2D 영상부와 3D 영상부가 복합된 콘텐츠를 구성하여 제공하면, 사용자들에게 특별한 경험을 제공할 수 있을 것이다. 【도면의 간단한 설명】 Third, if a content composed of a 2D video unit and a 3D video unit is provided in various contents such as sports, music, film, documentary, education, and advertisement, a special experience may be provided to users. [Brief Description of Drawings]
도 1은 본 발명의 복합 차원 콘텐츠 제공을 위한 시스템적 구성에 대한 일 실시예적 도면이다.  1 is an exemplary diagram of a system configuration for providing multi-dimensional content of the present invention.
도 2는 본 발명의 복합 차원 콘텐츠 제공을 위한 다른 시스템적 구성에 대한 일 실시예적 도면이다.  2 is an exemplary diagram of another system configuration for providing multi-dimensional content of the present invention.
도 3은 본 발명의 복합 차원 콘텐츠 제공 시스템의 일 실시예적 정보 처리 방법에 대한 일 실시예적 도면이다.  3 is an exemplary diagram of an exemplary information processing method of a multi-dimensional content providing system according to the present invention.
도 4는 본 발명의 복합 차원 콘텐츠 제공 시스템의 다른 일 실시예적 정보 처리 방법에 대한 일 실시예적 도면이다.  4 is a diagram for another embodiment of a method for processing information of a multi-dimensional content providing system according to the present invention.
도 5는 본 발명의 복합 차원 콘텐츠 제공 시스템의 또 다른 일 실시예적 정보 처리 방법에 대한 일 실시예적 도면이다.  FIG. 5 is a diagram for another embodiment of a method for processing information of a multi-dimensional content providing system according to the present invention.
도 6은 본 발명의 복합 차원 콘텐츠 제공을 위한 또 다른 시스템적 구성에 대한 일 실시예적 도면이다.  6 is an exemplary diagram of another system configuration for providing multi-dimensional content of the present invention.
도 7은 본 발명의 복합 차원 콘텐츠의 일 실시예적 구성에 대한 일 실시예적 도면이다.  7 is an exemplary diagram of an exemplary configuration of multi-dimensional content of the present invention.
도 8은 본 발명의 복합 차원 콘텐츠의 다론 일 실시예적 구성에 대한 일 실시예적 도면이다.  8 is an exemplary diagram for one exemplary configuration of multi-dimensional content of the present invention.
도 9는 3D영상과 2D영상에 대한 개괄적인 비교를 보여 주는 도면이다. 도 10은 3D 영상선택에 관한 도면이다.  9 is a diagram illustrating a general comparison of 3D and 2D images. 10 is a diagram related to 3D image selection.
도 11은 2D 영상의 제공에서 검은색 테두리가 제거된 영상이 제공되는 도면이다.  FIG. 11 is a diagram in which an image in which a black border is removed is provided in providing a 2D image.
【발명을 실시하기 위한 구체적인 내용】  [Specific contents to carry out invention]
이하， 도면을 참조하면서 더욱 더 상세하게 설명한다.  It will be described below in more detail with reference to the drawings.
도 1내지 도 2는 본 발명의 복합 차원 콘텐츠 제공을 위한 구성에 관한 실시예적 도면이다. 본 발명의 복합 차원 콘텐츠 제공 시스템 (1000)이 포함되어 있는 적어도 하나 이상의 사용자 단말기 (100)는 유무선 네트워크 (500)를 통하여 적어도 하나 이상의 복합 차원 콘텐츠 제공 서버 (200)에 연결되어 있다. 상기 복합 차원 콘텐츠 제공 시스템 (1000)은 상기 복합 차원 콘텐츠 제공 서버 (200)로부터 복합 차원 콘텐츠 파일을 다운로드 받거나， 상기 사용자 단말기 (100)에 저장되어 있는 복합 차원 콘텐츠 파일을 대상으로 본 발명 사상을 실행하거나， 상기 복합 차원 콘텐츠 제공 서버 (200)로부터 입수 받는 복합 차원 콘텐츠 영상 정보를 대상으로 본 발명 사상을 실행하는 복합 차원 콘텐츠 제공 엔진 (1100)을 포함하고 있다. 1 to 2 is an exemplary diagram of a configuration for providing multi-dimensional content of the present invention. At least one user terminal 100 including the multi-dimensional content providing system 1000 of the present invention is connected to at least one multi-dimensional content providing server 200 through a wired or wireless network 500. The multi-dimensional content providing system 1000 may download a multi-dimensional content file from the multi-dimensional content providing server 200 or may store a multi-dimensional content file stored in the user terminal 100. The present invention includes a multi-dimensional content providing engine 1100 that executes the present invention or executes the present invention for the multi-dimensional content image information obtained from the multi-dimensional content providing server 200.
상기 복합 차원 콘텐츠 제공 엔진 (1100)은 본 발명의 복합 차원 콘텐츠를 재생하는 2D 재생부 (1110)， 상기 복합 차원 콘텐츠에 대하여 2D부분 영상부와 3D 영상부에 대한 정보를 입수하는 재생 구간 속성 정보 입수부 (1120)， 상기 복합 차원 콘텐츠에 포함되어 있는 3D부분 영상을 상기 2D 재생부 (1110)가 재생했을 때 생성되는 왜곡 이미지를 입수하는 왜곡 이미지 입수부 (1130)， 상기 왜곡 이미지를 렌더링 처리하는 렌더링부 (1140)를 포함하고 있다. 한편， 상기 복합 차원 콘텐츠 제공 엔진 (1100)은 상기 2D 재생부 (1110)가 재생하는 영상과 상기 복합 차원 콘텐츠에 포함되어 있는 사운드 정보가 씽크를 맞춰서 사용자 단말기 출력 장치 (2000)에서 출력되도록 제어하는 씽크 처리부 (1150)를 더 포함하고 있을 수 있다. 그리고， 상기 복합 차원 콘텐츠 제공 엔진 (1100)은 상기 복합 차원 콘텐츠에서 2D 부분 영상부와 3D 부분 영상부가 서로에서 서로로 전환될 때 사용자의 디스플레이 장치 (2100)에 제공되는 영상 품질을 제고시키는 차원 전환 처리부 (1160)를 더 포함하고 있올 수 있다. 나아가 상기 복합 차원 콘텐츠 제공 엔진 (1100)은 3D 부분 영상부에서 사용자가 시청하기를 원하는 시청 화면 영역 (620)의 설정과 변경을 지원하는 시청 화면 영역 선택 지원부 (1170)를 더 포함하고 있을 수 있다. 상기 복합 차원 콘텐츠 제공 시스템 (1000)이 처리하는 영상 정보는 크게 2가지 형태가 있을 수 있다. 첫번째 형태는 상기 복합 차원 콘텐츠 제공 서버 (200)가 스트리밍 또는 프로그레시브 다운로드 방식 등으로 상기 사용자 단말기 (100)에 전송되는 복합 차원 콘텐츠 영상 정보의 형태이며， 두번째 형태는 복합 차원 콘텐츠가 저장되어 있는 복합 차원 콘텐츠 파일 형태가 될 수 있다. 도 1은 상기 사용자 단말기 (100)의 복합 차원 콘텐츠 영상 정보 입수부 (1200)가 상기 복합 차원 콘텐츠 제공 서버 (200)의 복합 차원 콘텐츠 영상 정보 전송부 (220)로부터 복합 차원 콘텐츠 영상 정보를 전송받는 방식으로 입수하는 복합 차원 콘텐츠 영상 정보를 상기 복합 차원 콘텐츠 제공 엔진 (1100)이 처리하는 방식에 대한 일 실시예적 도면이다. 도 2는 상기 사용자 단말기 (100)의 복합 차원 콘텐츠 파일 입수부가 상기 복합 차원 콘텐츠 제공 서버 (200)의 복합 차원 콘텐츠 파일 전송부 ^부터 복합 차원 콘텐츠 파일을 전송 받고， 상기 복합 차원 콘텐츠 파일을 상기 복합 차원 콘텐츠 제공 엔진 (1100)이 처리하는 방식에 대한 일 실시예적 도면이다. 물론， 상기 사용자 단말기 (100)에는 도 1 및 도 2의 기능 모두가 포함되어 있을 수 있으며， 상기 복합 차원 콘텐츠 제공 서버 (200)도 도 1 및 도 2의 기능 모두를 포함할 수 있다. 상기 사용자 단말기 (100)는 어떤 복합 차원 콘텐츠 제공 서버 (200)로부터는 복합 차원-콘텐츠 영상 정보를 입수 받고， 다른 복합 차원 콘텐츠 제공 서버 (200)로부터는 복합 차원 콘텐츠 파일을 입수 받을 수 있으며， USB나 첨부 파일 등 임의의 방식으로 적어도 하나 이상의 복합 차원 콘텐츠 파일이 상기 사용자 단말기 (100)에 저장되게 할 수 있다. 한편， 동일한 복합 차원 콘텐츠 제공 서버 (200)가 복합 차원 콘텐츠 영상 정보를 사용자 단말기 (100)에 전송할 수도 있지만， 동시에 복합 차원 콘텐츠 파일을 사용자 단말기 (100)에 전송할 수도 있을 것이다.따라서，도시하지는 않았지만,도 1및 도 2의 발명 사상이 결합된 하이브리드 형태가 구성될 수 있음은 당업자에게 자명할 것이다. The multi-dimensional content providing engine 1100 may include a 2D playback unit 1110 for reproducing the multi-dimensional content of the present invention, and playback section attribute information for obtaining information about the 2D partial image unit and the 3D image unit with respect to the multi-dimensional content. Acquisition unit 1120, Distortion image acquisition unit 1130 for receiving a distortion image generated when the 2D playback unit 1110 reproduces the 3D partial image included in the multi-dimensional content, Rendering the distortion image The rendering unit 1140 is included. Meanwhile, the multidimensional content providing engine 1100 controls the image reproduced by the 2D playback unit 1110 and sound information included in the multidimensional content to be output from the user terminal output device 2000 by matching a sync. It may further include the sink processor 1150. In addition, the multidimensional content providing engine 1100 may be configured to increase the image quality provided to the display device 2100 of the user when the 2D partial image part and the 3D partial image part are switched from each other in the multidimensional content. The processor 1160 may be further included. Furthermore, the multi-dimensional content providing engine 1100 may further include a viewing screen region selection support unit 1170 that supports setting and changing a viewing screen region 620 that the user wants to watch in the 3D partial image unit. . Image information processed by the multi-dimensional content providing system 1000 may be of two types. The first form is a form of complex dimensional content image information transmitted by the multidimensional content providing server 200 to the user terminal 100 in a streaming or progressive download manner, and the second form is a complex dimension in which the complex dimension content is stored. It can be in the form of a content file. FIG. 1 illustrates that the multi-dimensional content image information acquisition unit 1200 of the user terminal 100 receives the multi-dimensional content image information from the multi-dimensional content image information transmission unit 220 of the multi-dimensional content providing server 200. Providing the multi-dimensional content image information obtained by the method One exemplary diagram of how the engine 1100 processes. FIG. 2 illustrates that a user obtains a multi-dimensional content file from the multi-dimensional content file transmission unit ^ of the multi-dimensional content file providing unit 200 of the user terminal 100 and receives the multi-dimensional content file from the multi-dimensional content file transmission unit ^. One exemplary diagram of how the dimensional content providing engine 1100 processes. Of course, the user terminal 100 may include all of the functions of FIGS. 1 and 2, and the multi-dimensional content providing server 200 may also include all of the functions of FIGS. 1 and 2. The user terminal 100 may receive complex dimensional-content image information from any complex dimensional content providing server 200, may receive complex dimensional content files from another complex dimensional content providing server 200, and may receive a USB. At least one compound dimension content file may be stored in the user terminal 100 in any manner such as an attachment file or the like. Meanwhile, the same multidimensional content providing server 200 may transmit multidimensional content image information to the user terminal 100, but may simultaneously transmit a multidimensional content file to the user terminal 100. It will be apparent to those skilled in the art that a hybrid form in which the inventive idea of FIGS. 1 and 2 may be combined may be constructed.
본 발명의 복합 차원 콘텐츠 파일은 특별한 방식으로 구성되어 있다.도 7 내지 도 8은 본 발명의 복합 차원 콘텐츠 파일의 구성 형태의 일 실시예적 구성을 나타낸다.  The multi-dimensional content file of the present invention is organized in a special manner. [0055] Figures 7-8 illustrate one embodiment configuration of the configuration of the multi-dimensional content file of the present invention.
복합 차원 콘텐츠 파일은 복합 차원 콘텐츠 헤드부와 복합 차원 콘텐츠 데이터부를 포함하여 구성된다. 도 7에서는 통상적인 파일 헤드부가 도시되어 있으며， 도 8에서는 본 발명의 특유한 복합 차원 콘텐츠 헤드부가 도시되어 있다. 도 8의 복합 차원 콘텐츠 헤드부에는 통상적인 파일 헤드부와 본 발명의 복합 차원 콘텐츠 재생 구간 정보를 포함하고 있는 복합 차원 콘텐츠 재생 구간 정보 헤드부를 더 포함하고 있다. 도 7과 도 8에서 알 수 있듯이， 본 발명의 복합 차원 콘텐츠 데이터부는 2D 데이터부와 3D 데이터부가 각각 하나 이상씩을 포함하고 있는 것을 특징으로 한다. 상기 도 7 및 도 8에서 예시되는 복합 차원 콘텐츠는 3개의 2D 데이터부와 2개의 3D 데이터부를 포함하는 것이 예시되어 있다. 상기 2D 데이부의 영상 정보는 재생 대상의 관점에서 2D 부분 영상부에 대응 되며， 상기 3D 데이터부의 영상 정보는 3D 부분 영상부에 대웅된다. 도 7 및 도 8에서는 복합 차원 콘텐츠 데이터부가 2D 부분 영상부부터 시작되는 것으로 나오고, 2D 부분 영상부로 마치는 것으로 나와 있지만， 3D 부분 영상부부터 시작될 수도 있으며， 3D 부분 영상부로 마칠 수도 있음은 당업자에게 자명할 것이다. 한편， 2D 부분 영상부와 3D 부분 영상부 사이에는 상기 2D 부분 영상부와 3D 부분 영상부의 경계가 되는 경계부가 포함되어 있다. 상기 경계부는 물리적 실체라기 보다는 2D 부분 영상부에서 3D 부분 영상부로 넘어가거나， 3D 부분 영상부에서 2D 부분 영상부로 넘어가는 경계로, 개념적 대상으로 파악되는 것이 바람직할 것이다. The compound dimension content file includes a compound dimension content head portion and a compound dimension content data portion. In Fig. 7, a typical pile head is shown, and in Fig. 8 a unique multi-dimensional content head is shown. The multi-dimensional content head section of FIG. 8 further includes a multi-dimensional content playback section information head section including a conventional file head section and the multi-dimensional content playback section information of the present invention. As can be seen in Figures 7 and 8, the multi-dimensional content data unit of the present invention is characterized in that it comprises at least one 2D data unit and one 3D data unit. 7 and 8 illustrate that the 3D content unit includes three 2D data units and two 3D data units. The video information of the 2D data part is a 2D part from the viewpoint of the playback object. Corresponding to the image unit, the image information of the 3D data unit is displayed in the 3D partial image unit. In FIG. 7 and FIG. 8, the composite dimensional content data part appears to start with the 2D partial image part and ends with the 2D part image part, but it may be started with the 3D part image part or may end with the 3D part image part. something to do. Meanwhile, a boundary between the 2D partial image part and the 3D partial image part includes a boundary that is a boundary between the 2D partial image part and the 3D partial image part. It is preferable that the boundary is not a physical entity but a boundary that passes from the 2D partial image unit to the 3D partial image unit or from the 3D partial image unit to the 2D partial image unit, and thus is identified as a conceptual object.
본 발명의 복합 차원 콘텐츠 데이터부는 2D 부분 영상부와 3D 부분 영상부가 교대되는 것이 특징인데, 상기 2D 부분 영상부와 상기 쓰리 부분 영상부는 영상부의 재생의 관점에서 시간 구간 또는 프레임 구간과 대웅되게 된다.  The multi-dimensional content data unit of the present invention is characterized in that the 2D partial image unit and the 3D partial image unit are alternated.
하기 표 1은 이러한 부분 영상부와 시간 구간 또는 프레임 구간 간의 대웅 정보를 설명하고 있다.  Table 1 below describes the Daeung information between the partial image unit and the time section or frame section.
【표 11 Table 11
Figure imgf000014_0001
Figure imgf000014_0001
상기 표 1의 대웅 프레임 번호 구간에서 _a, _b, _c, -d, _e등은 프레임 번호를 표시하는 것이다.  _A, _b, _c, -d, _e, etc. in the Daeung frame number section of Table 1 indicate frame numbers.
도면 부호 410a에 대웅되는 2D 부분 영상부는 재생 시간을 기준으로는 T1-T2사이에 대응되며， 영상의 프레임 번호 구간 기준으로는 Frame Number _a-Frame Number_b에 대응된다. 통상적으로 Tl, T2 등의 시간은 초 단위 또는 초 단위보다 세분화된 시간 단위가 되는 것이 일반적이다. 영상 재생에 있어서 통상적으로 정상적인 영상 재생 속도에서 재생 시간 1초는 28 프레임 또는 32프레임의 화면에 대응되나， 경우에 따라 이보다 많은 프레임 또는 적은 프레임의 화면이 대웅될 수도 있다. 최초의 3D부분 영상부인 도면 번호 420a에 대웅되는 프레임 번호 (Frame Number)의 시작은 Frame Number _b+l으로 표시했다. Frame Number_b+1은 직전 2D 부분 영상부의 마지막 프레임 번호 Frame Number_b보다 1 프레임 큰 것이다. 물론， 최초의 3D 부분 영상부인 도면 번호 420a에 대웅되는 T2도 직전 2D 부분 영상부의 마지막의 시간 T2보다 최소 시간 표시 단위보다 1이 큰 것으로 표시하는 것이 타당하나， 최초의 3D 부분 영상부에 대응되는 시간 구간을 통상적으로 T2~T3로 표시해도 시간 구간의 변동의 표시에서 당업자가 본 발명 사상의 취지를 이해하기에는 충분할 것이다. 상기 T1등이나， Frame Number_a등은 2D부분 영상부의 시작 위치 정보가 될 수 있으며， T2나, Frame Number_b+1등은 3D부분 영상부의 시작 위치 정보가 될 수 있다. , 상기 표 1과 같은 복합 차원 콘텐츠 재생 구간 정보 (어느 시간 구간 또는 어느 프레임 번호 구간에서 2D 부분 영상부나 3D 부분 영상부가 대응된다는 정보)는 도 8과 같이 본 발명의 복합 차원 콘텐츠 재생 구간 정보 헤드부에 포함되어 있을 수 있다. 이 경우，상기 재생 수단은 이러한 복합 차원 콘텐츠 재생 구간 정보를 활용하여， 현재 재생 중인 영상이 2D 영상인지 3D 영상인지를 구별할 수 있게 된다. The 2D partial image unit, indicated by reference numeral 410a, corresponds to T1-T2 based on the reproduction time, and corresponds to Frame Number_a-Frame Number_b as the frame number section of the image. In general, the time of Tl, T2, etc. is generally a unit of time divided into seconds or seconds. In video playback, playback time is 28 frames per second at normal video playback speed. Alternatively, the screen may correspond to 32 frames, but in some cases, more or less frames may be displayed. The start of the frame number, which is referred to as reference number 420a, which is the first 3D image part, is denoted by Frame Number _b + l. Frame Number_b + 1 is one frame larger than the last frame number Frame Number_b of the previous 2D partial image part. Of course, it is reasonable to display T2 as the first 3D partial image part 420a as 1 greater than the minimum time display unit than the last time T2 of the immediately preceding 2D partial image part, but it corresponds to the first 3D partial image part. Even if the time intervals are typically indicated by T2 to T3, it will be sufficient for those skilled in the art to understand the spirit of the present invention in the display of the variation of the time intervals. The T1, the Frame Number_a, etc. may be the starting position information of the 2D part image part, and the T2, the Frame Number_b + 1, etc. may be the starting position information of the 3D part image part. The multidimensional content reproduction section information head of the multidimensional content reproduction section information of the present invention as shown in Table 1 (information that a 2D partial image unit or a 3D partial image unit corresponds to a time section or a frame number section) is shown in FIG. 8. It may be included. In this case, the reproducing means can distinguish whether the video currently being reproduced is a 2D video or a 3D video by using the multi-dimensional content reproduction section information.
상기 복합 차원 콘텐츠 재생 구간 정보가 복합 차원 콘텐츠 재생 구간 정보 헤드부에 존재하는 것과는 독립적으로, 상기 복합 차원 콘텐츠 재생 구간 정보는 상기 복합 차원 콘텐츠 재생 구간 정보 헤드부의 외부에 존재할 수 있다. 도 1에서와 같이 상기 재생 구간 속성 정보 입수부 (1120)가 상기 복합 차원 콘텐츠 제공 서버 (200)의 복합 차원 콘텐츠 영상 정보 전송부 (220)를 통하여 복합 차원 콘텐츠 영상 정보를 전송 받을 때， 상기 복합 차원 콘텐츠 제공 서버 (200)로부터 상기 복합 차원 콘텐츠에 대한 복합 차원 콘텐츠 재생 구간 정보를 독립적으로 또는 상기 복합 차원 콘텐츠 영상 정보의 전송 시에 전송 받을 수 있다. 전송 받은 복합 차원 콘텐츠 재생 구간 정보를 촬영하여， 상기 복합 차원 콘텐츠 제공 엔진 (1100)의 왜곡 이미지 입수부 (1130)는 2D 재생 수단을 통하여 3D 부분 영상부가 재생될 때 생성되는 왜곡 이미지를 입수하여 상기 렌더링부 (1140)가 렌더링 처리를 할 수 있도록 지원한다. 한편， 도 2에서 예시되는 바와 같이, 상기 복합 차원 콘텐츠 파일이 입수될 때， 상기 복합 차원 콘텐츠 파일과 독립적으로 상기 복합 차원 콘텐츠 재생 구간 정보도 입수될 수 있을 것이다. 통상적으로 영상 파일이 있는 경우， 영상 파일의 자막 정보가 smi 파일 형태로 제공되듯이， 상기 복합 차원 콘텐츠 재생 구간 정보도 이러한 독립적인 파일 형태로 제공될 수 있으며， 상기 재생 구간 속성 정보 입수부 (1120)는 이러한 복합 차원 콘텐츠 재생 구간 정보가 포함되어 있는 재생 구간 속성 정보 파일을 입수하여 본 발명 사상의 실행에 사용할 수 있을 것이다. 복합 차원 콘텐츠 재생 구간 정보는 도 2에서와 같아 개별적인 복합 차원 콘텐츠가 저장되어 있는 복합 차원 콘텐츠 파일부 (1300)에 저장되어 있을 수 있을 것이다. Independently of the complex dimension content reproduction section information present in the complex dimension content reproduction section information head unit, the complex dimension content reproduction section information may exist outside the complex dimension content reproduction section information head unit. As shown in FIG. 1, when the playback section attribute information acquisition unit 1120 receives the complex dimension content image information through the complex dimension content image information transmitter 220 of the complex dimension content providing server 200, the complex dimension content image information is received. The multi-dimensional content reproduction section information about the multi-dimensional content may be independently transmitted from the dimensional content providing server 200 or when the multi-dimensional content image information is transmitted. Photographing the received multi-dimensional content reproduction section information, the distortion image acquisition unit 1130 of the multi-dimensional content providing engine 1100 obtains the distortion image generated when the 3D partial image unit is reproduced through the 2D playback means and the The renderer 1140 supports rendering. Meanwhile, As illustrated in FIG. 2, when the complex dimension content file is obtained, the complex dimension content reproduction section information may also be obtained independently of the complex dimension content file. In general, when there is an image file, as the subtitle information of the image file is provided in the form of an smi file, the multi-dimensional content reproduction section information may also be provided in the form of such an independent file, and the reproduction section attribute information acquisition unit 1120 is provided. ) May obtain a reproduction section attribute information file including the multi-dimensional content reproduction section information and use the same in implementing the present invention. As shown in FIG. 2, the multi-dimensional content reproduction section information may be stored in the multi-dimensional content file unit 1300 in which individual multi-dimensional content is stored.
상기 복합 차원 콘텐츠 재생 구간 정보가 포함되어 있는 파일에는 표 The file including the multi-dimensional content reproduction section information is included in the table.
1과 같은 정보 (대옹 프레임 번호 구간 정보가 포함되는 것이 더 타당할 것이다.)가 포함되어 있을 것이다. 하기는 이러한 파일의 내용의 정보는 다음과 같은 것이 될 수 있을 것이다. Information such as 1 (it would be more appropriate to include the support frame number section information) will be included. Below, the information of the contents of these files may be as follows.
<Start Frame Number _a>  <Start Frame Number _a>
2D  2D
<End Frame Number _b>  <End Frame Number _b>
<Start Frame Number_b+1 > <Start Frame Number_b + 1>
3D  3D
<End Frame Number_c>  <End Frame Number_c>
<Start Frame Number _c+l > <Start Frame Number _c + l>
2D  2D
<End Frame Number_d>  <End Frame Number_d>
<Start Frame Number_d+1 > <Start Frame Number_d + 1>
3D  3D
<End Frame Number _e> <Start Frame Number— d+1 > <End Frame Number _e> <Start Frame Number— d + 1>
2D  2D
<End Frame Number _f> Start Frame Number는 시작하는 Frame Number이며， End Frame Number는 종료되는 Frame Number가 될 것이다.  <End Frame Number _f> Start Frame Number is the starting Frame Number, and End Frame Number will be the ending Frame Number.
구간을 탐지하기 위해서는 영상에 2D 부분 영상부와 3D 부분 영상부가 각각 시간 (초 또는 초 이하)단위 또는 프레임 단위로 어디부터 어디까지 얼마나 재생되는지 설정되어야 한다. 이러한 정보는 복합 차원 콘텐츠와 관계되는 복합 차원 콘텐츠 재생 구간 정보에 저장되며， 저장 되는 형식은 xml 파일 형식이 될 수도 있다. 한편， 재생 수단 내에서 예시적으로 GTweenTimeline라는 오브젝트가 영상의 재생부터 종료 사이에 타임 라인을 설정하여 실제 영상이 스트리밍 되어 재생되는 경우， 복합 차원 콘텐츠 제공 서버 (200)로 부터 영상의 메타 정보를 실시간으로 기 설정된 초 단위 또는 초 이하 단위로 취득하여 현재 진행되는 시간을 판단하고, 복합 차원 콘텐츠 재생 구간 정보가 포함된 xml 파일에 설정된 2D 부분 영상부와 3D 부분 영상부의 재생 구간 /재생 시간 구간 과 일치하는 시간 /프레임 번호가 되는 지를 판단할 수도 있다.  In order to detect an interval, the 2D partial image unit and the 3D partial image unit should be set to where and how far from the unit of time (second or less) or frame unit, respectively. Such information is stored in the multi-dimensional content reproduction section information related to the multi-dimensional content, the format may be an xml file format. On the other hand, when an object called GTweenTimeline sets a timeline between playback and end of an image by way of example in the playback means, and the actual image is streamed and played, meta information of the image from the multi-dimensional content providing server 200 is real-time. The current time is determined by acquiring a preset second or less than a second, and the playback time / playback time interval of the 2D video and 3D video sections set in the xml file including the multi-dimensional content playback section information is determined. It can also be determined whether the time / frame number.
이어， 도면을 참조하면서 본 발명 사상을 더욱 더 상세하게 설명한다. 도 3은 본 발명의 복합 차원 콘텐츠 제공 시스템 (1000)의 일 실시예적 정보 처리 방법을 도시하고 있다. 상기 복합 차원 콘텐츠 제공 시스템 (1000)은 2D 부분 영상부를 2D 재생 수단으로 재생 (S11)하고， 쓰리 부분 영상부의 시작을 인지 (S12)하고， 쓰리 부분 영상부를 2D재생 수단으로 재생 (S13)하며， 재생되는 비트맵 이미지를 프레임 단위로 입수 (S14)하고， 입수된 비트맵 이미지를 3D 엔진으로 렌더링 (S15)하고， 렌더링 된 이미지를 프레임 별로 출력 (S16)하고， 출력된 렌더링 이미지를 음성과 싱크시켜 제공 (S17)한다.  Next, the spirit of the present invention will be described in more detail with reference to the drawings. Figure 3 illustrates an exemplary information processing method of the multi-dimensional content providing system 1000 of the present invention. The multi-dimensional content providing system 1000 reproduces the 2D partial image part by 2D reproduction means (S11), recognizes the start of the three partial image part (S12), reproduces the three partial image part by the 2D reproduction means (S13), Obtain the reproduced bitmap image by frame (S14), render the obtained bitmap image by 3D engine (S15), output the rendered image frame by frame (S16), and sync the output rendered image with voice. To provide (S17).
본 발명의 복합 차원 콘텐츠 제공 시스템 (1000)은 2D 부분 영상부든 3D 부분 영상부든 하나의 2D재생 수단으로 재생하는 것을 특징으로 한다.3D부분 영상부를 동일한 2D 재생 수단으로 재생하면 왜곡된 이미지가 생성되게 된다. 상기 재생 구간 속성 정보 입수부 (1120)가 특정 시점에서 재생되고 있는 부분 영상부가 3D부분 영상부라는 사실을 입수하고 있는 경우，상기 복합 차원 콘텐츠 제공 엔진 (1100)은 재생 되는 3D 부분 영상부를 곧바로 사용자 단말기 출력 장치 (2000)로 보내지 않는다. 상기 왜곡 이미지 입수부 (1130)는 2D재생부 (1110)를 통해서 재생되는 3D부분 영상부의 재생 결과인 왜곡 비트맵 이미지를 입수한다. The multi-dimensional content providing system 1000 of the present invention is characterized by reproducing the 2D partial image unit or the 3D partial image unit by one 2D reproduction means. When the 3D partial image unit is reproduced by the same 2D reproduction means, a distorted image is generated. do. The reproduction section attribute information acquisition unit 1120 is reproduced at a specific time point If the partial image part is obtained from the fact that the 3D part image part is obtained, the multi-dimensional content providing engine 1100 does not directly send the 3D part image part to be reproduced to the user terminal output device 2000. The distorted image acquisition unit 1130 obtains a distorted bitmap image that is a result of reproduction of the 3D portion image unit reproduced through the 2D playback unit 1110.
상기 렌더링부 (1140)의 상기 렌더링 처리부 (1142)는 렌더링 대상 이미지 입수부 (1141)가 입수한 렌더링 대상 이미지인 입수된 왜곡 비트맵 이미지를 대상으로 렌더링 처리는 수행한다. 왜곡 비트맵 이미지의 입수는 프레임 단위로 이루어지며， 렌더링도 프레임 단위의 비트맵 이미지를 대상으로 이루어 진다.  The rendering processing unit 1142 of the rendering unit 1140 performs rendering processing on the obtained distortion bitmap image, which is a rendering target image obtained by the rendering target image obtaining unit 1141. The acquisition of the distorted bitmap image is performed in units of frames, and the rendering is also performed in a frame of bitmap images.
렌더링 처리는 구 타입과 큐브 타입의 2가지가 있을 수 있다. 먼저 sphere type (원 /구 타입)으로 화면을 렌더랑 하는 방법이다. 이 방법은 구에 렌더링을 하기 때문에 좀더 세밀한 화면을 볼 수 있다. 하지만 구 타입이라서 직선이 많은 컨텐츠를 표현 시 선 부분이 쭈글쭈글 해지는 경우도 있다. 다음은 cube type으로， 정육각형으로 6면에 texture의 Bitmap 데이터를 렌더링 하는 방법이다. 이 방법은 수평과 수직이 많은 동영상인 경우 선이 sphere type보다 직선이 일직선으로 표현이 가능하다. 하지만, 촬영 방식이 한번의 촬영에서 결과물을 얻어 되는'방식으로는 작업이 불가능하며， 각 면을 별도로 촬영되어 렌더링 되는 방식이다. There are two rendering processes: sphere type and cube type. The first method is to render the scene with the sphere type. This method renders to the sphere so you can see more detail. However, because it is an old type, the line part may become crumpled when expressing content with many straight lines. The following is the cube type, which is a regular hexagon, which renders the bitmap data of the texture on 6 sides. In this method, if the video has many horizontal and vertical lines, the line can be expressed as a straight line rather than the sphere type. However, the "how-up method is obtained from the output of one shot is the way in which the operation is impossible, and rendering is taken each side separately.
예를 들면， papervision3d라는 프로그램을 사용하면， 비트맵 데이터로 캡쳐 한 데이터를 Sphere 오브젝트가 Sphere타입으로 렌더링 되도록 캡쳐 한 프레임 단위의 비트맵 데이터를 변환해 줄 수 있다. 이 때， 변환된 데이터가 30 프레임 미만이 되면， 실제 papervision3d에서 렌더링 엔진인 Quadrant Render Engine 오브젝트가 프레임 별로 화면을 sphere타입으로 3D 렌더링을 시작한다. 렌더링 된 이미지는 렌더링 이미지 제공부 (1143)를 통하여 렌더링부 (1140)의 외부에 제공된다.  For example, using a program called papervision3d, you can convert the captured bitmap data in the frame unit so that the Sphere object is rendered as a Sphere type. At this time, when the converted data is less than 30 frames, the quadrant render engine object, which is the rendering engine in the actual papervision3d, starts 3D rendering of the screen with the sphere type for each frame. The rendered image is provided outside the renderer 1140 through the render image provider 1143.
본 발명의 씽크 처리부 (1150)는 상기 2D 재생 수단이 재생하는 소리 정보와 렌더링 처리된 이미지를 씽크하여 소리 정보와 이미지 정보가 함께 제공될 수 있도록 제어한다. 왜곡 이미지의 발생이나 렌더링 처리와는 독립적으로 백그라운드에서는 상기 2D 재생 수단에 의해 2D 부분 영상부나 3D 부분 영상부의 재생이 꾸준하게 이루어지고 있다. 이때， 2D 재생 수단에 의해 재생되는 왜곡 이미지는 렌더링 처리가 따르게 되므로， 통상적인 2D 재생 수단에 의한 2D 부분 영상부의 재생 이미지의 제공보다는 시간이 더 걸리게 된다. 따라서， 2D재생 수단이 3D부분 영상부의 재생 시의 음성이나 소리 등과 상기 렌더링 처리된 영상의 제공에는 씽크의 필요성이 있게 된다. 렌더링 처리된 영상과 2D 재생 수단에 의해서 3D 부분 영상이 재생되면서 생성되는 소리 (음성 등) 정보의 구체적인 씽크 방법은 당업자에게 자명한 것이므로， 상세한 설명은 생략한다. The sink processor 1150 of the present invention controls the sound information and the image information to be provided by sinking the sound information reproduced by the 2D playback means and the rendered image. In the background, independently of the generation or rendering process of the distorted image, the 2D partial image unit or 3D Playback of the partial video portion is steadily performed. In this case, since the distortion image reproduced by the 2D reproduction means follows the rendering process, it takes more time than the reproduction image of the 2D partial image part by the conventional 2D reproduction means. Therefore, there is a need for a sync to provide the rendered image, such as a sound or a sound, when the 2D reproducing means reproduces the 3D part image unit. Since a detailed sink method of sound (voice, etc.) information generated while the 3D partial image is reproduced by the rendered image and the 2D reproduction means is obvious to those skilled in the art, a detailed description thereof will be omitted.
이어， 도 4를 참조하면서 본 발명의 차원 전환 처리부 (1160)에 대해서 설명한다.  Next, the dimension conversion processing unit 1160 of the present invention will be described with reference to FIG. 4.
2D 부분 영상과 3D 부분 영상은 디스플레이 될 때 사용자의 디스플레이 화면에서 이 변환 사이에 여러 가지 원인 (특히 재생되는 컴퓨터의 사양)등으로 인해 중간에 화면이 깨지는 듯한 현상이 나오는 등과 같이 사용자에게 불편한 상황이 발생할 수 있다. 이에， 2D 영상에서 3D 영상으로의 화면의 전환 시 등에서 사용자에게 불편을 주지 않는 전환이나 스위칭이 필요하게 된다.  When the 2D and 3D partial images are displayed, the user may experience uncomfortable situations such as the screen being broken in the middle due to various causes (especially the specifications of the computer being played) between these conversions on the user's display screen. May occur. Accordingly, when switching the screen from the 2D video to the 3D video or the like, it is necessary to perform switching or switching without causing inconvenience to the user.
상기 차원 변환 처리부는 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수 (S21)하고, 입수된 경계 정보에 기초하여 , 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행한다 .(S22) 상기 차원 전환 처리부 (1160)는 상기 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수하고， 입수된 경계 정보에 기초하여， 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행한다. 상기 차원 전환 처리부 (1160)의 경계 정보 입수부 (1161)는 경계부에 대한 정보를 입수하고， 경계부의 근방에서 차원 변환 처리를 수행한다.  The dimension conversion processing unit obtains boundary information of the 2D partial image unit and the 3D image unit (S21), and based on the obtained boundary information, a dimension in a preset boundary range from the boundary unit of the 2D partial image unit and the 3D partial image unit. The dimension conversion processing unit 1160 obtains boundary information of the 2D partial image unit and the 3D image unit, and based on the obtained boundary information, the 2D partial image unit and the 3D portion. The dimensional conversion process is performed in a preset boundary range from the boundary of the image unit. The boundary information acquisition unit 1161 of the dimension conversion processing unit 1160 obtains information on the boundary portion, and performs the dimension conversion processing in the vicinity of the boundary portion.
2D 부분 영상부와 3D 부분 영상부의 재생 시 경계 부분에서 실제 일어나는 사항은 sphere 오브젝트와 plane 오브젝트 간의 변환이다. 이 때， 변환되는 사이에 페이드 인아웃 (fade in/out)을 처리하는 로직을 넣어 주면 자연스러운 화면 전환이 가능하게 된다. 이와 같이, 차원 변환 처리부는 2D 부분 영상에서 3D 부분 영상으로 변경되는 순간 /경계부 또는 3D 부분 영상에서 2D 부분 영상으로 변경되는 순간 /경계부에서 페이드 인아웃 효과를 내는 오브젝트를 이는 경계부 근방 또는 경계부의 앞뒤의 기 설정된 시간 /프레임 만큼 추가하거나 교체해 줌으로서 변경 시에 화면이 깨지는 부분을 보지 못하도록 할 수 있다. What actually happens in the boundary part during playback of the 2D and 3D imagers is the conversion between the sphere object and the plane object. At this time, if the logic to handle the fade in (out) (fade in / out) between the conversion is possible, natural screen switching is possible. As described above, the dimensional conversion processor performs a fade in and out effect at the instant when the 2D partial image is changed to the 3D partial image or at the instant when the 3D partial image is changed to the 2D partial image. By adding or replacing an object by a preset time / frame near or around the boundary, the object may not be seen when the screen is broken.
이어， 도 5내지 도 6을 참조하면서， 본 발명의 시청 화면 영역 선택 지원부 (1170)에 대해서 설명한다.  Next, the viewing screen region selection support unit 1170 of the present invention will be described with reference to FIGS. 5 to 6.
상기 복합 차원 콘텐츠 제공 엔진 (1100)은 상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역 (620)으로 제공되게 할 수 있다. 이러한 시청 화면 영역 (620)의 설정은 상기 사용자가 설정하는 것인 것이며， 상기 시청 화면 영역 (620)의 설정은 상기 사용자가 상기 복합 차원 콘텐츠의 재생 중에 변경할 수 있는 것인 것이 바람직하다. 물론， 이러한 시청 화면 영역 (620)의 설정에 관한 정보는 상기 복합 차원 콘텐츠의 헤더 정보에 저장되어 있거나， 상기 복합 차원 콘텐츠를 제공하는 복합 차원 콘텐츠 제공 서버 (200)로부터 전송받는 것이거나， 상기 복합 차원 콘텐츠 제공 시스템 (1000)에서 설정되거나 기 설정된 시청 화면 영역 설정 규칙에 따라 변경되는 것일 수도 있다.  The multi-dimensional content providing engine 1100 may allow at least one preset area of the rendered image to be provided to the viewing screen area 620 displayed to the user. The setting of the viewing screen area 620 is set by the user, and the setting of the viewing screen area 620 may be changed by the user during playback of the complex dimension content. Of course, the information about the setting of the viewing screen area 620 is stored in the header information of the multi-dimensional content, or received from the multi-dimensional content providing server 200 that provides the multi-dimensional content, or the composite It may be set in the dimensional content providing system 1000 or changed according to a preset viewing screen area setting rule.
도 5은 사용자가 아닌 외부에서 시청 화면 영역 (620)이 설정되는 방식에 대한 예시적인 구성이다. 상기 시청 화면 영역 선택 지원부 (1170)는 사용자에게 보여지는 시청 화면 영역 (620)의 설정을 위한 정보 입수 (S31)하고， 입수된 시청 화면 영역 (620) 설정 정보를 사용하여 시청 화면 영역 (620)에 대응하는 3D 부분 영상 정보 입수 (S32)한다.  FIG. 5 is an exemplary configuration of how the viewing screen region 620 is set up outside of the user. The viewing screen region selection support unit 1170 obtains information for setting the viewing screen region 620 shown to the user (S31), and uses the obtained viewing screen region 620 setting information to view the viewing screen region 620. Obtain 3D partial image information corresponding to S32.
도 6에서는 상기 시청 화면 영역 선택 지원부 (1170)의 정보 처리 방법에 대한 일 실시예적 구성이 나타나 있다. 상기 시청 화면 영역 선택 지원부 (1170)는 사용자로부터 사용자가 시청하기를 원하는 3D 부분 영상부에 대한 선택 정보를 입수 (S41)하고 선택 정보를 입수 받은 3D 부분 영상부를 입수 (S42)한다.  6 illustrates an exemplary configuration of an information processing method of the viewing screen region selection support unit 1170. The viewing screen region selection support unit 1170 obtains selection information about the 3D partial image unit that the user wants to watch from the user (S41), and obtains the 3D partial image unit that receives the selection information (S42).
3D 부분 영상부가 재생되는 동안에 시청 화면 영역 (620) 설정을 통해 사용자는 자신이 원하는 방향의 3D 영상을 시청할 수 있다. 상기 시청 화면 영역 (620)의 설정은 상기 사용자가 시청 화면 영역 (620) 설정을 위한 시청 영역 방향올 지정하거나 변경하는 것이며， 상기 시청 영역 방향의 지정이나 변경은 키보드 입력, 키패드 입력， 터치 입력， 음성 입력， 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어 지는 것인 것이 바람직하다. 이러한 입력을 통하여 상기 시청 화면 영역 (620) 설정에서 변경이 있는 경우， 상기 복합 차원 콘텐츠 제공 시스템 (1000)은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역 (620)을 변경하는 것인 것이 바람직하다. 예를 들면, 상기 도 10에서 시청 화면 영역 (620)을 왼쪽 방향으로 지정하면 (사용자 단말기 (100)에 나타나는 선택 3D 영상 (630) 화면에서 손가락 등으로 오른쪽에서 왼쪽으로 화면을 미는 등과 같은 행위를 하여)， 강아지를 안고 있는 성인과 어린이가 나오는 현재 화면 (630에 나오는 영상)에서 상기 3D 영상 (610)에서 현재의 시청 화면 영역 (620)의 왼쪽에 있는 영상들 (예를 들면, 어른이 유모차를 끌고 가는 쪽에 있는 영상)이 나타나게 제어될 수 있다. While the 3D partial image unit is playing, the user can watch a 3D image in a desired direction through the viewing screen region 620 setting. The setting of the viewing screen area 620 is for the user to designate or change the viewing area direction for setting the viewing screen area 620. The designation or change of the viewing area direction is for keyboard input, keypad input, touch input, Voice input or motion input It is desirable to have one or more inputs. When there is a change in the viewing screen region 620 setting through such an input, the multi-dimensional content providing system 1000 uses the changed viewing screen region setting information to view the viewing screen region displayed to the user in the rendered image. It is preferable to change 620. For example, in FIG. 10, when the viewing screen area 620 is designated as the left direction, an action such as pushing a screen from right to left with a finger or the like on the screen of the selected 3D image 630 displayed on the user terminal 100 is performed. Images on the left side of the current viewing screen area 620 in the 3D image 610 on the current screen (image shown in 630) where the adult and child holding the puppy appear (e.g., an adult stroller) Can be controlled to appear.
본 발명 사상을 활용하면， 특히， 3D 부분 영상부가 다수개의 카메라 렌즈로부터 입수되는 영상이 하나의 화면에 결합되어 나타나는 방식으로 구성되어 있는 경우， 사용자가 시청 화면 영역 (620)의 변경을 위하여， 방향을 이동하는 경우， 이동된 방향에 대응되는 영상이 제공될 수 있다. 즉， 1개의 카메라에 상하좌우앞뒤 중 어느 2개 이상의 방향에 대응되는 영상을 입수하는 다수 개의 렌즈가 있고， 이러한 렌즈에서 입수되는 각각의 영상이 결합되어 1개의 3D 영상이 될 수 있다. 그리고， 영상의 결합 시 특정 렌즈를 통하여 입수되는 영상은 3D 영상의 특정한 위치 또는 영역에 배치될 수 있도록 제어되거나 편집될 수 있다. 이러한 경우， 현재 사용자가 보고 있는 화면에서 왼쪽 버튼을 누르거나， 왼쪽 방향으로 터치가 있는 경우， 현재 보고 있는 영상의 좌측에 있는 영상을 새로운 시청 화면 영역으로 되어 사용자에게 제공될 수 있다. 이는 똑바로 보고 있던 사람이 왼쪽으로 머리를 돌려 왼쪽 방향을 쳐다볼 때， 왼쪽 방향에 있는 광경이 사람의 눈에 들어오는 것과 유사하다. 이때， 상기 시청 영역 방향이 변경되는 경우， 상기 복합 차원 콘텐츠 제공 시스템 (1000)은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것이 바람직하다.  In particular, when the 3D partial image unit is configured in such a manner that images obtained from a plurality of camera lenses are combined and displayed on one screen, the user may change the viewing screen area 620 in order to change the viewing screen region 620. When moving, the image corresponding to the moved direction may be provided. That is, a single camera has a plurality of lenses for acquiring images corresponding to any two or more directions of up, down, left, right, and back, and each of the images acquired from these lenses may be combined to form one 3D image. In addition, when the images are combined, the images obtained through the specific lens may be controlled or edited so as to be arranged at a specific position or area of the 3D image. In this case, when the user presses the left button on the screen currently being viewed, or when there is a touch in the left direction, the image on the left side of the currently viewed image may be provided to the user as a new viewing screen area. This is similar to the view on the left when the person who was looking straight turned his head to the left and looked in the left direction. In this case, when the viewing area direction is changed, the multi-dimensional content providing system 1000 may continuously change the viewing screen area shown to the user by reflecting the changed viewing area direction in the rendered image. Do.
본 발명의 3D 영상의 한 예는 파노라마 영상일 수 있다. 상기 파노라마 영상은 1개의 카메라에 상하좌우앞뒤 중 어느 2개 이상의 방향에 대웅되는 영상을 입수하는 다수 개의 렌즈가 있고， 이러한 렌즈에서 입수되는 각각의 영상이 결합되거나, 복수 개의 카메라를 사용하여， 각 카메라에서 입수되는 영상을 결합하여 1개의 파노라마 영상이 될 수 있다. 이 경우， 상기 3D 부분 영상부는 파노라마 부분 영상부가 될 수 있다. One example of the 3D image of the present invention may be a panoramic image. The panoramic image is magnified in any two or more directions of up, down, left, right, and back by one camera. There are a plurality of lenses to obtain an image, and each image obtained from the lens may be combined, or a plurality of cameras may be used to form a panorama image by combining images obtained from each camera. In this case, the 3D partial image part may be a panoramic partial image part.
도 10에서는 상기와 같은 시청 화면 영역 (620)의 선택에 관한 본 발명 사상에 대한 개념도가 제시되어 있다. 도 10에서 알 수 있듯이， 사용자가 시청하는 3D부분 영상부는 실제 재생되고 있는 3D부분 영상부의 일부가 된다. 도 10에서는 실제 재생되고 있는 3D부분 영상부인 3D영상 (610)중에서 박스인 시청 화면 영역 (620) 내에 있는 선택된 영상이 사용자에게 제공되는 선택 3D 영상 (630)이 제시되는 본 발명 사상의 개념을 보여 주고 있다. 이때, 사용자가 자신이 보고 있는 화면에서 시청 방향을 변경하고 싶은 경우， 변경 방향을 설정하면, 변경된 방향 쪽에 있는 기 설정된 사이즈 (예， 가로 n * 세로 m 사이즈)의 대응되는 다른 이미지가사용자에게 제공된다.  In FIG. 10, a conceptual diagram of the inventive concept regarding the selection of the viewing screen region 620 as described above is presented. As can be seen in FIG. 10, the 3D partial image unit that the user views is part of the 3D partial image unit that is actually reproduced. FIG. 10 illustrates a concept of the inventive concept in which a selected 3D image 630 is provided in which a selected image in a box-viewing screen area 620 is provided to a user among 3D images 610 which are actually reproduced 3D images. Giving. At this time, if the user wants to change the viewing direction on the screen he is viewing, when the changing direction is set, another corresponding image of the preset size (eg, horizontal n * vertical m size) in the changed direction is provided to the user. do.
이때， 상기 렌더링부 (1140)의 렌더링의 대상이 되는 것은 상기 3D 부분 영상부 전체에 대한 재생 결과가 될 수도 있지만， 상기 사용자에게 제공되는 시청 화면 영역 (620)에 대한 것만이 렌더링 될 수도 있을 것이다. 전자의 경우, 상기 시청 화면 영역 선택 지원부 (1170)에서 시청 화면 영역 (620) 선택 결과는 렌더링 된 영상 이미지에서 작용 (선택된 시청 화면 영역을 가져음)하지만， 후자의 경우에는 렌더링 될 대상 이미지인 왜곡 이미지에 작용할 수 있다.  In this case, the rendering target of the rendering unit 1140 may be a reproduction result of the entire 3D partial image unit, but only the viewing screen region 620 provided to the user may be rendered. . In the former case, the result of selecting the viewing screen region 620 by the viewing screen region selection support unit 1170 acts on the rendered video image (takes the selected viewing screen region), but in the latter case, the distortion is the target image to be rendered. Can act on the image.
이어， 도 9과 도 11을 참조하면서 본 발명의 여백 처리부 (1180)에 대해서 설명한다. 도 9는 본 발명의 3D영상과 2D영상의 일 실시예적 비교예를 보여 주고 있다. 도 9 및 도: L1 에서 알 수 있듯이， 2D에서는 2D 영상 (660)의 외곽에 검은색으로 된 테두리부 (650)가 있음을 확인할 수 있다. 상기 복합 차원 콘텐츠 제공 시스템 (1000)의 여백 처리부 (1180)는 2D 부분 영상부가 재생될 때， 상기 2D 부분 영상부의 여백을 제거하고， 실제 영상 이미지만을 사용자에게 제공할 수 있다. 2D 영상이나 3D 영상은 그 제작 방식은 다를 수 있으나 두 영상은 모두 2400x1200 pixel 의 일반 2D영상의 형태로 하나의 단일 파일로서 구성되는 경우가 있다. (도 9에서 예시되듯이 3D 영상 (610)과 2D 영상 (660)의 테두리부 (650)을 포함한 외곽을 기준으로 볼 때는 동일한 픽셀 수를 가지고 있음을 볼 수 있다.) 이때， 단일 파일은 같은 해상도로 제작되기 때문에 2D 영상의 FullHD 해상도에도 상하 60pixel, 좌우 240pixel 씩 여백을 남기고 제작되는 경우가 발생한다. 2D 부분 이미지의 영상에는 2400x1200 크기에， 중심부가 재생되는 1920x1080 만큼을 제외하고 액자형 검은색 테두리부 (650)가 존재하게 되기 때문이다. 이 검은색 테두리는 복합 차원 콘텐츠 영상에서 2D 부분 영상부에는 항상 존재하게 되므로， 상기 복합 차원 콘텐츠 제공 시스템 (1000)은 이 부분의 검정색을 감지하여 자동으로 동영상 헤더에 메타 데이터로 기록하거나， 표 1과 같은 타임 테이블 값을 기록하도록 정보 처리할 수 있다. 그 결과 상기 복합 차원 콘텐츠의 재생에서 이 타임 테이블 값을 읽어 들여 이 것을 기준으로 영상 전환이 쉽게 가능하게 할 수도 있다. Next, the margin processing unit 1180 of the present invention will be described with reference to FIGS. 9 and 11. 9 shows an exemplary comparative example of the 3D image and the 2D image of the present invention. 9 and FIG.: As can be seen from L1, it can be seen that in 2D, a black edge 650 is formed on the outside of the 2D image 660. When the 2D partial image unit is played, the margin processing unit 1180 of the multi-dimensional content providing system 1000 may remove the margins of the 2D partial image unit and provide only an actual image image to the user. The production method of 2D image or 3D image may be different, but both images may be configured as a single file in the form of a general 2D image of 2400x1200 pixels. (As illustrated in FIG. 9, the same number of pixels can be seen based on the outer edge including the edge portion 650 of the 3D image 610 and the 2D image 660.) Build at resolution Therefore, even if the 2D video FullHD resolution is produced with a margin of 60 pixels in the top and bottom, 240 pixels left and right. This is because a frame-shaped black frame 650 exists in a 2D partial image having a size of 2400x1200, except for 1920x1080 where the center is reproduced. Since the black border is always present in the 2D part image part in the complex dimension content image, the complex dimension content providing system 1000 detects the black color of the part and automatically records it as metadata in the video header, or Table 1 Information can be processed to record time table values such as As a result, this timetable value may be read in the reproduction of the multi-dimensional content, and image switching may be easily performed based on this.
본 발명의 여백 처리부 (1180)의 정보 처리를 예를 들어 설명하면 다음과 같을 수 있다. 2D 부분 영상부가 재생될 때， papervision3d 라이브러리 중 Camera0bject3D라는 클래스 (이 클래스는 3D 오브젝트를 재생할 때 zoom, focus등을 지정하는 부분)를 통해 영상의 실제 크기를 조절 할 수 있다. 이 때， 2D 부분 영상부의 재생 구간에서는 2D 부분 영상부의 재생이 시작될 때， camera. z (줌을 설정하는 함수) = -200 등으로 설정해 주면， 영상이 줌인 (Zoom in)되어 상기 여백 (검은 색 테두리)가 사용자에게 나타나지 않게 제어될 수 있다. 도 11은 본 발명의 여백 처리부 (1180)의 정보 처리 대상 (660 및 650)과 여백 처리가 된 후의 결과 영상 (670)를 대비하여 보여 주고 있다.  For example, the information processing of the margin processing unit 1180 of the present invention may be described as follows. When the 2D video portion is played, the actual size of the image can be adjusted through the camera0bject3D class (this class specifies zoom and focus when playing 3D objects) in the papervision3d library. At this time, in the playback section of the 2D video portion, when playback of the 2D video portion starts, camera. If z (a function for setting zoom) = -200, the image may be zoomed in so that the margin (black border) may not be displayed to the user. FIG. 11 shows the information processing objects 660 and 650 of the margin processing unit 1180 in contrast with the resultant image 670 after the margin processing.
상기 복합 차원 콘텐츠 제공 서버 (200)에서 상기 복합 차원 콘텐츠 제공 시스템 (1000)이 포함되어 있는 사용자 단말기 (100)로 영상 정보의 전달 방식은 여러 가지 방식이 활용될 수 있다. 전달 되는 통신 프로토콜은 HTTP 또는 RTMP중 어느 하나의 프로토콜을 사용하는 것이 바람직할 것이다. 그리고, 상기 복합 차원 콘텐츠가 사용자 단말기 (100)에 제공되는 방법은 상기 복합 차원 콘텐츠 제공 서버 (200)로부터 상기 사용자 단말기 (100)에 프로그레시브 다운로드 (progressive download) 방식 또는 라이브 스트리밍 (live streaming) 방식으로 상기 콘 영상 정보가 전송되는 것이 바람직할 것이다.  Various methods may be used to transfer image information from the multidimensional content providing server 200 to the user terminal 100 including the multidimensional content providing system 1000. The communication protocol to be delivered may be one of HTTP or RTMP. In addition, the method of providing the multidimensional content to the user terminal 100 may include a progressive download method or a live streaming method from the multidimensional content providing server 200 to the user terminal 100. It is preferable that the cone image information is transmitted.
http 프로토콜을 사용하는 프로그레시브 다운로드 (progressive download)은 방식은 인터넷 웹 브라우저에서 사용하는 기본 프로토콜로 80포트를 사용하며， 서비스 영상을 다운로드 하면서 일정 수준의 버퍼링을 두고 영상을 재생을 시키는 방법이다. Progressive download using the http protocol is the default protocol used by Internet web browsers. It uses 80 ports and performs a certain level of buffering while downloading service images. This is how to play the video.
rtmp 프로토콜은 live streaming 영상 전송 시 사용하는 프로토콜로 1935포트를 사용하며， 실시간으로 보내주는 헤더 메타값에 의해 사용자가 지정한 시점에서 설정된 post버퍼링을 두고 재생 시키는 방법이다. 기본적으로 실시간으로 영상의 헤더 값을 받아을 수 있는 rtmp (live streaming) 방식이 더욱 바람직할 것이다.  The rtmp protocol uses port 1935 as the protocol used for transmitting live streaming video and plays back the post buffering set at the time point specified by the user by the header meta value sent in real time. Basically, a rtmp (live streaming) method that can receive a header value of an image in real time may be more preferable.
표 2는 프로그레시브 다운로드 방식과 라이브 스트리밍 방식의 특성을 비교한 것이다.  Table 2 compares the characteristics of progressive download and live streaming.
【표 2】  Table 2
Figure imgf000024_0001
Figure imgf000024_0001
【산업상 이용가능성】 Industrial Applicability
본 발명은 스포츠， 음악， 영화， 다큐멘터리， 교육， 광고 등 각종 컨텐츠 관련 사업 및 영상 관련 산업에 광범위하게 활용될 수 있다. 【부호의 설명】  The present invention can be widely used in various content-related businesses such as sports, music, film, documentary, education, advertising, and video related industries. [Explanation of code]
100 ： 사용자 단말기 ： 복합 차원 콘텐츠 제공 서버 100 ： User terminal ： Multi-dimensional content providing server
： 복합 차원 콘텐츠 파일 관리부  ： Multi-dimensional content file management department
： 복합 차원 콘텐츠 영상 정보 전송부  ： Multi-dimensional content video information transmitter
： 복합 차원 콘텐츠 스트리밍 제공부  ： Multi-dimensional content streaming provider
： 복합 차원 콘텐츠 프로그레시브 다운로드 제공부 ： 복합 차원 콘텐츠 헤더부 ： Multi-dimensional content progressive download provider ： Multi-dimensional content header
a ： 통상적인 파일 헤드부a: Normal pile head
b ： 복합 차원 콘텐츠 재생 구간 정보 해드부 ： 복합 차원 콘텐츠 데이터부 b: Multi-dimensional content reproduction section information head part: Multi-dimensional content data part
： 2D부분 영상부 ： 2D part image part
a, 410b, 410c ： 개별적인 2D 부분 영상부 a, 410b, 410c: Individual 2D partial image part
： 3D 부분 영상부 ： 3D part image part
a, 420b, 420c ： 개별적인 3D 부분 영상부 a, 420b, 420c ： Individual 3D partial image part
： 경계부 ： Border
a, 430b, 430c, 430d ： 개별적인 경계부 a, 430b, 430c, 430d ： Individual boundary
： 3D 영상  ： 3D video
： 시청 화면 영역  ： Viewing screen area
： 선택 3D 영상  ： 3D video optional
： 테두리부  ： Border
： 2D 영상  ： 2D video
： 여백 처리가 된 후의 결과 영상 ： Result result after margin processing
0 ： 복합 차원 콘텐츠 제공 시스템 0 ： Multi-dimensional content provision system
： 복합 차원 콘텐츠 제공 엔진  ： Multi-dimensional content delivery engine
： 2D 재생부  ： 2D playback section
： 재생 구간 속성 정보 입수부  ： Regeneration section attribute information acquisition part
： 왜곡 이미지 입수부  ： Distorted image acquisition part
： 렌더링부  ： Rendering section
： 렌더링 이미지 입수부  ： Render image acquisition part
： 렌더링 처리부  ： Render processing part
： 렌더링 이미지 제공부 R2013/011933 ： Rendering image provider R2013 / 011933
1150 씽크 처리부 1150 Think Processor
1160 차원 전환 처리부  1160 Dimensional Transition Processing Unit
1161 경계 정보 입수부  1161 boundary information acquisition department
1170 시청 화면 영역 선택 지원부  1170 Watching Screen Area Selection Support
1171 시청 화면 영역 선택 입수부  1171 Watching screen area selection acquisition part
1180 여백 처리부  1180 Margin Processing Unit
1200 복합 차원 콘텐츠 영상 정보 입수부  1200 complex dimensional content image information acquisition unit
1300 복합 차원 콘텐츠 파일부  1300 Compound Dimension Content File Division
1310 복합 차원 콘텐츠 파일  1310 Compound Dimension Content File
1320 복합 차원 콘텐츠 재생 구간 정보  1320 Complex Dimension Content Playback Section Information
2000 사용자 단말기 출력 장치  2000 user terminal output device
2100 디스플레이 장치  2100 display device
2200 ： 사운」드 출력 장치  2200 ： sound output device

Claims

【특허청구범위】 [Patent Claims]
【청구항 1】  [Claim 1]
적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법에 있어서， 상기 복합 차원 콘텐츠 제공 시스템이  An information processing method of a multi-dimensional content providing system for providing a user with multi-dimensional content in which at least one 2D partial image unit and at least one 3D partial image unit are combined, the multi-dimensional content providing system includes:
(A) 2D 부분 영상부를 2D 재생 수단으로 재생하는 단계;  (A) reproducing the 2D partial image part by 2D reproducing means;
(B) 3D 부분 영상부를 2D 재생 수단으로 재생하는 단계;  (B) reproducing the 3D partial image part by 2D reproducing means;
(C) 상기 (B) 단계에서 재생되는 왜곡 재생 이미지를 입수하는 단계;  (C) acquiring a distorted reproduction image reproduced in step (B);
(D) 상기 (C) 단계에서 입수한 상기 왜곡 재생 이미지를 3D 렌더링 엔진으로 렌더링 처리하는 단계;및 (D) rendering the distorted reproduction image obtained in the step (C) with a 3D rendering engine; and
(E) 상기 렌더링 처리된 이미지를 사용자에게 제공하는 단계；를 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법 .  (E) providing the rendered image to a user; information processing method of a multi-dimensional content providing system, characterized in that the.
【청구항 2】  [Claim 2]
제 1항에 있어서，  The method of claim 1,
상기 복합 차원 콘텐츠 제공 시스템은 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하고， The complex dimensional content providing system obtains start position information or section position information for each of the 2D partial image part and the 3D partial image part constituting the complex dimensional content,
상기 2D 부분 영상부의 시작 위치에서 상기 (A) 단계를 실시하고， Performing the step (A) at the start position of the 2D partial image part;
상기 3D 부분 영상부의 시작 위치에서 상기 (B) 단계를 실시하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법 . And performing step (B) at the start position of the 3D partial image part.
【청구항 3]  [Claim 3]
제 2항에 있어서，  The method of claim 2,
상기 시작 위치 정보나 구간 위치 정보는 The start position information or section position information
상기 복합 차원 콘텐츠의 외부에 저장되어 있는 것이거나， Stored outside of the multi-dimensional content,
상기 복합 차원 콘텐츠 파일의 헤더에 포함되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법 . And information contained in a header of the multi-dimensional content file.
【청구항 4]  [Claim 4]
제 3항에 있어서，  The method of claim 3,
상기 시작 위치 정보나 구간 위치 정보는 상기 복합 차원 콘텐츠의 관리 정보로 상기 복합 차원 콘텐츠가 저장되고 있는 저장 장치와 동일한 저장 장치 또는 저장 시스템에 되어 있는 것이거나， The start position information or the section position information is for managing the complex dimension content. Information is in the same storage device or storage system as the storage device in which the multi-dimensional content is stored;
상기 복합 차원 콘텐츠를 재생하기 전에， 유무선 네트워크를 통하여 상기 시작 위치 정보를 제공하는 제 3의 시스템으로부터 전송받는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법 . Before the reproduction of the multi-dimensional content, the information processing method of the multi-dimensional content providing system, characterized in that the transmission from the third system for providing the start position information via a wired or wireless network.
【청구항 5】  [Claim 5]
제 2항에 있어서，  The method of claim 2,
상기 시작 위치 정보나 구간 위치 정보는 The start position information or section position information
시간 구간 단위 또는 시작 시각을 포함하여 구성되는 것이거나， Or includes a time interval unit or start time,
프레임 번호 구간 단위 또는 시작 프레임 번호를 포함하여 구성되어 있는 것인 것을 특징으로 하는 복합차원 콘텐츠 제공 시스템의 정보 처리 방법. An information processing method of a multi-dimensional content providing system comprising a frame number section unit or a start frame number.
【청구항 6】  [Claim 6]
제 1항에 있어서，  The method of claim 1,
(F) 상기 2D부분 영상부와 상기 3D 영상부의 경계 정보를 입수하는 단계 ;및 (G) 입수된 경계 정보에 기초하여， 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행하는 단계;를 더 포함하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법 .  (F) acquiring boundary information of the 2D partial image unit and the 3D image unit; and (G) based on the acquired boundary information, within a preset boundary range from a boundary of the 2D partial image unit and the 3D partial image unit; And performing dimensional transformation processing. The information processing method of the multi-dimensional content providing system, characterized in that it further comprises.
【청구항 7】  [Claim 7]
제 1항에 있어서，  The method of claim 1,
상기 (C) 단계는 비트맵 이미지로 프레임 단위로 입수하는 것인 것이며， 상기 (D) 단계는 프레임 단위로 렌더링 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법 . The step (C) is to obtain a bitmap image by frame unit, and the step (D) is to process the frame-by-frame information processing method of the multi-dimensional content providing system.
【청구항 8】  [Claim 8]
게 1항에 있어서，  According to claim 1,
상기 (D) 단계는 Step (D) is
구형 (sphere) 유형으로 렌더링 처리하는 것이거나， Rendering to a sphere type,
큐브 (cube) 유형으로 렌더링 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법. An information processing method of a multi-dimensional content providing system, characterized in that the rendering processing in the cube (cube) type.
【청구항 9】 제 1항에 있어서， [Claim 9] The method of claim 1,
상기 복합 차원 콘텐츠 제공 시스템은 사용자 단말기에서 구동되는 것이며， 상기 (E)단계는 상기 사용자 단말기에 포함되어 있거나，상기 사용자 단말기와 유무선 네트워크로 연결된 적어도 하나 이상의 디스플레이 장치로 제공되는 것인 것이며, The multi-dimensional content providing system is driven in a user terminal, step (E) is included in the user terminal or provided to at least one display device connected to the user terminal via a wired or wireless network,
상기 복합 차원 콘텐츠는 상기 사용자 단말기에 저장되어 있는 것이거나， 상기 사용자 단말기와 유무선 네트워크로 연결되는 적어도 하나 이상의 서버로부터 실시간으로 제공되는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법. And the compound dimension content is stored in the user terminal or is provided in real time from at least one server connected to the user terminal through a wired or wireless network.
【청구항 10】  [Claim 10]
제 9항에 있어서,  The method of claim 9,
상기 복합 차원 콘텐츠가 상기 사용자 단말기에 제공되는 방법은 The complex-dimensional content is provided to the user terminal
상기 서버로부터 상기 사용자 단말기에 HTTP 또는 RTMP 중 어느 하나의 프로토콜을 사용하여 복합 차원 콘텐츠 영상 정보를 전송되는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법. Information processing method of the multi-dimensional content providing system, characterized in that for transmitting the multi-dimensional content video information from the server using the protocol of any one of HTTP or RTMP.
【청구항 111  [Claim 111]
제 9항에 있어서，  The method of claim 9,
상기 복합 차원 콘텐츠가 상기 사용자 단말기에 제공되는 방법은 The complex-dimensional content is provided to the user terminal
상기 서버로부터 상기 사용자 단말기에 프로그레시브 다운로드 방식 또는 라이브 스트리밍 방식으로 상기 콘 영상 정보가 전송되는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법 . And the cone image information is transmitted from the server to the user terminal by a progressive download method or a live streaming method.
【청구항 12]  [Claim 12]
거 U항에 있어서，  In U,
상기 (E)단계는 상기 2D재생 수단이 재생하는 소리 정보와 상기 (D)단계에서 렌더링 처리된 이미지를 씽크하여 소리 정보와 이미지 정보가 함께 제공되는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법. In the step (E), the sound information and the image information are provided together by sinking the sound information reproduced by the 2D playback means and the image rendered in the step (D). Information processing method.
【청구항 13] [Claim 13]
제 1항에 있어서，  The method of claim 1,
상기 (E) 단계는 상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역으로 제공되는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법. In the step (E), at least one predetermined area of the rendered image is provided to the viewing screen area where the user is shown. Information processing method in dimensional content providing system.
【청구항 14]  [Claim 14]
제 13항에 있어서,  The method of claim 13,
상기 시청 화면 영역의 설정에 관한 정보는 상기 복합 차원 콘텐츠의 헤더 정보에 저장되어 있거나， 상기 복합 차원 콘텐츠를 제공하는 서버로부터 전송받는 것이거나， 상기 복합 차원 콘텐츠 제공 시스템에서 설정되거나 기 설정된 시청 화면 영역 설정 규칙에 따라 변경되는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법 . The information about the setting of the viewing screen area is stored in header information of the complex dimension content, is received from a server providing the complex dimension content, or is a viewing screen area set or preset in the complex dimension content providing system. Information processing method of a multi-dimensional content providing system, characterized in that it is changed according to the set rules.
【청구항 15】  [Claim 15]
제 13항에 있어서，  The method of claim 13,
상기 시청 화면 영역의 설정은 상기 사용자가 설정하는 것인 것이며， 상기 시청 화면 영역의 설정은 상기 사용자가 상기 복합 차원 콘텐츠의 재생 중에 변경할 수 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법. The setting of the viewing screen area is set by the user, and the setting of the viewing screen area may be changed by the user during playback of the complex dimension content. Way.
【청구항 16】  [Claim 16]
제 15항에 있어서，  The method of claim 15,
상기 시청 화면 영역의 설정은 The setting of the viewing screen area
상기 사용자가 시청 화면 영역 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이몌 The user designates or changes the viewing area direction for setting the viewing screen area.
상기 시청 영역 방향의 지정이나 변경은 키보드 입력, 키패드 입력， 터치 입력， 음성 입력， 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어 지는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법. The information processing method of the multi-dimensional content providing system, characterized in that the designation or change of the viewing area direction is made through at least one of a keyboard input, a keypad input, a touch input, a voice input, and an operation input.
【청구항 17】  [Claim 17]
제 15항에 있어서，  The method of claim 15,
상기 시청 화면 영역 설정에서 변경이 있는 경우， If there is a change in the viewing screen area setting,
상기 복합 차원 콘텐츠 제공 시스템은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역을 변경하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법. And the multi-dimensional content providing system changes the viewing screen area displayed to the user in the rendered image using the changed viewing screen area setting information.
【청구항 18】 제 16항에 있어서， [Claim 18] The method of claim 16,
상기 시청 영역 방향이 변경되는 경우, If the viewing area direction is changed,
상기 복합 차원 콘텐츠 제공 시스템은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법. And the multi-dimensional content providing system continuously changes the viewing screen area shown to the user by reflecting the changed viewing area direction in the rendered image.
【청구항 19]  [Claim 19]
거 11항에 있어서，  According to claim 11,
상기 복합 차원 콘텐츠 제공 시스템은 The multi-dimensional content providing system
상기 2D 부분 영상부의 재생 결과가 사용자에게 제공될 때， 상기 2D 부분 영상부의 기 설정된 여백 영역이 제외되고 사용자에게 제공되도톡 제어하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법. And when the reproduction result of the 2D partial image unit is provided to the user, the preset margin area of the 2D partial image unit is excluded and controlled to be provided to the user.
【청구항 20】 [Claim 20]
게 6항에 있어서，  According to claim 6,
상기 경계 정보는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 사용하는 것인 것이거나， Wherein the boundary information is to use the start position information or the section position information for each of the 2D partial image portion and the 3D partial image portion constituting the complex dimension content,
상기 차원 변환 처리를 수행하는 것은 상기 경계부를 기준으로 기 설정된 시간 구간 또는 기 설정된 프레임 구간을 대상으로 하여 페이드인 페이드 아웃 효과가 나도록 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법. The performing of the dimensional transformation process is to process a fade in and fade out effect for a predetermined time section or a predetermined frame section based on the boundary part. .
【청구항 21]  [Claim 21]
적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템에 있어서， 상기 복합 차원 콘텐츠 제공 시스템은  In the multi-dimensional content providing system for providing a user with a multi-dimensional content in which at least one 2D partial image unit and at least one 3D partial image unit is combined, the multi-dimensional content providing system is
2D부분 영상부와 쓰리 부분 영상부를 재생하는 2D 재생부; A 2D playback unit for playing back the 2D partial image unit and the three partial image unit;
재생 대상이 되는 부분 영상부가 2D 부분 영상부인지 쓰리 부분 영상부인지에 대한 재생 구간 속성 정보를 입수하는 재생 구간 속성 정보 입수부；및 상기 2D 재생부가 3D 부분 영상부를 재생한 결과를 입수하는 왜곡 이미지 입수부; 상기 왜곡 이미지 입수부가 입수하는 왜곡 이미지를 3D 렌더링 엔진으로 렌더링 처리하는 렌더링부;를 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템 . Playback section property information acquisition unit for obtaining playback section attribute information on whether the partial video unit to be played is a 2D partial video unit or a three-part video unit; and obtaining a distorted image for obtaining a result of playing the 3D partial image unit by the 2D playback unit; part; And a rendering unit which renders and processes a distorted image obtained by the distorted image obtaining unit by a 3D rendering engine.
【청구항 22】  [Claim 22]
제 21항에 있어서，  The method of claim 21,
상기 재생 구간 속성 정보 입수부는 The reproduction section attribute information acquisition unit
상기 복합 차원 콘텐츠를 구성하는 상기 2D부분 영상부와 상기 3D부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하는 것이거나， 상기 복합 차원 콘텐츠를 구성하는 상기 2D부분 영상부와 상기 3D부분 영상부 각각에 대한 시간 구간 대웅 정보 또는 프레임 구간 대응 정보를 입수하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템. Obtaining start position information or section position information for each of the 2D part image part and the 3D part image part constituting the complex dimensional content, or the 2D part image part and the 3D part constituting the complex dimensional content. The multi-dimensional content providing system, characterized in that to obtain the time section Daeung information or frame section correspondence information for each of the image unit.
【청구항 23】  [Claim 23]
제 22항에 있어서，  The method of claim 22,
상기 재생 구간 속성 정보 입수부는 The reproduction section attribute information acquisition unit
상기 시작 위치 정보나 상기 구간 위치 정보나 상기 시간 구간 대응 정보 또는 상기 프레임 구간 대웅 정보를 상기 복합 차원 콘텐츠 파일의 헤드부에서 입수하거나， Obtain the starting position information, the section position information, the time section correspondence information, or the frame section Daewoong information from the head of the multi-dimensional content file;
상기 복합 차원 콘텐츠 파일과는 독립적으로 외부에 존재하는 재생 구간 속성 정보 파일로부터 입수하는 것인 것이거나， Is obtained from an externally present playback section attribute information file independently of the multi-dimensional content file;
상기 복합 차원 콘텐츠 영상 정보를 제공하는 복합 차원 콘텐츠 제공 서버로부터 입수하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템. And obtaining from the multi-dimensional content providing server providing the multi-dimensional content image information.
【청구항 24】 [Claim 24]
제 22항에 있어서,  The method of claim 22,
상기 시작 위치 정보나 상기 구간 위치 정보나 상기 시간 구간 대웅 정보 또는 상기 프레임 구간 대응 정보는 The start position information, the section position information, the time section Daeung information, or the frame section corresponding information
시간 구간 단위 또는 시작 시각을 포함하여 구성되는 것이거나， Or includes a time interval unit or start time,
프레임 번호 구간 단위 또는 시작 프레임 번호를 포함하여 구성되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템. And a frame number section unit or starting frame number.
【청구항 25】  [Claim 25]
제 21항에 있어서， 상기 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수하고， 입수된 경계 정보에 기초하여， 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행하는 차원 전환 처리부；를 더 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템. The method of claim 21, Obtaining boundary information of the 2D partial image unit and the 3D image unit, and performing dimension conversion processing on the basis of the obtained boundary information from the boundary unit of the 2D partial image unit and the 3D partial image unit in a preset boundary range. A multi-dimensional content providing system, characterized in that it further comprises a processing unit.
【청구항 26】  [Claim 26]
제 21항에 있어서,  The method of claim 21,
상기 왜곡 이미지는 프레임 단위의 비트맵 이미지인 것이며， The distortion image is a bitmap image in units of frames,
상기 렌더링부가 렌더링 처리를 수행하는 단위는 프레임 단위로 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템. The rendering unit is a unit for performing a rendering process is a multi-dimensional content providing system, characterized in that for processing in units of frames.
【청구항 27】  [Claim 27]
제 26항에 있어서，  The method of claim 26,
상기 렌더링 처리부가 렌더링 처리를 수행하는 것은 The rendering processor performs rendering processing
구형 (sphere)유형으로 렌더링 처리하는 것이거나， 큐브 (cube)유형으로 렌더링 처리하는 것인 것을 특징으로 하는 복합차원 콘텐츠 제공 시스템. A multi-dimensional content providing system characterized in that the rendering process in the sphere (cube) type, or the rendering process in the cube (cube) type.
【청구항 28】  [Claim 28]
제 21항에 있어서，  The method of claim 21,
상기 복합 차원 콘텐츠 제공 시스템은 사용자 단말기에서 구동되는 것이며， 상기 사용자 단말기는 PC, 스마트폰， 태블릿 컴퓨터, 휴대용 컴퓨터， 게임기， 스마트 TV, 키오스크 단말기， 통신 가능하며 디스플레이 장치가 포함되어 있는 단말기， 외부로부터 복합 차원 콘텐츠 파일이 입수될 수 있고 디스풀레이 장치가 내장되거나, 유무선 네트워크로 디스플레이 장치와 통신 가능한 단말기 중 어느 하나 이상인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템. The multi-dimensional content providing system is driven in a user terminal, the user terminal is a PC, a smartphone, a tablet computer, a portable computer, a game machine, a smart TV, a kiosk terminal, a terminal capable of communicating and including a display device, from outside A multi-dimensional content providing system, characterized in that any one or more of a terminal that can obtain a multi-dimensional content file, a built-in display device, or communicate with the display device over a wired or wireless network.
【청구항 29】  [Claim 29]
제 28항에 있어서，  The method of claim 28,
상기 복합 차원 콘텐츠 제공 시스템이 구동되는 사용자 단말기는 The user terminal running the multi-dimensional content providing system is
적어도 하나 이상의 복합 차원 콘텐츠 제공 서버로부터 HTTP또는 RTMP중 어느 하나의 프로토콜을 사용하여 복합 차원 콘텐츠 영상 정보를 전송받는 것인 것이거나， Receive the multi-dimensional content video information from at least one multi-dimensional content providing server using any protocol of HTTP or RTMP,
상기 복합 차원 콘텐츠 제공 서버로부터 프로그레시브 다운로드 방식 또는 라이브 스트리밍 방식으로 상기 콘 영상 정보가 전송받는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템 . The cone image information is transmitted from the multi-dimensional content providing server in a progressive download method or a live streaming method. Multi-dimensional content providing system.
【청구항 30】  [Claim 30]
제 21항에 있어서，  The method of claim 21,
상기 2D 재생 수단이 재생하는 소리 정보와 렌더링 처리된 이미지를 씽크하는 씽크 처리부；를 더 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템, A multi-dimensional content providing system , characterized in that it further comprises a sink processing unit for sinking the sound information reproduced by the 2D playback means and the rendered image;
【청구항 31】  [Claim 31]
제 21항에 있어서，  The method of claim 21,
상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역으로 제공되는 것이 상기 사용자가 조절할 수 있도특 지원하는 시청 화면 영역 선택 지원부；를 포함하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템. And providing a viewing screen area selection support unit which can be controlled by the user, wherein at least one predetermined area of the rendered image is provided to the viewing screen area shown to the user. Provide system.
【청구항 32】  [Claim 32]
. 제 31항에 있어서，  . The method of claim 31,
상기 시청 화면 영역 선택 지원부는 상기 사용자로 하여금 시청 화면 영역의 설정을 지원하는 것이며， The viewing screen area selection support unit allows the user to set a viewing screen area.
상기 시청 화면 영역의 설정은 The setting of the viewing screen area
상기 사용자가 시청 화면 영역 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이며， The user designates or changes a viewing area direction for setting a viewing screen area;
상 7ᅵ 시청 영역 방향의 지정이나 변경은 키보드 입력, 키패드 입력， 터치 입력， 음성 입력, 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어 지는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템 . 7 ᅵ Designation or change of viewing area direction is a multi-dimensional content providing system, characterized in that the input through any one or more of the keyboard input, keypad input, touch input, voice input, gesture input.
【청구항 33】  [Claim 33]
제 32항에 있어서,  The method of claim 32,
상기 시청 화면 영역 설정에서 변경이 있는 경우， If there is a change in the viewing screen area setting,
상기 복합 차원 콘텐츠 제공 시스템은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역을 변경하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템. And the multi-dimensional content providing system changes the viewing screen area displayed to the user in the rendered image by using the changed viewing screen area setting information.
【청구항 34】 [Claim 34]
제 33항에 있어서， 상기 시청 영역 방향이 변경되는 경우, The method of claim 33, If the viewing area direction is changed,
상기 복합 차원 콘텐츠 제공 시스템은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것을 특징으로 하는 복합차원 콘텐츠 제공 시스템. The multi-dimensional content providing system of the multi-dimensional content providing system characterized in that to continuously change the viewing screen area shown to the user to reflect the changed viewing area direction in the rendered image.
【청구항 35】  [Claim 35]
제 25항에 있어서，  The method of claim 25,
상기 경계 정보는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 사용하는 것인 것이거나， Wherein the boundary information is to use the start position information or the section position information for each of the 2D partial image portion and the 3D partial image portion constituting the complex dimension content,
상기 차원 변환 처리를 수행하는 것은 상기 경계부를 기준으로 기 설정된 시간 구간 또는 기 설정된 프레임 구간을 대상으로 하여 페이드인 페이드 아웃 효과가 나도록 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템. The performing of the dimensional conversion processing is a multi-dimensional content providing system, characterized in that the processing for a fade-in fade-out effect for a predetermined time period or a predetermined frame section on the basis of the boundary portion.
【청구항 36]  [Claim 36]
파일 헤더부；및  File header section; and
영상 데이터부;를 포함하며， Includes; image data portion,
상기 영상 데이터부는 The image data unit
적어도 하나 이상의 2D 부분 영상부; 및 At least one 2D partial image unit; And
적어도 하나 이상의 3D 부분 영상부；를 포함하는 것이며， At least one 3D partial imager;
상기 2D 부분 영상부와 상기 3D 부분 영상부는 적어도 1회 이상 교번하여 나타나는 것인 것을 특징으로 하는 복합 차원 콘텐츠 파일. And the 2D partial image part and the 3D partial image part alternately appear at least one or more times.
【청구항 37】  [Claim 37]
제 36항에 있어서，  The method of claim 36,
상기 파일 헤더부에는 The file header section
재생 구간 속성 정보가 더 포함되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 파일. The multi-dimensional content file, characterized in that the play section attribute information is further included.
【청구항 38】  [Claim 38]
제 37항에 있어서，  The method of claim 37,
상기 재생 구간 속성 정보는 상기 영상 데이터부 중에서 상기 2D 부분 영상부와 상기 3D 부분 영상부에 대웅되는 영상 데이터에 대한 정보가 더 포함되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 파일.The reproduction section attribute information further includes information on image data that is processed from the 2D partial image unit and the 3D partial image unit among the image data units. Multi-dimensional content file, characterized in that included.
【청구항 39] [Claim 39]
제 38항에 있어서，  The method of claim 38,
재생 구간 속성 정보는 상기 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하는 것이거나， 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시간 구간 대응 정보 또는 프레임 구간 대응 정보인 것을 특징으로 하는 복합 차원 콘텐츠 파일. 【청구항 40] The playback section attribute information may be obtained from the start position information or the section position information of each of the 2D partial image unit and the 3D partial image unit, or correspond to a time interval of each of the 2D partial image unit and the 3D partial image unit. Information or frame section correspondence information. [Claim 40]
제 36항에 있어서，  The method of claim 36,
상기 2D 부분 영상부와 상기 3D 부분 영상부는 물리적인 경계의 구분 없이 연결되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 파일. And the 2D partial image unit and the 3D partial image unit are connected without distinction between physical boundaries.
PCT/KR2013/011933 2013-02-20 2013-12-20 System for providing complex-dimensional content, method for providing same, and complex-dimensional content file therefor WO2014129735A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130017859A KR20140104121A (en) 2013-02-20 2013-02-20 System, Method and File on Providing Multi-Dimensional Content
KR10-2013-0017859 2013-02-20

Publications (1)

Publication Number Publication Date
WO2014129735A1 true WO2014129735A1 (en) 2014-08-28

Family

ID=51391485

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/011933 WO2014129735A1 (en) 2013-02-20 2013-12-20 System for providing complex-dimensional content, method for providing same, and complex-dimensional content file therefor

Country Status (2)

Country Link
KR (1) KR20140104121A (en)
WO (1) WO2014129735A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411675A (en) * 2021-05-20 2021-09-17 歌尔股份有限公司 Video mixed playing method, device, equipment and readable storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102118347B1 (en) * 2019-04-09 2020-06-29 제이씨현시스템주식회사 System for implementing autonomic fly and Monitoring Danger Area through Thermal Image Data Shooted by Drone

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070104134A (en) * 2006-04-21 2007-10-25 엘지전자 주식회사 Method for transmitting and playing broadcast signal and apparatus there of
KR20090035794A (en) * 2007-10-08 2009-04-13 에스케이 텔레콤주식회사 System and method for 3d multimedia contents service using multimedia application file format
KR20110060736A (en) * 2009-11-30 2011-06-08 주식회사 하이닉스반도체 Semiconductor device
US20120229609A1 (en) * 2010-09-17 2012-09-13 Hitoshi Yamada Three-dimensional video creating device and three-dimensional video creating method
US20120314021A1 (en) * 2011-06-08 2012-12-13 City University Of Hong Kong Generating an aerial display of three-dimensional images from a single two-dimensional image or a sequence of two-dimensional images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070104134A (en) * 2006-04-21 2007-10-25 엘지전자 주식회사 Method for transmitting and playing broadcast signal and apparatus there of
KR20090035794A (en) * 2007-10-08 2009-04-13 에스케이 텔레콤주식회사 System and method for 3d multimedia contents service using multimedia application file format
KR20110060736A (en) * 2009-11-30 2011-06-08 주식회사 하이닉스반도체 Semiconductor device
US20120229609A1 (en) * 2010-09-17 2012-09-13 Hitoshi Yamada Three-dimensional video creating device and three-dimensional video creating method
US20120314021A1 (en) * 2011-06-08 2012-12-13 City University Of Hong Kong Generating an aerial display of three-dimensional images from a single two-dimensional image or a sequence of two-dimensional images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411675A (en) * 2021-05-20 2021-09-17 歌尔股份有限公司 Video mixed playing method, device, equipment and readable storage medium

Also Published As

Publication number Publication date
KR20140104121A (en) 2014-08-28

Similar Documents

Publication Publication Date Title
JP6878014B2 (en) Image processing device and its method, program, image processing system
US11582507B2 (en) Methods and apparatuses for combining and distributing user enhanced video/audio content
US10531158B2 (en) Multi-source video navigation
US10432987B2 (en) Virtualized and automated real time video production system
TWI573425B (en) Generating a 3d video signal
WO2021135334A1 (en) Method and apparatus for processing live streaming content, and system
KR101530826B1 (en) Playing method and the system of 360 degree spacial video
JP6004475B2 (en) REPRODUCTION CONTROL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM
JP6270555B2 (en) Image processing system, imaging apparatus, and control method thereof
JP2019516331A (en) Method and apparatus for optimizing regeneration
JP6027272B2 (en) Complex dimension content service providing system using 2D-3D complex dimension content file, service providing method thereof, and complex dimension content file
JP2010258768A (en) Image display device and control method thereof, program and storage medium
KR100901111B1 (en) Live-Image Providing System Using Contents of 3D Virtual Space
WO2014129735A1 (en) System for providing complex-dimensional content, method for providing same, and complex-dimensional content file therefor
JP2010010736A (en) Video content playback device
JP6987567B2 (en) Distribution device, receiver and program
JP4200858B2 (en) Information processing apparatus and method, recording medium, and program
JP2011146847A (en) Image reproduction controller, image reproduction control method, and imaging device
TWI355852B (en) Video recording and playing system and method for
JP2015037290A (en) Video control device, video display device, video control system, and method
TWI836141B (en) Live broadcasting method for real time three-dimensional image display
JP6970143B2 (en) Distribution server, distribution method and program
JP6473469B2 (en) Video distribution system
JP4790670B2 (en) Image display system and image display method
JP2014003425A (en) Video reproduction device, program, video reproduction method and server system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13875534

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13875534

Country of ref document: EP

Kind code of ref document: A1