WO2014129736A1 - 2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법 및 그 복합 차원 콘텐츠 파일 - Google Patents

2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법 및 그 복합 차원 콘텐츠 파일 Download PDF

Info

Publication number
WO2014129736A1
WO2014129736A1 PCT/KR2013/011934 KR2013011934W WO2014129736A1 WO 2014129736 A1 WO2014129736 A1 WO 2014129736A1 KR 2013011934 W KR2013011934 W KR 2013011934W WO 2014129736 A1 WO2014129736 A1 WO 2014129736A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information
dimensional content
partial image
image
Prior art date
Application number
PCT/KR2013/011934
Other languages
English (en)
French (fr)
Inventor
임형빈
이세준
Original Assignee
주식회사 카몬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카몬 filed Critical 주식회사 카몬
Priority to JP2015556869A priority Critical patent/JP6027272B2/ja
Priority to CN201380072941.XA priority patent/CN105191298B/zh
Priority to EP13875903.0A priority patent/EP2942949A4/en
Publication of WO2014129736A1 publication Critical patent/WO2014129736A1/ko
Priority to US14/826,185 priority patent/US9491447B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes

Definitions

  • Multi-dimensional content service providing system using 2D-3D multi-dimensional content file, method of providing the service and multi-dimensional content file
  • the present invention relates to a multidimensional content service providing system using a 2D-3D multidimensional content file, and a method for providing the service.
  • the present invention relates to a multidimensional content including a 2D partial image part and a 3D partial image part simultaneously in a single file.
  • 3D video and 2D video are different in that they can appeal to users. Therefore, if multi-dimensional content that combines 2D video and 3D video into one content is produced, it is expected to be popular with many users. On the other hand, 2D or 2D to shoot each of the 2D and 3D video to watch each
  • the 3D player is played in a manner in which another player is played at the end of one end, it takes a long time other than the refresh of the player that appears at the next time, that is, when different types of images are replaced. May cause an illusion that the playback of the last video has ended.
  • the integrated editing method has a number of problems, and the 2D up and down portions of the 2D and 3D images that are different from each other during the integrated editing are judged when the 2D and 3D images are judged when the 2D and 3D images are controlled. There was a problem controlling the rendering.
  • the 2D and 3D content is not provided to the users through the same playback means, and furthermore, if at least one part of the 2D partial image part and at least one part of the 3D part image part are integrated into one single file, There was no service provision through a single playback means for the file.
  • the first problem to be solved by the present invention is to provide a multi-dimensional content providing system.
  • the second problem to be solved by the present invention is to propose an information processing method of a multi-dimensional content providing system.
  • the third problem to be solved by the present invention is to present the configuration of a multi-dimensional content file.
  • the information processing method of the multi-dimensional content providing system for providing a user with a multi-dimensional content combined with at least one or more 2D partial image unit and at least one 3D partial image unit, (A) reproducing the 2D partial image part by 2D reproducing means by the multidimensional content providing system; (B) reproducing the 3D partial image part by 2D reproducing means; (C) acquiring a distorted reproduction image reproduced in step (B); (D) rendering the distorted reproduction image obtained in the step (C) with a 3D rendering engine; and (E) providing the rendered image to a user.
  • An information processing method of a multi-dimensional content providing system is presented.
  • the multi-dimensional content providing system obtains start position information or section position information for each of the 2D partial image part and the 3D partial image part constituting the multi-dimensional content, and at the start position of the 2D part image part;
  • the step (A) is performed, and the step (B) is performed at the start position of the 3D partial image part.
  • the start position information or the section position information is stored outside the compound dimension content or included in a header of the compound dimension content file.
  • the start position information or the section position information may be in the same storage device or storage system as the storage device in which the multi-dimensional content is stored as the management information of the multi-dimensional content, or before playing the multi-dimensional content. It is preferable to receive from a third system that provides the starting position information through a network.
  • the start position information or section position information may be configured to include a time section unit or a start time, or may be configured to include a frame number section unit or a start frame number.
  • the step (C) is to obtain a bitmap image by frame unit, and the step (D) is preferably a rendering process by frame unit.
  • the rendering process is performed in a sphere type, or the rendering process is performed in a cube type.
  • the multi-dimensional content providing system is driven in a user terminal, the step (E) is included in the user terminal or provided to at least one display device connected to the user terminal via a wired or wireless network, the composite
  • the dimensional content may be stored in the user terminal or provided in real time from at least one server connected to the user terminal through a wired or wireless network.
  • the method of providing the complex dimension content to the user terminal is to transmit the complex dimension content image information from the server to the user terminal using any protocol of HTTP or RTMP.
  • the cone image information may be transmitted from the server to the user terminal in a progressive download method or a live streaming method.
  • the sound information and the image information are provided by syncing the sound information reproduced by the 2D playback means and the image rendered in the step (D).
  • the step (E) it is preferable that at least one predetermined area of the rendered image is provided as a viewing screen area where the user is shown.
  • the information about the setting of the viewing screen area is stored in header information of the complex dimension content, is received from a server providing the complex dimension content, or is a viewing screen area set or preset in the complex dimension content providing system. It is preferable to change according to a setting rule.
  • the setting of the viewing screen area is set by the user.
  • the setting of the viewing screen area can be changed by the user during the reproduction of the multi-dimensional content.
  • the setting of the viewing screen area is for the user to designate or change the viewing area direction for setting the viewing screen area, and the designation or the change of the viewing area direction is among keyboard input, keypad input, touch input, voice input, and operation input. It is preferable that it is made through any one or more inputs.
  • the multi-dimensional content providing system may change the viewing screen area shown to the user in the rendered image by using the changed viewing screen area setting information.
  • the multi-dimensional content providing system continuously changes the viewing screen area shown to the user by reflecting the changed viewing area direction in the rendered image.
  • the multi-dimensional content providing system preferably controls the preset margin area of the 2D partial image unit to be provided to the user.
  • the boundary information may include starting position information or section position information of each of the 2D partial image unit and the 3D partial image unit constituting the complex dimensional content, or performing the dimensional transformation process, wherein the boundary unit is used. Based on the predetermined time period or the predetermined frame period as a target it is preferable to process to have a fade in (fade in) fade out (fade out) effect.
  • the complex dimensional content providing system for providing a user with a multi-dimensional content in which at least one 2D partial image unit and at least one 3D partial image unit is combined
  • the providing system includes a 2D playback unit for playing back the 2D partial image unit and the three partial image unit; Obtaining playback section attribute information on whether the partial video unit to be played is a 2D partial video unit or a three partial video unit A playback section attribute information acquisition unit; and a distortion image acquisition unit for obtaining a result of the 2D playback unit playing back the 3D partial image unit; And a rendering unit which renders the distorted image obtained by the distorted image obtaining unit using a 3D rendering engine.
  • the reproduction section attribute information obtaining unit obtains start position information or section position information for each of the 2D partial image unit and the 3D partial image unit constituting the complex dimensional content, or the 2D constituting the complex dimensional content. It is preferable to obtain time section correspondence information or frame section Daeung information for each of the partial image unit and the 3D partial image unit.
  • the reproduction section attribute information obtaining unit obtains the start position information, the section position information, the time section correspondence information, or the frame section Daeung information from the head of the compound dimension content file, or independently of the compound dimension content file. It may be obtained from an external playback section attribute information file or from a multidimensional content providing server providing the multidimensional content image information.
  • the start position information, the section position information, the time section correspondence information, or the frame section correspondence information is configured to include a time section unit or a start time, or includes a frame number section unit or a start frame number. It is preferable that it is.
  • the distortion image may be a bitmap image in units of frames, and the unit in which the rendering unit performs rendering processing processes in units of frames.
  • the rendering processing unit performs rendering processing in a sphere type or rendering processing in a cube type.
  • the multi-dimensional content providing system is driven by a user terminal.
  • the user terminal may be a PC, a smartphone, a tablet computer, a portable computer, a game machine, a smart TV, a kiosk terminal, a terminal capable of communicating and including a display device.
  • the multi-dimensional content file is at least one of a terminal which can be obtained and a built-in display device can communicate with the display device through a wired or wireless network.
  • the user terminal running the multi-dimensional content providing system is to receive the multi-dimensional content image information from at least one or more multi-dimensional content providing server using any protocol of ⁇ or RTMP, or provide the multi-dimensional content
  • the cone image information is transmitted from a server by a progressive download method or a live streaming method.
  • a sink processor for sinking the sound information reproduced by the 2D reproduction means and the rendered image
  • At least one preset area of the rendered image is provided to the viewing screen area displayed to the user, and the viewing screen area selection support unit may be configured to support the user's adjustment.
  • the viewing screen area selection support unit supports the user to set a viewing screen area, and the setting of the viewing screen area is for the user to designate or change a viewing area direction for setting the viewing screen area, and the viewing area It is preferable that the designation or the change of the direction be performed through at least one of a keyboard input, a keypad input, a touch input, a voice input, and an operation input.
  • the multi-dimensional content providing system may change the viewing screen area shown to the user in the rendered image by using the changed viewing screen area setting information.
  • the system preferably continuously changes the viewing screen area shown to the user by reflecting the changed viewing area direction in the rendered image.
  • the boundary information may include starting position information or section position information of each of the 2D partial image unit and the 3D partial image unit constituting the complex dimensional content, or performing the dimensional conversion process, wherein the boundary unit is used. It is preferable to process a fade-in fade-out effect for a predetermined time period or a predetermined frame period on the basis of.
  • the present invention includes a file header unit; and an image data unit; wherein the image data unit at least one 2D partial image unit; And at least one 3D partial image part, wherein the 2D partial image part and the 3D partial image part alternately appear at least one or more times.
  • the file header section further includes reproduction section attribute information.
  • the reproduction section attribute information further includes information on image data that is subjected to the 2D partial image unit and the 3D partial image unit among the image data units.
  • the playback section attribute information may be obtained from the start position information or the section position information of each of the 2D partial image unit and the 3D partial image unit, or the time section of each of the 2D partial image unit and the 3D partial image unit. It is preferably information or frame section information.
  • the 2D partial image unit and the 3D partial image unit are connected without distinction between physical boundaries.
  • multidimensional content can be provided to a user without distortion by a single playback means.
  • FIG. 1 is an exemplary diagram of a system configuration for providing multi-dimensional content of the present invention.
  • FIG. 2 is an exemplary diagram of another system configuration for providing multi-dimensional content of the present invention.
  • FIG. 3 is an exemplary diagram of an exemplary information processing method of a multi-dimensional content providing system according to the present invention.
  • FIG. 4 is a diagram for another embodiment of a method for processing information of a multi-dimensional content providing system according to the present invention.
  • FIG. 5 is a diagram for another embodiment of a method for processing information of a multi-dimensional content providing system according to the present invention.
  • FIG. 6 is an exemplary diagram of another system configuration for providing multi-dimensional content of the present invention.
  • FIG. 7 is an exemplary diagram of an exemplary configuration of multi-dimensional content of the present invention.
  • FIG. 8 is an exemplary diagram for another exemplary configuration of multi-dimensional content of the present invention.
  • 9 is a diagram illustrating a general comparison of 3D and 2D images. 10 is a diagram related to 3D image selection.
  • FIG. 11 is a view in which an image is removed from the black border is provided in the provision of a 2D image Drawing
  • FIG. 1 to 2 is an exemplary diagram of a configuration for providing multi-dimensional content of the present invention.
  • At least one user terminal 100 including the multi-dimensional content providing system 1000 of the present invention is connected to at least one multi-dimensional content providing server 200 through a wired or wireless network 500.
  • the multidimensional content providing system 1000 downloads a multidimensional content file from the multidimensional content providing server 200 or executes the present invention on a multidimensional content file stored in the user terminal 100. Or, it includes a multi-dimensional content providing engine 1100 for implementing the present invention to the multi-dimensional content image information received from the multi-dimensional content providing server 200.
  • the multidimensional content providing engine 1100 may include a 2D playback unit 1110 for reproducing the multidimensional content of the present invention, and playback section attribute information for obtaining information about the 2D partial image unit and the 3D image unit with respect to the multidimensional content.
  • Acquisition unit 1120 Distortion image acquisition unit 1130 to obtain a distortion image generated when the 2D playback unit 1110 reproduces the 3D partial image included in the multi-dimensional content, Rendering process of the distortion image
  • the rendering unit 1140 is included.
  • the multidimensional content providing engine 1100 controls the image reproduced by the 2D playback unit 1110 and sound information included in the multidimensional content to be output from the user terminal output device 2000 by matching a sync. It may further include the sink processor 1150.
  • the multidimensional content providing engine 1100 may be configured to increase the image quality provided to the display device 2100 of the user when the 2D partial image part and the 3D partial image part are switched from each other in the multidimensional content. It may further include a processor 1160. Furthermore, the multi-dimensional content providing engine 1100 may further include a viewing screen region selection support unit 1170 that supports setting and changing a viewing screen region 620 that the user wants to watch in the 3D partial image unit. have.
  • Image information processed by the multi-dimensional content providing system 1000 may be of two types.
  • the first form is a form of complex dimensional content image information transmitted by the multidimensional content providing server 200 to the user terminal 100 in a streaming or progressive download manner
  • the second form is a complex dimension in which the complex dimension content is stored. It can be in the form of a content file.
  • 1 shows a multi-dimensional content image information acquisition unit 1200 of the user terminal 100.
  • the multi-dimensional content image information transmission unit 220 of the multi-dimensional content providing server 200 transmits the multi-dimensional content image information.
  • the multi-dimensional content providing engine 1100 processes multi-dimensional content image information obtained by a receiving method.
  • FIGS. 1 and 2 illustrates that a multidimensional content file acquisition unit of the user terminal 100 receives a multidimensional content file from a multidimensional content file transmitter of the multidimensional content providing server 200, and transmits the multidimensional content file to the multidimensional content file.
  • the user terminal 100 may include all of the functions of FIGS. 1 and 2, and the multi-dimensional content providing server 200 may also include all of the functions of FIGS. 1 and 2.
  • the user terminal 100 may receive the multi-dimensional content image information from a multi-dimensional content providing server 200, a multi-dimensional content file from another multi-dimensional content providing server 200, USB or At least one compound dimension content file may be stored in the user terminal 100 in any manner such as an attachment file.
  • the same multidimensional content providing server 200 may transmit multidimensional content image information to the user terminal 100, but may simultaneously transmit a multidimensional content file to the user terminal 100. It will be apparent to those skilled in the art that a hybrid form combining the inventive idea of FIGS. 1 and 2 may be constructed.
  • FIGS. 7-8 illustrate one embodiment of the configuration of the multi-dimensional content file of the present invention. The configuration is shown.
  • the compound dimension content file includes a compound dimension content head portion and a compound dimension content data portion.
  • a typical pile head is shown
  • a unique multi-dimensional content head is shown.
  • the multidimensional content head section of FIG. 8 further includes a general file head section and a multidimensional content reproduction section information head section including the multidimensional content reproduction section information of the present invention.
  • the multi-dimensional content data unit of the present invention is characterized in that it comprises at least one 2D data unit and one 3D data unit. 7 and 8 illustrate that the 3D content unit includes three 2D data units and two 3D data units.
  • the image information of the 2D data portion corresponds to the 2D partial image portion from the viewpoint of the reproduction target, and the image information of the 3D data portion is displayed on the 3D portion image portion.
  • the multidimensional content data part appears to start from the 2D part image part and ends with the 2D part image part, but it may be started from the 3D part image part or may end with the 3D part image part. something to do.
  • a boundary between the 2D partial image part and the 3D partial image part includes a boundary that is a boundary between the 2D partial image part and the 3D partial image part. It is preferable that the boundary is not a physical entity but a boundary that is passed from the 2D partial image unit to the 3D partial image unit or from the 3D partial image unit to the 2D partial image unit, and thus is identified as a conceptual object.
  • the multi-dimensional content data unit of the present invention is characterized in that the 2D partial image unit and the 3D partial image unit are alternated, and the 2D partial image unit and the three-part image unit are confronted with a time section or a frame section in view of reproduction of the image section.
  • Table 1 below describes the Daeung information between the partial image unit and the time section or frame section.
  • _a, _b, _c, -d, ⁇ e, etc. indicate numbers.
  • the 2D partial image unit corresponding to 410a is subjected to T1 to T2 based on the playback time, and is framed to Frame Number_a to Frame Number_b as the frame number section of the image.
  • the time of T, T2, etc. is generally a unit of time divided into seconds or seconds.
  • a playback time of 1 second corresponds to a screen of 28 frames or 32 frames at a normal video playback speed, but in some cases, a screen of more or fewer frames may be displayed.
  • the start of the frame number, referred to as reference number 420a, which is the first 3D part image part, is indicated by Frame Number_b + 1.
  • Frame Number ⁇ b + 1 is one frame larger than the last frame number Frame Number_b of the previous 2D partial image part.
  • T2 is displayed as the first 3D partial image part number 420a as 1 greater than the minimum time display unit than the last time T2 of the last 2D partial image part, but the first 3D partial image part is displayed.
  • T2-T3 the time interval is typically denoted by T2-T3
  • the frame number_a and the like may be starting position information of the 2D part image unit
  • T2 or frame number # b + 1 may be starting position information of the 3D part image unit.
  • the multidimensional content reproduction section information (information that a 2D partial image unit or a 3D partial image unit corresponds to a time section or a frame number section) as shown in Table 1 may be included in the multidimensional content playback section information head unit of the present invention as shown in FIG. 8. It may be included. In this case, the reproducing means can distinguish whether the video currently being reproduced is a 2D video or a 3D video by using the multi-dimensional content reproduction section information. Independently of the complex dimension content reproduction section information present in the complex dimension content reproduction section information head unit, the complex dimension content reproduction section information may exist outside the complex dimension content reproduction section information head unit. As shown in FIG.
  • the playback section attribute information acquisition unit 1120 receives the complex dimension content image information through the complex dimension content image information transmitter 220 of the complex dimension content providing server 200, the complex dimension content image information is received.
  • the multi-dimensional content reproduction section information about the multi-dimensional content may be independently transmitted from the dimensional content providing server 200 or when the multi-dimensional content image information is transmitted.
  • Photographing the received multi-dimensional content reproduction section information the distortion image acquisition unit 1130 of the multi-dimensional content providing engine 1100 obtains the distortion image generated when the 3D partial image unit is reproduced through the 2D playback means and the The renderer 1140 supports rendering. Meanwhile, as illustrated in FIG. 2, when the complex dimension content file is obtained, the complex dimension content reproduction section information may be obtained independently of the complex dimension content file.
  • the multi-dimensional content reproduction section information may be provided in the form of such an independent file, and the reproduction section attribute information acquisition unit 1120 ) May obtain a reproduction section attribute information file including the multi-dimensional content reproduction section information and use the same in implementing the present invention.
  • the multi-dimensional content reproduction section information may be stored in the multi-dimensional content file unit 1300 in which individual multi-dimensional content is stored as shown in FIG. 2.
  • the file including the multi-dimensional content reproduction section information will include the information shown in Table 1 (it will be more appropriate to include Daewoong frame number section information.). Below, the information of the contents of these files may be as follows.
  • the Start Frame Number is the Frame Number to be entered, and the End Frame Number will be the ending Frame Number.
  • the 2D partial image unit and the 3D partial image unit should be set to where and how far from the unit of time (second or less) or frame unit, respectively.
  • Such information is stored in the multi-dimensional content reproduction section information related to the multi-dimensional content, and the format may be an xml file.
  • GTweenTimeline sets a timeline between playback and end of an image by way of example, the actual image is streamed and played, the meta information of the image is real-time from the multi-dimensional content providing server 200 in real time.
  • Determining the current time by acquiring in a preset second unit or less than a second unit, and the 2D and 3D image unit set in the xml file containing the multi-dimensional content playback section information It may be determined whether the time / frame number coincides with the play section / play time section.
  • Figure 3 illustrates an exemplary information processing method of the multi-dimensional content providing system 1000 of the present invention.
  • the multi-dimensional content providing system 1000 reproduces the 2D partial image part by 2D reproduction means (S11), recognizes the start of the three partial image part (S12), reproduces the three partial image part by the 2D reproduction means (S13), Obtain the reproduced bitmap image by frame (S14), render the obtained bitmap image by 3D engine (S15), output the rendered image frame by frame (S16), and sync the output rendered image with voice.
  • S17 reproduces the 2D partial image part by 2D reproduction means
  • S12 recognizes the start of the three partial image part
  • S13 reproduces the three partial image part by the 2D reproduction means
  • output the rendered image frame by frame (S16) output the rendered image frame by frame (S16), and sync the output rendered image with voice.
  • S17 To provide
  • the multi-dimensional content providing system 1000 of the present invention is characterized in that the 2D partial image unit or the 3D partial image unit is reproduced by one 2D playback means.
  • a distorted image is generated.
  • the reproduction section attribute information acquisition unit 1120 obtains the fact that the partial image unit being reproduced at a specific time point is a 3D partial image unit
  • the multi-dimensional content providing engine 1100 immediately returns the 3D partial image unit to be played back by the user. It does not send to the terminal output device 2000.
  • the distorted image acquisition unit 1130 obtains a distorted bitmap image that is a result of reproduction of the 3D portion image unit reproduced through the 2D playback unit 1110.
  • the rendering processing unit 1142 of the rendering unit 1140 performs rendering processing on the obtained distortion bitmap image, which is a rendering target image obtained by the rendering target image obtaining unit 1141.
  • the acquisition of the distorted bitmap image is performed in units of frames, and the rendering is also performed in a frame of bitmap images.
  • the first method is to render the screen as sphere type. This method renders to the sphere so you can see more detail. However, because it is an old type, the line part may become crumpled when expressing content with many straight lines.
  • cube type which is a regular hexagon and renders texture Bitmap data on 6 sides That's how. In this method, if the video has many horizontal and vertical lines, the line can be expressed as a straight line rather than the sphere type.
  • the photographing method obtains the result in one shot, and each side is photographed and rendered.
  • a program called papervision3d can be used to convert the captured bitmap data in the frame unit so that the Sphere object is rendered as a Sphere type.
  • the quadrantRenderEngine object which is a rendering engine in actual papervision3d, starts 3D rendering of the screen on a frame-by-frame basis.
  • the rendered image is provided outside the renderer 1140 through the render image provider 1143.
  • the sink processor 1150 of the present invention controls the sound information and the image information to be provided by sinking the sound information reproduced by the 2D playback means and the rendered image. Independently from the generation of the distorted image or the rendering process, the 2D partial image portion or the 3D partial image portion is continuously reproduced in the background by the 2D reproduction means. In this case, since the distortion image reproduced by the 2D reproduction means follows the rendering process, it takes more time than the reproduction image of the 2D partial image part by the conventional 2D reproduction means. Therefore, there is a need for a sync to provide the rendered image, such as a sound or a sound, when the 2D reproducing means reproduces the 3D part image unit. Since a detailed sink method of sound (voice, etc.) information generated while the 3D partial image is reproduced by the rendered image and the 2D reproduction means is obvious to those skilled in the art, a detailed description thereof will be omitted.
  • the user may experience uncomfortable situations such as the screen being broken in the middle due to various causes (especially the specifications of the computer being played) between these conversions on the user's display screen. May occur. Therefore, when switching the screen from 2D video to 3D video It is necessary to switch or switch without causing inconvenience to the user.
  • the dimension conversion processing unit obtains boundary information of the 2D partial image unit and the 3D image unit (S21), and based on the obtained boundary information, a dimension in a preset boundary range from the boundary unit of the 2D partial image unit and the 3D partial image unit. Perform the conversion process.
  • the dimension conversion processor 1160 obtains boundary information of the 2D partial image unit and the 3D image unit, and presets the boundary information of the 2D partial image unit and the 3D partial image unit based on the obtained boundary information. Perform the dimension transformation process in the boundary range.
  • the boundary information acquisition unit 1161 of the dimension conversion processing unit 1160 obtains information on the boundary portion, and performs the dimension conversion processing in the vicinity of the boundary portion.
  • the dimensional conversion processing unit has an object that has a fade in and out effect at the instant when the 2D partial image is changed from the 2D partial image to the 3D partial image or at the instant when the 3D partial image is changed to the 2D partial image.
  • the multi-dimensional content providing engine 1100 may allow at least one preset area of the rendered image to be provided to the viewing screen area 620 displayed to the user.
  • the setting of the viewing screen area 620 is set by the user, and the setting of the viewing screen area 620 may be changed by the user during playback of the complex dimension content.
  • the information about the setting of the viewing screen area 620 is stored in the header information of the multi-dimensional content, or received from the multi-dimensional content providing server 200 that provides the multi-dimensional content, or
  • the multi-dimensional content providing system 1000 may be set or changed according to a preset viewing screen area setting rule.
  • FIG. 5 is an exemplary configuration of how the viewing screen region 620 is set up outside of the user.
  • the viewing screen region selection support unit 1170 obtains information for setting the viewing screen region 620 shown to the user (S31), and uses the obtained viewing screen region 620 setting information to view the viewing screen region 620. 3D partial image information is obtained in step (S32).
  • the viewing screen region selection support unit 1170 obtains selection information about the 3D partial image unit that the user wants to watch from the user (S41), and obtains the 3D partial image unit that receives the selection information (S42).
  • the user can watch a 3D image in a desired direction through the viewing screen region 620 setting.
  • the setting of the viewing screen area 620 is for the user to designate or change the viewing area direction for setting the viewing screen area 620.
  • the designation or change of the viewing area direction is for keyboard input, keypad input, touch input, It is preferable that the input is made through at least one of a voice input and an operation input.
  • the multi-dimensional content providing system 1000 uses the changed viewing screen region setting information to view the viewing screen region displayed to the user in the rendered image. It is preferable to change 620. For example, in FIG.
  • the 3D partial image portion is a plurality of cameras
  • the image obtained from the lens is configured in such a manner that is combined with one screen
  • an image corresponding to the moved direction may be provided.
  • a single camera has a plurality of lenses for acquiring images corresponding to any two or more directions of up, down, left, right, and back, and each of the images acquired from these lenses may be combined to form one 3D image.
  • the images obtained through the specific lens may be controlled or edited so as to be arranged at a specific position or area of the 3D image.
  • the image on the left of the currently watching image may be provided to the user as a new viewing screen area. This is similar to the view on the left when the person who was looking straight turned his head to the left and looked in the left direction.
  • the multi-dimensional content providing system 1000 may continuously change the viewing screen area shown to the user by reflecting the changed viewing area direction in the rendered image. .
  • the 3D image of the present invention may be a panoramic image.
  • the panoramic image includes a plurality of lenses that obtain images in any two or more directions of up, down, left, right, and back in one camera, and each image obtained from these lenses is combined, or each of the plurality of cameras is used.
  • the images obtained from the camera may be combined to form one panorama image.
  • the 3D partial image part may be a panoramic partial image part.
  • FIG. 10 a conceptual diagram of the inventive concept regarding the selection of the viewing screen region 620 as described above is presented.
  • the 3D partial image unit that the user views is part of the 3D partial image unit that is actually reproduced.
  • FIG. 10 illustrates a concept of the inventive concept in which a selected 3D image 630 is provided in which a selected image in a box-viewing screen area 620 is provided to a user among 3D images 610 which are actually reproduced 3D images. Giving. At this time, if the user wants to change the viewing direction on the screen they are viewing, When set, the user is provided with another corresponding image of a preset size (eg, horizontal n * vertical m size) on the changed side.
  • a preset size eg, horizontal n * vertical m size
  • the rendering target of the rendering unit 1140 may be a reproduction result of the entire 3D partial image unit, but only the viewing screen region 620 provided to the user may be rendered. .
  • the result of selecting the viewing screen region 620 by the viewing screen region selection support unit 1170 acts on the rendered video image (takes the selected viewing screen region), but in the latter case, the distortion is the target image to be rendered. Can act on the image.
  • FIGS. 9 and 11 shows an exemplary comparative example of the 3D image and the 2D image of the present invention.
  • FIGS. 9 and 11 it can be seen that in 2D, there is a black border 650 on the outside of the 2D image 660.
  • the margin processor 1180 of the multi-dimensional content providing system 1000 is illustrated.
  • When the 2D partial image unit is played back,) may remove the margin of the 2D partial image unit and provide only a real image image to the user.
  • the production method of 2D image or 3D image may be different, but both images may be configured as a single file in the form of a general 2D image of 2400x1200 pixels. (As illustrated in FIG.
  • the frame has the same number of pixels when the frame including the edge portion 650 of the 3D image 610 and the 2D image 660 has the same number.
  • the 2D video may be produced with a space of 60 pixels in the top and bottom and 240 pixels in the left and right even in the FullHD resolution of the 2D video. This is because a frame-shaped black frame 650 exists in a 2D partial image having a size of 2400x1200, except for 1920x1080 where the center is reproduced.
  • the complex dimension content providing system 1000 detects the black color of the part and automatically records it as metadata in the video header, or Table 1 Information can be processed to record time table values such as As a result, this timetable value may be read in the reproduction of the multi-dimensional content, and image switching may be easily performed based on this.
  • FIG. 11 shows the information processing objects 660 and 650 of the margin processing unit 1180 in contrast with the resultant image 670 after the margin processing.
  • the communication protocol to be delivered may be one of HTTP or RTMP.
  • the method of providing the multidimensional content to the user terminal 100 may include a progressive download method or a live streaming method from the multidimensional content providing server 200 to the user terminal 100. It is preferable that the cone image information is transmitted.
  • Progressive download using the http protocol is a basic protocol used by Internet web browsers. It uses 80 ports and plays a video with a certain level of buffering while downloading the service video.
  • the rtmp protocol uses port 1935 as the protocol used for transmitting live streaming video and plays back the post buffering set at the time point specified by the user by the header meta value sent in real time.
  • a rtmp (live streaming) method that can receive a header value of an image in real time may be more preferable.
  • Table 2 compares the characteristics of progressive download and live streaming.
  • the present invention can be widely used in various content-related businesses such as sports, music, film, documentary, education, advertising, and video related industries.
  • Multi-dimensional content providing system Multi-dimensional content providing engine : 2D playback unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 2D-3D 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템 및 그 제공 방법에 관한 것이다. 본 발명의 복합 차원 콘텐츠 제공 시스템은 적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법에 있어서, 상기 복합 차원 콘텐츠 제공 시스템이 (A) 2D 부분 영상부를 2D 재생 수단으로 재생하는 단계; (B) 3D 부분 영상부를 2D 재생 수단으로 재생하는 단계; (C) 상기 (B) 단계에서 재생되는 왜곡 재생 이미지를 입수하는 단계; (D) 상기 (C) 단계에서 입수한 상기 왜곡 재생 이미지를 3D 렌더링(rendering) 엔진으로 렌더링 처리하는 단계;및 (E) 상기 렌더링 처리된 이미지를 사용자에게 제공하는 단계;를 포함하여 정보 처리하는 것을 특징으로 한다.

Description

【명세서】
【발명의 명칭】
2D-3D복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스제공 시스템， 그 서비스 제공 방법 및 그 복합 차원 콘텐츠 파일
【기술분야】
본 발명은 2D-3D 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템， 그 서비스 제공 방법에 관한 것으로서， 1개의 파일에 2D 부분 영상부와 3D 부분 영상부가 동시에 포함되어 있는 복합 차원 콘텐츠를 단일한 재생 수단을 통해 제공될 수 있도록 하는 2D-3D 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법에 관한 것이다.
【발명의 배경이 되는 기술】
과거에는 일반 카메라로 여러 각도의 사진을 다수 촬영해서， 파노라마 사진이나 영상을 만들어 서비스 하는데는 촬영 가능한 장비와 그것을 볼 수 있는 특수한 뷰어가 있다고 해도 사용자의 컴퓨터 사양이 좋지 않으면 동영상 자체가 원할 하게 재생되지 않는 문제가 있었다. 하지만， 보다 편리하게 3D 영상을 촬영할 수 있는 장비의 등장과 함께 사용자의 컴퓨터 사양이 점점 업그레이드 되면서 이제는 문제가 과연 얼마나 좋은 콘텐츠를 사용자에게 제공하는 가가 문제가 되었다.
3D영상 그리고 2D영상은 각각이 사용자들에게 어필할 수 있는 점이 다르다. 따라서 2D 영상과 3D 영상을 1개의 콘텐츠에 복합시키는 복합 차원 콘텐츠가 나온다면 많은 사용자들에게 인기를 끌 수 있을 것으로 예측된다. 한편， 2D영상과 3D영상을 각각 촬영하여 각각을 시청할 수 있는 2D또는
3D 플레이어로 한쪽이 끝나는 시점에서 다른 플레이어가 이어서 재생되는 방식으로 재생시키는 경우에는 이어지는 시점 즉， 서로 다른 종류의 영상이 교체되는 시점에서 나타나는 플레이어의 새로 고침 현상이 이외로 긴 시간이 걸리며， 사용자들에게 마지 영상의 재생이 끝나 버렸다는 착각을 일으킬 수 있게 된다.
이에， 2D와 3D 영상의 통합 편집으로 구성되는 복합 차원 콘텐츠의 필요성이 대두된다. 하지만， 통합 편집 방식은 여러 가지 문제점이 있는데， 통합 편집 시 2D와 3D 영상의 크기가 서로 를리기 때문에 나오는 2D 위，아래 부분은 검은 여백 부분 제어 문제와 2D와 3D 영상이 나오는 시점을 판단하여 3D 렌더링을 제어하는 문제 등이 있었다.
따라서， 복합 차원 콘텐츠의 도입， 복합 차원 콘텐츠의 구성 및 복합 차원 콘텐츠의 서비스를 위한 기술적인 문제 해결 방법이 절실히 요구되어 왔다.
통상적으로 영상 (동영상 등)을 사용자에게 제공할 때， 2D 콘텐츠에 대해서는 2D 플레이어를 통하여 재생되어 사용자에게 제공되었다. 그리고， 파노라마 영상은 3D 콘텐츠만을 전용을 재생하는 3D 플레이어를 통해서만 제공되었다.
이때， 2D와 3D 콘텐츠를 동일한 재생 수단을 통하여 사용자들에게 제공되지는 않았으며， 더욱이 적어도 한 부분 이상의 2D 부분 영상부와 적어도 한 부분 이상의 3D부분 영상부가 1개의 단일 파일에 통합된 경우， 이러한 단일 파일에 대한 단일한 재생 수단을 통한 서비스 제공은 없었다.
특히， 스포츠， 음악， 영화， 다큐멘터리， 교육， 광고 등 각종 콘텐츠에서 2D 영상부와 3D 영상부가 복합된 콘텐츠를 구성하여 제공하면， 사용자들에게 특별한 경험을 제공할 수 있을 것이다. 이에， 2D영상부와 3D영상부가 복합되어 있는 복합 차원 콘텐츠를 제공하는 시스템 및 그 제공 방법에 대한 개발이 절실히 요구되어 왔다.
【발명의 내용】
【해결하고자 하는 과제】
본 발명이 해결하고자 하는 첫번째 과제는 복합 차원 콘텐츠 제공 시스템을 제시하는 것이다.
본 발명이 해결하고자 하는 두번째 과제는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법을 제시하는 것이다.
본 발명이 해결하고자 하는 세번째 과제는 복합 차원 콘텐츠 파일의 구성을 제시하는 것이다. 【과제의 해결 수단】
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여， 적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법에 있어서， 상기 복합 차원 콘텐츠 제공 시스템이 (A) 2D 부분 영상부를 2D 재생 수단으로 재생하는 단계; (B) 3D 부분 영상부를 2D 재생 수단으로 재생하는단계; (C) 상기 (B) 단계에서 재생되는 왜곡 재생 이미지를 입수하는 단계; (D) 상기 (C) 단계에서 입수한 상기 왜곡 재생 이미지를 3D 렌더링 (rendering) 엔진으로 렌더링 처리하는 단계 ;및 (E) 상기 렌더링 처리된 이미지를 사용자에게 제공하는 단계;를 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법을 제시한다.
상기 복합 차원 콘텐츠 제공 시스템은 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하고, 상기 2D부분 영상부의 시작 위치에서 상기
(A) 단계를 실시하고， 상기 3D 부분 영상부의 시작 위치에서 상기 (B) 단계를 실시하는 것인 것이 바람직하다.
상기 시작 위치 정보나 구간 위치 정보는 상기 복합 차원 콘텐츠의 외부에 저장되어 있는 것이거나， 상기 복합 차원 콘텐츠 파일의 헤더에 포함되어 있는 것인 것이 바람직하다.
상기 시작 위치 정보나 구간 위치 정보는 상기 복합 차원 콘텐츠의 관리 정보로 상기 복합 차원 콘텐츠가 저장되고 있는 저장 장치와 동일한 저장 장치 또는 저장 시스템에 되어 있는 것이거나， 상기 복합 차원 콘텐츠를 재생하기 전에， 유무선 네트워크를 통하여 상기 시작 위치 정보를 제공하는 제 3의 시스템으로부터 전송 받는 것인 것이 바람직하다.
상기 시작 위치 정보나 구간 위치 정보는 시간 구간 단위 또는 시작 시각을 포함하여 구성되는 것이거나, 프레임 번호 구간 단위 또는 시작 프레임 번호를 포함하여 구성되어 있는 것인 것이 바람직하다.
(F) 상기 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수하는 단계 ;및 (G)입수된 경계 정보에 기초하여 ,상기 2D부분 영상부와 상기 3D부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행하는 단계;를 더 포함하는 것인 것이 바람직하다.
상기 (C)단계는 비트맵 이미지로 프레임 단위로 입수하는 것인 것이며 , 상기 (D) 단계는 프레임 단위로 렌더링 처리하는 것인 것이 바람직하다.
상기 (D) 단계는 구형 (sphere) 유형으로 렌더링 처리하는 것이거나， 큐브 (cube) 유형으로 렌더링 처리하는 것인 것이 바람직하다.
상기 복합 차원 콘텐츠 제공 시스템은 사용자 단말기에서 구동되는 것이며， 상기 (E) 단계는 상기 사용자 단말기에 포함되어 있거나， 상기 사용자 단말기와 유무선 네트워크로 연결된 적어도 하나 이상의 디스플레이 장치로 제공되는 것인 것이며， 상기 복합 차원 콘텐츠는 상기 사용자 단말기에 저장되어 있는 것이거나， 상기 사용자 단말기와 유무선 네트워크로 연결되는 적어도 하나 이상의 서버로부터 실시간으로 제공되는 것인 것이 바람직하다. 상기 복합 차원 콘텐츠가 상기 사용자 단말기에 제공되는 방법은 상기 서버로부터 상기 사용자 단말기에 HTTP 또는 RTMP 중 어느 하나의 프로토콜을 사용하여 복합 차원 콘텐츠 영상 정보를 전송되는 것인 것이 바람직하다.
상기 복합 차원 콘텐츠가 상기 사용자 단말기에 제공되는 방법은 상기 서버로부터 상기 사용자 단말기에 프로그레시브 다운로드 방식 또는 라이브 스트리밍 방식으로 상기 콘 영상 정보가 전송되는 것인 것이 바람직하다. 상기 (E) 단계는 상기 2D 재생 수단이 재생하는 소리 정보와 상기 (D) 단계에서 렌더링 처리된 이미지를 씽크 (sync)하여 소리 정보와 이미지 정보가 함께 제공되는 것인 것이 바람직하다.
상기 (E) 단계는 상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역으로 제공되는 것이 바람직하다. 상기 시청 화면 영역의 설정에 관한 정보는 상기 복합 차원 콘텐츠의 헤더 정보에 저장되어 있거나， 상기 복합 차원 콘텐츠를 제공하는 서버로부터 전송받는 것이거나， 상기 복합 차원 콘텐츠 제공 시스템에서 설정되거나 기 설정된 시청 화면 영역 설정 규칙에 따라 변경되는 것인 것이 바람직하다. 상기 시청 화면 영역의 설정은 상기 사용자가 설정하는 것인 것이며, 상기 시청 화면 영역의 설정은 상기 사용자가 상기 복합 차원 콘텐츠의 재생 중에 변경할 수 있는 것인 것이 바람직하다.
상기 시청 화면 영역의 설정은 상기 사용자가 시청 화면 영역 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이며， 상기 시청 영역 방향의 지정이나 변경은 키보드 입력, 키패드 입력， 터치 입력， 음성 입력， 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어지는 것인 것이 바람직하다.
상기 시청 화면 영역 설정에서 변경이 있는 경우， 상기 복합 차원 콘텐츠 제공 시스템은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역을 변경하는 것인 것이 바람직하다.
상기 시청 영역 방향이 변경되는 경우， 상기 복합 차원 콘텐츠 제공 시스템은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것이 바람직하다.
상기 복합 차원 콘텐츠 제공 시스템은 상기 2D 부분 영상부의 재생 결과가 사용자에게 제공될 때， 상기 2D 부분 영상부의 기 설정된 여백 영역이 제외되고 사용자에게 제공되도록 제어하는 것인 것이 바람직하다.
상기 경계 정보는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 사용하는 것인 것이거나， 상기 차원 변환 처리를 수행하는 것은 상기 경계부를 기준으로 기 설정된 시간 구간 또는 기 설정된 프레임 구간을 대상으로 하여 페이드 인 (fade in) 페이드 아웃 (fade out) 효과가 나도록 처리하는 것인 것이 바람직하다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여， 적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템에 있어서， 상기 복합 차원 콘텐츠 제공 시스템은 2D 부분 영상부와 쓰리 부분 영상부를 재생하는 2D 재생부; 재생 대상이 되는 부분 영상부가 2D 부분 영상부인지 쓰리 부분 영상부인지에 대한 재생 구간 속성 정보를 입수하는 재생 구간 속성 정보 입수부；및 상기 2D 재생부가 3D 부분 영상부를 재생한 결과를 입수하는 왜곡 이미지 입수부; 상기 왜곡 이미지 입수부가 입수하는 왜곡 이미지를 3D 렌더링 엔진으로 렌더링 처리하는 렌더링부;를 포함하는 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템을 제시한다.
상기 재생 구간 속성 정보 입수부는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하는 것이거나， 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시간 구간 대응 정보 또는 프레임 구간 대웅 정보를 입수하는 것인 것이 바람직하다.
상기 재생 구간 속성 정보 입수부는 상기 시작 위치 정보나 상기 구간 위치 정보나 상기 시간 구간 대응 정보 또는 상기 프레임 구간 대웅 정보를 상기 복합 차원 콘텐츠 파일의 헤드부에서 입수하거나， 상기 복합 차원 콘텐츠 파일과는 독립적으로 외부에 존재하는 재생 구간 속성 정보 파일로부터 입수하는 것인 것이거나， 상기 복합 차원 콘텐츠 영상 정보를 제공하는 복합 차원 콘텐츠 제공 서버로부터 입수하는 것인 것이 바람직하다.
상기 시작 위치 정보나 상기 구간 위치 정보나 상기 시간 구간 대응 정보 또는 상기 프레임 구간 대응 정보는 시간 구간 단위 또는 시작 시각을 포함하여 구성되는 것이거나， 프레임 번호 구간 단위 또는 시작 프레임 번호를 포함하여 구성되어 있는 것인 것이 바람직하다.
상기 2D부분 영상부와 상기 3D 영상부의 경계 정보를 입수하고， 입수된 경계 정보에 기초하여， 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행하는 차원 전환 처리부；를 더 포함하는 것이 바람직하다.
상기 왜곡 이미지는 프레임 단위의 비트맵 이미지인 것이며， 상기 렌더링부가 렌더링 처리를 수행하는 단위는 프레임 단위로 처리하는 것인 것이 바람직하다.
상기 렌더링 처리부가 렌더링 처리를 수행하는 것은 구형 (sphere) 유형으로 렌더링 처리하는 것이거나， 큐브 (cube) 유형으로 렌더링 처리하는 것인 것이 바람직하다. W
상기 복합 차원 콘텐츠 제공 시스템은 사용자 단말기에서 구동되는 것이몌 상기 사용자 단말기는 PC, 스마트폰， 태블릿 컴퓨터， 휴대용 컴퓨터， 게임기, 스마트 TV, 키오스크 단말기， 통신 가능하며 디스플레이 장치가 포함되어 있는 단말기， 외부로부터 복합 차원 콘텐츠 파일이 입수될 수 있고 디스플레이 장치가 내장되거나， 유무선 네트워크로 디스플레이 장치와 통신 가능한 단말기 중 어느 하나 이상인 것이 바람직하다. 상기 복합 차원 콘텐츠 제공 시스템이 구동되는 사용자 단말기는 적어도 하나 이상의 복합 차원 콘텐츠 제공 서버로부터 ΗΠΡ또는 RTMP중 어느 하나의 프로토콜을 사용하여 복합 차원 콘텐츠 영상 정보를 전송받는 것인 것이거나， 상기 복합 차원 콘텐츠 제공 서버로부터 프로그레시브 다운로드 방식 또는 라이브 스트리밍 방식으로 상기 콘 영상 정보가 전송받는 것인 것이 바람직하다.
상기 2D 재생 수단이 재생하는 소리 정보와 렌더링 처리된 이미지를 씽크하는 씽크 처리부；를 더 포함하는 것이 바람직하다.
상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역으로 제공되는 것이 상기 사용자가 조절할 수 있도록 지원하는 시청 화면 영역 선택 지원부；를 포함하는 것인 것이 바람직하다. 상기 시청 화면 영역 선택 지원부는 상기 사용자로 하여금 시청 화면 영역의 설정을 지원하는 것이며， 상기 시청 화면 영역의 설정은 상기 사용자가 시청 화면 영역 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이며， 상기 시청 영역 방향의 지정이나 변경은 키보드 입력， 키패드 입력， 터치 입력， 음성 입력， 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어 지는 것인 것이 바람직하다.
상기 시청 화면 영역 설정에서 변경이 있는 경우， 상기 복합 차원 콘텐츠 제공 시스템은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역을 변경하는 것인 것이 바람직하다.
상기 시청 영역 방향이 변경되는 경우， 상기 복합 차원 콘텐츠 제공 시스템은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것이 바람직하다 .
상기 경계 정보는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 사용하는 것인 것이거나, 상기 차원 변환 처리를 수행하는 것은 상기 경계부를 기준으로 기 설정된 시간 구간 또는 기 설정된 프레임 구간을 대상으로 하여 페이드인 페이드 아웃 효과가 나도록 처리하는 것인 것이 바람직하다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여， 파일 헤더부；및 영상 데이터부;를 포함하며， 상기 영상 데이터부는 적어도 하나 이상의 2D 부분 영상부; 및 적어도 하나 이상의 3D 부분 영상부；를 포함하는 것이며， 상기 2D 부분 영상부와 상기 3D 부분 영상부는 적어도 1회 이상 교번하여 나타나는 것인 것을 특징으로 하는 복합 차원 콘텐츠 파일을 제시한다.
상기 파일 헤더부에는 재생 구간 속성 정보가 더 포함되어 있는 것인 것이 바람직하다.
상기 재생 구간 속성 정보는 상기 영상 데이터부 중에서 상기 2D 부분 영상부와 상기 3D 부분 영상부에 대웅되는 영상 데이터에 대한 정보가 더 포함되어 있는 것인 것이 바람직하다.
재생 구간 속성 정보는 상기 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하는 것이거나， 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시간 구간 대웅 정보 또는 프레임 구간 대웅 정보인 것이 바람직하다.
- 상기 2D 부분 영상부와 상기 3D 부분 영상부는 물리적인 경계의 구분 없이 연결되어 있는 것인 것이 바람직하다.
【발명의 효과】
본 발명을 활용하면， 다음과 같은 효과가 있다. 첫째， 복합 차원 콘텐츠를 단일한 재생 수단으로 왜곡 없이 사용자에게 제공할 수 있다.
둘째, 3D 영상 중에서 사용자가 원하는 3D 부분 영상부의 특정 부분을 선택할 수 있게 할 수 있고, 선택된 3D 부분 영상을 사용자에게 제공할 수 있다.
셋째, 스포츠， 음악， 영화， 다큐멘터리, 교육， 광고 등 각종 콘텐츠에서 2D 영상부와 3D 영상부가 복합된 콘텐츠를 구성하여 제공하면， 사용자들에게 특별한 경험을 제공할 수 있을 것이다. 【도면의 간단한 설명】
도 1은 본 발명의 복합 차원 콘텐츠 제공을 위한 시스템적 구성에 대한 일 실시예적 도면이다.
도 2는 본 발명의 복합 차원 콘텐츠 제공을 위한 다른 시스템적 구성에 대한 일 실시예적 도면이다.
도 3은 본 발명의 복합 차원 콘텐츠 제공 시스템의 일 실시예적 정보 처리 방법에 대한 일 실시예적 도면이다.
도 4는 본 발명의 복합 차원 콘텐츠 제공 시스템의 다른 일 실시예적 정보 처리 방법에 대한 일 실시예적 도면이다.
도 5는 본 발명의 복합 차원 콘텐츠 제공 시스템의 또 다른 일 실시예적 정보 처리 방법에 대한 일 실시예적 도면이다.
도 6은 본 발명의 복합 차원 콘텐츠 제공을 위한 또 다른 시스템적 구성에 대한 일 실시예적 도면이다.
도 7은 본 발명의 복합 차원 콘텐츠의 일 실시예적 구성에 대한 일 실시예적 도면이다.
도 8은 본 발명의 복합 차원 콘텐츠의 다른 일 실시예적 구성에 대한 일 실시예적 도면이다.
도 9는 3D영상과 2D영상에 대한 개괄적인 비교를 보여 주는 도면이다. 도 10은 3D 영상 선택에 관한 도면이다.
도 11은 2D 영상의 제공에서 검은색 테두리가 제거된 영상이 제공되는 도면이다ᅳ
【발명을 실시하기 위한 구체적인 내용】
이하, 도면을 참조하면서 더욱 더 상세하게 설명한다.
도 1내지 도 2는 본 발명의 복합 차원 콘텐츠 제공을 위한 구성에 관한 실시예적 도면이다. 본 발명의 복합 차원 콘텐츠 제공 시스템 (1000)이 포함되어 있는 적어도 하나 이상의 사용자 단말기 (100)는 유무선 네트워크 (500)를 통하여 적어도 하나 이상의 복합 차원 콘텐츠 제공 서버 (200)에 연결되어 있다. 상기 복합 차원 콘텐츠 제공 시스템 (1000)은 상기 복합 차원 콘텐츠 제공 서버 (200)로부터 복합 차원 콘텐츠 파일을 다운로드 받거나, 상기 사용자 단말기 (100)에 저장되어 있는 복합 차원 콘텐츠 파일을 대상으로 본 발명 사상을 실행하거나, 상기 복합 차원 콘텐츠 제공 서버 (200)로부터 입수 받는 복합 차원 콘텐츠 영상 정보를 대상으로 본 발명 사상을 실행하는 복합 차원 콘텐츠 제공 엔진 (1100)을 포함하고 있다.
상기 복합 차원 콘텐츠 제공 엔진 (1100)은 본 발명의 복합 차원 콘텐츠를 재생하는 2D 재생부 (1110), 상기 복합 차원 콘텐츠에 대하여 2D부분 영상부와 3D 영상부에 대한 정보를 입수하는 재생 구간 속성 정보 입수부 (1120)，상기 복합 차원 콘텐츠에 포함되어 있는 3D부분 영상을 상기 2D 재생부 (1110)가 재생했을 때 생성되는 왜곡 이미지를 입수하는 왜곡 이미지 입수부 (1130)， 상기 왜곡 이미지를 렌더링 처리하는 렌더링부 (1140)를 포함하고 있다. 한편， 상기 복합 차원 콘텐츠 제공 엔진 (1100)은 상기 2D 재생부 (1110)가 재생하는 영상과 상기 복합 차원 콘텐츠에 포함되어 있는 사운드 정보가 씽크를 맞춰서 사용자 단말기 출력 장치 (2000)에서 출력되도록 제어하는 씽크 처리부 (1150)를 더 포함하고 있을 수 있다. 그리고， 상기 복합 차원 콘텐츠 제공 엔진 (1100)은 상기 복합 차원 콘텐츠에서 2D 부분 영상부와 3D 부분 영상부가 서로에서 서로로 전환될 때 사용자의 디스플레이 장치 (2100)에 제공되는 영상 품질을 제고시키는 차원 전환 처리부 (1160)를 더 포함하고 있을 수 있다. 나아가 상기 복합 차원 콘텐츠 제공 엔진 (1100)은 3D 부분 영상부에서 사용자가 시청하기를 원하는 시청 화면 영역 (620)의 설정과 변경을 지원하는 시청 화면 영역 선택 지원부 (1170)를 더 포함하고 있을 수 있다.
상기 복합 차원 콘텐츠 제공 시스템 (1000)이 처리하는 영상 정보는 크게 2가지 형태가 있을 수 있다. 첫번째 형태는 상기 복합 차원 콘텐츠 제공 서버 (200)가 스트리밍 또는 프로그레시브 다운로드 방식 등으로 상기 사용자 단말기 (100)에 전송되는 복합 차원 콘텐츠 영상 정보의 형태이며， 두번째 형태는 복합 차원 콘텐츠가 저장되어 있는 복합 차원 콘텐츠 파일 형태가 될 수 있다. 도 1은 상기 사용자 단말기 (100)의 복합 차원 콘텐츠 영상 정보 입수부 (1200).가 상기 복합 차원 콘텐츠 제공 서버 (200)의 복합 차원 콘텐츠 영상 정보 전송부 (220)로부터 복합 차원 콘텐츠 영상 정보를 전송받는 방식으로 입수하는 복합 차원 콘텐츠 영상 정보를 상기 복합 차원 콘텐츠 제공 엔진 (1100)이 처리하는 방식에 대한 일 실시예적 도면이다. 도 2는 상기 사용자 단말기 (100)의 복합 차원 콘텐츠 파일 입수부가 상기 복합 차원 콘텐츠 제공 서버 (200)의 복합 차원 콘텐츠 파일 전송부로부터 복합 차원 콘텐츠 파일을 전송 받고， 상기 복합 차원 콘텐츠 파일을 상기 복합 차원 콘텐츠 제공 엔진 (1100)이 처리하는 방식에 대한 일 실시예적 도면이다. 물론， 상기 사용자 단말기 (100)에는 도 1 및 도 2의 기능 모두가 포함되어 있을 수 있으며， 상기 복합 차원 콘텐츠 제공 서버 (200)도 도 1 및 도 2의 기능 모두를 포함할 수 있다. 상기 사용자 단말기 (100)는 어떤 복합 차원 콘텐츠 제공 서버 (200)로부터는 복합 차원 콘텐츠 영상 정보를 입수 받고， 다른 복합 차원 콘텐츠 제공 서버 (200)로부터는 복합 차원 콘텐츠 파일을 입수 받을 수 있으며， USB나 첨부 파일 등 임의의 방식으로 적어도 하나 이상의 복합 차원 콘텐츠 파일이 상기 사용자 단말기 (100)에 저장되게 할 수 있다. 한편， 동일한 복합 차원 콘텐츠 제공 서버 (200)가 복합 차원 콘텐츠 영상 정보를 사용자 단말기 (100)에 전송할 수도 있지만， 동시에 복합 차원 콘텐츠 파일을 사용자 단말기 (100)에 전송할 수도 있을 것이다.따라서,도시하지는 않았지만，도 1및 도 2의 발명 사상이 결합된 하이브리드 형태가 구성될 수 있음은 당업자에게 자명할 것이다.
본 발명의 복합 차원 콘텐츠 파일은 특별한 방식으로 구성되어 있다.도 7 내지 도 8은 본 발명의 복합 차원 콘텐츠 파일의 구성 형태의 일 실시예적 구성을 나타낸다.
복합 차원 콘텐츠 파일은 복합 차원 콘텐츠 헤드부와 복합 차원 콘텐츠 데이터부를 포함하여 구성된다. 도 7에서는 통상적인 파일 헤드부가 도시되어 있으며, 도 8에서는 본 발명의 특유한 복합 차원 콘텐츠 헤드부가 도시되어 있다. 도 8의 복합 차원 콘텐츠 해드부에는 통상적인 파일 해드부와 본 발명의 복합 차원 콘텐츠 재생 구간 정보를 포함하고 있는 복합 차원 콘텐츠 재생 구간 정보 헤드부를 더 포함하고 있다. 도 7과 도 8에서 알 수 있듯이， 본 발명의 복합 차원 콘텐츠 데이터부는 2D 데이터부와 3D 데이터부가 각각 하나 이상씩을 포함하고 있는 것을 특징으로 한다. 상기 도 7 및 도 8에서 예시되는 복합 차원 콘텐츠는 3개의 2D 데이터부와 2개의 3D 데이터부를 포함하는 것이 예시되어 있다. 상기 2D 데이부의 영상 정보는 재생 대상의 관점에서 2D 부분 영상부에 대응 되며， 상기 3D 데이터부의 영상 정보는 3D 부분 영상부에 대웅된다. 도 7 및 도 8에서는 복합 차원 콘텐츠 데이터부가 2D 부분 영상부부터 시작되는 것으로 나오고， 2D 부분 영상부로 마치는 것으로 나와 있지만， 3D 부분 영상부부터 시작될 수도 있으며， 3D 부분 영상부로 마칠 수도 있음은 당업자에게 자명할 것이다. 한편, 2D 부분 영상부와 3D 부분 영상부 사이에는 상기 2D 부분 영상부와 3D 부분 영상부의 경계가 되는 경계부가 포함되어 있다. 상기 경계부는 물리적 실체라기 보다는 2D 부분 영상부에서 3D 부분 영상부로 넘어가거나， 3D 부분 영상부에서 2D 부분 영상부로 넘어가는 경계로， 개념적 대상으로 파악되는 것이 바람직할 것이다.
본 발명의 복합 차원 콘텐츠 데이터부는 2D 부분 영상부와 3D 부분 영상부가 교대되는 것이 특징인데， 상기 2D 부분 영상부와 상기 쓰리 부분 영상부는 영상부의 재생의 관점에서 시간 구간 또는 프레임 구간과 대웅되게 된다.
하기 표 1은 이러한 부분 영상부와 시간 구간 또는 프레임 구간 간의 대웅 정보를 설명하고 있다.
【표 1】
Figure imgf000014_0001
Figure imgf000015_0001
상기 표 1의 대웅 프레임 번호 구간에서 _a, _b, _c, -d,ᅳ e등은 번호를 표시하는 것이다.
도면 부호 410a에 대응되는 2D 부분 영상부는 재생 시간을 기준으로는 T1~T2사이에 대웅되며， 영상의 프레임 번호 구간 기준으로는 Frame Number_a~Frame Number_b에 대웅된다. 통상적으로 ΊΊ, T2 등의 시간은 초 단위 또는 초 단위보다 세분화된 시간 단위가 되는 것이 일반적이다. 영상 재생에 있어서 통상적으로 정상적인 영상 재생 속도에서 재생 시간 1초는 28 프레임 또는 32프레임의 화면에 대응되나， 경우에 따라 이보다 많은 프레임 또는 적은 프레임의 화면이 대웅될 수도 있다. 최초의 3D부분 영상부인 도면 번호 420a에 대웅되는 프레임 번호 (Frame Number)의 시작은 Frame Number_b+1으로 표시했다. Frame Numberᅳ b+1은 직전 2D 부분 영상부의 마지막 프레임 번호 Frame Number_b보다 1 프레임 큰 것이다. 물론, 최초의 3D 부분 영상부인 도면 번호 420a에 대웅되는 T2도 직전 2D 부분 영상부의 마지막의 시간 T2보다 최소 시간 표시 단위보다 1이 큰 것으로 표시하는 것이 타당하나， 최초의 3D 부분 영상부에 대웅되는 시간 구간을 통상적으로 T2-T3로 표시해도 시간 구간의 변동의 표시에서 당업자가 본 발명 사상의 취지를 이해하기에는 층분할 것이다. 상기 등이나， Frame Number_a등은 2D부분 영상부의 시작 위치 정보가 될 수 있으며， T2나， Frame Numberᅳ b+1등은 3D부분 영상부의 시작 위치 정보가 될 수 있다.
상기 표 1과 같은 복합 차원 콘텐츠 재생 구간 정보 (어느 시간 구간 또는 어느 프레임 번호 구간에서 2D 부분 영상부나 3D 부분 영상부가 대응된다는 정보)는 도 8과 같이 본 발명의 복합 차원 콘텐츠 재생 구간 정보 해드부에 포함되어 있을 수 있다. 이 경우，상기 재생 수단은 이러한 복합 차원 콘텐츠 재생 구간 정보를 활용하여， 현재 재생 중인 영상이 2D 영상인지 3D 영상인지를 구별할 수 있게 된다. 상기 복합 차원 콘텐츠 재생 구간 정보가 복합 차원 콘텐츠 재생 구간 정보 헤드부에 존재하는 것과는 독립적으로， 상기 복합 차원 콘텐츠 재생 구간 정보는 상기 복합 차원 콘텐츠 재생 구간 정보 헤드부의 외부에 존재할 수 있다. 도 1에서와 같이 상기 재생 구간 속성 정보 입수부 (1120)가 상기 복합 차원 콘텐츠 제공 서버 (200)의 복합 차원 콘텐츠 영상 정보 전송부 (220)를 통하여 복합 차원 콘텐츠 영상 정보를 전송 받을 때， 상기 복합 차원 콘텐츠 제공 서버 (200)로부터 상기 복합 차원 콘텐츠에 대한 복합 차원 콘텐츠 재생 구간 정보를 독립적으로 또는 상기 복합 차원 콘텐츠 영상 정보의 전송 시에 전송 받을 수 있다. 전송 받은 복합 차원 콘텐츠 재생 구간 정보를 촬영하여， 상기 복합 차원 콘텐츠 제공 엔진 (1100)의 왜곡 이미지 입수부 (1130)는 2D 재생 수단을 통하여 3D 부분 영상부가 재생될 때 생성되는 왜곡 이미지를 입수하여 상기 렌더링부 (1140)가 렌더링 처리를 할 수 있도록 지원한다. 한편， 도 2에서 예시되는 바와 같이， 상기 복합 차원 콘텐츠 파일이 입수될 때， 상기 복합 차원 콘텐츠 파일과 독립적으로 상기 복합 차원 콘텐츠 재생 구간 정보도 입수될 수 있을 것이다. 통상적으로 영상 파일이 있는 경우， 영상 파일의 자막 정보가 snii 파일 형태로 제공되듯이， 상기 복합 차원 콘텐츠 재생 구간 정보도 이러한 독립적인 파일 형태로 제공될 수 있으며， 상기 재생 구간 속성 정보 입수부 (1120)는 이러한 복합 차원 콘텐츠 재생 구간 정보가 포함되어 있는 재생 구간 속성 정보 파일을 입수하여 본 발명 사상의 실행에 사용할 수 있을 것이다. 복합 차원 콘텐츠 재생 구간 정보는 도 2에서와 같이 개별적인 복합 차원 콘텐츠가 저장되어 있는 복합 차원 콘텐츠 파일부 (1300)에 저장되어 있을 수 있을 것이다.
상기 복합 차원 콘텐츠 재생 구간 정보가 포함되어 있는 파일에는 표 1과 같은 정보 (대웅 프레임 번호 구간 정보가 포함되는 것이 더 타당할 것이다.)가 포함되어 있을 것이다. 하기는 이러한 파일의 내용의 정보는 다음과 같은 것이 될 수 있을 것이다.
<Start Frame Number_a>
2D
<End Frame Number_b> <Start Frame Number_b+1 >
3D
<End Frame Number_c>
<Start Frame Number_c+1 >
2D
<End Frame Number— d>
<Start Frame Number_d+1 >
3D
<End Frame Number __e>
<Start Frame Number_d+1 >
2D
<End Frame Number— f>
Start Frame Number는 入 작하는 Frame Number이며， End Frame Number는 종료되는 Frame Number가 될 것이다.
구간을 탐지하기 위해서는 영상에 2D 부분 영상부와 3D 부분 영상부가 각각 시간 (초 또는 초 이하)단위 또는 프레임 단위로 어디부터 어디까지 얼마나 재생되는지 설정되어야 한다. 이러한 정보는 복합 차원 콘텐츠와 관계되는 복합 차원 콘텐츠 재생 구간 정보에 저장되며, 저장 되는 형식은 xml 파일 형식이 될 수도 있다. 한편, 재생 수단 내에서 예시적으로 GTweenTimeline라는 오브젝트가 영상의 재생부터 종료 사이에 타임 라인을 설정하여 실제 영상이 스트리밍 되어 재생되는 경우， 복합 차원 콘텐츠 제공 서버 (200)로 부터 영상의 메타 정보를 실시간으로 기 설정된 초 단위 또는 초 이하 단위로 취득하여 현재 진행되는 시간을 판단하고， 복합 차원 콘텐츠 재생 구간 정보가 포함된 xml 파일에 설정된 2D 부분 영상부와 3D 부분 영상부의 재생 구간 /재생 시간 구간 과 일치하는 시간 /프레임 번호가 되는 지를 판단할 수도 있다.
이어, 도면을 참조하면서 본 발명 사상을 더욱 더 상세하게 설명한다. 도 3은 본 발명의 복합 차원 콘텐츠 제공 시스템 (1000)의 일 실시예적 정보 처리 방법을 도시하고 있다. 상기 복합 차원 콘텐츠 제공 시스템 (1000)은 2D 부분 영상부를 2D 재생 수단으로 재생 (S11)하고， 쓰리 부분 영상부의 시작을 인지 (S12)하고， 쓰리 부분 영상부를 2D재생 수단으로 재생 (S13)하며， 재생되는 비트맵 이미지를 프레임 단위로 입수 (S14)하고， 입수된 비트맵 이미지를 3D 엔진으로 렌더링 (S15)하고， 렌더링 된 이미지를 프레임 별로 출력 (S16)하고， 출력된 렌더링 이미지를 음성과 싱크시켜 제공 (S17)한다.
본 발명의 복합 차원 콘텐츠 제공 시스템 (1000)은 2D 부분 영상부든 3D 부분 영상부든 하나의 2D재생 수단으로 재생하는 것을 특징으로 한다. 3D부분 영상부를 동일한 2D 재생 수단으로 재생하면 왜곡된 이미지가 생성되게 된다. 상기 재생 구간 속성 정보 입수부 (1120)가 특정 시점에서 재생되고 있는 부분 영상부가 3D부분 영상부라는 사실을 입수하고 있는 경우,상기 복합 차원 콘텐츠 제공 엔진 (1100)은 재생 되는 3D 부분 영상부를 곧바로 사용자 단말기 출력 장치 (2000)로 보내지 않는다. 상기 왜곡 이미지 입수부 (1130)는 2D재생부 (1110)를 통해서 재생되는 3D부분 영상부의 재생 결과인 왜곡 비트맵 이미지를 입수한다.
상기 렌더링부 (1140)의 상기 렌더링 처리부 (1142)는 렌더링 대상 이미지 입수부 (1141)가 입수한 렌더링 대상 이미지인 입수된 왜곡 비트맵 이미지를 대상으로 렌더링 처리는 수행한다. 왜곡 비트맵 이미지의 입수는 프레임 단위로 이루어지며， 렌더링도 프레임 단위의 비트맵 이미지를 대상으로 이루어 진다.
렌더링 처리는 구 타입과 큐브 타입의 2가지가 있을 수 있다. 먼저 sphere type (원 /구 타입)으로 화면을 렌더링 하는 방법이다. 이 방법은 구에 렌더링을 하기 때문에 좀더 세밀한 화면을 볼 수 있다. 하지만 구 타입이라서 직선이 많은 컨텐츠를 표현 시 선 부분이 쭈글쭈글 해지는 경우도 있다. 다음은 cube type으로， 정육각형으로 6면에 texture의 Bitmap 데이터를 렌더링 하는 방법이다. 이 방법은 수평과 수직이 많은 동영상인 경우 선이 sphere type보다 직선이 일직선으로 표현이 가능하다. 하지만， 촬영 방식이 한번의 촬영에서 결과물을 얻어 되는 방식으로는 작업이 불가능하며, 각 면을 별도로 촬영되어 렌더링 되는 방식이다.
예를 들면, papervision3d라는 프로그램을 사용하면， 비트맵 데이터로 캡쳐 한 데이터를 Sphere 오브젝트가 Sphere타입으로 렌더링 되도록 캡쳐 한 프레임 단위의 비트맵 데이터를 변환해 즐 수 있다. 이 때， 변환된 데이터가 30 프레임 미만이 되면, 실제 papervision3d에서 렌더링 엔진인 QuadrantRenderEngine 오브젝트가 프레임 별로 화면을 sphere타입으로 3D 렌더링을 시작한다. 렌더링 된 이미지는 렌더링 이미지 제공부 (1143)를 통하여 렌더링부 (1140)의 외부에 제공된다.
본 발명의 씽크 처리부 (1150)는 상기 2D 재생 수단이 재생하는 소리 정보와 렌더링 처리된 이미지를 씽크하여 소리 정보와 이미지 정보가 함께 제공될 수 있도록 제어한다. 왜곡 이미지의 발생이나 렌더링 처리와는 독립적으로 백그라운드에서는 상기 2D 재생 수단에 의해 2D 부분 영상부나 3D 부분 영상부의 재생이 꾸준하게 이루어지고 있다. 이때， 2D 재생 수단에 의해 재생되는 왜곡 이미지는 렌더링 처리가 따르게 되므로， 통상적인 2D 재생 수단에 의한 2D 부분 영상부의 재생 이미지의 제공보다는 시간이 더 걸리게 된다. 따라서， 2D재생 수단이 3D부분 영상부의 재생 시의 음성이나 소리 등과 상기 렌더링 처리된 영상의 제공에는 씽크의 필요성이 있게 된다. 렌더링 처리된 영상과 2D 재생 수단에 의해서 3D 부분 영상이 재생되면서 생성되는 소리 (음성 등) 정보의 구체적인 씽크 방법은 당업자에게 자명한 것이므로 , 상세한 설명은 생략한다.
이어， 도 4를 참조하면서 본 발명의 차원 전환 처리부 (1160)에 대해서 설명한다.
2D 부분 영상과 3D 부분 영상은 디스플레이 될 때 사용자의 디스플레이 화면에서 이 변환 사이에 여러 가지 원인 (특히 재생되는 컴퓨터의 사양)등으로 인해 중간에 화면이 깨지는 듯한 현상이 나오는 등과 같이 사용자에게 불편한 상황이 발생할 수 있다. 이에， 2D 영상에서 3D 영상으로의 화면의 전환 시 등에서 사용자에게 불편을 주지 않는 전환이나 스위칭이 필요하게 된다.
상기 차원 변환 처리부는 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수 (S21)하고, 입수된 경계 정보에 기초하여， 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행한다. (S22) 상기 차원 전환 처리부 (1160)는 상기 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수하고， 입수된 경계 정보에 기초하여， 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행한다. 상기 차원 전환 처리부 (1160)의 경계 정보 입수부 (1161)는 경계부에 대한 정보를 입수하고， 경계부의 근방에서 차원 변환 처리를 수행한다.
2D 부분 영상부와 3D 부분 영상부의 재생 시 경계 부분에서 실제 일어나는 사항은 sphere 오브젝트와 plane 오브젝트 간의 변환이다. 이 때， 변환되는 사이에 페이드 인아웃 (fade in/out)을 처리하는 로직을 넣어 주면 자연스러운 화면 전환이 가능하게 된다. 이와 같이， 차원 변환 처리부는 2D 부분 영상에서 3D 부분 영상으로 변경되는 순간 /경계부 또는 3D 부분 영상에서 2D 부분 영상으로 변경되는 순간 /경계부에서 페이드 인아웃 효과를 내는 오브젝트를 이는 경계부 근방 또는 경계부의 앞뒤의 기 설정된 시간 /프레임 만큼 추가하거나 교체해 줌으로서 변경 시에 화면이 깨지는 부분을 보지 못하도록 할 수 있다.
이어， 도 5내지 도 6을 참조하면서， 본 발명의 시청 화면 영역 선택 지원부 (1170)에 대해서 설명한다.
상기 복합 차원 콘텐츠 제공 엔진 (1100)은 상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역 (620)으로 제공되게 할 수 있다. 이러한 시청 화면 영역 (620)의 설정은 상기 사용자가 설정하는 것인 것이며， 상기 시청 화면 영역 (620)의 설정은 상기 사용자가 상기 복합 차원 콘텐츠의 재생 중에 변경할 수 있는 것인 것이 바람직하다. 물론， 이러한 시청 화면 영역 (620)의 설정에 관한 정보는 상기 복합 차원 콘텐츠의 헤더 정보에 저장되어 있거나， 상기 복합 차원 콘텐츠를 제공하는 복합 차원 콘텐츠 제공 서버 (200)로부터 전송받는 것이거나， 상기 복합 차원 콘텐츠 제공 시스템 (1000)에서 설정되거나 기 설정된 시청 화면 영역 설정 규칙에 따라 변경되는 것일 수도 있다.
도 5은 사용자가 아닌 외부에서 시청 화면 영역 (620)이 설정되는 방식에 대한 예시적인 구성이다. 상기 시청 화면 영역 선택 지원부 (1170)는 사용자에게 보여지는 시청 화면 영역 (620)의 설정을 위한 정보 입수 (S31)하고， 입수된 시청 화면 영역 (620) 설정 정보를 사용하여 시청 화면 영역 (620)에 대웅하는 3D 부분 영상 정보 입수 (S32)한다.
도 6에서는 상기 시청 화면 영역 선택 지원부 (1170)의 정보 처리 방법에 대한 일 실시예적 구성이 나타나 있다. 상기 시청 화면 영역 선택 지원부 (1170)는 사용자로부터 사용자가 시청하기를 원하는 3D 부분 영상부에 대한 선택 정보를 입수 (S41)하고， 선택 정보를 입수 받은 3D 부분 영상부를 입수 (S42)한다.
3D 부분 영상부가 재생되는 동안에 시청 화면 영역 (620) 설정을 통해 사용자는 자신이 원하는 방향의 3D 영상을 시청할 수 있다. 상기 시청 화면 영역 (620)의 설정은 상기 사용자가 시청 화면 영역 (620) 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이며， 상기 시청 영역 방향의 지정이나 변경은 키보드 입력， 키패드 입력, 터치 입력， 음성 입력, 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어 지는 것인 것이 바람직하다. 이러한 입력을 통하여 상기 시청 화면 영역 (620) 설정에서 변경이 있는 경우， 상기 복합 차원 콘텐츠 제공 시스템 (1000)은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역 (620)을 변경하는 것인 것이 바람직하다. 예를 들면， 상기 도 10에서 시청 화면 영역 (620)을 왼쪽 방향으로 지정하면 (사용자 단말기 (100)에 나타나는 선택 3D 영상 (630) 화면에서 손가락 등으로 오른쪽에서 왼쪽으로 화면을 미는 등과 같은 행위를 하여)， 강아지를 안고 있는 성인과 어린이가 나오는 현재 화면 (630에 나오는 영상)에서 상기 3D 영상 (610)에서 현재의 시청 화면 영역 (620)의 왼쪽에 있는 영상들 (예를 들면， 어른이 유모차를 끌고 가는 쪽에 있는 영상)이 나타나게 제어될 수 있다.
본 발명 사상을 활용하면， 특히, 3D 부분 영상부가 다수개의 카메라 렌즈로부터 입수되는 영상이 하나의 화면에 결합되어 나타나는 방식으로 구성되어 있는 경우， 사용자가 시청 화면 영역 (620)의 변경을 위하여, 방향을 이동하는 경우， 이동된 방향에 대응되는 영상이 제공될 수 있다. 즉， 1개의 카메라에 상하좌우앞뒤 중 어느 2개 이상의 방향에 대응되는 영상을 입수하는 다수 개의 렌즈가 있고， 이러한 렌즈에서 입수되는 각각의 영상이 결합되어 1개의 3D 영상이 될 수 있다. 그리고， 영상의 결합 시 특정 렌즈를 통하여 입수되는 영상은 3D 영상의 특정한 위치 또는 영역에 배치될 수 있도록 제어되거나 편집될 수 있다. 이러한 경우, 현재 사용자가 보고 있는 화면에서 왼쪽 버른을 누르거나， 왼쪽 방향으로 터치가 있는 경우， 현재 보고 있는 영상의 좌측에 있는 영상을 새로운 시청 화면 영역으로 되어 사용자에게 제공될 수 있다. 이는 똑바로 보고 있던 사람이 왼쪽으로 머리를 돌려 왼쪽 방향을 쳐다볼 때， 왼쪽 방향에 있는 광경이 사람의 눈에 들어오는 것과 유사하다. 이때 상기 시청 영역 방향이 변경되는 경우, 상기 복합 차원 콘텐츠 제공 시스템 (1000)은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것이 바람직하다.
본 발명의 3D 영상의 한 예는 파노라마 영상일 수 있다. 상기 파노라마 영상은 1개의 카메라에 상하좌우앞뒤 중 어느 2개 이상의 방향에 대웅되는 영상을 입수하는 다수 개의 렌즈가 있고， 이러한 렌즈에서 입수되는 각각의 영상이 결합되거나， 복수 개의 카메라를 사용하여， 각 카메라에서 입수되는 영상을 결합하여 1개의 파노라마 영상이 될 수 있다. 이 경우， 상기 3D 부분 영상부는 파노라마 부분 영상부가 될 수 있다.
도 10에서는 상기와 같은 시청 화면 영역 (620)의 선택에 관한 본 발명 사상에 대한 개념도가 제시되어 있다. 도 10에서 알 수 있듯이， 사용자가 시청하는 3D부분 영상부는 실제 재생되고 있는 3D부분 영상부의 일부가 된다. 도 10에서는 실제 재생되고 있는 3D부분 영상부인 3D영상 (610)중에서 박스인 시청 화면 영역 (620) 내에 있는 선택된 영상이 사용자에게 제공되는 선택 3D 영상 (630)이 제시되는 본 발명 사상의 개념을 보여 주고 있다. 이때, 사용자가 자신이 보고 있는 화면에서 시청 방향을 변경하고 싶은 경우， 변경 방향을 설정하면， 변경된 방향 쪽에 있는 기 설정된 사이즈 (예， 가로 n * 세로 m 사이즈)의 대응되는 다른 이미지가 사용자에게 제공된다.
이때， 상기 렌더링부 (1140)의 렌더링의 대상이 되는 것은 상기 3D 부분 영상부 전체에 대한 재생 결과가 될 수도 있지만， 상기 사용자에게 제공되는 시청 화면 영역 (620)에 대한 것만이 렌더링 될 수도 있을 것이다. 전자의 경우， 상기 시청 화면 영역 선택 지원부 (1170)에서 시청 화면 영역 (620) 선택 결과는 렌더링 된 영상 이미지에서 작용 (선택된 시청 화면 영역을 가져음)하지만， 후자의 경우에는 렌더링 될 대상 이미지인 왜곡 이미지에 작용할 수 있다.
이어， 도 9과 도 11을 참조하면서 본 발명의 여백 처리부 (1180)에 대해서 설명한다. 도 9는 본 발명의 3D영상과 2D영상의 일 실시예적 비교예를 보여 주고 있다. 도 9 및 도 11 에서 알 수 있듯이， 2D에서는 2D 영상 (660)의 외곽에 검은색으로 된 테두리부 (650)가 있음을 확인할 수 있다.상기 복합 차원 콘텐츠 제공 시스템 (1000)의 여백 처리부 (1180)는 2D 부분 영상부가 재생될 때， 상기 2D 부분 영상부의 여백을 제거하고， 실제 영상 이미지만을 사용자에게 제공할 수 있다. 2D 영상이나 3D 영상은 그 제작 방식은 다를 수 있으나 두 영상은 모두 2400x1200 pixel 의 일반 2D 영상의 형태로 하나의 단일 파일로서 구성되는 경우가 있다. (도 9에서 예시되듯이 3D 영상 (610)과 2D 영상 (660)의 테두리부 (650)을 포함한 외곽을 기준으로 블 때는 동일한 픽셀 수를 가지고 있음을 볼 수 있다.) 이때， 단일 파일은 같은 해상도로 제작되기 때문에 2D 영상의 FullHD 해상도에도 상하 60pixel, 좌우 240pixel 씩 여백을 남기고 제작되는 경우가 발생한다. 2D 부분 이미지의 영상에는 2400x1200 크기에， 중심부가 재생되는 1920x1080 만큼을 제외하고 액자형 검은색 테두리부 (650)가 존재하게 되기 때문이다. 이 검은색 테두리는 복합 차원 콘텐츠 영상에서 2D 부분 영상부에는 항상 존재하게 되므로， 상기 복합 차원 콘텐츠 제공 시스템 (1000)은 이 부분의 검정색을 감지하여 자동으로 동영상 헤더에 메타 데이터로 기록하거나， 표 1과 같은 타임 테이블 값을 기록하도록 정보 처리할 수 있다. 그 결과 상기 복합 차원 콘텐츠의 재생에서 이 타임 테이블 값을 읽어 들여 이 것을 기준으로 영상 전환이 쉽게 가능하게 할 수도 있다.
본 발명의 여백 처리부 (1180)의 정보 처리를 예를 들어 설명하면 다음과 같을 수 있다. 2D 부분 영상부가 재생될 때， papervision3d 라이브러리 중 Camera0bject3D라는 클래스 (이 클래스는 3D 오브젝트를 재생할 때 zoom, focus등을 지정하는 부분)를 통해 영상의 실제 크기를 조절 할 수 있다. 이 때, 2D 부분 영상부의 재생 구간에서는 2D 부분 영상부의 재생이 시작될 때， camera. z (줌을 설정하는 함수) = -200 등으로 설정해 주면， 영상이 줌인 (Zoom in)되어 상기 여백 (검은 색 테두리)가 사용자에게 나타나지 않게 제어될 수 있다. 도 11은 본 발명의 여백 처리부 (1180)의 정보 처리 대상 (660 및 650)과 여백 처리가 된 후의 결과 영상 (670)를 대비하여 보여 주고 있다.
상기 복합 차원 콘텐츠 제공 서버 (200)에서 상기 복합 차원 콘텐츠 제공 시스템 (1000)이 포함되어 있는 사용자 단말기 (100)로 영상 정보의 전달 방식은 여러 가지 방식이 활용될 수 있다. 전달 되는 통신 프로토콜은 HTTP 또는 RTMP중 어느 하나의 프로토콜을 사용하는 것이 바람직할 것이다. 그리고, 상기 복합 차원 콘텐츠가 사용자 단말기 (100)에 제공되는 방법은 상기 복합 차원 콘텐츠 제공 서버 (200)로부터 상기 사용자 단말기 (100)에 프로그레시브 다운로드 (progressive download) 방식 또는 라이브 스트리밍 (live streaming) 방식으로 상기 콘 영상 정보가 전송되는 것이 바람직할 것이다.
http 프로토콜을 사용하는 프로그레시브 다운로드 (progressive download)은 방식은 인터넷 웹 브라우저에서 사용하는 기본 프로토콜로 80포트를 사용하며， 서비스 영상을 다운로드 하면서 일정 수준의 버퍼링을 두고 영상을 재생을 시키는 방법이다.
rtmp 프로토콜은 live streaming 영상 전송 시 사용하는 프로토콜로 1935포트를 사용하며， 실시간으로 보내주는 헤더 메타값에 의해 사용자가 지정한 시점에서 설정된 post버퍼링을 두고 재생 시키는 방법이다. 기본적으로 실시간으로 영상의 헤더 값을 받아을 수 있는 rtmp (live streaming) 방식이 더욱 바람직할 것이다.
표 2는 프로그레시브 다운로드 방식과 라이브 스트리밍 방식의 특성을 비교한 것이다.
【표 2】
Figure imgf000025_0001
【산업상 이용가능성】
본 발명은 스포츠， 음악， 영화， 다큐멘터리， 교육， 광고 등 각종 컨텐츠 관련 사업 및 영상 관련 산업에 광범위하게 활용될 수 있다.
【부호의 설명】
100 ： 사용자 단말기
200 ： 복합 차원 콘텐츠 제공 서버
210 ： 복합 차원 콘텐츠 파일 관리부
220 ： 복합 차원 콘텐츠 영상 정보 전송부
221 ： 복합 차원 콘텐츠 스트리밍 제공부
222 ： 복합 차원 콘텐츠 프로그레시브 다운로드 제공부
310 ： 복합 차원 콘텐츠 헤더부
310a ： 통상적인 파일 헤드부
310b ： 복합 차원 콘텐츠 재생 구간 정보 헤드부 ： 복합 차원 콘텐츠 데이터부
： 2D 부분 영상부
a, 410b, 410c ： 개별적인 2D 부분 영상부 ： 3D 부분 영상부
a, 420b, 420c ： 개별적인 3D 부분 영상부 ： 경계부
a, 430b, 430c, 430d ： 개별적인 경계부 ： 3D 영상
： 시청 화면 영역
： 선택 3D 영상
： 테두리부
： 2D 영상
： 여백 처리가 된 후의 결과 영상 ： 복합 차원 콘텐츠 제공 시스템 ： 복합 차원 콘텐츠 제공 엔진 ： 2D 재생부
： 재생 구간 속성 정보 입수부
： 왜곡 이미지 입수부
： 렌더링부
： 렌더링 이미지 입수부
： 렌더링 처리부
： 렌더링 이미지 제공부
： 씽크 처리부
： 차원 전환 처리부
： 경계 정보 입수부
： 시청 화면 영역 선택 지원부
： 시청 화면 영역 선택 입수부
： 여백 처리부
： 복합 차원 콘텐츠 영상 정보 입수부 1300 복합 차원 콘텐츠 파일부
1310 복합 차원 콘텐츠 파일
1320 복합 차원 콘텐츠 재생 구간 정보
2000 사용자 단말기 출력 장치
2100 디스플레 이 장치
2200 사운드 출력 장치

Claims

【특허청구범위】
【청구항 11
적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법에 있어서， 상기 복합 차원 콘텐츠 제공 시스템이
(A) 2D 부분 영상부를 2D 재생 수단으로 재생하는 단계 ;
(B) 3D 부분 영상부를 2D 재생 수단으로 재생하는 단계;
(C) 상기 (B) 단계에서 재생되는 왜곡 재생 이미지를 입수하는 단계;
(D) 상기 (C) 단계에서 입수한 상기 왜곡 재생 이미지를 3D 렌더링 엔진으로 렌더링 처리하는 단계;및
(E) 상기 렌더링 처리된 이미지를 사용자에게 제공하는 단계;를 포함하며， 상기 복합 차원 콘텐츠 제공 시스템은 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하고，
상기 2D 부분 영상부의 시작 위치에서 상기 (A) 단계를 실시하고，
상기 3D 부분 영상부의 시작 위치에서 상기 (B) 단계를 실시하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
【청구항 2]
제 1항에 있어서，
상기 시작 위치 정보나 구간 위치 정보는
상기 복합 차원 콘텐츠의 외부에 저장되어 있는 것이거나，
상기 복합 차원 콘텐츠 파일의 헤더에 포함되어 있는 ¾인 것이며，
상기 시작 위치 정보나 구간 위치 정보는
시간 구간 단위 또는 시작 시각을 포함하여 구성되는 것이거나,
프레임 번호 구간 단위 또는 시작 프레임 번호를 포함하여 구성되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
【청구항 3]
제 1항에 있어서， (F) 상기 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수하는 단계 ;및
(G) 입수된 경계 정보에 기초하여， 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행하는 단계 ;를 더 포함하며，
상기 경계 정보는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 사용하는 것인 것이거나，
상기 차원 변환 처리를 수행하는 것은 상기 경계부를 기준으로 기 설정된 시간 구간 또는 기 설정된 프레임 구간을 대상으로 하여 페이드인 페이드 아웃 효과가 나도록 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법 .
【청구항 4]
제 1항에 있어서，
상기 (C) 단계는 비트맵 이미지로 프레임 단위로 입수하는 것인 것이며， 상기 (D) 단계는 프레임 단위로 렌더링 처리하는 것인 것이며，
상기 (D) 단계는
구형 (sphere) 유형으로 렌더링 처리하는 것이거나，
큐브 (cube) 유형으로 렌더링 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법 .
【청구항 5】
제 1항에 있어서，
상기 복합 차원 콘텐츠 제공 시스템은 사용자 단말기에서 구동되는 것이며， 상기 (E)단계는 상기 사용자 단말기에 포함되어 있거나，상기 사용자 단말기와 유무선 네트워크로 연결된 적어도 하나 이상의 디스플레이 장치로 제공되는 것인 것이며，
상기 복합 차원 콘텐츠는 상기 사용자 단말기에 저장되어 있는 것이거나， 상기 사용자 단말기와 유무선 네트워크로 연결되는 적어도 하나 이상의 서버로부터 실시간으로 제공되는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법. 상기 사용자 단말기와 유무선 네트워크로 연결되는 적어도 하나 이상의 서버로부터 실시간으로 제공되는 경우， 상기 복합 차원 콘텐츠가 상기 사용자 단말기에 제공되는 방법은
상기 서버로부터 상기 사용자 단말기에 HTTP 또는 RTMP 중 어느 하나의 프로토콜을 사용하여 복합 차원 콘텐츠 영상 정보를 전송되는 것이거나， 상기 서버로부터 상기 사용자 단말기에 프로그레시브 다운로드 방식 또는 라이브 스트리밍 방식으로 상기 콘 영상 정보가 전송되는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법 .
【청구항 6】
제 1항에 있어서
상기 (E) 단계는 상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역으로 제공되는 것이며，
상기 시청 화면 영역의 설정은 상기 사용자에 의해 설정될 수 있는 것인 것이며，
상기 시청 화면 영역의 설정은 상기 사용자가 상기 복합 차원 콘텐츠의 재생 중에 변경할 수 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법 .
【청구항 7】
제 6항에 있어서,
상기 시청 화면 영역의 설정은
상기 사용자가 시청 화면 영역 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이며，
상기 시청 영역 방향의 지정이나 변경은 키보드 입력, 키패드 입력， 터치 입력， 음성 입력， 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어 지는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
【청구항 8】
게 7항에 있어서，
상기 시청 화면 영역 설정에서 변경이 있는 경우，
상기 복합 차원 콘텐츠 제공 시스템은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역을 변경하는 것이거나，
상기 시청 영역 방향이 변경되는 경우，
상기 복합 차원 콘텐츠 제공 시스템은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
【청구항 9]
제 1항에 있어서，
상기 복합 차원 콘텐츠 제공 시스템은
상기 2D 부분 영상부의 재생 결과가 사용자에게 제공될 때， 상기 2D 부분 영상부의 기 설정된 여백 영역이 제외되고 사용자에게 제공되도록 제어하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템의 정보 처리 방법.
【청구항 10]
적어도 하나 이상의 2D 부분 영상부와 적어도 하나 이상의 3D 부분 영상부가 결합되어 있는 복합 차원 콘텐츠를 사용자에게 제공하는 복합 차원 콘텐츠 제공 시스템에 있어서， 상기 복합 차원 콘텐츠 제공 시스템은
2D 부분 영상부와 쓰리 부분 영상부를 재생하는 2D 재생부;
재생 대상이 되는 부분 영상부가 2D 부분 영상부인지 쓰리 부분 영상부인지에 대한 재생 구간 속성 정보를 입수하는 재생 구간 속성 정보 입수부；및 상기 2D 재생부가 3D 부분 영상부를 재생한 결과를 입수하는 왜곡 이미지 입수부;
상기 왜곡 이미지 입수부가 입수하는 왜곡 이미지를 3D 렌더링 엔진으로 렌더링 처리하는 렌더링부;를 포함하는 것이며，
상기 재생 구간 속성 정보 입수부는
상기 복합 차원 콘텐츠를 구성하는 상기 2D부분 영상부와 상기 3D부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하는 것이거나， 상기 복합 차원 콘텐츠를 구성하는 상기 2D부분 영상부와 상기 3D부분 영상부 각각에 대한 시간 구간 대웅 정보 또는 프레임 구간 대웅 정보를 입수하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
【청구항 11]
제 10항에 있어서，
상기 재생 구간 속성 정보 입수부는
상기 시작 위치 정보나 상기 구간 위치 정보나 상기 시간 구간 대응 정보 또는 상기 프레임 구간 대응 정보를 상기 복합 차원 콘텐츠 파일의 헤드부에서 입수하거나,
상기 복합 차원 콘텐츠 파일과는 독립적으로 외부에 존재하는 재생 구간 속성 정보 파일로부터 입수하는 것인 것이거나，
상기 복합 차원 콘텐츠 영상 정보를 제공하는 복합 차원 콘텐츠 제공 서버로부터 입수하는 것인 것이며，
상기 시작 위치 정보나 상기 구간 위치 정보나 상기 시간 구간 대응 정보 또는 상기 프레임 구간 대웅 정보는
시간 구간 단위 또는 시작 시각을 포함하여 구성되는 것이거나，
프레임 번호 구간 단위 또는 시작 프레임 번호를 포함하여 구성되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
【청구항 12]
제 10항에 있어서，
상기 2D 부분 영상부와 상기 3D 영상부의 경계 정보를 입수하고， 입수된 경계 정보에 기초하여， 상기 2D 부분 영상부와 상기 3D 부분 영상부의 경계부로부터 기 설정된 경계 범위에서 차원 변환 처리를 수행하는 차원 전환 처리부；를 더 포함하는 것이며，
상기 경계 정보는 상기 복합 차원 콘텐츠를 구성하는 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 사용하는 것인 것이거나，
상기 차원 변환 처리를 수행하는 것은 상기 경계부를 기준으로 기 설정된 시간 구간 또는 기 설정된 프레임 구간을 대상으로 하여 페이드인 페이드 아웃 효과가 나도록 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
【청구항 13]
제 10항에 있어서,
상기 왜곡 이미지는 프레임 단위의 비트맵 이미지인 것이며，
상기 렌더링부가 렌더링 처리를 수행하는 단위는 프레임 단위로 처리하는 것인 것이며，
상기 렌더링 처리부가 렌더링 처리를 수행하는 것은
구형 (sphere)유형으로 렌더링 처리하는 것이거나， 큐브 (cube)유형으로 렌더링 처리하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
【청구항 14]
제 10항에 있어서,
상기 복합 차원 콘텐츠 제공 시스템은 사용자 단말기에서 구동되는 것이며， 상기 사용자 단말기는 PC：， 스마트폰， 태블릿 컴퓨터， 휴대용 컴퓨터， 게임기， 스마트 TV, 키오스크 단말기， 통신 가능하며 디스플레이 장치가 포함되어 있는 단말기， 외부로부터 복합 차원 콘텐츠 파일이 입수될 수 있고 디스플레이 장치가 내장되거나， 유무선 네트워크로 디스플레이 장치와 통신 가능한 단말기 중 어느 하나 이상인 것이며，
상기 복합 차원 콘텐츠 제공 시스템이 구동되는 사용자 단말기는
적어도 하나 이상의 복합 차원 콘텐츠 제공 서버로부터 HTTP또는 RTMP중 어느 하나의 프로토콜을 사용하여 복합 차원 콘텐츠 영상 정보를 전송받는 것인 것이거나，
상기 복합 차원 콘텐츠 제공 서버로부터 프로그레시브 다운로드 방식 또는 라이브 스트리밍 방식으로 상기 콘 영상 정보가 전송받는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템 .
【청구항 15]
제 21항에 있어서，
상기 렌더링 처리된 이미지의 기 설정된 적어도 일 영역이 사용자에게 보여지는 시청 화면 영역으로 제공되는 것이 상기 사용자가 조절할 수 있도록 지원하는 시청 화면 영역 선택 지원부；를 포함하는 것이며,
상기 시청 화면 영역 선택 지원부는 상기 사용자로 하여금 시청 화면 영역의 설정을 지원하는 것이며，
상기 시청 화면 영역의 설정은
상기 사용자가 시청 화면 영역 설정을 위한 시청 영역 방향을 지정하거나 변경하는 것이며，
상기 시청 영역 방향의 지정이나 변경은 키보드 입력， 키패드 입력， 터치 입력， 음성 입력， 동작 입력 중 어느 하나 이상의 입력을 통해서 이루어 지는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
【청구항 16】
제 15항에 있어서，
상기 시청 화면 영역 설정에서 변경이 있는 경우，
상기 복합 차원 콘텐츠 제공 시스템은 변경된 시청 화면 영역 설정 정보를 사용하여 상기 렌더링 처리된 이미지에서 사용자에게 보여지는 시청 화면 영역을 변경하는 것인 것이거나，
상기 시청 영역 방향이 변경되는 경우，
상기 복합 차원 콘텐츠 제공 시스템은 상기 렌더링 처리된 이미지에서 변경된 시청 영역 방향을 반영하여 사용자에게 보여지는 시청 화면 영역을 연속적으로 변경하는 것인 것을 특징으로 하는 복합 차원 콘텐츠 제공 시스템.
【청구항 17]
파일 헤더부；및
영상 데이터부；를 포함하며，
상기 영상 데이터부는
적어도 하나 이상의 2D 부분 영상부; 및
적어도 하나 이상의 3D 부분 영상부；를 포함하는 것이며，
상기 2D 부분 영상부와 상기 3D 부분 영상부는 적어도 1회 이상 교번하여 나타나는 것인 것이며，
상기 파일 헤더부에는
재생 구간 속성 정보가 더 포함되어 있는 것인 것이며，
상기 재생 구간 속성 정보는 상기 영상 데이터부 중에서 상기 2D 부분 영상부와 상기 3D 부분 영상부에 대웅되는 영상 데이터에 대한 정보가 더 포함되어 있는 것인 것을 특징으로 하는 복합 차원 콘텐츠 파일 .
【청구항 18】
제 17항에 있어서，
재생 구간 속성 정보는 상기 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시작 위치 정보나 구간 위치 정보를 입수하는 것이거나， 상기 2D 부분 영상부와 상기 3D 부분 영상부 각각에 대한 시간 구간 대응 정보 또는 프레임 구간 대웅 정보인 것을 특징으로 하는 복합 차원 콘텐츠 파일.
PCT/KR2013/011934 2013-02-20 2013-12-20 2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법 및 그 복합 차원 콘텐츠 파일 WO2014129736A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015556869A JP6027272B2 (ja) 2013-02-20 2013-12-20 ２ｄ−３ｄ複合次元コンテンツファイルを用いた複合次元コンテンツサービス提供システム、そのサービス提供方法及びその複合次元コンテンツファイル
CN201380072941.XA CN105191298B (zh) 2013-02-20 2013-12-20 使用2d‑3d多维内容文件的多维内容服务提供***、该服务提供方法以及该多维内容文件
EP13875903.0A EP2942949A4 (en) 2013-02-20 2013-12-20 SYSTEM FOR PROVIDING COMPLEX DIMENSIONAL CONTENT SERVICE USING COMPLEX TWO-DIMENSIONAL-COMPLEX CONTENT FILE, METHOD FOR PROVIDING THE SAME, AND COMPLEX DIMENSIONAL CONTENT FILE FOR THE SAME
US14/826,185 US9491447B2 (en) 2013-02-20 2015-08-13 System for providing complex-dimensional content service using complex 2D-3D content file, method for providing said service, and complex-dimensional content file therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130017860A KR101430985B1 (ko) 2013-02-20 2013-02-20 2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법
KR10-2013-0017860 2013-02-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/826,185 Continuation US9491447B2 (en) 2013-02-20 2015-08-13 System for providing complex-dimensional content service using complex 2D-3D content file, method for providing said service, and complex-dimensional content file therefor

Publications (1)

Publication Number Publication Date
WO2014129736A1 true WO2014129736A1 (ko) 2014-08-28

Family

ID=51391486

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/011934 WO2014129736A1 (ko) 2013-02-20 2013-12-20 2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법 및 그 복합 차원 콘텐츠 파일

Country Status (6)

Country Link
US (1) US9491447B2 (ko)
EP (1) EP2942949A4 (ko)
JP (1) JP6027272B2 (ko)
KR (1) KR101430985B1 (ko)
CN (1) CN105191298B (ko)
WO (1) WO2014129736A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11048376B2 (en) * 2019-05-15 2021-06-29 Microsoft Technology Licensing, Llc Text editing system for 3D environment
US11164395B2 (en) 2019-05-15 2021-11-02 Microsoft Technology Licensing, Llc Structure switching in a three-dimensional environment
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
KR102517796B1 (ko) * 2020-10-30 2023-04-03 조선대학교산학협력단 가상 현실 컨텐츠를 제공하는 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080108934A (ko) * 2007-06-11 2008-12-16 삼성전자주식회사 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR20090025836A (ko) * 2007-09-07 2009-03-11 삼성전자주식회사 2ｄ 영상을 포함하는 3ｄ 입체영상 파일을 생성 및재생하기 위한 시스템 및 방법
KR20090035794A (ko) * 2007-10-08 2009-04-13 에스케이 텔레콤주식회사 통합 멀티미디어 파일 구조를 이용한 3ｄ 멀티미디어콘텐츠 서비스 시스템 및 방법
KR20110029319A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 영상 처리 시스템 및 영상 처리 방법
KR20110111335A (ko) * 2010-04-02 2011-10-11 삼성전자주식회사 2차원 컨텐트와 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트 전송 방법 및 그 장치, 디지털 방송 컨텐트 수신 방법 및 그 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355758A (ja) * 1998-06-09 1999-12-24 Niles Parts Co Ltd テレビ放送システム
CA2373707A1 (en) * 2001-02-28 2002-08-28 Paul Besl Method and system for processing, compressing, streaming and interactive rendering of 3d color image data
JP4251907B2 (ja) * 2003-04-17 2009-04-08 シャープ株式会社 画像データ作成装置
JP2005333552A (ja) * 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
EP1782632A1 (en) * 2004-08-13 2007-05-09 Industry Academic Cooperation Foundation Kyunghee University Method and apparatus to encode image, and method and apparatus to decode image data
KR101480186B1 (ko) * 2007-12-10 2015-01-07 삼성전자주식회사 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
US8660402B2 (en) * 2007-12-14 2014-02-25 Koninklijke Philips N.V. 3D mode selection mechanism for video playback
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
AU2009287465B2 (en) * 2008-09-17 2014-09-11 Panasonic Corporation Recording medium, playback device, and integrated circuit
KR20110011000A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치
EP2468006A4 (en) * 2009-08-20 2014-01-22 Lg Electronics Inc IMAGE DISPLAY DEVICE AND METHOD FOR THE OPERATION
DE102009041328A1 (de) * 2009-09-15 2011-03-24 Natural View Systems Gmbh Verfahren und Vorrichtung zum Erzeugen von Teilansichten und/oder einer Raumbildvorlage aus einer 2D-Ansicht für eine stereoskopische Wiedergabe
JP2011101230A (ja) * 2009-11-06 2011-05-19 Sony Corp 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置
JP5454444B2 (ja) * 2010-10-01 2014-03-26 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2012182785A (ja) * 2011-02-07 2012-09-20 Panasonic Corp 映像再生装置および映像再生方法
CN102170579B (zh) * 2011-03-23 2013-10-09 深圳超多维光电子有限公司 一种图形图像处理***、方法和芯片
US8913104B2 (en) * 2011-05-24 2014-12-16 Bose Corporation Audio synchronization for two dimensional and three dimensional video signals

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080108934A (ko) * 2007-06-11 2008-12-16 삼성전자주식회사 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR20090025836A (ko) * 2007-09-07 2009-03-11 삼성전자주식회사 2ｄ 영상을 포함하는 3ｄ 입체영상 파일을 생성 및재생하기 위한 시스템 및 방법
KR20090035794A (ko) * 2007-10-08 2009-04-13 에스케이 텔레콤주식회사 통합 멀티미디어 파일 구조를 이용한 3ｄ 멀티미디어콘텐츠 서비스 시스템 및 방법
KR20110029319A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 영상 처리 시스템 및 영상 처리 방법
KR20110111335A (ko) * 2010-04-02 2011-10-11 삼성전자주식회사 2차원 컨텐트와 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트 전송 방법 및 그 장치, 디지털 방송 컨텐트 수신 방법 및 그 장치

Also Published As

Publication number Publication date
JP2016513390A (ja) 2016-05-12
EP2942949A4 (en) 2016-06-01
KR101430985B1 (ko) 2014-09-18
CN105191298A (zh) 2015-12-23
JP6027272B2 (ja) 2016-11-16
CN105191298B (zh) 2017-07-11
US20150350634A1 (en) 2015-12-03
EP2942949A1 (en) 2015-11-11
US9491447B2 (en) 2016-11-08

Similar Documents

Publication Publication Date Title
JP6878014B2 (ja) 画像処理装置及びその方法、プログラム、画像処理システム
US8537230B2 (en) Imaging apparatus, an imaging method, a reproducing apparatus, a reproducing method and a program
KR101530826B1 (ko) 360도 공간영상 재생방법 및 그 시스템
JP2008141516A (ja) 画像ファイル作成装置、撮像装置及びファイル構造
JP2006180074A (ja) 画像編集装置、撮像装置、画像編集方法、プログラム
JP6004475B2 (ja) 再生制御装置、再生制御方法及びプログラム
JP5393237B2 (ja) 画像表示装置及びその制御方法、並びにプログラム及び記憶媒体
JP6270555B2 (ja) 画像処理システム、撮像装置及びその制御方法
WO2014129736A1 (ko) 2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법 및 그 복합 차원 콘텐츠 파일
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
KR101843025B1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
WO2014129735A1 (ko) 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일
JP2010258917A (ja) 撮影装置、プログラム、及び撮影方法
US10616724B2 (en) Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device
JP6987567B2 (ja) 配信装置、受信装置及びプログラム
JP6775386B2 (ja) 撮像装置、その制御方法、プログラムならびに記録媒体
JP4200858B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP2014116974A (ja) 画像再生装置
JP2011146847A (ja) 画像再生制御装置、画像再生制御方法および撮像装置
JP2016048922A (ja) 画像再生装置
JP2016048921A (ja) 画像再生装置
JP2015037290A (ja) 映像制御装置、映像表示装置、映像制御システム、および方法
JP6970143B2 (ja) 配信サーバ、配信方法及びプログラム
JP2011139300A (ja) 画像処理装置及びプログラム
JP6680273B2 (ja) 画像再生装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380072941.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13875903

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013875903

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015556869

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE