WO2011155776A2 - 프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치 - Google Patents

프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치 Download PDF

Info

Publication number
WO2011155776A2
WO2011155776A2 PCT/KR2011/004230 KR2011004230W WO2011155776A2 WO 2011155776 A2 WO2011155776 A2 WO 2011155776A2 KR 2011004230 W KR2011004230 W KR 2011004230W WO 2011155776 A2 WO2011155776 A2 WO 2011155776A2
Authority
WO
WIPO (PCT)
Prior art keywords
video
information
fragment
current
stereoscopic
Prior art date
Application number
PCT/KR2011/004230
Other languages
English (en)
French (fr)
Other versions
WO2011155776A3 (ko
Inventor
김희진
김길윤
김남국
정도영
류가현
박태성
김규헌
김정한
이장원
Original Assignee
삼성전자 주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사, 경희대학교 산학협력단 filed Critical 삼성전자 주식회사
Priority to JP2013514117A priority Critical patent/JP6088968B2/ja
Priority to BR112012031218-9A priority patent/BR112012031218B1/pt
Priority to US13/703,286 priority patent/US9674502B2/en
Priority to EP11792687.3A priority patent/EP2582142B1/en
Priority to CN201180039011.5A priority patent/CN103069812B/zh
Publication of WO2011155776A2 publication Critical patent/WO2011155776A2/ko
Publication of WO2011155776A3 publication Critical patent/WO2011155776A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Definitions

  • the present invention relates to the generation and reception of data streams for transmitting multimedia content.
  • one multimedia content is composed of a set of elements having different attributes such as audio, video, image, metadata, and the like.
  • Such data is encoded and used in a data structure for multimedia content, together with information on the relationship between elements and information for decoding and reproducing each element.
  • the international standard organization MPEG Moving Picture Experts Group
  • MPEG Motion Picture Experts Group
  • auxiliary data such as encoded elements of multimedia content and configuration information related to the elements are stored hierarchically in a plurality of containers.
  • ISO-based media file format defines a basic structure for efficiently storing each multimedia element in a single multimedia file.
  • the present invention discloses a method and apparatus for providing a multimedia streaming service for transmitting two-dimensional video or three-dimensional video, a method for receiving a multimedia streaming service, and a device thereof.
  • a streaming service providing method for transmitting multimedia using a network comprising: dividing encoded data of a video including at least one of two-dimensional video and three-dimensional video by fragment units; Determining attribute information including at least one of three-dimensional signaling information including information for two-dimensional reproduction or three-dimensional reproduction of the current video for each fragment and relationship information for referring to the one or more other videos. ; And continuously transmitting fragments including an auxiliary data area including attribute information about the fragment and a media data area including the encoded video data.
  • FIG. 1 is a block diagram of an apparatus for providing a multimedia streaming service, according to an exemplary embodiment.
  • FIG. 2 is a block diagram of an apparatus for receiving a multimedia streaming service, according to an exemplary embodiment.
  • FIG. 3 illustrates a mfsi box including a streaming file format transmitted in units of fragments and three-dimensional signaling information transmitted for each fragment according to an embodiment.
  • FIG. 4 illustrates syntax of 3D signaling information included in an mfsi box and an scdi box according to an embodiment.
  • FIG. 5 illustrates an svfi box including a streaming file format transmitted in units of fragments and three-dimensional signaling information transmitted for each fragment according to an embodiment.
  • 6 and 7 illustrate syntax of 3D signaling information included in an svfi box according to an embodiment.
  • FIG. 8 illustrates syntax of 3D signaling information configured for a file in a streaming file format transmitted in units of fragments, according to an embodiment.
  • FIG. 9 illustrates syntax of 3D signaling information configured for a sample in a streaming file format transmitted in units of fragments according to an embodiment.
  • FIG. 10 illustrates two streaming file formats for transmitting left view video and right view video of stereoscopic video, respectively, according to one embodiment.
  • FIG. 11 illustrates reference information set for stereoscopic video included in a file according to an embodiment.
  • FIG. 12 illustrates one relationship information set inside a file when transmitting stereoscopic video in two streaming files according to an embodiment.
  • FIG. 13 illustrates a plurality of relationship information set inside a file when transmitting stereoscopic video in two streaming files according to an embodiment.
  • FIG. 14 illustrates syntax of track information including relationship information on a plurality of reference videos when transmitting stereoscopic video in two streaming files according to an embodiment.
  • FIG. 15 illustrates the syntax of relationship information set inside a file when transmitting stereoscopic video in two streaming files according to an embodiment.
  • FIG. 16 illustrates relationship information set by using an index file outside of a file when transmitting stereoscopic video in two streaming files according to an embodiment.
  • 17 and 18 illustrate one streaming file format for transmitting left view video and right view video of stereoscopic video, according to one embodiment.
  • 19 and 20 illustrate a method of determining a reference video using an index file outside of a file when transmitting stereoscopic video in one streaming file according to an embodiment.
  • FIG. 21 illustrates syntax of an afgp box including relationship information of a multichannel video group according to an embodiment, for an adaptive streaming service.
  • FIG. 22 illustrates a case of setting relationship information between multichannel video groups according to an embodiment by using an index file external to a file for an adaptive streaming service.
  • FIG. 23 is a flowchart of a method of providing a multimedia streaming service, according to an embodiment.
  • 24 is a flowchart of a method of receiving a multimedia streaming service according to an embodiment.
  • a streaming service providing method for transmitting multimedia using a network comprising: dividing encoded data of a video including at least one of two-dimensional video and three-dimensional video by fragment units; Determining attribute information including at least one of three-dimensional signaling information including information for two-dimensional reproduction or three-dimensional reproduction of the current video for each fragment and relationship information for referring to the one or more other videos. ; And continuously transmitting fragments including an auxiliary data area including attribute information about the fragment and a media data area including the encoded video data.
  • a streaming service receiving method for receiving multimedia using a network includes: continuously receiving a plurality of fragments; Extracting encoded data of a video including at least one of two-dimensional video and three-dimensional video in a fragmented form in fragment units from the media data region for each fragment; Parsing attribute information from an auxiliary data area for each of the fragments, and performing at least one of three-dimensional signaling information for two-dimensional or three-dimensional reproduction of a video of the fragment and relationship information for the video to refer to one or more other videos. Extracting and reading; And reconstructing the encoded data of the fragments into a two-dimensional video or a three-dimensional video based on the information read from the attribute information for each of the fragments.
  • a streaming service providing apparatus for transmitting multimedia using a network may include: a fragment video data generation unit configured to divide encoded data of a video including at least one of two-dimensional video and three-dimensional video into fragment units; A fragment for determining attribute information including at least one of three-dimensional signaling information including information for two-dimensional reproduction or three-dimensional reproduction of the current video for each fragment and relationship information for referring to the one or more other videos. An attribute information determination unit; And a streaming unit for continuously transmitting fragments including an auxiliary data area including attribute information of the fragment and a media data area including the encoded video data.
  • a fragment attribute information extraction unit for extracting and reading; And a reconstruction unit for reconstructing the encoded data of the fragments into a 2D video or a 3D video based on the information read from the attribute information for each of the fragments.
  • the present invention includes a computer-readable recording medium having recorded thereon a program for implementing a method for providing a multimedia streaming service according to an embodiment with a computing processor.
  • the present invention includes a computer-readable recording medium having recorded thereon a program for implementing a method for receiving a multimedia streaming service according to an embodiment with a computing processor.
  • FIG. 1 is a block diagram of an apparatus for providing a multimedia streaming service, according to an exemplary embodiment.
  • the apparatus 100 for providing a multimedia streaming service may use two-dimensional video, three-dimensional video, or two-dimensional video and three-dimensional data using a network by using a streaming file format transmitted in units of fragments. While transmitting video data of a mixed video of video, attribute information including at least one of three-dimensional signaling information of the corresponding video data and relation information of a reference relationship between the plurality of videos may be transmitted for each file, fragment, and sample. .
  • the apparatus 100 for providing a multimedia streaming service includes a fragment video data generator 110, a fragment attribute information determiner 120, and a streaming unit 130.
  • the fragment video data generating unit 110, the fragment attribute information determining unit 120, and the streaming unit 130 may include a central computing device or a processor located inside or outside the multimedia streaming service providing apparatus 100. By control, data can be exchanged and operated organically.
  • at least one component of the fragment video data generating unit 110, the fragment attribute information determining unit 120, and the streaming unit 130 may be operated by a processor mounted on its own and may be configured as another component. It can be controlled to work organically with the element.
  • the fragment video data generator 110 divides the video data including at least one of two-dimensional video data and three-dimensional video data into fragment video data to transmit the fragment data in fragment units.
  • Fragments are packet units for streaming data using a network.
  • the fragment is composed of a media data area for transmitting the media data, and an auxiliary data area for transmitting fast-path information such as information on the content of the media data in the media data area and structure-related information.
  • streaming data may be transmitted.
  • the fragment is composed of an mdat area including media data and a moof area including various attribute information about media data of the mdat area.
  • the apparatus 100 for providing a multimedia streaming service may receive compression-coded video data and split the fragment into units of fragments for streaming.
  • the multimedia streaming service providing apparatus 100 may receive uncompressed video data, encode the video data using an encoder installed therein, and divide the video data into fragments.
  • the fragment attribute information determiner 120 determines three-dimensional signaling information including information for two-dimensional or three-dimensional reproduction of a video for each fragment.
  • the fragment attribute information determiner 120 may determine 3D signaling information to be transmitted through an auxiliary data area of the fragment.
  • the 3D signaling information includes various pieces of information set according to whether the current video is a 2D video or a 3D video.
  • the 3D signaling information may include various pieces of information necessary for the decoder to reconstruct the video to perform 2D or 3D playback.
  • 2D video / 3D video related information about the current video may be transmitted for each fragment.
  • the fragment attribute information determiner 120 determines relationship information for cross-reference among a plurality of videos including the current video. As the relationship information, reference information and location information about another video currently located in the file may be transmitted. In addition, as the relationship information, location information and index information for referring to one or more other videos located in an external file of the current file may be transmitted.
  • the streaming unit 130 may include fragment information including attribute information including at least one of three-dimensional signaling information and relationship information determined by the fragment attribute information determining unit 120 and video data divided into fragments. Send them continuously. As the fragments are continuously transmitted, video data and three-dimensional signaling information or relationship information may be streamed.
  • three-dimensional signaling information and relationship information about the video of the current fragment may be transmitted through the auxiliary data region, and encoded video data of the current fragment may be transmitted through the media data region.
  • the fragment attribute information determiner 120 may determine 3D configuration information and left / right order information of the current video for each fragment.
  • the 3D configuration information represents a form in which the left view image and the right view image compose a stereoscopic image of the current video.
  • Left and right order information according to an embodiment indicates a sequence of a left view image and a right view image in the stereoscopic image.
  • the fragment attribute information determiner 120 may determine stereo mono interval change count information indicating a change count of a monoscopic video interval and a stereoscopic video interval for the current video for each fragment.
  • the fragment may include a monoscopic video section composed of a monoscopic video sequence or a stereoscopic video section composed of a stereoscopic video sequence.
  • the fragment may include a mixed video section of the monoscopic video section and the stereoscopic video section.
  • the fragment attribute information determiner 120 may determine stereo identification information indicating whether a current section is a monoscopic video section or a stereoscopic video section.
  • a sample is a unit of data representing each frame in a series of discontinuous video frames or a section of contiguous compressed audio. That is, in the multimedia streaming service providing apparatus 100 according to an embodiment, a sample of a fragment may be used in a similar term as a video frame.
  • the fragment attribute information determiner 120 may determine interval sample number information indicating the number of samples constituting the current interval.
  • the fragment attribute information determiner 120 may determine 3D configuration information and left / right order information for samples constituting the current stereoscopic video section for each stereoscopic video section of the current fragment.
  • the fragment attribute information determiner 120 may determine at least one of stereoscopic camera information and stereoscopic display information for each stereoscopic video section of the current fragment.
  • the stereoscopic camera information includes information on the stereoscopic camera that has obtained samples constituting the current stereoscopic video section.
  • the stereoscopic display information according to an embodiment includes information about a display specification for safely three-dimensional reproduction of samples.
  • the fragment attribute information determiner 120 may determine information indicating the number of items to which stereoscopic camera display information is applied, in a current stereoscopic video section of the current fragment.
  • the fragment attribute information determiner 120 may include at least one of identification information of current stereoscopic camera display information referred to each item and information on a length of a section to which the current stereoscopic camera display information is applied. You can also decide one.
  • the information on the length of the section to which the current stereoscopic camera display information is applied may be expressed by the number of samples constituting the current item to which the current stereoscopic camera display information is referred.
  • the fragment attribute information determiner 120 may determine 3D signaling information on a file basis.
  • the fragment attribute information determiner 120 may determine 3D configuration information and left and right order information with respect to the stereoscopic video of the current file.
  • the fragment attribute information determiner 120 may include stereo mono fragment change count information indicating a change count of a mono fragment consisting of a monoscopic video section and a stereo fragment consisting of a stereoscopic video section among the video of the current file. You can decide.
  • the streaming unit 130 transmits three-dimensional configuration information, left and right order information, and stereo mono fragment change count information of the current file, and for each fragment of the current file, stereo mono interval change count information and interval sample count. At least one of the information and the stereo identification information may be further transmitted.
  • the fragment attribute information determiner 120 may determine identification information on each stereoscopic video section from one or more stereoscopic video sections of the current fragment.
  • the fragment attribute information determiner 120 may determine relationship information for referring to a plurality of videos when constructing a cross-reference relationship between a plurality of videos including the current video.
  • the relationship information may include index information and location information of the reference video.
  • the fragment attribute information determiner 120 may determine the position information of the reference video referenced to configure the stereoscopic video with respect to the video of the current file.
  • the location information of the reference video may include at least one of reference video identification information in the current file, remote location information other than the current file, Uniform Resource Locator (URL) information, and Uniform Resource Name (URN) information. Can be determined using.
  • URL Uniform Resource Locator
  • UPN Uniform Resource Name
  • the fragment attribute information determiner 120 may determine the number information of the reference video when the video of the current file refers to the plurality of videos.
  • the fragment attribute information determiner 120 may further determine at least one of reference index information for identifying a plurality of reference videos and position information for each reference video.
  • the apparatus 100 for providing a multimedia streaming service may provide a differentially encoded video according to video quality in order to safely transmit multimedia content according to a network state.
  • the apparatus 100 for providing a multimedia streaming service according to an embodiment may generate a multichannel video group including a plurality of channels by encoding the same video to be differentially encoded according to video quality.
  • the fragment attribute information determiner 120 may determine the multichannel number information indicating the number of videos of another channel that can replace the video of the current file. Also, the fragment attribute information determiner 120 according to an embodiment may determine reference information indicating the position of a video of another channel in the multichannel video group.
  • FIG. 2 is a block diagram of an apparatus for receiving a multimedia streaming service, according to an exemplary embodiment.
  • the multimedia streaming service receiving apparatus 200 receives a fragment of streaming data using a network, and extracts attribute information including at least one of three-dimensional signaling information and relationship information for each file, fragment, and sample.
  • the video data can be extracted to reconstruct the two-dimensional video, the three-dimensional video, or the mixed video of the two-dimensional video and the three-dimensional video.
  • the multimedia streaming service receiving apparatus 200 includes a receiver 210, a video data extractor 220, a fragment attribute information extractor 230, and a restorer 240.
  • the receiver 210, the video data extractor 220, the fragment attribute information extractor 230, and the restorer 240 may perform central operations located inside or outside the multimedia streaming service receiver 200. Controlled by the device or processor, data can be exchanged and operated organically. Alternatively, at least one component of the receiver 210, the video data extractor 220, the fragment attribute information extractor 230, and the reconstructor 240 according to an embodiment may be operated by a processor mounted therein. And may be controlled to work organically with other components.
  • the receiver 210 continuously receives a plurality of fragments through network streaming.
  • the video data extractor 220 may perform unit-coded encoding of video including at least one of two-dimensional video and three-dimensional video from the media data region for each fragment received by the receiver 210. Extracted in divided form.
  • the fragment attribute information extractor 230 parses the attribute information from the auxiliary data area for each fragment received by the receiver 210.
  • the fragment attribute information extractor 230 may include information for reproducing a video of a fragment in two or three dimensions from the parsed attribute information, content related characteristics, a data structure, relationship information between a plurality of videos, and the like. The attribute information of can be read.
  • the reconstructor 240 decodes the encoded video data of the fragments based on the 3D signaling information or the relationship information read from the attribute information for each fragment in the fragment attribute information extractor 230, Restore to 2D video or 3D video.
  • the fragment attribute information extractor 230 may extract at least one of 3D configuration information, left and right order information, and stereo mono interval change count information set for the current video for each fragment.
  • the fragment attribute information extractor 230 may read a form in which the left view image and the right view image form a stereoscopic image of the current fragment, from the 3D configuration information of the current fragment.
  • the fragment attribute information extractor 230 may read an order of a left view image and a right view image from the stereoscopic image of the current fragment from the left and right order information of the current fragment.
  • the fragment attribute information extractor 230 may read the number of change of the monoscopic video section and the stereoscopic video section of the current fragment from the information on the number of change of the stereo mono section of the current fragment.
  • the monoscopic video section or the stereoscopic video section of the current fragment may be detected using the number of samples constituting each section.
  • the fragment attribute information extractor 230 may extract at least one of stereo identification information and interval sample number information for each fragment.
  • the fragment attribute information extractor 230 may read, from the stereo identification information of the current fragment, whether the current section is a monoscopic video section or a stereoscopic video section among the current fragments.
  • the fragment attribute information extractor 230 may read the number of samples constituting the current interval from the interval sample number information of the current fragment.
  • the fragment attribute information extractor 230 may extract at least one of 3D configuration information and left and right order information for each stereoscopic video section of the current fragment.
  • the fragment attribute information extractor 230 may read 3D configuration information of samples constituting the current stereoscopic video section from the 3D configuration information of the current stereoscopic video section of the fragment. .
  • the fragment attribute information extractor 230 may read left and right order information of samples constituting the current stereoscopic video section from the left and right order information of the current stereoscopic video section of the fragment.
  • the fragment attribute information extractor 230 may extract stereoscopic camera display information for each stereoscopic video section of the current fragment video data.
  • the fragment attribute information extractor 230 may include information on the stereoscopic camera that has obtained the samples constituting the current stereoscopic video section from the stereoscopic camera display information of the current stereoscopic video section, and the samples. Can be used to read information about a display specification for safe three-dimensional playback.
  • the fragment attribute information extractor 230 may detect an item to which stereoscopic camera display information is applied using the number of samples constituting each item in the stereoscopic video section.
  • the fragment attribute information extractor 230 may include information indicating the number of items to which stereoscopic camera display information is applied among the current stereoscopic video sections of the current fragment, and a current stereoscopic camera referenced in each item. At least one of identification information of the display information and information on the length of the section to which the current stereoscopic camera display information is applied may be extracted and read.
  • the fragment attribute information extractor 230 may detect an item to which the current stereoscopic camera display information is applied in the current stereoscopic video section by using the extracted information.
  • the fragment attribute information extractor 230 may extract at least one of three-dimensional configuration information, left and right order information, and stereo mono fragment change information about the video of the current file.
  • the fragment attribute information extracting unit 230 reads a form in which a left view image and a right view image form a stereoscopic image of the current file from the 3D configuration information of the current file, from the video of the current file. can do.
  • the fragment attribute information extractor 230 may read an order of a left view image and a right view image constituting a stereoscopic image of the current file from the left and right order information on the video of the current file.
  • the fragment attribute information extracting unit 230 may change the stereo fragment including the mono fragment consisting of the monoscopic video interval and the stereoscopic video interval among the video of the current file from the stereo mono fragment change count information of the current file. The number of times can be read.
  • the fragment attribute information extractor 230 extracts at least one of three-dimensional configuration information, left and right order information, and stereo mono fragment change information about the video of the current file, and for each fragment of the current file, At least one of stereo mono interval change count information, interval sample count information, and stereo confirmation information about the video of the fragment may be extracted and read.
  • the fragment attribute information extractor 230 may extract and read identification information of each stereoscopic video section from one or more stereoscopic video sections of the current fragment video data. Using the identification information on the read stereoscopic video interval, the current stereoscopic video interval may be detected.
  • the fragment attribute information extractor 230 may extract and read relationship information indicating a reference relationship between a plurality of videos when the video of the current file refers to one or more videos.
  • the fragment attribute information extracting unit 230 may include information about the position of the reference video, reference video identification information, and the current file with respect to another video to be referred to for configuring the stereoscopic video of the current file. At least one of remote location information, URL information, and URN information may be extracted and read.
  • the reconstructor 240 may reconstruct the stereoscopic image of the current file by detecting another video referenced by using the read information.
  • the fragment attribute information extractor 230 may include information about the number of reference videos from the current file, reference index information for identifying the plurality of reference videos, In addition, at least one of position information of each reference video may be extracted and read.
  • the reconstruction unit 240 may selectively reconstruct the video of the current file to a desired form by selectively detecting the referenced video using the read information.
  • the multimedia string service receiving apparatus 200 may include multi-channel video including video of a plurality of channels differentially encoded according to video quality in order to safely receive multimedia content according to a network state.
  • An adaptive streaming service based on a group may be provided.
  • the multimedia string service receiving apparatus 200 according to an exemplary embodiment may selectively receive a video of a predetermined channel according to a network state among videos that are differentiated into a plurality of channels according to video quality.
  • the fragment attribute information extractor 230 extracts at least one of multi-channel number information indicating the number of videos of another channel of video of the current file and reference information indicating the position of video of another channel. Can be read.
  • the reconstruction unit 240 may reconstruct the video by combining the videos of other channels which are selectively received using the extracted multichannel number information and reference information.
  • the apparatus 200 for receiving a multimedia streaming service may reconstruct a 2D video or 3D video reconstructed by the reconstructor 240 based on information read from 3D signaling information or relationship information for each fragment. Can be reproduced in two or three dimensions.
  • FIG. 3 illustrates a mfsi box including a streaming file format transmitted in units of fragments and three-dimensional signaling information transmitted for each fragment according to an embodiment.
  • the multimedia streaming service transmission apparatus 100 may stream auxiliary data including encoded video data of 2D video or 3D video and various characteristic information about the transmitted video, according to an embodiment.
  • a data stream conforming to the file format 300 may be recorded and transmitted.
  • the streaming file format 300 includes an ftyp box, a moov box 350, a sidx box, and a plurality of fragments 310, 312, and 314.
  • Each fragment 310, 320, 330 is composed of moof boxes 320, 340, 360 and mdat boxes 330, 350, 370.
  • encoded video data of stereoscopic content may be included and transmitted.
  • the ftyp box includes file type information of a current file according to the streaming file format 300 according to an embodiment.
  • the sidx box includes segment index information for searching each segment in the current file.
  • the moov box 350 may include temporal and spatial information about the video of the current file, information about a data structure, and the like.
  • the moov box 350 of the streaming file format 300 includes an svmi box 360 and a scdi box 370.
  • the svmi box 360 includes various information such as stereoscopic visual type information of stereoscopic video, mixed content of 2D and 3D contents, fragment related information, and the like, transmitted through the current file according to the streaming file format 300. can do.
  • the fragment related information may include information about the number of fragments, the number of consecutive samples, whether the current sample is stereoscopic data, and the like.
  • the scdi box 370 may include a stereoscopic camera related to stereoscopic video transmitted through a current file according to the streaming file format 300, display specifications, and various kinds of information for visual stability.
  • the apparatus 100 for providing a multimedia streaming service may divide and transmit encoded data of a current video in fragment units according to the streaming file format 300.
  • the mdat boxes 330, 350, and 370 of the fragments 310, 312, and 314 may include video data divided in units of fragments.
  • mdat box 330 includes segmented data of two-dimensional video 335
  • mdat box 350 contains segmented data of mixed video of two-dimensional video 352 and three-dimensional video 354.
  • the mdat box 350 may include segmented data of the mixed video of the 3D video 372 and the 2D video 374.
  • the moof box 340 may include three-dimensional signaling information for the current video 352, 354 inserted into the mdat box 340 of the current fragment 312.
  • moof box 340 may include mfsi box 380 and scdi box 390.
  • the mfsi box 380 and the scdi box 390 may include three-dimensional signaling information about the current video 352 and 354 inserted into the mdat box 340 of the current fragment 312. .
  • the multimedia streaming service receiving apparatus 200 receives and parses a data stream according to the streaming file format 300 according to an embodiment, thereby receiving encoded video data of 2D video or 3D video.
  • Ancillary data including various characteristic information about the extracted video may be extracted.
  • the apparatus 200 for receiving a multimedia streaming service may include three-dimensional signaling information about video from a mfsi box 380 and a scdi box 390 of a data stream according to the streaming file format 300 according to an embodiment. By extracting the two-dimensional video or three-dimensional video can be reconstructed.
  • FIG. 4 illustrates syntax of 3D signaling information included in an mfsi box and an scdi box according to an embodiment.
  • the mfsi box may include stereoscopic visual type information as 3D signaling information about a video inserted into a current fragment.
  • the stereoscopic visual type information may include 3D configuration information 'stereoscopic_composition_type', left and right order information 'is_left_first', and stereo mono section change count information 'stereo_mono_change_count' with respect to the video of the current fragment.
  • 3D configuration information 'stereoscopic_composition_type' represents a form in which a left view image and a right view image form a stereoscopic image in a video of a current fragment.
  • a stereoscopic image type identified by three-dimensional configuration information of a stereoscopic image may include a side-by-side in which a left view image and a right view image are arranged left and right within a single stereoscopic image.
  • side type, top-and-bottom type arranged vertically, field (frame) sequential type in which left view images and right view images are transmitted one by one, and left view images
  • Left and right order information 'is_left_first' indicates an order in which a left view image and a right view image are arranged in the stereoscopic image of the current fragment. For example, using left-right order information 'is_left_first', the left-right image and the right-view image or the right-view image and the left-view image are arranged in the left / right area inside the stereoscopic image that is the side-by-side type. Whether the left view image and the right view image or the right view image and the left view image are arranged in the top / bottom area inside the stereoscopic image of the top and bottom type.
  • the stereo mono interval change count information 'stereo_mono_change_count' includes a monoscopic video interval and a stereoscopic video interval when the current fragment includes a video composed of consecutive sections of a monoscopic video section or a stereoscopic video section. It can represent the number of changes of.
  • stereo confirmation information 'stereo_flag' indicating whether it is monoscopic video or stereoscopic video may be transmitted.
  • the stereoscopic visual type information may include stereo identification information 'stereo_flag' for indicating whether the video segment of the current fragment is a monoscopic video section or a stereoscopic video section.
  • the stereoscopic visual type information may include interval sample number information 'sample_count' indicating the number of samples constituting the current interval for each video interval of the current fragment.
  • the stereoscopic visual type information may include three-dimensional configuration information 'stereoscopic_composition_type' information for the stereoscopic video section among the current fragments and left and right order information 'is_left_first'.
  • three-dimensional configuration information on the form in which the left view image and the right view image constitute a stereoscopic image for each stereoscopic video section among the current fragments, and left and right order information on the order in which the left view image and the right view image are arranged. Can be transmitted.
  • a scdi box including at least one of stereoscopic camera information and stereoscopic display information may be transmitted for each stereoscopic video section of the current fragment.
  • the scdi box according to an embodiment may be included in the mfsi box according to an embodiment and transmitted. As illustrated in FIG. 3, the mfsi box 380 and the scdi box 390 for the current fragment video data may be transmitted.
  • the stereoscopic visual type information may include 'scdi_item_count' information on a stereoscopic video interval in the current fragment.
  • the 'scdi_item_count' information may indicate the number of items to which the stereoscopic camera display information is applied.
  • an item to which stereoscopic camera display information is applied refers to a section including 3D video data.
  • the 'scdi_item_count' information may indicate the number of items or samples that are 3D video data sections included in the current fragment.
  • the scdi box may include identification information 'scdi_ID' of current stereoscopic camera display information.
  • the stereoscopic camera display information may include stereoscopic camera display information of the scdi box 370 of the moov box 350, or stereoscopic camera display information of other scdi boxes of the moof boxes 320, 340, and 360. Since reference may be made, the scdi box to be referred to may be searched using 'scdi_ID'.
  • 'scdi_ID' information and 'scdi_duration' information may be transmitted.
  • the 'scdi_duration' information may indicate a length of an item or a sample to which current stereoscopic camera display information is applied. Accordingly, current stereoscopic camera display information on the current fragment may be transmitted in units of items or samples constituting the stereoscopic video section.
  • video including monoscopic video or stereoscopic video is transmitted and received in units of fragments. For each fragment, 3D signaling information of a video may be transmitted and received.
  • stereoscopic video section in the fragment information indicating the number of samples constituting each section may be transmitted and received.
  • stereoscopic camera display information about the video of the fragment may be transmitted in units of items or samples.
  • FIG. 5 illustrates an svfi box including a streaming file format transmitted in units of fragments and three-dimensional signaling information transmitted for each fragment according to an embodiment.
  • the multimedia streaming service transmission apparatus 100 may include auxiliary data including encoded video data of two-dimensional or three-dimensional video and various characteristic information about the transmitted video, and the streaming file according to one embodiment.
  • the data stream according to the format 500 may be recorded and transmitted.
  • the streaming file format 500 may include a plurality of fragments 501 and 502 including a ftyp box and a moov box 510, and a moof box 520 and 540 and a mdat box 530 and 550. It consists of an mfra box.
  • the trak box included in the moov box 510 includes information for searching for one track among presentations.
  • a presentation refers to one or more motion sequences that can be combined with audio
  • a track refers to a set of interrelated samples, for example an image sequence in video.
  • the tkhd box included in the trak box is a track header including all information about the current track, and the mdia box includes declaration information about the media of the current track.
  • the minf box included in the mdia box includes all objects that declare characteristic information about the current media, and the stbl box includes indexing information such as time, data, and location of a sample for retrieving samples of the current track.
  • the svmi box of the stbl box may contain information about stereoscopic video for the current media of the current track.
  • the mvex box included in the moov box 510 includes information indicating that the fragment of the video is transmitted through the current file.
  • the trex box included in the mvex box contains default information related to the samples used in the fragments 501 and 502.
  • Coded data of monoscopic video, stereoscopic video, or mixed video may be transmitted through the mdat boxes 530, 550 of the fragments 501, 502.
  • the mfhd box included in moof boxes 530 and 550 contains information about the serial number for each fragment in the current file.
  • the traf box included in the moof boxes 530 and 550 includes one or more track fragments constituting each track among the current fragments.
  • Each track fragment includes one or more track runs that describe a series of samples.
  • the trun box contained in the traf box contains information about the current track run.
  • the mfra box contains random access point information to randomly access each fragment.
  • the trfa box includes position information and reproduction time information of samples that can be randomly accessed.
  • the apparatus 100 for providing a multimedia streaming service may transmit svfi boxes 525 and 545 including 3D signaling information transmitted for each fragment through a streaming file format 500 transmitted in units of fragments. have.
  • three-dimensional signaling information about the video 535 and 555 inserted into the mdat boxes 530 and 550 of the current fragment 501 and 502 may be stored.
  • the apparatus 100 for providing a multimedia streaming service may insert and transmit an svfi box into a traf box that is a lower box of the moof boxes 530 and 550.
  • the multimedia streaming service receiving apparatus 200 receives and parses a data stream according to the streaming file format 500 according to an embodiment, thereby receiving encoded video data of 2D video or 3D video.
  • Ancillary data including various characteristic information about the extracted video data may be extracted.
  • the apparatus 200 for receiving a multimedia streaming service may include three-dimensional signaling of video data from svfi boxes 525 and 545 and a svmi box of a data stream according to the streaming file format 500 according to an embodiment.
  • the information may be extracted to reconstruct the two-dimensional video or the three-dimensional video.
  • 6 and 7 illustrate syntax of 3D signaling information included in an svfi box according to an embodiment.
  • 3D signaling information about a video transmitted through a current fragment may be transmitted and received.
  • the 3D signaling information of the svfi boxes illustrated in FIGS. 6 and 7 may include 'stereo_mono_change_count' information on the number of stereo mono interval changes for the video of the current fragment.
  • the monoscopic video section and the stereoscopic video section may be searched in the current fragment through the stereo mono section change count information 'stereo_mono_change_count'.
  • the 3D signaling information of the svfi box may include interval sample number information 'sample_count' and stereo identification information 'stereo_flag' for the stereoscopic video interval in the current fragment.
  • 3D signaling information of the svfi box illustrated in FIG. 7 may further include information 'stereo_section_ID' for identifying a stereoscopic video section.
  • each stereoscopic video section may be distinguished using stereo section identification information 'stereo_section_ID'.
  • FIG. 8 illustrates syntax of 3D signaling information configured for a file in a streaming file format transmitted in units of fragments, according to an embodiment.
  • the apparatus 100 for providing a multimedia streaming service may transmit 3D configuration information and left and right order information in a file channel of the streaming file format 500.
  • the 3D configuration information 'stereoscopic_composition_type' and the left and right order information 'is_left_first' for the video of the current file may be inserted into the svmi box included in the moov box.
  • the multimedia streaming service receiving apparatus 200 parses an svmi box included in a moov box of the streaming file format 500, extracts a 'stereoscopic_composition_type' field and an 'is_left_first' field, and outputs a streaming file format ( The configuration of the stereoscopic image with respect to the video of the current file received through 500 and information about the order of the left view image and the right view image from the stereoscopic image may be read.
  • FIG. 9 illustrates syntax of 3D signaling information configured for a sample in a streaming file format transmitted in units of fragments according to an embodiment.
  • the apparatus 100 for providing a multimedia streaming service may transmit stereo identification information on a track, a fragment, or a sample channel of the streaming file format 500.
  • the syntax of FIG. 9 is a form in which stereo confirmation information 'stereo_flag' is added to a syntax of a trex box included in a moov box, a tfhd box included in a moof box, or a trun box.
  • stereo confirmation information 'stereo_flag' regarding the video of the current track may be inserted into the trex box included in the moov box and transmitted.
  • Stereo confirmation information 'stereo_flag' regarding the video of the current fragment is inserted into the tfhd box included in the moof box and transmitted.
  • stereo confirmation information 'stereo_flag' for a video of a sample constituting the current fragment may be inserted into the trun box included in the moof box and transmitted.
  • the multimedia streaming service receiving apparatus 200 parses a trex box, a tfhd box, or a trun box included in a moov box of the streaming file format 500, and extracts 'stereo_flag'.
  • the video of the current track, the current fragment, or the current sample received through the streaming file format 500 may be read as a monoscopic type or a stereoscopic type.
  • FIG. 10 illustrates two streaming file formats for transmitting left view video and right view video of stereoscopic video, respectively, according to one embodiment.
  • the apparatus 100 for providing a multimedia streaming service may transmit a left view ES stream and an right view ES stream each including a left view video and a right view video constituting stereoscopic video.
  • the apparatus 100 for providing a multimedia streaming service 100 inserts a left view ES stream into a left view video file 'test_1644_L.mp4' 1010 based on the streaming file format 500, and a right view ES stream.
  • the right view ES stream may be inserted into the right view video file 'test_1644_R.mp4' 1020 and transmitted.
  • the apparatus 100 for providing a multimedia streaming service 100 may transmit two ES streams through streaming two files in order to transmit stereoscopic video.
  • the apparatus 100 for providing a multimedia streaming service may transmit relationship information including reference information and position information about another video referred to for configuring a stereoscopic video of a current file.
  • the apparatus 100 for providing a multimedia streaming service may insert and transmit a reference type, location information, and the like for a reference video to a trak box 1040 that is a lower box of the moov box 1030. .
  • the apparatus 100 for providing a multimedia streaming service parses a received left view video file, extracts and reads reference type and position information about another video to refer to to construct a stereoscopic video of a current file. can do.
  • the multimedia streaming service receiving apparatus 200 detects a streaming file from which another video referred to by using the read information is received, and combines the video extracted from the two streaming files to generate a stereoscopic image. Can be restored
  • FIG. 11 illustrates relationship information configured for stereoscopic video included in a file according to an embodiment.
  • the multimedia streaming service providing apparatus 100 configures stereoscopic video in a tref box 1110 included in a trak box that is a lower box of a moov box of the streaming file format 500 according to an embodiment. For example, relationship information for searching for another video may be inserted.
  • the track reference type box 1120 included in the trak box may include reference track identification information 'track_ID' for indicating a track including a reference video for the video of the current track, for each track of the file. Can be.
  • the track reference type URL box 1130 included in the trak box may include information 'entry_count indicating the number of reference videos in order to indicate positions of a plurality of reference videos for the current track for each track of the file. And location information 'location' for each reference video.
  • the location information 'location' may indicate a remote location of the reference video as a character string encoded in a language such as UTF-8. Accordingly, the multimedia streaming service receiving apparatus 200 according to an embodiment parses the moov box, the trak box, and the tref box 1110 sequentially from the received streaming file, and thus, from the track reference type URL box 1130, Video located in an external file of the file may be detected and referred to.
  • FIG. 12 illustrates one relationship information set inside a file when transmitting stereoscopic video in two streaming files according to an embodiment.
  • the multimedia streaming service providing apparatus 100 may include a trak box 1040 included in a moov box 1030 of a left view video file 'test_1644_L.mp4' 1010 based on a streaming file format 500.
  • a trak box 1040 included in a moov box 1030 of a left view video file 'test_1644_L.mp4' 1010 based on a streaming file format 500.
  • dinf box 1060 which is a lower box of the minf box 1050, relationship information about one video referenced by the video of the current track may be inserted and transmitted.
  • the dinf box 1060 includes a dref box 1070 for transmitting relationship information, and the dref box 1070 includes reference URL information 1080 indicating remote location information of a reference track of the current track. It may include.
  • the reference URL information 1080 may include the reference flag 'flags' as well as the URL information 'location'.
  • the current video is a left view video or a base view video among stereoscopic videos and is included in a current file, and a right view video or an additional view video to which reference is referred is 'location' It may be described that it is included in the position pointed to.
  • the URL information 'location' of the reference URL information 1080 may indicate a remote location of the right view video file 'test_1644_R.mp4' 1020.
  • 'Flags' of the reference URL information 1080 is transmitted through the current left view video file 'test_1644_L.mp4' (1010), and the reference video of the current video is the right view video file whose location is indicated by 'location'. It may indicate that it is being transmitted through 'test_1644_R.mp4' 1020.
  • the relationship information when the relationship information is included only in the left view video file 'test_1644_L.mp4' 1010, when a fragment of the left view video file 'test_1644_L.mp4' 1010 in which the reference view video is located is requested.
  • the corresponding fragment may also be recognized as being requested from among the right-view video file 'test_1644_R.mp4' 1020 in which the additional view video is located.
  • FIG. 13 illustrates a plurality of relationship information set inside a file when transmitting stereoscopic video in two streaming files according to an embodiment.
  • the apparatus 100 for providing a multimedia streaming service may include a dinf box 1360 included in a moov box 1310 of a left view video file 'test_1644_L.mp4' 1010 based on a streaming file format 500.
  • reference information about a plurality of videos referenced by the current video may be inserted and transmitted.
  • the dref box 1370 of the dinf box 1360 may include two reference URL information 1380 and 1390 indicating remote location information of two reference videos of the current video.
  • the first reference URL information 1380 included in the dref box 1370 may be referred to by the first fragment 1320 of the current video of the left view video file 'test_1644_L.mp4' 1010.
  • Information indicating the third fragment 1340 of the viewpoint video file 'test_1644_R.mp4' 1020 is included.
  • the second reference URL information 1390 included in the dref box 1370 may include the second fragment 1330 of the current video of the left view video file 'test_1644_L.mp4' 1010.
  • Reference information includes information for pointing to the fourth fragment 1350 of the right view video file 'test_1644_R.mp4' 1020.
  • the multimedia streaming service receiving apparatus 200 receives the left view video file 'test_1644_L.mp4' 1010, and sequentially rotates the moov box 1310, the dinf box 1360, and the dref box 1370. By parsing, the first reference URL information 1380 and the second reference URL information 1390 may be extracted.
  • the apparatus 200 for receiving a multimedia streaming service may include the first fragment 1320 of the current track based on the 'flags' of the first reference URL information 1380, and the current left view video file 'test_1644_L.mp4'.
  • the reference track of the first fragment 1320 of the current track is transmitted through '1010, and the third fragment 1340 of the right view video file' test_1644_R.mp4 '1020, which is a location indicated by URL information of' location '. It can be read that it is being transmitted through).
  • the apparatus 200 for receiving a multimedia streaming service may be configured to determine that the second fragment 1330 of the current track is the current left view video file based on 'flags' of the second reference URL information 1390.
  • the reference track of the second fragment 1330 of the current track is transmitted through 'test_1644_L.mp4' 1010 and the first track of the right-view video file 'test_1644_R.mp4' 1010, which is a location indicated by URL information of 'location'. It can be read that it is being transmitted over four fragments 1350.
  • FIG. 14 illustrates syntax of track information including relationship information on a plurality of reference videos when transmitting stereoscopic video in two streaming files according to an embodiment.
  • the apparatus 100 for providing a multimedia streaming service associates the number of reference videos with the location of each reference video when there are a plurality of reference videos for a current track of a file, thereby indexing the location information of the reference video.
  • Information indicating can be transmitted.
  • 'data_reference_index' indicating the index of the location information of the reference video by linking the information 'entry_count' indicating the number of reference videos and the location information 'location' of each reference video among the dref boxes which is a lower box of the dinf box.
  • Information can be sent via the dref box.
  • FIG. 15 illustrates the syntax of relationship information set inside a file when transmitting stereoscopic video in two streaming files according to an embodiment.
  • the apparatus 200 for providing a multimedia streaming service may use the reference video location box 1510, the reference video name box 1520, and the reference entry box 1530 to inform the reference video of the current video. .
  • the reference video location box 1510 may be location information 'location' of the reference video and may include http and ftp based location information.
  • the reference video name box 1520 may include URN information 'name' and location information 'location' of the reference video.
  • reference information 'data_entry' determined based on the number information 'entry_count' of the reference entry and the information 'entry_flags' indicating the entry type for each reference entry may be transmitted. .
  • entry_flags 0x000002 '
  • the current video is a left view video or a base view video among stereoscopic videos and is included in the current file. It can be described that it is included in the location pointed to by 'location'.
  • FIG. 16 illustrates relationship information set by using an index file outside of a file when transmitting stereoscopic video in two streaming files according to an embodiment.
  • the apparatus 100 for providing a multimedia streaming service may transmit relationship information for indicating a reference video of the current video by using an external index file describing index information of the external file.
  • the external index file SMIL may include both index information 1010 for the current file and index information 1020 for the reference file of the current file.
  • the apparatus 200 for receiving a multimedia streaming service extracts, from a received streaming file, relationship information about a reference video that a video of a current file refers to to configure stereoscopic video, and thus, the number of reference videos, Reference indexes for identifying a plurality of reference videos, positions for each reference video, and the like may be read.
  • the multimedia streaming service receiving apparatus 200 may detect the reference video and combine it with the current video to restore the stereoscopic video.
  • the multimedia streaming service receiving apparatus 200 may detect the reference video for the current video and combine the current video with the external index file to restore the stereoscopic video.
  • 17 and 18 illustrate one streaming file format for transmitting left view video and right view video of stereoscopic video, according to one embodiment.
  • the apparatus 100 for providing a multimedia streaming service may transmit a left view ES stream and a right view ES stream for stereoscopic video through one fragment-based streaming file.
  • the multimedia streaming service providing apparatus 100 may insert and transmit both a left view ES stream and a right view ES stream into the streaming files 1700 and 1800 based on the streaming file format 500 according to an embodiment. Can be.
  • the apparatus 100 for providing a multimedia streaming service may transmit relationship information about another video referred to to configure stereoscopic video of a current file.
  • the apparatus 100 for providing a multimedia streaming service according to an embodiment may insert and transmit relationship information into trak boxes 1712, 1714, 1812, and 1814, which are lower boxes of the moov boxes 1710 and 1810. .
  • the apparatus 100 for providing a multimedia streaming service may parse the received left view video file and extract and read relationship information about another video referred to to construct a stereoscopic video of the current file. .
  • the multimedia streaming service receiving apparatus 200 detects a streaming file including the other video referenced by using the read relationship information, and then combines the video extracted from the two streaming files to generate a stereoscopic image. Can be restored.
  • each fragment of the streaming file 1700 may include both a left view video as a first track and a right view video as a second track. That is, the left view video 1722 and the right view video 1724 are transmitted through the first fragment 1720, and the left view video 1732 and the right view video 1734 are transmitted through the second fragment 1730. Can be.
  • the moov box 1710 includes, for each track, a first trak box 1712 for the first track and a second trak box 1714 for the second track.
  • the relationship information may be inserted into the tref box 1715 in the second trak box 1714 for the second track through which the right-view video for the additional view video is transmitted.
  • the tref box 1715 may include reference type information 'reference_type' and baseline track identification information 'track_ID'.
  • a left view video that is a first track and a right view video that is a second track may be inserted separately. That is, the left view video 1822 is transmitted through the first fragment 1820, the right view video 1832 is transmitted through the second fragment 1830, and the left view video (1840) is transmitted through the third fragment 1840. 1842 may be transmitted, and a right view video 1852 may be transmitted through the fourth fragment 1850.
  • the relationship information may include offset information about a fragment including a right view video referenced by the left view video.
  • the fragments 1820 and 1840 of the corresponding left view video and the fragments 1830 and 1850 of the right view video are the streaming files 1800.
  • the multimedia streaming service receiving apparatus 200 receives the streaming file 1800 and immediately after the fragments 1820 and 1840 of the left view video, the fragment 1830 of the corresponding right view video. 1850).
  • the moov box 1710 includes, for each track, a first trak box 1712 for the first track and a second trak box 1714 for the second track.
  • the relationship information may be inserted into the tref box 1715 in the second trak box 1714 for the second track through which the right-view video for the additional view video is transmitted.
  • the tref box 1715 may include reference type information 'reference_type' and baseline track identification information 'track_ID'.
  • the multimedia streaming service receiving apparatus 200 parses the moov boxes 1710 and 1810 and the trak boxes 1712, 1714, 1812, and 1814 of the received streaming files 1700 and 1800 in order. It can be read that the second track corresponding to the second trak boxes 1714 and 1814 from which the tref boxes 1715 and 1815 are extracted includes the right view video which is the additional view video.
  • the second track is dependent on the first track, so that the first trak box 1712.
  • the left view video may be extracted from the fragments of the first track corresponding to 1812, and the right view video may be extracted from the fragments of the second track corresponding to the second trak boxes 1714 and 1814.
  • the tfra boxes 1762 and 1862 which are lower boxes of the mfra boxes 1760 and 1860, may include fragment offset information indicating a distance from a presentation time of the stereoscopic video to the fragment. Since the presentation time for the left view video and the right view video of the stereoscopic video is the same, only the tfra boxes 1762 and 1862 for the first track can be used to extract stereoscopic video of the streaming file 1700. Fragment offset information may be provided.
  • 19 and 20 illustrate a method of determining a reference video using an index file outside of a file when transmitting stereoscopic video in one streaming file.
  • the apparatus for providing multimedia streaming service 100 may transmit relationship information for indicating a reference video of the current video by using an external index file.
  • the external index file SMIL may include both index information for the left view video track and the right view video track transmitted through the current file “test_1644.mp4”.
  • an index file external to a file may include track identification information 'trackID' and a stereoscopic type 'stereotype' to identify a left view video track and a right view video track included in the current streaming file. have.
  • a reference video may be searched using an index file outside a file and a tref box inside the file.
  • the index file outside the file may include only track identification information 'trackID' and stereoscopic type 'stereotype' for identifying the base view video track included in the current streaming file.
  • the multimedia streaming service receiving apparatus 200 may include a tref box, among the trak boxes of a moov box of a received streaming file. It can be read that the track corresponding to the trak box including the video track is an additional view video track. Accordingly, the base view video may be extracted from fragments of the track indicated by the index file outside the file, and the additional view video may be extracted from the fragments of the track corresponding to the trak box including the tref box.
  • the multimedia streaming service receiving apparatus 200 extracts a base view video and an additional view video constituting the stereoscopic video from the received streaming file, and extracts the base view video and the additional view video of the current streaming file. By extracting the index information, the reference relationship between the base view video and the additional view video can be read.
  • the multimedia streaming service receiving apparatus 200 may restore the stereoscopic video by combining the base view video and the additional view video extracted from the current streaming file.
  • the multimedia streaming service receiving apparatus 200 reads the relationship between the base view video and the additional view video of the current streaming file using an external index file, and combines the base view video and the additional view video. To restore stereoscopic video.
  • the left view video and the right view video should be synchronized.
  • the left view video and the right view video may be synchronized by having the same presentation time and the same sample duration between the corresponding left view sample and the right view sample.
  • a multichannel video group may be provided to provide video encoded differentially according to video quality or bitrate. Coded video data of a channel selected from a multichannel video group may be transmitted and received.
  • the multimedia streaming service receiving apparatus 200 may request the multimedia streaming service providing apparatus 100 for a video of a predetermined channel from a multichannel video group in consideration of a network environment, a current state, and a capability. .
  • the multimedia streaming service providing apparatus 100 may provide relationship information of video constituting the multichannel video group so that the multimedia streaming service receiving apparatus 100 may select a video having a desired format from among the multichannel video group. Can transmit
  • the apparatus 200 for receiving a multimedia streaming service may select and request and receive a video of a desired channel by using relationship information of a multichannel video group according to an embodiment.
  • the multimedia streaming service receiving apparatus 200 may restore the video using the received video of the predetermined channel.
  • FIG. 21 illustrates syntax of an afgp box including relationship information of a multichannel video group according to an embodiment, for an adaptive streaming service.
  • the apparatus 100 for providing a multimedia streaming service adds an afgp box to the multimedia streaming file formats 300 and 500 so as to relate information about a multichannel video group related to a video currently transmitted through the streaming file. Can be transmitted.
  • the afgp box may be configured in the same channel as the ftyp box, the moov box, and the like.
  • the afgp box may include relationship information about another video that can replace the current video among the multichannel video groups related to the current video.
  • the afgp box may include the number information 'entry_count' of video constituting the multichannel video group and the location information 'file_location' of another video.
  • Location information 'file_location' of an afgp box may indicate a remote location, URL, etc. of another video. That is, the afgp box according to an embodiment may transmit not only the current streaming file but also location information about a video located in an external file.
  • the location information 'file_location' may be a string encoded in a language such as UTF-8.
  • the substitution relationship between the current file and the external file can be expressed by sharing the value of the multichannel video group name information 'alternate_group' to indicate that the current file is the same multichannel video group. have.
  • the video of the current file and the video of a predetermined external file may represent mutually replaceable videos constituting the multichannel video group.
  • the apparatus 200 for receiving a multimedia streaming service may parse the afgp box according to an embodiment from the received streaming file, and read the number and location information of the videos constituting the multichannel video group.
  • the multimedia streaming service receiving apparatus 200 selects a video of a desired channel from video constituting a multichannel video group read from an afgp box, requests a video located in a currently received file or an external file, and Can be received.
  • FIG. 22 illustrates a case of setting relationship information between multichannel video groups according to an embodiment by using an index file external to a file for an adaptive streaming service.
  • the apparatus 100 for providing a multimedia streaming service may transmit relationship information between a plurality of videos configuring a multichannel video group using an external index file.
  • the external index file SMIL may include both index information 2210 for the first file and index information 2220 for the second file for each video of the multichannel video group.
  • the external index file SMIL identifies video position information (test_1644.mp4, test_3288.mp4), bit rate information (1644000 or 3288000), and the current multichannel video group for each video constituting the multichannel video group. It may include group name information (alternate_group).
  • the external index file may be location information on video data included in a multi-channel video group, and may include remote location information or URL information of a currently received file or an external file.
  • the external index file SMIL may further include track identification information trackID.
  • the apparatus 200 for receiving a multimedia streaming service may read location information and characteristic information of a video of a multichannel video group to which a current video belongs, from an external index file of the received streaming file. According to an embodiment, the apparatus 200 for receiving a multimedia streaming service may select a substitute video from a multichannel video group read from an external index file, and request and receive a video located in a currently received file or an external file.
  • FIG. 23 is a flowchart of a method of providing a multimedia streaming service, according to an embodiment.
  • encoded data of a video including at least one of two-dimensional video data and three-dimensional video data is divided in units of fragments.
  • the fragment may include one of a monoscopic video section, a stereoscopic video section, and a mixed video section of the monoscopic video section and the stereoscopic video section.
  • attribute information including at least one of three-dimensional signaling information and relationship information is determined for each fragment.
  • At least one of three-dimensional configuration information, left and right order information, and stereo mono period change count information may be determined for each fragment.
  • At least one of stereo identification information and interval sample number information may be determined for each segment of the fragment.
  • 3D configuration information and left and right order information of samples may be determined.
  • stereoscopic camera display information on a sample may be determined for each stereoscopic video section of the fragment.
  • the stereoscopic camera display information according to an embodiment may be expressed using an item to which the stereoscopic camera display information is applied.
  • At least one of 3D configuration information, left and right order information, and stereo mono fragment change information may be determined for the video of the current file.
  • At least one of stereo mono interval change count information, interval sample count information, and stereo identification information may be further determined for each fragment, together with 3D configuration information, left and right order information, and stereo mono fragment change information about the file.
  • stereoscopic video section identification information may be determined for each stereoscopic video section of the current fragment.
  • the video of the current file is relationship information for retrieving reference video constituting stereoscopic video. At least one of information, URL information, and URN information may be used.
  • the video of the current file refers to the plurality of videos
  • at least one of the number information of the reference video, reference index information for identifying the plurality of reference videos, and position information may be determined.
  • a multichannel video group may be created that provides a plurality of channels of video to be differentially determined according to video quality.
  • at least one of information on the number of videos constituting the multichannel video group and reference information indicating the position of the video of another channel may be determined.
  • the position information of the video constituting the multichannel video group may indicate the position of the video existing in the file outside the current file.
  • fragments including attribute information about the fragmented video of the fragment and the encoded video data are continuously transmitted.
  • the attribute information of the fragment may be inserted into the auxiliary data area of the fragment and transmitted, and the encoded video data divided into fragments may be inserted into the fragment's media data area and transmitted.
  • 24 is a flowchart of a method of receiving a multimedia streaming service according to an embodiment.
  • step 2410 a plurality of fragments are received consecutively.
  • encoded video data of a fragment configured as a 2D video segment or a 3D video segment is extracted from the media data region for each fragment.
  • attribute information is parsed from the auxiliary data region for each fragment, and at least one of three-dimensional signaling information for two-dimensional reproduction or three-dimensional reproduction of fragment video data and relationship information for reference between the plurality of videos is extracted. Is read.
  • the 3D configuration information of the fragment may be extracted, and the form in which the left view image and the right view image constitute a stereoscopic image of the current fragment may be read.
  • left and right order information of a fragment may be extracted, and an order of a left view image and a right view image may be read from the stereoscopic image of the current fragment.
  • the information on the number of change of the stereo mono section of the fragment may be extracted, and the number of changes of the monoscopic video section and the stereoscopic video section of the current fragment may be read.
  • At least one of stereo identification information and interval sample number information of a fragment may be extracted, and a monoscopic video section or a stereoscopic video section of the fragment may be distinguished.
  • At least one of the 3D configuration information and the left and right order information is extracted for each stereoscopic video section of the fragment, so that the 3D configuration information of the samples constituting the current stereoscopic video section is read and the left and right order are read. Information can be read.
  • stereoscopic camera display information may be extracted for each stereoscopic video section of the fragment, and information about the stereoscopic camera and the display specification that have obtained samples constituting the current stereoscopic video section may be read.
  • the stereoscopic camera display information according to an embodiment may be read based on the applied target items.
  • At least one of three-dimensional configuration information, left and right order information, and stereo mono fragment change information about video data of the current file is extracted, and for each fragment of the current file, the number of stereo mono interval changes for the video of the fragment is extracted.
  • At least one of the information, the interval sample number information, and the stereo identification information may be further extracted and read.
  • identification information for each stereoscopic video section may be extracted from one or more stereoscopic video sections of the fragment to distinguish the stereoscopic video sections.
  • At least one of the location information of the reference video, the reference video identification information, the remote location information of the reference video located outside the current file, the URL information, and the URN information is extracted and read, thereby being referred to the video data of the current file. Another video may be retrieved.
  • a video of a current file refers to a plurality of videos
  • at least one of the number of reference videos, a reference index, and a position may be read, and the referenced video may be selectively detected.
  • relationship information about a multi-channel video group that provides a video encoded with a plurality of channels differentially encoded according to video quality may be received.
  • relationship information about a multichannel video group may be received, and a desired substitute video may be selectively requested and received based on the relationship information and position information about the replacement video.
  • the location information for the replacement video may include location information of the video existing outside the current file, as well as identification information for the video inside the current file.
  • the extracted video data for each fragment may be decoded and combined to restore a 2D video or 3D video.
  • the reconstructed video may be reproduced in 2D or 3D by using 3D signaling information or relationship information according to an embodiment.
  • the apparatus 100 for providing a multimedia streaming service 100 and the apparatus for receiving a multimedia streaming service 200 according to an embodiment may be provided in a file unit, a fragment unit, or a sample through a fragment-based streaming file format according to an embodiment.
  • a file unit a fragment unit, or a sample through a fragment-based streaming file format according to an embodiment.
  • three-dimensional signaling information of the stereoscopic video is transmitted and received.
  • relationship information such as reference information and characteristic information between a plurality of videos, such as a stereoscopic base view video and an additional view video, may be provided. Can be sent and received.
  • a multimedia service that can regenerate a file for transmitting a reference video or associate or combine a plurality of videos without physical constraints can be referred to because a file generated in the existing location or a file existing in another location can be referred to. Can be.
  • the stereoscopic video is configured in a unified form to be compatible with the ISO-based media file format using the streaming file format according to an embodiment. Relationship information and three-dimensional signaling information between a plurality of videos may be provided. Stereoscopic multimedia, as well as multimedia such as video and audio encoded in multiple channel quality, are provided in one or more multimedia files, and adaptively variable quality multimedia is interrupted to the user according to the transmission bandwidth or the performance of the terminal device. Can be provided without.
  • any flow chart, flow chart, state diagram, pseudocode, etc. may be substantially represented on a computer readable medium, such that the computer or processor may be executed by such a computer or processor whether or not it is explicitly shown. It will be appreciated by those skilled in the art to represent the process. Therefore, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer which operates the program using a computer-readable recording medium.
  • the computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).
  • a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).
  • processor or “control unit” should not be construed as exclusively referring to hardware capable of executing software, and without limitation, digital signal processor (DSP) hardware, read-only for storing software. Memory (ROM), random access memory (RAM), and non-volatile storage.
  • DSP digital signal processor
  • an element represented as a means for performing a specific function encompasses any way of performing a specific function, and the element may be a combination of circuit elements performing a specific function, or performing a specific function. It may include any form of software, including firmware, microcode, etc., coupled with suitable circuitry to carry out the software for.
  • the expression 'at least one of' means only the selection of the first option (A), or only the selection of the second listed option (B), or both. It is used to cover the selection of options (A and B).
  • the expression 'at least one of' means only the selection of the first option (A), or only the selection of the second listed option (B), or both. It is used to cover the selection of options (A and B).
  • only the selection of the first listed option (A), or the selection of the second listed option (B), or the third listed option (C ) Only the selection of the first and second listed options (A and B), only the selection of the second and third listed options (B and C), or the selection of all three options ( A, B, and C) may be encompassed. Even if more items are enumerated, it may be obviously extended to those skilled in the art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 네트워크를 이용하여 멀티미디어를 전송하는 스트리밍 서비스의 제공 방법을 개시한다. 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할하고, 프래그먼트마다 3차원 시그널링 정보와, 비디오가 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 포함하는 속성 정보를 결정하고, 프래그먼트에 대한 속성 정보와 부호화된 비디오 데이터를 포함하는 프래그먼트들을 연속적으로 전송하는 멀티미디어 스트리밍 서비스 제공 방법이 개시된다.

Description

프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치
본 발명은, 멀티미디어 컨텐츠를 전송하기 위한 데이터스트림의 생성과 수신에 관한 것이다.
일반적으로 하나의 멀티미디어 컨텐츠는, 오디오, 비디오, 이미지, 메타데이터 등의 서로 다른 속성을 갖는 요소들의 집합으로 이루어진다. 이러한 데이터는 각각 부호화되어, 요소들의 관계 및 각각의 요소를 복호화하여 재생하기 위한 정보들과 함께, 멀티미디어 컨텐츠를 위한 데이터 구조에 수록되어 활용된다.
이러한 멀티미디어 컨텐츠의 데이터 구조를 위해, 국제표준 기구인 MPEG(Moving Picture Experts Group)에서는, 다양한 어플리케이션에 공통으로 적용될 수 있는 기본적인 파일 포맷, 즉 ISO 기반 미디어 파일 포맷(ISO Base Media File Format)을 정의하였다. ISO 기반 미디어 파일 포맷을 이용하여, 멀티미디어 컨텐츠의 부호화된 요소 및 요소에 관련된 구성 정보 등의 보조 데이터가, 복수의 컨테이너(container)에 계층적(Hierachical)으로 저장된다. 기본적으로 ISO 기반 미디어 파일 포맷은, 단일 멀티미디어 파일에 각각의 멀티미디어 요소들이 효율적으로 저장하기 위한 기본 구조를 정의하고 있다.
본 발명은, 2차원 비디오 또는 3차원 비디오를 전송하는 멀티미디어 스트리밍 서비스를 제공하는 방법과 그 장치, 멀티미디어 스트리밍 서비스를 수신하는 방법과 그 장치를 개시한다.
일 실시예에 따라 네트워크를 이용하여 멀티미디어를 전송하는 스트리밍 서비스 제공 방법은, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할하는 단계; 상기 프래그먼트마다 현재 비디오를 2차원 재생 또는 3차원 재생을 위한 정보를 포함하는 3차원 시그널링 정보와, 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 포함하는 속성 정보를 결정하는 단계; 및 상기 프래그먼트에 대한 속성 정보를 포함하는 보조 데이터 영역과 상기 부호화된 비디오 데이터를 포함하는 미디어 데이터 영역으로 구성된 프래그먼트들을 연속적으로 전송하는 단계를 포함한다.
도 1 은 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치의 블록도를 도시한다.
도 2 는 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치의 블록도를 도시한다.
도 3 은 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷과 프래그먼트마다 전송되는 3차원 시그널링 정보를 포함하는 mfsi 박스를 도시한다.
도 4 는 일 실시예에 따른 mfsi 박스와 scdi 박스에 포함된 3차원 시그널링 정보의 신택스를 도시한다.
도 5 는 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷과 프래그먼트마다 전송되는 3차원 시그널링 정보를 포함하는 svfi 박스를 도시한다.
도 6 과 7 은 일 실시예에 따른 svfi 박스에 포함된 3차원 시그널링 정보의 신택스를 도시한다.
도 8 은 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷에서, 파일에 대해 설정된 3차원 시그널링 정보의 신택스를 도시한다.
도 9 는 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷에서, 샘플에 대해 설정된 3차원 시그널링 정보의 신택스를 도시한다.
도 10 은, 일 실시예에 따라 스테레오스코픽 비디오의 좌시점 비디오 및 우시점 비디오를 각각 전송하기 위한 2개의 스트리밍 파일 포맷을 도시한다.
도 11 은, 일 실시예에 따라 파일에 포함된 스테레오스코픽 비디오에 대해 설정되는 참조 정보를 도시한다.
도 12 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 내부에서 설정되는 하나의 관계 정보를 도시한다.
도 13 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 내부에서 설정되는 복수 개의 관계 정보를 도시한다.
도 14 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 복수 개의 참조 비디오에 대한 관계 정보를 포함하는 트랙 정보의 신택스를 도시한다.
도 15 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 내부에서 설정되는 관계 정보의 신택스를 도시한다.
도 16 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 외부의 인덱스 파일을 이용하여 설정되는 관계 정보를 도시한다.
도 17 과 18 은, 일 실시예에 따라 스테레오스코픽 비디오의 좌시점 비디오및 우시점 비디오를 전송하기 위한 1개의 스트리밍 파일 포맷을 도시한다.
도 19 과 20 는, 일 실시예에 따라 1개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 외부의 인덱스 파일을 이용하여 참조 비디오를 결정하는 방식을 도시한다.
도 21 은, 적응적 스트리밍 서비스를 위하여, 일 실시예에 따른 멀티채널 비디오 그룹의 관계 정보를 포함하는 afgp 박스의 신택스를 도시한다.
도 22 는, 적응적 스트리밍 서비스를 위하여, 파일 외부의 인덱스 파일을 이용하여 일 실시예에 따른 멀티채널 비디오 그룹 간의 관계 정보를 설정하는 경우를 도시한다.
도 23 는 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 방법의 흐름도를 도시한다.
도 24 는 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 방법의 흐름도를 도시한다.
일 실시예에 따라 네트워크를 이용하여 멀티미디어를 전송하는 스트리밍 서비스 제공 방법은, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할하는 단계; 상기 프래그먼트마다 현재 비디오를 2차원 재생 또는 3차원 재생을 위한 정보를 포함하는 3차원 시그널링 정보와, 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 포함하는 속성 정보를 결정하는 단계; 및 상기 프래그먼트에 대한 속성 정보를 포함하는 보조 데이터 영역과 상기 부호화된 비디오 데이터를 포함하는 미디어 데이터 영역으로 구성된 프래그먼트들을 연속적으로 전송하는 단계를 포함한다.
일 실시예에 따라 네트워크를 이용하여 멀티미디어를 수신하는 스트리밍 서비스 수신 방법은, 복수 개의 프래그먼트들을 연속적으로 수신하는 단계; 상기 프래그먼트들마다 미디어 데이터 영역으로부터, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할된 형태로 추출하는 단계; 상기 프래그먼트들마다 보조 데이터 영역으로부터 속성 정보를 파싱하고, 상기 프래그먼트의 비디오의 2차원 재생 또는 3차원 재생을 위한 3차원 시그널링 정보와 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 추출하여 판독하는 단계; 및 상기 프래그먼트들마다 상기 속성 정보로부터 판독된 정보에 기초하여, 상기 프래그먼트들의 상기 부호화된 데이터를 2차원 비디오 또는 3차원 비디오로 복원하는 단계를 포함한다.
일 실시예에 따라 네트워크를 이용하여 멀티미디어를 전송하는 스트리밍 서비스 제공 장치는, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할하는 프래그먼트 비디오 데이터 생성부; 상기 프래그먼트마다 현재 비디오를 2차원 재생 또는 3차원 재생을 위한 정보를 포함하는 3차원 시그널링 정보와, 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 포함하는 속성 정보를 결정하는 프래그먼트 속성 정보 결정부; 및 상기 프래그먼트에 대한 속성 정보를 포함하는 보조 데이터 영역과 상기 부호화된 비디오 데이터를 포함하는 미디어 데이터 영역으로 구성된 프래그먼트들을 연속적으로 전송하는 스트리밍부를 포함한다.
일 실시예에 따라, 네트워크를 이용하여 멀티미디어를 수신하는 스트리밍 서비스 수신 장치는, 복수 개의 프래그먼트들을 연속적으로 수신하는 수신부; 상기 프래그먼트들마다 미디어 데이터 영역으로부터, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할된 형태로 추출하는 프래그먼트 비디오 데이터 추출부; 상기 프래그먼트들마다 보조 데이터 영역으로부터 속성 정보를 파싱하고, 상기 프래그먼트의 비디오의 2차원 재생 또는 3차원 재생을 위한 3차원 시그널링 정보와 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 추출하여 판독하는 프래그먼트 속성 정보 추출부; 및 상기 프래그먼트들마다 상기 속성 정보로부터 판독된 정보에 기초하여, 상기 프래그먼트들의 상기 부호화된 데이터를 2차원 비디오 또는 3차원 비디오로 복원하는 복원부를 포함한다.
본 발명은, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체를 포함한다. 본 발명은, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체를 포함한다.
도 1 은 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치의 블록도를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 일 실시예에 따라 프래그먼트 단위로 전송되는 스트리밍 파일 포맷을 이용하여, 네트워크를 이용하여 2차원 비디오, 3차원 비디오 또는 2차원 비디오와 3차원 비디오의 혼합 비디오의 비디오 데이터를 전송하면서, 파일, 프래그먼트, 샘플별로 해당 비디오 데이터에 대한 3차원 시그널링 정보와 복수 개의 비디오들 간의 참조 관계에 대한 관계 정보 중 적어도 하나를 포함하는 속성 정보를 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 프래그먼트 비디오 데이터 생성부(110), 프래그먼트 속성 정보 결정부(120) 및 스트리밍부(130)를 포함한다.
일 실시예에 따른 프래그먼트 비디오 데이터 생성부(110), 프래그먼트 속성 정보 결정부(120) 및 스트리밍부(130)는, 멀티미디어 스트리밍 서비스 제공 장치(100)의 내부 또는 외부에 위치한 중앙 연산 장치 또는 프로세서의 제어에 의해 상호 데이터를 교환하며 유기적으로 작동할 수 있다. 또는, 일 실시예에 따른 프래그먼트 비디오 데이터 생성부(110), 프래그먼트 속성 정보 결정부(120) 및 스트리밍부(130) 중 적어도 하나의 구성요소는, 자체적으로 탑재된 프로세서에 의해 작동되며, 다른 구성요소와 유기적으로 작동되도록 제어될 수 있다.
일 실시예에 따른 프래그먼트 비디오 데이터 생성부(110)는, 2차원 비디오 데이터 및 3차원 비디오 데이터 중 적어도 하나를 포함하는 비디오 데이터를 프래그먼트 단위로 전송하기 위하여 프래그먼트 비디오 데이터로 분할한다.
프래그먼트는 네트워크를 이용하여 데이터를 스트리밍하기 위한 패킷 단위다. 프래그먼트는, 미디어 데이터를 전송하기 위한 미디어 데이터 영역과, 미디어 데이터 영역의 미디어 데이터의 컨텐트에 대한 정보 및 구조 관련 정보 등의 속송 정보를 전송하기 위한 보조 데이터 영역으로 구성된다. 하나 이상의 프래그먼트들이 순차적으로 전송되면서 스트리밍 데이터가 전송될 수 있다.
예를 들어, ISO 기반 미디어 파일 포맷을 따르는 스트리밍 파일의 경우, 프래그먼트는 미디어 데이터를 포함하는 mdat 영역과, mdat 영역의 미디어 데이터에 대한 각종 속성 정보를 포함하는 moof 영역으로 구성된다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 압축 부호화된 비디오 데이터를 수신하고, 스트리밍을 위해 프래그먼트 단위로 분할할 수 있다. 또는, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는 무압축 비디오 데이터를 수신한 후, 자체적으로 탑재된 부호화기를 이용하여 비디오 데이터를 부호화한 후, 프래그먼트 단위로 분할할 수도 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 프래그먼트마다, 비디오의 2차원 재생 또는 3차원 재생을 위한 정보를 포함하는 3차원 시그널링 정보를 결정한다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 프래그먼트의 보조 데이터 영역을 통해 전송될 3차원 시그널링 정보를 결정할 수 있다. 3차원 시그널링 정보는, 현재 비디오가 2차원 비디오인지 3차원 비디오인지 여부에 따라 설정되는 각종 정보를 포함한다. 또한, 3차원 시그널링 정보는, 복호화기가 비디오를 복원하여 2차원 재생 또는 3차원 재생하기 위하여 필요한 각종 정보를 포함할 수도 있다.
3차원 시그널링 정보가 프래그먼트마다 전송되는 경우, 프래그먼트마다 현재비디오에 대한 2차원 비디오/3차원 비디오 관련 정보가 전송될 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 비디오를 포함하여 복수 개의 비디오들 간에 상호 참조하기 위한 관계 정보를 결정한다. 관계 정보로서, 현재 파일 내에 위치하는 다른 비디오에 대한 참조 정보 및 위치 정보가 전송될 수 있다. 또한, 관계 정보로서, 현재 파일의 외부 파일에 위치하는 하나 이상의 다른 비디오를 참조하기 위한 위치 정보 및 인덱스 정보가 전송될 수 있다.
일 실시예에 따른 스트리밍부(130)는, 프래그먼트 속성 정보 결정부(120)에 의해 결정된 3차원 시그널링 정보 및 관계 정보 중 적어도 하나를 포함하는 속성 정보와, 프래그먼트로 분할된 비디오 데이터를 포함하는 프래그먼트들을 연속적으로 전송한다. 프래그먼트들이 연속적으로 전송됨으로써 비디오 데이터와, 3차원 시그널링 정보 또는 관계 정보가 스트리밍될 수 있다.
프래그먼트마다, 보조 데이터 영역을 통해 현재 프래그먼트의 비디오에 대한 3차원 시그널링 정보와 관계 정보가 전송되고, 미디어 데이터 영역을 통해 현재 프래그먼트의 부호화된 비디오 데이터가 전송될 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 프래그먼트마다, 현재 비디오에 대한 3차원 구성 정보 및 좌우 순서 정보를 결정할 수 있다. 일 실시예에 따른 3차원 구성 정보는, 좌시점 영상 및 우시점 영상이 현재 비디오의 스테레오스코픽 영상을 구성하는 형태를 나타낸다. 일 실시예에 따른 좌우 순서 정보는, 스테레오스코픽 영상에서 좌시점 영상 및 우시점 영상의 순서를 나타낸다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 프래그먼트마다, 현재 비디오에 대한 모노스코픽 비디오 구간과 스테레오스코픽 비디오 구간의 변경 횟수를 나타내는 스테레오 모노 구간 변경 횟수 정보를 결정할 수 있다.
프래그먼트는, 모노스코픽 영상 시퀀스로 구성된 모노스코픽 비디오 구간을 포함하거나, 스테레오스코픽 영상 시퀀스로 구성된 스테레오스코픽 비디오 구간을 포함할 수 있다. 또한, 프래그먼트는, 모노스코픽 비디오 구간 및 스테레오스코픽 비디오 구간의 혼합 비디오 구간을 포함할 수도 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 구간이 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간인지 나타내는 스테레오 확인 정보를 결정할 수 있다.
샘플이란, 일련의 시연속적인 비디오 프레임, 또는 시연속적인 압축 오디오 섹션 중에서 각각의 프레임을 나타내는 데이터 단위이다. 즉, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)에서, 프래그먼트의 샘플은 비디오 프레임과 유사한 용어로 사용될 수 있다.
현재 프래그먼트의 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간의 구간들을 구분하기 위하여, 각각의 구간을 구성하는 샘플들의 개수가 이용될 수 있다. 일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 구간을 구성하는 샘플들의 개수를 나타내는 구간 샘플 개수 정보를 결정할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 프래그먼트의 스테레오스코픽 비디오 구간마다, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들에 대하여 3차원 구성 정보 및 좌우 순서 정보를 결정할 수도 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 프래그먼트의 스테레오스코픽 비디오 구간마다 스테레오스코픽 카메라 정보와 스테레오스코픽 디스플레이 정보 중 적어도 하나를 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 카메라 정보는, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들을 획득한 스테레오스코픽 카메라에 대한 정보를 포함한다. 일 실시예에 따른 스테레오스코픽 디스플레이 정보는, 샘플들을 안전하게 3차원 재생하기 위한 디스플레이 규격에 대한 정보를 포함한다.
스테레오스코픽 비디오 구간 중에서, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템을 식별하기 위하여, 각각의 아이템을 구성하는 샘플들의 개수가 이용될 수 있다. 일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 프래그먼트의 현재 스테레오스코픽 비디오 구간 중에서, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템들의 개수를 나타내는 정보를 결정할 수 있다.
또한 일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 각각의 아이템에서 참조되는 현재 스테레오스코픽 카메라 디스플레이 정보의 식별 정보와, 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 구간의 길이에 대한 정보 중 적어도 하나를 결정할 수도 있다. 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 구간이 길이에 대한 정보는, 현재 스테레오스코픽 카메라 디스플레이 정보가 참조되는 현재 아이템을 구성하는 샘플들의 개수로 표현될 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 파일 단위로 3차원 시그널링 정보를 결정할 수도 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 파일의 스테레오스코픽 비디오에 대해, 3차원 구성 정보와 좌우 순서 정보를 결정할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 파일의 비디오 중에서, 모노스코픽 비디오 구간으로 구성된 모노 프래그먼트와 스테레오스코픽 비디오 구간으로 구성된 스테레오 프래그먼트의 변경 횟수를 나타내는 스테레오 모노 프래그먼트 변경 횟수 정보를 결정할 수 있다.
일 실시예에 따른 스트리밍부(130)는, 현재 파일의 3차원 구성 정보와 좌우 순서 정보, 스테레오 모노 프래그먼트 변경 횟수 정보를 전송하면서, 현재 파일의 프래그먼트마다, 스테레오 모노 구간 변경 횟수 정보, 구간 샘플 개수 정보 및 스테레오 확인 정보 중 적어도 하나를 더 전송할 수도 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 프래그먼트의 하나 이상의 스테레오스코픽 비디오 구간 중에서 각각의 스테레오스코픽 비디오 구간에 대한 식별 정보를 결정할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 비디오를 포함하여 복수 개의 비디오들 간에 상호 참조 관계를 구성하는 경우, 복수 개의 비디오를 참조하기 위한 관계 정보를 결정할 수 있다. 일 실시예에 따른 관계 정보는, 참조 비디오의 인덱스 정보, 위치 정보 등을 포함할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 파일의 비디오에 대해, 스테레오스코픽 비디오를 구성하기 위해 참조하는 참조 비디오의 위치 정보를 결정할 수 있다. 일 실시예에 따른 참조 비디오의 위치 정보는, 현재 파일 내에서의 참조 비디오 식별 정보, 현재 파일 이외에서의 원격 위치 정보, URL(Uniform Resource Locator) 정보, URN(Uniform Resource Name) 정보 중 적어도 하나를 이용하여 결정될 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 파일의 비디오가 복수 개의 비디오를 참조하는 경우, 참조 비디오의 개수 정보를 결정할 수 있다. 일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 복수 개의 참조 비디오를 식별하기 참조 인덱스 정보와, 각각의 참조 비디오에 대한 위치 정보 중 적어도 하나를 더 결정할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 네트워트 상태에 따라 멀티미디어 컨텐츠를 안전하게 스트리밍 서비스를 전송하기 위하여, 비디오 화질에 따라 차등적으로 부호화된 비디오를 제공할 수 있다. 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 동일한 비디오를 비디오 화질에 따라 차등되도록 부호화하여, 복수 채널의 비디오를 포함하는 멀티채널 비디오 그룹을 생성할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 파일의 비디오를 대체할 수 있는 다른 채널의 비디오의 개수를 나타내는 멀티채널 개수 정보를 결정할 수 있다. 또한, 일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 멀티채널 비디오 그룹 중에서 다른 채널의 비디오의 위치를 나타내는 참조 정보를 결정할 수도 있다.
도 2 는 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치의 블록도를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 네트워크를 이용하여 스트리밍 데이터의 프래그먼트들을 수신하여, 파일, 프래그먼트, 샘플마다 3차원 시그널링 정보 및 관계 정보 중 적어도 하나를 포함하는 속성 정보를 추출하여 해당 비디오 데이터를 추출하여 2차원 비디오, 3차원 비디오 또는 2차원 비디오와 3차원 비디오의 혼합 비디오를 복원할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신부(210), 비디오 데이터 추출부(220), 프래그먼트 속성 정보 추출부(230) 및 복원부(240)를 포함한다.
일 실시예에 따른 수신부(210), 비디오 데이터 추출부(220), 프래그먼트 속성 정보 추출부(230) 및 복원부(240)는, 멀티미디어 스트리밍 서비스 수신 장치(200)의 내부 또는 외부에 위치한 중앙 연산 장치 또는 프로세서의 제어에 의해 상호 데이터를 교환하며 유기적으로 작동할 수 있다. 또는, 일 실시예에 따른 수신부(210), 비디오 데이터 추출부(220), 프래그먼트 속성 정보 추출부(230) 및 복원부(240) 중 적어도 하나의 구성요소는, 자체적으로 탑재된 프로세서에 의해 작동되며, 다른 구성요소와 유기적으로 작동되도록 제어될 수 있다.
일 실시예에 따른 수신부(210)는, 네트워크 스트리밍을 통해, 복수 개의 프래그먼트들을 연속적으로 수신한다.
일 실시예에 따른 비디오 데이터 추출부(220)는, 수신부(210)에서 수신된 프래그먼트들마다 미디어 데이터 영역으로부터, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할된 형태로 추출한다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 수신부(210)에서 수신된 프래그먼트들마다 보조 데이터 영역으로부터 속성 정보를 파싱한다. 일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 파싱된 속성 정보로부터 프래그먼트의 비디오를 2차원 또는 3차원으로 재생하기 위한 정보, 컨텐츠 관련 특성, 데이터 구조, 복수 개의 비디오들 간의 관계 정보 등의 속성 정보를 판독할 수 있다.
일 실시예에 따른 복원부(240)는, 프래그먼트 속성 정보 추출부(230)에서 프래그먼트들마다 속성 정보로부터 판독된 3차원 시그널링 정보 또는 관계 정보에 기초하여, 프래그먼트들의 부호화된 비디오 데이터를 복호화하여, 2차원 비디오 또는 3차원 비디오로 복원한다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 프래그먼트들마다 현재 비디오에 대하여 설정된 3차원 구성 정보, 좌우 순서 정보 및 스테레오 모노 구간 변경 횟수 정보 중 적어도 하나를 추출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 3차원 구성 정보로부터, 좌시점 영상 및 우시점 영상이 현재 프래그먼트의 스테레오스코픽 영상을 구성하는 형태를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 좌우 순서 정보로부터, 현재 프래그먼트의 스테레오스코픽 영상에서 좌시점 영상 및 우시점 영상의 순서를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 스테레오 모노 구간 변경 횟수 정보로부터, 현재 프래그먼트의 모노스코픽 비디오 구간과 스테레오스코픽 비디오 구간의 변경 횟수를 판독할 수 있다.
현재 프래그먼트의 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간은, 각각의 구간을 구성하는 샘플들의 개수를 이용하여 검출될 수 있다. 일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 프래그먼트들마다 스테레오 확인 정보 및 구간 샘플 개수 정보 중 적어도 하나를 추출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 스테레오 확인 정보로부터, 현재 프래그먼트 중에서 현재 구간이 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간인지 여부를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 구간 샘플 개수 정보로부터, 현재 구간을 구성하는 샘플들의 개수를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 스테레오스코픽 비디오 구간마다, 3차원 구성 정보 및 좌우 순서 정보 중 적어도 하나를 추출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 프래그먼트의 현재 스테레오스코픽 비디오 구간의 3차원 구성 정보로부터, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들에 대한 3차원 구성 정보를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 프래그먼트의 현재 스테레오스코픽 비디오 구간의 좌우 순서 정보로부터, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들에 대한 좌우 순서 정보를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트 비디오 데이터의 스테레오스코픽 비디오 구간마다, 스테레오스코픽 카메라 디스플레이 정보를 추출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 스테레오스코픽 비디오 구간의 스테레오스코픽 카메라 디스플레이 정보로부터, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들을 획득한 스테레오스코픽 카메라에 대한 정보와, 샘플들을 이용하여 안전하게 3차원 재생하기 위한 디스플레이 규격에 대한 정보를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 스테레오스코픽 비디오 구간 중에서 각각의 아이템을 구성하는 샘플들의 개수를 이용하여, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템을 검출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 현재 스테레오스코픽 비디오 구간 중에서, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템들의 개수를 나타내는 정보, 각각의 아이템에서 참조되는 현재 스테레오스코픽 카메라 디스플레이 정보의 식별 정보, 그리고 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 구간의 길이에 대한 정보 중 적어도 하나를 추출하여 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 추출된 정보를 이용하여 현재 스테레오스코픽 비디오 구간 중에서는 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템을 검출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 비디오에 대한 3차원 구성 정보, 좌우 순서 정보 및 스테레오 모노 프래그먼트 변경 횟수 정보 중 적어도 하나를 추출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 3차원 구성 정보로부터, 현재 파일의 비디오에 대해 좌시점 영상 및 우시점 영상이 현재 파일의 스테레오스코픽 영상을 구성하는 형태를 판독할 수 있다. 일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 비디오에 대한 좌우 순서 정보로부터, 현재 파일의 스테레오스코픽 영상을 구성하는 좌시점 영상 및 우시점 영상의 순서를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 스테레오 모노 프래그먼트 변경 횟수 정보로부터, 현재 파일의 비디오 중에서 모노스코픽 비디오 구간으로 구성된 모노 프래그먼트와 스테레오스코픽 비디오 구간으로 구성된 스테레오 프래그먼트의 변경 횟수를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 비디오에 대한 3차원 구성 정보, 좌우 순서 정보 및 스테레오 모노 프래그먼트 변경 횟수 정보 중 적어도 하나를 추출하고, 현재 파일의 프래그먼트마다, 현재 프래그먼트의 비디오에 대한 스테레오 모노 구간 변경 횟수 정보, 구간 샘플 개수 정보 및 스테레오 확인 정보 중 적어도 하나를 또 추출하여 판독할 수도 있다.
또한 일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트 비디오 데이터의 하나 이상의 스테레오스코픽 비디오 구간 중에서 각각의 스테레오스코픽 비디오 구간에 대한 식별 정보를 추출하고 판독할 수 있다. 판독된 스테레오스코픽 비디오 구간에 대한 식별 정보를 이용하여, 현재 스테레오스코픽 비디오 구간이 검출될 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 비디오가 하나 이상의 비디오를 참조하는 경우, 복수 개의 비디오들 간의 참조 관계를 나타내는 관계 정보를 추출하여 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 스테레오스코픽 비디오를 구성하기 위해 참조하는 다른 하나의 비디오에 대하여, 참조 비디오의 위치 정보, 참조 비디오 식별 정보, 현재 파일 이외에서의 원격 위치 정보, URL 정보, URN 정보 중 적어도 하나를 추출하여 판독할 수 있다. 일 실시예에 따른 복원부(240)는, 판독된 정보를 이용하여 참조되는 다른 하나의 비디오를 검출함으로써, 현재 파일의 스테레오스코픽 영상을 복원할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 비디오 데이터가 복수 개의 비디오를 참조하는 경우, 현재 파일로부터 참조 비디오의 개수 정보, 복수 개의 참조 비디오를 식별하기 위한 참조 인덱스 정보, 그리고 각각의 참조 비디오에 대한 위치 정보 중 적어도 하나를 추출하여 판독할 수 있다. 일 실시예에 따른 복원부(240)는, 판독된 정보를 이용하여 참조되는 비디오를 선택적으로 검출함으로써, 현재 파일의 비디오를 원하는 형태로 복원할 수 있다.
일 실시예에 따른 멀티미디어 스트링 서비스 수신 장치(200)는, 네트워트 상태에 따라 멀티미디어 컨텐츠를 안전하게 스트리밍 서비스를 수신하기 위하여, 비디오 화질에 따라 차등적으로 부호화된 복수 개의 채널들의 비디오를 포함하는 멀티채널 비디오 그룹을 기초로 하는 적응적 스트리밍 서비스를 제공받을 수 있다. 일 실시예에 따른 멀티미디어 스트링 서비스 수신 장치(200)는, 비디오 화질에 따라 복수 개의 채널들로 차등된 비디오 중에서, 네트워트 상태에 따라 선택적으로 소정 채널의 비디오를 수신할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 비디오의 다른 채널의 비디오의 개수를 나타내는 멀티채널 개수 정보와, 다른 채널의 비디오의 위치를 나타내는 참조 정보 중 적어도 하나를 추출하여 판독할 수 있다. 일 실시예에 따른 복원부(240)는, 추출된 멀티채널 개수 정보와 참조 정보를 이용하여, 선택 수신된 다른 채널의 비디오들을 조합하여 비디오를 복원할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 프래그먼트들마다 3차원 시그널링 정보 또는 관계 정보로부터 판독된 정보에 기초하여, 복원부(240)에 의해 복원된 2차원 비디오 또는 3차원 비디오를 2차원 또는 3차원으로 재생할 수 있다.
도 3 은 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷과 프래그먼트마다 전송되는 3차원 시그널링 정보를 포함하는 mfsi 박스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 전송 장치(100)는, 2차원 비디오 또는 3차원 비디오의 부호화된 비디오 데이터와, 전송되는 비디오에 대한 각종 특성 정보를 포함하는 보조 데이터를, 일 실시예에 따른 스트리밍 파일 포맷(300)에 따르는 데이터스트림을 수록하여 전송할 수 있다.
일 실시예에 따른 스트리밍 파일 포맷(300)은, ftyp 박스, moov 박스(350), sidx 박스와, 복수 개의 프래그먼트들(310, 312, 314)로 구성되어 있다. 각각의 프래그먼트(310, 320, 330)는, moof 박스(320, 340, 360)와 mdat 박스(330, 350, 370)로 구성되어 있다.
일 실시예에 따른 스트리밍 파일 포맷(300)에, 스테레오스코픽 컨텐츠의 부호화된 비디오 데이터가 포함되어 전송될 수 있다. ftyp 박스는, 일 실시예에 따른 스트리밍 파일 포맷(300)에 따른 현재 파일의 파일 타입 정보를 포함한다. sidx 박스는, 현재 파일 중에서 각각의 세그먼트를 검색하기 위한 세그먼트 인덱스 정보를 포함한다.
moov 박스(350)는, 현재 파일의 비디오에 대한 시간적 정보 및 공간적 정보, 데이터 구조 등에 대한 정보를 포함할 수 있다. 일 실시예에 따른 스트리밍 파일 포맷(300)의 moov 박스(350)는 svmi 박스(360) 및 scdi 박스(370)를 포함한다.
svmi 박스(360)는, 스트리밍 파일 포맷(300)에 따른 현재 파일을 통해 전송되는 스테레오스코픽 비디오의 스테레오스코픽 비주얼 타입 정보, 2차원/3차원 컨텐츠의 혼합 컨텐츠, 프래그먼트 관련 정보 등의 각종 정보를 포함할 수 있다. 예를 들어, 프래그먼트 관련 정보는, 프래그먼트의 개수, 연속적인 샘플들의 개수, 현재 샘플이 스테레오스코픽 데이터인지 여부 등에 대한 정보를 포함할 수 있다.
scdi 박스(370)는, 스트리밍 파일 포맷(300)에 따른 현재 파일을 통해 전송되는 스테레오스코픽 비디오와 관련된 스테레오스코픽 카메라, 디스플레이 규격 및 시각 안정성을 위한 각종 정보를 포함할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스트리밍 파일 포맷(300)에 따라, 현재 비디오의 부호화된 데이터를 프래그먼트 단위로 분할하여 전송할 수 있다. 각각의 프래그먼트(310, 312, 314)의 mdat 박스(330, 350, 370)에 프래그먼트 단위로 분할된 비디오 데이터가 포함될 수 있다. 예를 들어, mdat 박스(330)는 2차원 비디오(335)의 분할된 데이터를 포함하고, mdat 박스(350)는 2차원 비디오(352)와 3차원 비디오(354)의 혼합 비디오의 분할된 데이터를 포함하고, mdat 박스(350)는 3차원 비디오(372)와 2차원 비디오(374)의 혼합 비디오의 분할된 데이터를 포함할 수 있다.
각각의 프래그먼트(310, 312, 314)의 moof 박스(320, 340, 360)에는, 해당 프래그먼트(310, 312, 314)의 mdat 박스(350, 360, 370)에 삽입되는 비디오에 대한 시간적 정보 및 공간적 정보, 데이터 구조 등에 대한 정보를 포함할 수 있다.
예를 들어, moof 박스(340)는 현재 프래그먼트(312)의 mdat 박스(340)에 삽입되는 현재 비디오(352, 354)에 대한 3차원 시그널링 정보를 포함할 수 있다.
예를 들어, moof 박스(340)는 mfsi 박스(380) 및 scdi 박스(390)를 포함할 수 있다. 일 실시예에 따른 mfsi 박스(380) 및 scdi 박스(390)는, 현재 프래그먼트(312)의 mdat 박스(340)에 삽입되는 현재 비디오(352, 354)에 대한 3차원 시그널링 정보를 포함할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 스트리밍 파일 포맷(300)에 따른 데이터스트림을 수신하여 파싱함으로써, 2차원 비디오 또는 3차원 비디오의 부호화된 비디오 데이터와 수신된 비디오에 대한 각종 특성 정보를 포함하는 보조 데이터를 추출할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 스트리밍 파일 포맷(300)에 따른 데이터스트림의 mfsi 박스(380) 및 scdi 박스(390)로부터 비디오에 대한 3차원 시그널링 정보를 추출하여, 2차원 비디오 또는 3차원 비디오를 복원할 수 있다.
도 4 는 일 실시예에 따른 mfsi 박스와 scdi 박스에 포함된 3차원 시그널링 정보의 신택스를 도시한다.
일 실시예에 따른 mfsi 박스는, 현재 프래그먼트에 삽입된 비디오에 대한 3차원 시그널링 정보로서, 스테레오스코픽 비주얼 타입 정보(stereoscopic visual type information)를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 비주얼 타입 정보는, 현재 프래그먼트의 비디오에 대하여, 3차원 구성 정보 'stereoscopic_composition_type', 좌우 순서 정보 'is_left_first'와, 스테레오 모노 구간 변경 횟수 정보 'stereo_mono_change_count'를 포함할 수 있다.
일 실시예에 따른 3차원 구성 정보 'stereoscopic_composition_type'는, 현재 프래그먼트의 비디오에서 좌시점 영상 및 우시점 영상이 스테레오스코픽 영상을 구성하는 형태를 나타낸다. 일 실시예에 따른 스테레오스코픽 영상의 3차원 구성 정보에 의해 식별되는 스테레오스코픽 영상 타입은, 한 장의 스테레오스코픽 영상 내에서 좌시점 영상 및 우시점 영상이 좌우로 배열된 사이드 바이 사이드(Side-by-side) 타입, 상하로 배열된 탑 앤 바텀(Top-and-bottom) 타입, 좌시점 영상 및 우시점 영상이 한장씩 번갈아 전송되는 필드(프레임) 시퀀셜(Field(Frame) Sequential) 타입, 그리고 좌시점 영상 시퀀스 및 우시점 영상 시퀀스가 각각 전송되는 타입 등을 포함할 수 있다.
일 실시예에 따른 좌우 순서 정보 'is_left_first'는, 현재 프래그먼트의 스테레오스코픽 영상에서 좌시점 영상 및 우시점 영상이 배열된 순서를 나타낸다. 예를 들어, 좌우 순서 정보 'is_left_first'를 이용하여, 사이드 바이 사이드 타입인 스테레오스코픽 영상 내부의 좌/우 영역에 좌시점 영상 및 우시점 영상의 순서 또는 우시점 영상 및 좌시점 영상의 순서로 배치되는지, 또는 탑 앤 바텀 타입인 스테레오스코픽 영상 내부의 상/하 영역에 좌시점 영상 및 우시점 영상의 순서 또는 우시점 영상 및 좌시점 영상의 순서로 배치되는지가 확인될 수 있다.
일 실시예에 따른 스테레오 모노 구간 변경 횟수 정보 'stereo_mono_change_count'는, 현재 프래그먼트가 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간의 연속적인 구간들로 구성된 비디오를 포함하는 경우, 모노스코픽 비디오 구간과 스테레오스코픽 비디오 구간의 변경 횟수를 나타낼 수 있다.
현재 프래그먼트에 대하여, 모노스코픽 비디오 또는 스테레오스코픽 비디오인지 나타내는 스테레오 확인 정보 'stereo_flag'가 전송될 수 있다. 일 실시예에 따른 스테레오스코픽 비주얼 타입 정보는, 현재 프래그먼트의 비디오 구간마다, 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간인지 여부를 나타내기 위한 스테레오 확인 정보 'stereo_flag'를 포함할 수 있다.
또한, 일 실시예에 따른 스테레오스코픽 비주얼 타입 정보는, 현재 프래그먼트의 비디오 구간마다, 현재 구간을 구성하는 샘플들의 개수를 나타내는 구간 샘플 개수 정보 'sample_count'를 포함할 수 있다.
또한, 일 실시예에 따른 스테레오스코픽 비주얼 타입 정보는, 현재 프래그먼트 중에서 스테레오스코픽 비디오 구간에 대한 3차원 구성 정보 'stereoscopic_composition_type' 정보, 좌우 순서 정보 'is_left_first'를 포함할 수 있다.
따라서, 현재 프래그먼트 중에서 스테레오스코픽 비디오 구간마다, 좌시점 영상 및 우시점 영상이 스테레오스코픽 영상을 구성하는 형태에 대한 3차원 구성 정보와, 좌시점 영상 및 우시점 영상이 배열된 순서에 대한 좌우 순서 정보가 전송될 수 있다.
일 실시예에 따른 3차원 시그널링 정보로서, 현재 프래그먼트의 스테레오스코픽 비디오 구간마다 스테레오스코픽 카메라 정보와 스테레오스코픽 디스플레이 정보 중 적어도 하나를 포함하는 scdi 박스가 전송될 수 있다.
도 4의 mfsi 박스의 신택스와 같이, 일 실시예에 따른 scdi 박스는 일 실시예에 따른 mfsi 박스에 포함되어 전송될 수 있다. 도 3과 같이 현재 프래그먼트 비디오 데이터에 대한 mfsi 박스(380)와 scdi 박스(390)가 각각 전송될 수도 있다.
일 실시예에 따른 스테레오스코픽 비주얼 타입 정보는, 현재 프래그먼트 중에서 스테레오스코픽 비디오 구간에 대한 'scdi_item_count' 정보를 포함할 수 있다.
'scdi_item_count' 정보는, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템의 개수를 나타낼 수 있다. 예를 들어, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템이란, 3차원 비디오 데이터가 포함된 구간을 나타낸다. 이 경우, 'scdi_item_count' 정보는, 현재 프래그먼트에 포함된 3차원 비디오 데이터 구간인 아이템 또는 샘플의 개수를 나타낼 수 있다.
일 실시예에 따른 scdi 박스는, 현재 스테레오스코픽 카메라 디스플레이 정보의 식별 정보 'scdi_ID'를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 카메라 디스플레이 정보는, moov 박스(350)의 scdi 박스(370)의 스테레오스코픽 카메라 디스플레이 정보, 또는 moof 박스(320, 340, 360)의 다른 scdi 박스들의 스테레오스코픽 카메라 디스플레이 정보를 참조할 수 있으므로, 'scdi_ID'를 이용하여 참조 대상인 scdi 박스가 검색될 수 있다.
스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템 또는 샘플마다, 'scdi_ID' 정보와 'scdi_duration' 정보가 전송될 수 있다. 'scdi_duration' 정보는, 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템 또는 샘플이 길이를 나타낼 수 있다. 따라서, 현재 프래그먼트에 대한 현재 스테레오스코픽 카메라 디스플레이 정보가, 스테레오스코픽 비디오 구간을 구성하는 아이템 또는 샘플 단위로 전송될 수 있다.
따라서, 도 3에 따른 일 실시예에 따른 멀티미디어 스트리밍 파일 포맷(300)과 도 4의 msfi 박스 및 scdi 박스의 신택스에 기초하여, 모노스코픽 비디오 또는 스테레오스코픽 비디오를 포함하는 비디오가 프래그먼트 단위로 송수신되며, 프래그먼트마다 비디오에 대한 3차원 시그널링 정보가 송수신될 수 있다.
또한, 프래그먼트 내의 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간에 대하여, 각각의 구간을 구성하는 샘플의 개수를 나타내는 정보가 송수신될 수 있다. 또한, 프래그먼트의 비디오에 대한 스테레오스코픽 카메라 디스플레이 정보가 아이템 또는 샘플 단위로 전송될 수 있다.
도 5 는 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷과 프래그먼트마다 전송되는 3차원 시그널링 정보를 포함하는 svfi 박스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 전송 장치(100)는, 2차원 비디오 또는 3차원 비디오의 부호화된 비디오 데이터와 전송되는 비디오에 대한 각종 특성 정보를 포함하는 보조 데이터를, 일 실시예에 따른 스트리밍 파일 포맷(500)에 따르는 데이터스트림에 수록하여 전송할 수 있다.
일 실시예에 따른 스트리밍 파일 포맷(500)은, ftyp 박스와 moov 박스(510), 그리고 moof 박스(520, 540)와 mdat 박스(530, 550)로 구성된 복수 개의 프래그먼트들(501, 502), mfra 박스로 구성되어 있다.
moov 박스(510)에 포함되는 trak 박스는, 프리젠테이션(presentation) 중에서 하나의 트랙(track)을 검색하기 위한 정보를 포함한다. 프리젠테이션이란, 오디오와 결합될 수 있는 하나 이상의 모션 시퀀스를 나타내며, 트랙이란 상호 관련된 샘플들의 집합, 예를 들어, 비디오 중에서 영상 시퀀스를 나타낸다.
trak 박스에 포함되는 tkhd 박스는 현재 트랙에 대한 모든 정보를 포함하는 트랙 헤더이며, mdia 박스는 현재 트랙의 미디어에 대한 선언 정보를 포함한다. mdia 박스에 포함되는 minf 박스는 현재 미디어에 대한 특성 정보를 선언하는 모든 객체들을 포함하며, stbl 박스는 현재 트랙의 샘플들을 검색하기 위한 샘플의 시간, 데이터, 위치 등의 인덱싱 정보를 포함한다. stbl 박스의 svmi 박스는, 현재 트랙의 현재 미디어에 대한 스테레오스코픽 비디오에 대한 정보를 포함할 수 있다.
moov 박스(510)에 포함되는 mvex 박스는, 현재 파일을 통해 비디오의 프래그먼트가 전송됨을 알리는 정보를 포함한다. mvex 박스에 포함되는 trex 박스는, 프래그먼트(501, 502)에서 사용되는 샘플과 관련된 기본값 정보를 포함한다.
프래그먼트(501, 502)의 mdat 박스(530, 550)를 통해, 모노스코픽 비디오, 스테레오스코픽 비디오 또는 혼합 비디오의 부호화된 데이터가 전송될 수 있다. moof 박스(530, 550)에 포함되는 mfhd 박스는, 현재 파일에서 각각의 프래그먼트에 대한 일련번호에 대한 정보를 포함한다.
moof 박스(530, 550)에 포함되는 traf 박스는, 현재 프래그먼트 중에서 각각의 트랙을 구성하는 하나 이상의 트랙 프래그먼트를 포함한다. 각각의 트랙 프래그먼트는, 일련의 샘플들을 기술하는 하나 이상의 트랙 런을 포함한다. traf 박스에 포함되는 trun 박스는, 현재 트랙 런에 대한 정보를 포함한다.
mfra 박스는, 각각의 프래그먼트에 무작위로 접근하기 위하여 랜덤 억세스 포인트 정보를 포함한다. trfa 박스는, 랜덤 억세스가 가능한 샘플의 위치 정보 및 재생 시간 정보를 포함한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 프래그먼트 단위로 전송되는 스트리밍 파일 포맷(500)을 통해, 프래그먼트마다 전송되는 3차원 시그널링 정보를 포함하는 svfi 박스(525, 545)를 전송할 수 있다.
일 실시예에 따른 svfi 박스(525, 545)에, 각각 현재 프래그먼트(501, 502)의 mdat 박스(530, 550)에 삽입된 비디오(535, 555)에 대한 3차원 시그널링 정보가 수록될 수 있다.
예를 들어 멀티미디어 스트리밍 서비스 제공 장치(100)는, moof 박스(530, 550)의 하위 박스인 traf 박스에 svfi 박스를 삽입하여 전송할 수도 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 스트리밍 파일 포맷(500)에 따른 데이터스트림을 수신하여 파싱함으로써, 2차원 비디오 또는 3차원 비디오의 부호화된 비디오 데이터와 수신된 비디오 데이터에 대한 각종 특성 정보를 포함하는 보조 데이터를 추출할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 스트리밍 파일 포맷(500)에 따른 데이터스트림의 svfi 박스(525, 545), svmi 박스 등으로부터 비디오 데이터에 대한 3차원 시그널링 정보를 추출하여, 2차원 비디오 또는 3차원 비디오를 복원할 수 있다.
도 6 과 7 은 일 실시예에 따른 svfi 박스에 포함된 3차원 시그널링 정보의 신택스를 도시한다.
일 실시예에 따른 svfi 박스를 통해, 현재 프래그먼트를 통해 전송되는 비디오에 대한 3차원 시그널링 정보가 송수신될 수 있다.
도 6 과 7 에 도시된 svfi 박스의 3차원 시그널링 정보는, 현재 프래그먼트의 비디오에 대한 스테레오 모노 구간 변경 횟수 정보 'stereo_mono_change_count'를 포함할 수 있다. 스테레오 모노 구간 변경 횟수 정보 'stereo_mono_change_count'를 통해 현재 프래그먼트 중에서, 모노스코픽 비디오 구간과 스테레오스코픽 비디오 구간이 검색될 수 있다. 일 실시예에 따른 svfi 박스의 3차원 시그널링 정보는, 현재 프래그먼트 중에서 스테레오스코픽 비디오 구간에 대한 구간 샘플 개수 정보 'sample_count', 스테레오 확인 정보 'stereo_flag'를 포함할 수 있다.
도 7에 도시된 svfi 박스의 3차원 시그널링 정보는, 스테레오스코픽 비디오 구간을 식별하기 위한 정보 'stereo_section_ID'를 더 포함할 수 있다. 현재 프래그먼트가 복수 개의 스테레오스코픽 비디오 구간들을 포함하는 경우, 스테레오 섹션 식별 정보 'stereo_section_ID'를 이용하여, 각각의 스테레오스코픽 비디오 구간이 구별될 수 있다.
도 8 은 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷에서, 파일에 대해 설정된 3차원 시그널링 정보의 신택스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스트리밍 파일 포맷(500)의 파일 채널에서 3차원 구성 정보와 좌우 순서 정보를 전송할 수 있다. moov 박스에 포함된 svmi 박스에, 현재 파일의 비디오에 대한 3차원 구성 정보 'stereoscopic_composition_type'와 좌우 순서 정보 'is_left_first'가 삽입될 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 스트리밍 파일 포맷(500)의 moov 박스에 포함된 svmi 박스를 파싱하여, 'stereoscopic_composition_type' 필드와 'is_left_first' 필드를 추출하고, 스트리밍 파일 포맷(500)을 통해 수신된 현재 파일의 비디오에 대해 스테레오스코픽 영상을 구성하는 형태와 스테레오스코픽 영상에서 좌시점 영상 및 우시점 영상의 순서에 대한 정보를 판독할 수 있다.
도 9 는 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷에서, 샘플에 대해 설정된 3차원 시그널링 정보의 신택스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스트리밍 파일 포맷(500)의 트랙, 프래그먼트 또는 샘플 채널에서 스테레오 확인 정보를 전송할 수 있다.
도 9의 신택스는, moov 박스에 포함된 trex 박스, moof 박스에 포함된 tfhd 박스 또는 trun 박스의 신택스에, 일 실시예에 따른 스테레오 확인 정보 'stereo_flag'가 추가된 형태이다.
즉, moov 박스에 포함된 trex 박스에 현재 트랙의 비디오에 대한 스테레오 확인 정보 'stereo_flag'가 삽입되어 전송될 수 있다. moof 박스에 포함된 tfhd 박스에 현재 프래그먼트의 비디오에 대한 스테레오 확인 정보 'stereo_flag'가 삽입되어 전송될 수 있다. 또는 moof 박스에 포함된 trun 박스에, 현재 프래그먼트를 구성하는 샘플의 비디오에 대한 스테레오 확인 정보 'stereo_flag'가 삽입되어 전송될 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 스트리밍 파일 포맷(500)의 moov 박스에 포함된 trex 박스, moof 박스에 포함된 tfhd 박스 또는 trun 박스를 파싱하여, 'stereo_flag'를 추출하고, 스트리밍 파일 포맷(500)을 통해 수신된 현재 트랙, 현재 프래그먼트 또는 현재 샘플의 비디오가 모노스코픽 타입 또는 스테레오스코픽 타입인지 판독할 수 있다.
도 10 은, 일 실시예에 따라 스테레오스코픽 비디오의 좌시점 비디오 및 우시점 비디오를 각각 전송하기 위한 2개의 스트리밍 파일 포맷을 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스테레오스코픽 비디오를 구성하는 좌시점 비디오와 우시점 비디오를 각각 포함하는 좌시점 ES스트림(Elementary Stream)과 우시점 ES스트림으로 전송할 수 있다. 또한, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스트리밍 파일 포맷(500)에 기초한 좌시점 비디오 파일 'test_1644_L.mp4'(1010)에 좌시점 ES스트림을 삽입하고, 우시점 ES스트림을 개별적으로, 우시점 비디오 파일 'test_1644_R.mp4'(1020)에 우시점 ES스트림을 삽입하여 전송할 수 있다.
즉, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스테레오스코픽 비디오를 전송하기 위하여 2개 ES스트림을 2개 파일의 스트리밍을 통해 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 현재 파일의 스테레오스코픽 비디오를 구성하기 위해 참조하는 다른 하나의 비디오에 대한 참조 정보 및 위치 정보를 포함하는 관계 정보를 전송할 수 있다. 예를 들어, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, moov 박스(1030)의 하위 박스인 trak 박스(1040)에 참조 비디오에 대한 참조 타입, 위치 정보 등을 삽입하여 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 수신된 좌시점 비디오 파일을 파싱하여, 현재 파일의 스테레오스코픽 비디오를 구성하기 위해 참조하는 다른 비디오에 대한 참조 타입 및 위치 정보를 추출하여 판독할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 판독된 정보를 이용하여 참조되는 다른 하나의 비디오가 수신된 스트리밍 파일을 검출함으로써, 두 스트리밍 파일로부터 추출된 비디오를 조합하여 스테레오스코픽 영상을 복원할 수 있다.
도 11 은, 일 실시예에 따라 파일에 포함된 스테레오스코픽 비디오에 대해 설정되는 관계 정보를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 일 실시예에 따른 스트리밍 파일 포맷(500)의 moov 박스의 하위 박스인 trak 박스에 포함되는 tref 박스(1110)에, 스테레오스코픽 비디오를 구성하기 위해 다른 비디오를 검색하기 위한 관계 정보를 삽입할 수 있다.
일 실시예에 따라 trak 박스에 포함되는 트랙 레퍼런스 타입 박스(1120)는, 파일의 트랙마다, 현재 트랙의 비디오에 대한 참조 비디오가 포함된 트랙을 나타내기 위한 참조 트랙 식별 정보 'track_ID'를 포함할 수 있다.
또한, 일 실시예에 따라 trak 박스에 포함되는 트랙 레퍼런스 타입 URL 박스(1130)는, 파일의 트랙마다 현재 트랙에 대한 복수 개의 참조 비디오의 위치를 나타내기 위하여, 참조 비디오의 개수를 나타내는 정보 'entry_count'를 포함하고, 참조 비디오마다 위치 정보 'location'를 포함할 수 있다.
일 실시예에 따른 위치 정보 'location'는, UTF-8 등의 언어로 부호화된 문자열로서 참조 비디오의 원격 위치를 나타낼 수 있다. 따라서, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일로부터 moov 박스, trak 박스, tref 박스(1110)를 순차적으로 파싱하여, 트랙 레퍼런스 타입 URL 박스(1130)로부터, 현재 파일의 외부 파일에 위치하는 비디오를 검출하여 참조할 수도 있다.
도 12 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 내부에서 설정되는 하나의 관계 정보를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스트리밍 파일 포맷(500)에 기초한 좌시점 비디오 파일 'test_1644_L.mp4'(1010)의 moov 박스(1030)에 포함되는 trak 박스(1040)의 minf 박스(1050)의 하위 박스인 dinf 박스(1060)에, 현재 트랙의 비디오가 참조하는 하나의 비디오에 대한 관계 정보를 삽입하여 전송할 수 있다.
일 실시예에 따른 dinf 박스(1060)는, 관계 정보를 전송하기 위한 dref 박스(1070)를 포함하고, dref 박스(1070)는 현재 트랙의 참조 트랙의 원격 위치 정보를 나타내는 참조 URL 정보(1080)를 포함할 수 있다.
일 실시예에 따른 참조 URL 정보(1080)는, URL 정보 'location' 뿐만 아니라 참조 플래그 'flags'를 포함할 수 있다. 일 실시예에 따른 참조 플래그 'flags'를 통해, 현재 비디오는 스테레오스코픽 비디오 중 좌시점 비디오 또는 기본 시점 비디오이며 현재 파일 내에 포함되어 있음이 기술되고, 참조 대상인 우시점 비디오 또는 부가 시점 비디오는 'location'이 가리키는 위치에 포함되어 있음이 기술될 수 있다.
즉, 참조 URL 정보(1080)의 URL 정보 'location'는 우시점 비디오 파일 'test_1644_R.mp4'(1020)의 원격 위치를 나타낼 수 있다. 참조 URL 정보(1080)의 'flags'는, 현재 비디오는 현재 좌시점 비디오 파일 'test_1644_L.mp4'(1010)을 통해 전송되며, 현재 비디오의 참조 비디오는 'location'가 가리키는 위치인 우시점 비디오 파일 'test_1644_R.mp4'(1020)를 통해 전송되고 있음을 나타낼 수 있다.
일 실시예에 따라 좌시점 비디오 파일 'test_1644_L.mp4'(1010)에만 관계 정보가 수록되는 경우에는, 기준시점 비디오가 위치하는 좌시점 비디오 파일 'test_1644_L.mp4'(1010)의 프래그먼트가 요청될 때, 부가시점 비디오가 위치하는 우시점 비디오 파일 'test_1644_R.mp4'(1020) 중에서 대응되는 프래그먼트도 함께 요청되는 것으로 인식될 수 있다.
도 13 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 내부에서 설정되는 복수 개의 관계 정보를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스트리밍 파일 포맷(500)에 기초한 좌시점 비디오 파일 'test_1644_L.mp4'(1010)의 moov 박스(1310)에 포함되는 dinf 박스(1360)에, 현재 비디오가 참조하는 복수 개의 비디오들에 대한 참조 정보를 삽입하여 전송할 수 있다.
예를 들어 dinf 박스(1360)의 dref 박스(1370)는 현재 비디오의 2개의 참조 비디오들의 원격 위치 정보를 나타내는 2개의 참조 URL 정보(1380, 1390)를 포함할 수 있다.
일 실시예에 따른 dref 박스(1370)에 포함된 제 1 참조 URL 정보(1380)는, 좌시점 비디오 파일 'test_1644_L.mp4'(1010)의 현재 비디오의 제 1 프래그먼트(1320)가 참조하는, 우시점 비디오 파일 'test_1644_R.mp4'(1020)의 제 3 프래그먼트(1340)를 가리키기 위한 정보를 포함한다.
유사한 방식으로, 일 실시예에 따른 dref 박스(1370)에 포함된 제 2 참조 URL 정보(1390)는, 좌시점 비디오 파일 'test_1644_L.mp4'(1010)의 현재 비디오의 제 2 프래그먼트(1330)가 참조하는, 우시점 비디오 파일 'test_1644_R.mp4'(1020)의 제 4 프래그먼트(1350)를 가리키기 위한 정보를 포함한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 좌시점 비디오 파일 'test_1644_L.mp4'(1010)을 수신하여, moov 박스(1310), dinf 박스(1360), dref 박스(1370)를 차례로 파싱하여, 제 1 참조 URL 정보(1380)와 제 2 참조 URL 정보(1390)를 추출할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 제 1 참조 URL 정보(1380)의 'flags'에 기초하여, 현재 트랙의 제 1 프래그먼트(1320)는 현재 좌시점 비디오 파일 'test_1644_L.mp4'(1010)을 통해 전송되며, 현재 트랙의 제 1 프래그먼트(1320)의 참조 트랙은 'location'의 URL 정보가 가리키는 위치인 우시점 비디오 파일 'test_1644_R.mp4'(1020)의 제 3 프래그먼트(1340)를 통해 전송되고 있음을 판독할 수 있다.
유사한 방식으로, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 제 2 참조 URL 정보(1390)의 'flags'에 기초하여, 현재 트랙의 제 2 프래그먼트(1330)는 현재 좌시점 비디오 파일 'test_1644_L.mp4'(1010)을 통해 전송되며, 현재 트랙의 제 2 프래그먼트(1330)의 참조 트랙은 'location'의 URL 정보가 가리키는 위치인 우시점 비디오 파일 'test_1644_R.mp4'(1020)의 제 4 프래그먼트(1350)를 통해 전송되고 있음을 판독할 수 있다.
도 14 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 복수 개의 참조 비디오에 대한 관계 정보를 포함하는 트랙 정보의 신택스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 파일의 현재 트랙에 대한 참조 비디오가 복수 개인 경우, 참조 비디오의 개수와 각각의 참조 비디오의 위치를 연관시켜, 참조 비디오의 위치 정보의 인덱스를 나타내는 정보를 전송할 수 있다.
예를 들어, dinf 박스의 하위 박스인 dref 박스 중에서 참조 비디오의 개수를 나타내는 정보 'entry_count'와 각각의 참조 비디오의 위치 정보 'location'를 연동하여, 참조 비디오의 위치 정보의 인덱스를 나타내는 'data_reference_index' 정보가 dref 박스를 통해 전송될 수 있다.
도 15 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 내부에서 설정되는 관계 정보의 신택스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(200)는, 현재 비디오의 참조 비디오를 알리기 위하여, 참조 비디오 위치 박스(1510), 참조 비디오 명칭 박스(1520) 및 참조 엔트리 박스(1530)를 이용할 수 있다.
예를 들어, 참조 비디오 위치 박스(1510)는 참조 비디오의 위치 정보 'location'로서, http, ftp 기반의 위치 정보를 포함할 수 있다. 일 실시예에 따른 참조 비디오 명칭 박스(1520)는 참조 비디오의 URN 정보 'name' 및 위치 정보 'location'를 포함할 수 있다.
일 실시예에 따른 참조 엔트리 박스(1530)를 통해, 참조 엔트리의 개수 정보 'entry_count'와, 참조 엔트리마다 엔트리 타입을 나타내는 정보 'entry_flags'에 기초하여 결정되는 참조 정보 'data_entry'가 전송될 수 있다.
예를 들어, 'entry_flags=0x000001'는 현재 파일 내에 현재 비디오가 삽입되어 있음을 나타낸다. 일 실시예에 따른 엔트리 플래그가 entry_flags=0x000002'인 경우, 현재 비디오는 스테레오스코픽 비디오 중 좌시점 비디오 또는 기본 시점 비디오이며 현재 파일 내에 포함되어 있음이 기술되고, 참조 대상인 우시점 비디오 또는 부가 시점 비디오는 'location'이 가리키는 위치에 포함되어 있음이 기술될 수 있다.
도 16 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 외부의 인덱스 파일을 이용하여 설정되는 관계 정보를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 외부 파일에 대한 인덱스 정보를 기술하는 외부 인덱스 파일을 이용하여, 현재 비디오의 참조 비디오를 가리키기 위한 관계 정보를 전송할 수도 있다.
일 실시예에 따른 외부 인덱스 파일 SMIL을 통해, 하나의 컨텐트를 위한 복수 개의 컴포넌트에 대한 정보가 함께 전송될 수 있다. 즉, 일 실시예에 따른 외부 인덱스 파일 SMIL은, 현재 파일을 위한 인덱스 정보(1010)와 현재 파일의 참조 파일을 위한 인덱스 정보(1020)를 모두 포함할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일로부터, 현재 파일의 비디오가 스테레오스코픽 비디오를 구성하기 위해 참조하는 참조 비디오에 대한 관계 정보를 추출하여, 참조 비디오의 개수, 복수 개의 참조 비디오를 식별하기 위한 참조 인덱스, 그리고 각각의 참조 비디오에 대한 위치 등을 판독할 수 있다. 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 참조 비디오를 검출하고 현재 비디오와 조합하여, 스테레오스코픽 비디오를 복원할 수 있다.
또한, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 외부 인덱스 파일을 이용하여, 현재 비디오에 대한 참조 비디오를 검출하고 현재 비디오와 조합하여, 스테레오스코픽 비디오를 복원할 수도 있다.
도 17 과 18 은, 일 실시예에 따라 스테레오스코픽 비디오의 좌시점 비디오 및 우시점 비디오를 전송하기 위한 1개의 스트리밍 파일 포맷을 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스테레오스코픽 비디오를 위한 좌시점 ES스트림과 우시점 ES스트림을 1개의 프래그먼트 기반의 스트리밍 파일을 통해 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 일 실시예에 따른 스트리밍 파일 포맷(500)에 기초한 스트리밍 파일(1700, 1800)에 좌시점 ES스트림과 우시점 ES스트림을 모두 삽입하여 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 현재 파일의 스테레오스코픽 비디오를 구성하기 위해 참조하는 다른 비디오에 대한 관계 정보를 전송할 수 있다. 예를 들어, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, moov 박스(1710, 1810)의 하위 박스인 trak 박스(1712, 1714, 1812, 1814)에 관계 정보를 삽입하여 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 수신된 좌시점 비디오 파일을 파싱하여, 현재 파일의 스테레오스코픽 비디오를 구성하기 위해 참조하는 다른 비디오에 대한 관계 정보를 추출하여 판독할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 판독된 관계 정보를 이용하여 참조되는 다른 하나의 비디오를 포함하는 스트리밍 파일을 검출함으로써, 두 스트리밍 파일로부터 추출된 비디오를 조합하여 스테레오스코픽 영상을 복원할 수 있다.
먼저 도 17을 참조하면, 스트리밍 파일(1700)의 각각의 프래그먼트마다, 제 1 트랙인 좌시점 비디오와, 제 2 트랙인 우시점 비디오를 모두 포함할 수 있다. 즉, 제 1 프래그먼트(1720)을 통해 좌시점 비디오(1722)와 우시점 비디오(1724)가 전송되고, 제 2 프래그먼트(1730)을 통해 좌시점 비디오(1732)와 우시점 비디오(1734)가 전송될 수 있다.
moov 박스(1710)는 트랙별로, 제 1 트랙에 대한 제 1 trak 박스(1712)와 제 2 트랙에 대한 제 2 trak 박스(1714)를 포함한다. 스테레오스코픽 비디오 중에서 부가시점 비디오를 위한 우시점 비디오가 전송되는 제 2 트랙에 대한 제 2 trak 박스(1714)에 tref 박스(1715)에, 일 실시예에 따른 관계 정보가 삽입되어 전송될 수 있다. 일 실시예에 따른 관계 정보는 tref 박스(1715)는 참조 타입 정보 'reference_type'과 기본시점 트랙 식별 정보 'track_ID'를 포함할 수 있다.
도 18을 참조하면, 스트리밍 파일(1800)의 각각의 프래그먼트마다, 제 1 트랙인 좌시점 비디오와, 제 2 트랙인 우시점 비디오가 개별적으로 삽입될 수 있다. 즉, 제 1 프래그먼트(1820)를 통해 좌시점 비디오(1822)가 전송되고, 제 2 프래그먼트(1830)를 통해 우시점 비디오(1832)가 전송되고, 제 3 프래그먼트(1840)를 통해 좌시점 비디오(1842)가 전송되고, 제 4 프래그먼트(1850)를 통해 우시점 비디오(1852)가 전송될 수 있다.
도 18의 경우, 일 실시예에 따른 관계 정보는, 좌시점 비디오가 참조하는 우시점 비디오를 포함하는 프래그먼트에 대한 오프셋 정보를 포함할 수도 있다.
만약 관계 정보로서, 우시점 비디오가 전송되는 프래그먼트에 대한 오프셋 정보가 별도로 전송되지 않는다면, 상응하는 좌시점 비디오의 프래그먼트(1820, 1840)와 우시점 비디오의 프래그먼트(1830, 1850)가 스트리밍 파일(1800) 내에서 순차적으로 삽입되어 전송되는 것이 바람직하다. 이로써, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 스트리밍 파일(1800)을 수신하면서, 좌시점 비디오의 프래그먼트(1820, 1840)의 바로 다음에, 상응하는 우시점 비디오의 프래그먼트(1830, 1850)를 수신할 수 있다.
moov 박스(1710)는 트랙별로, 제 1 트랙에 대한 제 1 trak 박스(1712)와 제 2 트랙에 대한 제 2 trak 박스(1714)를 포함한다. 스테레오스코픽 비디오 중에서 부가시점 비디오를 위한 우시점 비디오가 전송되는 제 2 트랙에 대한 제 2 trak 박스(1714)에 tref 박스(1715)에, 일 실시예에 따른 관계 정보가 삽입되어 전송될 수 있다. 일 실시예에 따른 참조 정보는 tref 박스(1715)는 참조 타입 정보 'reference_type'과 기본시점 트랙 식별 정보 'track_ID'를 포함할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일(1700, 1800)의 moov 박스(1710, 1810), trak 박스(1712, 1714, 1812, 1814)를 순서대로 파싱하여, tref 박스(1715, 1815)가 추출되는 제 2 trak 박스(1714, 1814)에 대응하는 제 2 트랙에, 부가시점 비디오인 우시점 비디오가 포함되어 있음을 판독할 수 있다. 또한, tref 박스(1715, 1815)의 참조 타입 정보 'reference_type'과 기본시점 트랙 식별 정보 'track_ID'에 기초하여, 제 2 트랙이 제 1 트랙에 종속됨이 판독되므로, 제 1 trak 박스(1712, 1812)에 대응하는 제 1 트랙의 프래그먼트들로부터 좌시점 비디오가 추출되고, 제 2 trak 박스(1714, 1814)에 대응하는 제 2 트랙의 프래그먼트들로부터 우시점 비디오가 추출될 수 있다.
mfra 박스(1760, 1860)의 하위 박스인 tfra 박스(1762, 1862)는, 스테레오스코픽 비디오의 재생 시간(presentation time)으로부터 프래그먼트까지의 거리를 나타내는 프래그먼트 오프셋(fragment offset) 정보를 포함할 수 있다. 스테레오스코픽 비디오의 좌시점 비디오 및 우시점 비디오에 대한 재생 시간(presentation time)은 동일하므로, 제 1 트랙에 대한 tfra 박스(1762, 1862)만으로, 스트리밍 파일(1700)의 스테레오스코픽 비디오를 추출하기 위한 프래그먼트 오프셋 정보가 제공될 수 있다.
도 19 과 20 는, 1개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 외부의 인덱스 파일을 이용하여 참조 비디오를 결정하는 방식을 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 외부 인덱스 파일을 이용하여, 현재 비디오의 참조 비디오를 가리키기 위한 관계 정보를 전송할 수도 있다.
일 실시예에 따른 외부 인덱스 파일 SMIL을 통해, 하나의 컨텐트를 위한 복수 개의 컴포넌트에 대한 정보가 함께 전송될 수 있다. 즉, 일 실시예에 따른 외부 인덱스 파일 SMIL은, 현재 파일 "test_1644.mp4"을 통해 전송되는 좌시점 비디오 트랙을 위한 인덱스 정보와 우시점 비디오 트랙을 위한 인덱스 정보를 모두 포함할 수 있다.
도 19를 참조하면, 파일 외부의 인덱스 파일은, 현재 스트리밍 파일에 포함된 좌시점 비디오 트랙과 우시점 비디오 트랙을 식별하기 위하여, 트랙 식별 정보 'trackID'와 스테레오스코픽 타입 'stereotype'를 포함할 수 있다.
도 20 을 참조하면, 파일 외부의 인덱스 파일과 파일 내부의 tref 박스를 이용하여 참조 비디오가 검색될 수 있다. 파일 외부의 인덱스 파일은, 현재 스트리밍 파일에 포함된 기본시점 비디오 트랙을 식별하기 위한 트랙 식별 정보 'trackID'와 스테레오스코픽 타입 'stereotype'만을 포함할 수 있다.
도 20 의 경우, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일의 moov 박스의 trak 박스들 중에서, tref 박스를 포함하는 trak 박스에 대응하는 트랙이, 부가시점 비디오 트랙임을 판독할 수 있다. 따라서, 파일 외부의 인덱스 파일이 가리키는 트랙의 프래그먼트들로부터 기본시점 비디오가 추출되고, tref 박스를 포함하는 trak 박스에 대응하는 트랙의 프래그먼트들로부터 부가시점 비디오가 추출될 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일로부터, 스테레오스코픽 비디오를 구성하는 기본시점 비디오와 부가시점 비디오를 추출하고, 현재 스트리밍 파일의 기본시점 비디오와 부가시점 비디오에 대한 인덱스 정보를 추출하여, 기본시점 비디오와 부가시점 비디오의 참조 관계 등을 판독할 수 있다. 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 현재 스트리밍 파일로부터 추출된 기본시점 비디오와 부가시점 비디오를 조합하여, 스테레오스코픽 비디오를 복원할 수 있다.
또한, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 외부 인덱스 파일을 이용하여, 현재 스트리밍 파일의 기본시점 비디오와 부가시점 비디오 간의 관계를 판독하여, 기본시점 비디오와 부가시점 비디오를 조합하여 스테레오스코픽 비디오를 복원할 수도 있다.
이상 도 10 내지 도 20을 참조하여 전술된, 프래그먼트 기반의 스트리밍 파일을 통해 송수신되는 스테레오스코픽 비디오를 재생하기 위해서는, 좌시점 비디오 및 우시점 비디오가 동기화되어야 한다. 좌시점 비디오 및 우시점 비디오는, 대응하는 좌시점 샘플과 우시점 샘플 간에 동일한 재생 시간(presentation time)과 동일한 샘플 지속 시간(sample duration)을 가짐으로써 동기화될 수 있다.
이하 도 21 과 22을 참조하여, 적응적 스트리밍 서비스를 위한 멀티채널 비디오 그룹에 대하여, 일 실시예에 따른 멀티채널 비디오 그룹을 구성하는 비디오 데이터 간의 관계 정보를 이용하는 방식이 상술된다.
멀티미디어의 적응적 스트리밍 서비스를 위해, 비디오 화질 또는 비트레이트에 따라 차등적으로 부호화된 비디오를 제공할 수 있도록 멀티채널 비디오 그룹이 제공될 수 있다. 멀티채널 비디오 그룹 중에서 선택된 채널의 부호화된 비디오 데이터가 송수신될 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 네트워크환경, 현재 상태, 캐퍼빌리티 등을 고려하여, 멀티채널 비디오 그룹 중에서 소정 채널의 비디오를 멀티미디어 스트리밍 서비스 제공 장치(100)에게 요청할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 멀티미디어 스트리밍 서비스 수신 장치(100)가 멀티채널 비디오 그룹 중에서 원하는 형식의 비디오를 선택할 수 있도록, 멀티채널 비디오 그룹을 구성하는 비디오의 관계 정보를 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 멀티채널 비디오 그룹의 관계 정보를 이용하여, 원하는 채널의 비디오를 선택하여 요청하고 수신할 수 있다. 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 소정 채널의 비디오를 이용하여 비디오를 복원할 수 있다.
도 21 은, 적응적 스트리밍 서비스를 위하여, 일 실시예에 따른 멀티채널 비디오 그룹의 관계 정보를 포함하는 afgp 박스의 신택스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 멀티미디어 스트리밍 파일 포맷(300, 500)에 afgp 박스를 추가하여, 현재 스트리밍 파일을 통해 전송하는 비디오와 관련된, 멀티채널 비디오 그룹에 대한 관계 정보를 전송할 수 있다.
일 실시예에 따른 afgp 박스는, ftyp 박스, moov 박스 등과 동일한 채널에 구성될 수 있다.
일 실시예에 따른 afgp 박스는, 현재 비디오와 관련된 멀티채널 비디오 그룹 중에서, 현재 비디오를 대체할 수 있는 다른 비디오에 대한 관계 정보를 포함할 수 있다. 일 실시예에 따른 afgp 박스는, 멀티채널 비디오 그룹을 구성하는 비디오의 개수 정보 'entry_count' 및 다른 비디오의 위치 정보 'file_location'를 포함할 수 있다.
일 실시예에 따른 afgp 박스의 위치 정보 'file_location'는, 다른 비디오의 원격 위치, URL 등을 나타낼 수 있다. 즉, 일 실시예에 따른 afgp 박스는, 현재 스트리밍 파일 뿐만 아니라, 외부 파일에 위치하는 비디오에 대한 위치 정보를 전송할 수 있다.
위치 정보 'file_location'은 UTF-8 등의 언어로 부호화된 문자열일 수 있다. 위치 정보 'file_location'이 가리키는 외부 파일은 현재 파일은, 동일한 멀티채널 비디오 그룹임을 나타내기 위해 멀티채널 비디오 그룹 명칭 정보 'alternate_group'의 값을 공유함으로써, 현재 파일과 외부 파일 간의 대체 관계가 표현될 수 있다.
예를 들어, afgp 박스를 포함하는 현재 파일의 비디오의 'alternate_group' 값과, afgp 박스의 'file_locations'에 의해 기술되는 소정 외부 파일에 포함된 비디오의 'alternate_group' 값이 0이 아닌 동일한 값이라면, 현재 파일의 비디오와 소정 외부 파일의 비디오는 멀티채널 비디오 그룹을 구성하는 상호 대체 가능한 비디오임을 나타낼 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일로부터 일 실시예에 따른 afgp 박스를 파싱하여, 멀티채널 비디오 그룹을 구성하는 비디오의 개수와 위치 정보를 판독할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, afgp 박스로부터 판독된 멀티채널 비디오 그룹을 구성하는 비디오 중에서 원하는 채널의 비디오를 선택하고, 현재 수신된 파일 또는 외부 파일에 위치한 비디오를 요청하고 수신할 수 있다.
도 22 는, 적응적 스트리밍 서비스를 위하여, 파일 외부의 인덱스 파일을 이용하여 일 실시예에 따른 멀티채널 비디오 그룹 간의 관계 정보를 설정하는 경우를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 외부 인덱스 파일을 이용하여, 멀티채널 비디오 그룹을 구성하는 복수 개의 비디오들 간의 관계 정보가 함께 전송될 수 있다. 예를 들어, 일 실시예에 따른 외부 인덱스 파일 SMIL은, 멀티채널 비디오 그룹의 비디오별로, 제 1 파일에 대한 인덱스 정보(2210)와 제 2 파일에 대한 인덱스 정보(2220)를 모두 포함할 수 있다.
일 실시예에 따른 외부 인덱스 파일 SMIL은, 멀티채널 비디오 그룹을 구성하는 비디오별로, 비디오 위치 정보(test_1644.mp4, test_3288.mp4), 비트레이트 정보(1644000 또는 3288000)와 현재 멀티채널 비디오 그룹을 식별하기 위한 그룹 명칭 정보(alternate_group)를 포함할 수 있다.
일 실시예에 따른 외부 인덱스 파일은, 멀티채널 비디오 그룹에 포함되는 비디오 데이터에 대한 위치 정보로서, 현재 수신된 파일 또는 외부 파일의 원격 위치 정보 또는 URL 정보를 포함할 수 있다.
또한, 제 1 파일 "test_1644.mp4"이 현재 수신된 파일 내부의 비디오 트랙이라면, 일 실시예에 따른 외부 인덱스 파일 SMIL은, 트랙 식별 정보(trackID)를 더 포함할 수도 있다.
따라서 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일의 외부 인덱스 파일로부터, 현재 비디오가 속한 멀티채널 비디오 그룹의 비디오의 위치 정보 및 특성 정보 등을 판독할 수 있다. 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 외부 인덱스 파일로부터 판독된 멀티채널 비디오 그룹 중에서 대체 비디오를 선택하고, 현재 수신된 파일 또는 외부 파일에 위치한 비디오를 요청하고 수신할 수 있다.
도 23 는 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 방법의 흐름도를 도시한다.
단계 2310에서, 2차원 비디오 데이터 및 3차원 비디오 데이터 중 적어도 하나를 포함하는 비디오의 부호화된 데이터가, 프래그먼트 단위로 분할된다.
일 실시예에 따라 프래그먼트는, 모노스코픽 비디오 구간, 스테레오스코픽 비디오 구간, 및 모노스코픽 비디오 구간 및 스테레오스코픽 비디오 구간의 혼합 비디오 구간 중 하나를 포함할 수 있다.
단계 2320에서, 프래그먼트마다, 3차원 시그널링 정보 및 관계 정보 중 적어도 하나를 포함하는 속성 정보가 결정된다.
일 실시예에 따라 프래그먼트마다, 3차원 구성 정보, 좌우 순서 정보 및 스테레오 모노 구간 변경 횟수 정보 중 적어도 하나가 결정될 수 있다.
일 실시예에 따라 프래그먼트의 구간별로, 스테레오 확인 정보 및 구간 샘플 개수 정보 중 적어도 하나가 결정될 수 있다. 프래그먼트의 스테레오스코픽 비디오 구간별로, 샘플들의 3차원 구성 정보 및 좌우 순서 정보가 결정될 수 있다.
일 실시예에 따라 프래그먼트의 스테레오스코픽 비디오 구간별로 샘플에 대한 스테레오스코픽 카메라 디스플레이 정보가 결정될 수 있다. 일 실시예에 따른 스테레오스코픽 카메라 디스플레이 정보는, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템을 이용하여 표현될 수 있다.
일 실시예에 따라 현재 파일의 비디오에 대해, 3차원 구성 정보, 좌우 순서 정보, 및 스테레오 모노 프래그먼트 변경 횟수 정보 중 적어도 하나가 결정될 수 있다. 파일에 대한 3차원 구성 정보, 좌우 순서 정보, 및 스테레오 모노 프래그먼트 변경 횟수 정보와 함께, 프래그먼트마다 스테레오 모노 구간 변경 횟수 정보, 구간 샘플 개수 정보 및 스테레오 확인 정보 중 적어도 하나가 더 결정될 수 있다. 일 실시예에 따라 현재 프래그먼트의 스테레오스코픽 비디오 구간마다 스테레오스코픽 비디오 구간 식별 정보가 결정될 수 있다.
일 실시예에 따라 현재 파일의 비디오가 스테레오스코픽 비디오를 구성하는 참조 비디오를 검색하기 위한 관계 정보로서, 현재 파일 내에서의 참조 비디오의 위치 정보 뿐만 아니라, 현재 파일 외부에 위치하는 참조 비디오의 원격 위치 정보, URL 정보, URN 정보 중 적어도 하나가 이용될 수 있다.
일 실시예에 따라 현재 파일의 비디오가 복수 개의 비디오를 참조하는 경우, 참조 비디오의 개수 정보, 복수 개의 참조 비디오를 식별하기 위한 참조 인덱스 정보 및 위치 정보 중 적어도 하나가 결정될 수 있다.
일 실시예에 따라 적응적 스트리밍 서비스를 위해, 비디오 화질에 따라 차등되도록 복수 채널의 비디오를 제공하는 멀티채널 비디오 그룹이 생성될 수 있다. 이 경우, 멀티채널 비디오 그룹을 구성하는 비디오의 개수 정보 및 다른 채널의 비디오의 위치를 나타내는 참조 정보 중 적어도 하나가 결정될 수 있다. 특히, 멀티채널 비디오 그룹을 구성하는 비디오의 위치 정보는, 현재 파일 외부의 파일에 존재하는 비디오의 위치를 나타낼 수도 있다.
단계 2330에서, 프래그먼트의 분할된 비디오에 대한 속성 정보와 부호화된 비디오 데이터를 포함하는 프래그먼트들이 연속적으로 전송된다. 프래그먼트에 대한 속성 정보는 프래그먼트의 보조 데이터 영역에 삽입되어 전송되고, 프래그먼트 단위로 분할된 부호화된 비디오 데이터는 프래그먼트의 미디어 데이터 영역에 삽입되어 전송될 수 있다.
도 24 는 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 방법의 흐름도를 도시한다.
단계 2410에서, 복수 개의 프래그먼트들이 연속적으로 수신된다.
단계 2420에서, 프래그먼트들마다 미디어 데이터 영역으로부터 2차원 비디오 구간 또는 3차원 비디오 구간으로 구성된 프래그먼트의 부호화된 비디오 데이터가 추출된다.
단계 2430에서, 프래그먼트들마다 보조 데이터 영역으로부터 속성 정보가 파싱되고, 프래그먼트 비디오 데이터의 2차원 재생 또는 3차원 재생을 위한 3차원 시그널링 정보 및 복수 개의 비디오들 간의 참조를 위한 관계 정보 중 적어도 하나가 추출되어 판독된다.
일 실시예에 따라 프래그먼트의 3차원 구성 정보가 추출되고, 좌시점 영상 및 우시점 영상이 현재 프래그먼트의 스테레오스코픽 영상을 구성하는 형태가 판독될 수 있다. 일 실시예에 따라 프래그먼트의 좌우 순서 정보가 추출되고, 현재 프래그먼트의 스테레오스코픽 영상에서 좌시점 영상 및 우시점 영상의 순서가 판독될 수 있다.
일 실시예에 따라 프래그먼트의 스테레오 모노 구간 변경 횟수 정보가 추출되고, 현재 프래그먼트의 모노스코픽 비디오 구간과 스테레오스코픽 비디오 구간의 변경 횟수가 판독될 수 있다.
일 실시예에 따라 프래그먼트의 스테레오 확인 정보 및 구간 샘플 개수 정보 중 적어도 하나가 추출되고, 프래그먼트의 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간이 구별될 수 있다.
일 실시예에 따라 프래그먼트의 스테레오스코픽 비디오 구간마다, 3차원 구성 정보 및 좌우 순서 정보 중 적어도 하나가 추출되어, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들에 대한 3차원 구성 정보가 판독되고, 좌우 순서 정보가 판독할 수 있다.
일 실시예에 따라 프래그먼트의 스테레오스코픽 비디오 구간마다, 스테레오스코픽 카메라 디스플레이 정보가 추출되어, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들을 획득한 스테레오스코픽 카메라와 디스플레이 규격에 대한 정보가 판독될 수 있다. 일 실시예에 따른 스테레오스코픽 카메라 디스플레이 정보는, 적용되는 대상 아이템들을 기준으로 판독할 수 있다.
일 실시예에 따라 현재 파일의 비디오 데이터에 대한 3차원 구성 정보, 좌우 순서 정보 및 스테레오 모노 프래그먼트 변경 횟수 정보 중 적어도 하나가 추출되고, 현재 파일의 프래그먼트마다, 프래그먼트의 비디오에 대한 스테레오 모노 구간 변경 횟수 정보, 구간 샘플 개수 정보 및 스테레오 확인 정보 중 적어도 하나가 더 추출되어 판독될 수도 있다.
일 실시예에 따라 프래그먼트의 하나 이상의 스테레오스코픽 비디오 구간 중에서 각각의 스테레오스코픽 비디오 구간에 대한 식별 정보가 추출되어 스테레오스코픽 비디오 구간이 구별될 수 있다.
일 실시예에 따라 참조 비디오의 위치 정보, 참조 비디오 식별 정보, 현재 파일 외부에 위치한 참조 비디오의 원격 위치 정보, URL 정보, URN 정보 중 적어도 하나가 추출되어 판독됨으로써, 현재 파일의 비디오 데이터와 참조되는 다른 하나의 비디오가 검색될 수 있다.
일 실시예에 따라 현재 파일의 비디오가 복수 개의 비디오를 참조하는 경우, 참조 비디오의 개수, 참조 인덱스, 위치 중 적어도 하나가 판독되어, 참조되는 비디오가 선택적으로 검출될 수 있다.
일 실시예에 따라 적응적 스트리밍 서비스를 수신하기 위하여, 비디오 화질에 따라 복수 개의 채널들로 차등되어 부호화된 비디오를 제공하는 멀티채널 비디오 그룹에 대한 관계 정보가 수신될 수 있다. 일 실시예에 따른 멀티채널 비디오 그룹에 대한 관계 정보가 수신되고, 대체 비디오에 대한 관계 정보 및 위치 정보에 기초하여, 원하는 대체 비디오가 선택적으로 요청되어 수신될 수 있다. 대체 비디오에 대한 위치 정보는, 현재 파일 내부의 비디오에 대한 식별 정보 뿐만 아니라, 현재 파일 외부에 존재하는 비디오의 위치 정보를 포함할 수도 있다.
단계 2440에서, 프래그먼트들마다 3차원 시그널링 정보 또는 관계 정보로부터 판독된 정보에 기초하여, 프래그먼트마다 추출된 비디오 데이터를 복호화하고 조합하여 2차원 비디오 또는 3차원 비디오로 복원될 수 있다. 일 실시예에 따른 3차원 시그널링 정보 또는 관계 정보를 이용하여, 복원된 비디오가 2차원 또는 3차원으로 재생될 수도 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100) 및 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 프래그먼트 기반의 스트리밍 파일 포맷을 통해, 파일 단위, 프래그먼트 단위 또는 샘플 단위로, 스테레오스코픽 비디오의 3차원 시그널링 정보를 송수신한다.
또한, 일 실시예에 따른 프래그먼트 기반의 스트리밍 파일 포맷에 기초한 하나 이상의 스트리밍 파일을 통해, 스테레오스코픽의 기본시점 비디오 및 부가시점 비디오와 같이, 복수 개의 비디오들 간의 참조 정보, 특성 정보 등의 관계 정보가 송수신될 수 있다.
이에 따라 기존에 생성된 파일 또는 다른 위치에 존재하는 파일들을 참조할 수 있으므로, 참조 비디오를 전송하기 위한 파일을 재생성하거나, 물리적 제약 없이, 복수 개의 비디오들을 연관시키거나 조합할 수 있는 멀티미디어 서비스가 제공될 수 있다.
HTTP(HyperText Transfer Protocol)를 이용한 적응적 스트리밍(HTTP Adaptive Streaming) 서비스를 위해, 일 실시예에 따른 스트리밍 파일 포맷을 이용하여 ISO 기반 미디어 파일 포맷과 호환되도록 통일화된 형태로, 스테레오스코픽 비디오를 구성하는 복수 개의 비디오들 간의 관계 정보 및 3차원 시그널링 정보가 제공될 수 있다. 여러 채널의 품질로 부호화된 비디오, 오디오 등의 멀티미디어 뿐만 아니라 스테레오스코픽 멀티미디어가, 하나 이상의 멀티미디어 파일에 적재되어 제공되고, 전송 대역폭이나 단말 장치의 성능에 맞춰 적응적으로 가변적 품질의 멀티미디어가 사용자에게 끊김 없이 제공될 수 있다.
본 발명에서 개시된 블록도들은 본 발명의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.
본 명세서에서 본 발명의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 네트워크를 이용하여 멀티미디어를 전송하는 스트리밍 서비스 제공 방법에 있어서,
    2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할하는 단계;
    상기 프래그먼트마다 현재 비디오를 2차원 재생 또는 3차원 재생을 위한 정보를 포함하는 3차원 시그널링 정보와, 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 포함하는 속성 정보를 결정하는 단계; 및
    상기 프래그먼트에 대한 속성 정보를 포함하는 보조 데이터 영역과 상기 부호화된 비디오 데이터를 포함하는 미디어 데이터 영역으로 구성된 프래그먼트들을 연속적으로 전송하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  2. 제 1 항에 있어서, 상기 프래그먼트마다 속성 정보 결정 단계는,
    상기 프래그먼트마다, 좌시점 영상 및 우시점 영상이 스테레오스코픽 영상을 구성하는 형태를 나타내는 3차원 구성 정보, 상기 스테레오스코픽 영상에서 상기 좌시점 영상 및 상기 우시점 영상의 순서를 나타내는 좌우 순서 정보, 및 모노스코픽 비디오 구간과 스테레오스코픽 비디오 구간의 변경 횟수를 나타내는 스테레오 모노 구간 변경 횟수 정보 중 적어도 하나를 결정하는 단계; 및
    현재 구간이 상기 모노스코픽 비디오 구간 또는 상기 스테레오스코픽 비디오 구간인지 나타내는 스테레오 확인 정보 및 상기 현재 구간을 구성하는 샘플들의 개수를 나타내는 구간 샘플 개수 정보 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  3. 제 2 항에 있어서, 상기 프래그먼트마다 속성 정보 결정 단계는,
    현재 프래그먼트의 스테레오스코픽 비디오 구간마다, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들에 대한 상기 3차원 구성 정보, 상기 좌우 순서 정보, 상기 현재 프래그먼트의 하나 이상의 스테레오스코픽 비디오 구간 중에서 각각의 스테레오스코픽 비디오 구간에 대한 식별 정보, 및현재 스테레오스코픽 비디오 구간을 구성하는 샘플들을 획득한 스테레오스코픽 카메라에 대한 정보와 상기 샘플들을 이용하여 안전하게 3차원 재생하기 위한 디스플레이 규격에 대한 정보를 포함하는 스테레오스코픽 카메라 디스플레이 정보 중 적어도 하나를 결정하는 단계를 포함하고,
    상기 스테레오스코픽 카메라 디스플레이 정보는, 현재 프래그먼트의 현재 스테레오스코픽 비디오 구간 중에서, 상기 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템들의 개수를 나타내는 정보, 각각의 아이템에서 참조되는 현재 스테레오스코픽 카메라 디스플레이 정보의 식별 정보 및 상기 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 구간의 길이에 대한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  4. 제 1 항에 있어서, 상기 프래그먼트마다 속성 정보 결정 단계는,
    현재 파일의 비디오에 대해, 스테레오스코픽 비디오를 구성하기 위해 참조하는 참조 비디오의 위치 정보를, 상기 현재 파일 내에서의 상기 참조 비디오 식별 정보, 상기 현재 파일 외부의 원격 위치 정보, URL(Uniform Resource Locator) 정보, URN(Uniform Resource Name) 정보 중 적어도 하나를 이용하여 결정하는 단계; 및
    상기 현재 파일의 비디오가 복수 개의 비디오들을 참조하는 경우, 상기 참조 비디오의 개수 정보, 복수 개의 참조 비디오를 식별하기 위한 참조 인덱스 정보 및 각각의 참조 비디오에 대한 상기 위치 정보 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  5. 제 1 항에 있어서, 상기 멀티미디어 스트링 서비스 제공 방법은,
    비디오를 비디오 화질에 따라 차등되도록 부호화한, 복수 채널의 비디오들을 생성하는 단계를 더 포함하고,
    상기 프래그먼트마다 속성 정보 결정 단계는, 현재 파일의 비디오의 다른 채널의 비디오의 개수를 나타내는 멀티채널 개수 정보 및 상기 다른 채널의 비디오의 위치를 나타내는 참조 정보 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  6. 네트워크를 이용하여 멀티미디어를 수신하는 스트리밍 서비스 수신 방법에 있어서,
    복수 개의 프래그먼트들을 연속적으로 수신하는 단계;
    상기 프래그먼트들마다 미디어 데이터 영역으로부터, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할된 형태로 추출하는 단계;
    상기 프래그먼트들마다 보조 데이터 영역으로부터 속성 정보를 파싱하고, 상기 프래그먼트의 비디오의 2차원 재생 또는 3차원 재생을 위한 3차원 시그널링 정보와 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 추출하여 판독하는 단계; 및
    상기 프래그먼트들마다 상기 속성 정보로부터 판독된 정보에 기초하여, 상기 프래그먼트들의 상기 부호화된 데이터를 2차원 비디오 또는 3차원 비디오로 복원하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  7. 제 6 항에 있어서, 상기 속성 정보 추출 단계는,
    상기 프래그먼트들마다 상기 프래그먼트 비디오 데이터에 대하여 설정된, 좌시점 영상 및 우시점 영상이 스테레오스코픽 영상을 구성하는 형태를 나타내는 3차원 구성 정보, 상기 스테레오스코픽 영상에서 상기 좌시점 영상 및 상기 우시점 영상의 순서를 나타내는 좌우 순서 정보, 및 상기 모노스코픽 비디오 구간과 상기 스테레오스코픽 비디오 구간의 변경 횟수를 나타내는 스테레오 모노 구간 변경 횟수 정보 중 적어도 하나를 추출하여 판독하는 단계; 및
    상기 프래그먼트들마다, 현재 구간이 상기 모노스코픽 비디오 구간 또는 상기 스테레오스코픽 비디오 구간인지 나타내는 스테레오 확인 정보 및 상기 현재 구간을 구성하는 샘플들의 개수를 나타내는 구간 샘플 개수 정보 중 적어도 하나를 추출하여 판독하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  8. 제 7 항에 있어서, 상기 속성 정보 추출 단계는,
    현재 프래그먼트의 스테레오스코픽 비디오 구간마다 설정된, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들에 대한 상기 3차원 구성 정보, 상기 좌우 순서 정보, 상기 현재 프래그먼트의 하나 이상의 스테레오스코픽 비디오 구간 중에서 각각의 스테레오스코픽 비디오 구간에 대한 식별 정보 및 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들을 획득한 스테레오스코픽 카메라에 대한 정보와 상기 샘플들을 이용하여 안전하게 3차원 재생하기 위한 디스플레이 규격에 대한 정보를 포함하는 스테레오스코픽 카메라 디스플레이 정보 중 적어도 하나를 추출하여 판독하는 단계를 포함하고,
    상기 스테레오스코픽 카메라 디스플레이 정보는, 현재 프래그먼트의 현재 스테레오스코픽 비디오 구간 중에서, 상기 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템들의 개수를 나타내는 정보, 각각의 아이템에서 참조되는 현재 스테레오스코픽 카메라 디스플레이 정보의 식별 정보 및 상기 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 구간의 길이에 대한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  9. 제 6 항에 있어서, 상기 속성 정보 추출 단계는,
    현재 파일의 비디오에 대해 설정된, 스테레오스코픽 비디오를 구성하기 위해 참조하는 참조 비디오의 위치 정보를 추출하여, 상기 현재 파일 내에서의 상기 참조 비디오 식별 정보, 상기 현재 파일 외부의 원격 위치 정보, URL 정보, URN 정보 중 적어도 하나를 판독하는 단계; 및
    상기 현재 파일의 비디오가 복수 개의 비디오들를 참조하는 경우, 상기 참조비디오의 개수 정보, 복수 개의 참조 비디오들을 식별하기 위한 참조 인덱스 정보 및 각각의 참조 비디오에 대한 상기 위치 정보 중 적어도 하나를 추출하여 판독하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  10. 제 6 항에 있어서, 상기 멀티미디어 스트링 서비스 수신 방법은,
    비디오 화질에 따라 차등되어 부호화된 복수 개의 채널의 비디오 중에서, 선택적으로 소정 채널의 비디오를 수신하는 단계를 더 포함하고,
    상기 속성 정보 추출 단계는, 현재 파일의 비디오의 다른 채널의 비디오의 개수를 나타내는 멀티채널 개수 정보 및 상기 다른 채널의 비디오의 위치를 나타내는 참조 정보 중 적어도 하나를 추출하여 판독하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  11. 제 6 항에 있어서, 상기 멀티미디어 스트링 서비스 수신 방법은,
    상기 프래그먼트들마다 상기 3차원 시그널링 정보로부터 판독된 정보에 기초하여, 상기 복원된 2차원 비디오 또는 3차원 비디오를 재생하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  12. 네트워크를 이용하여 멀티미디어를 전송하는 스트리밍 서비스 제공 장치에 있어서,
    2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할하는 프래그먼트 비디오 데이터 생성부;
    상기 프래그먼트마다 현재 비디오를 2차원 재생 또는 3차원 재생을 위한 정보를 포함하는 3차원 시그널링 정보와, 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 포함하는 속성 정보를 결정하는 프래그먼트 속성 정보 결정부; 및
    상기 프래그먼트에 대한 속성 정보를 포함하는 보조 데이터 영역과 상기 부호화된 비디오 데이터를 포함하는 미디어 데이터 영역으로 구성된 프래그먼트들을 연속적으로 전송하는 스트리밍부를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 장치.
  13. 네트워크를 이용하여 멀티미디어를 수신하는 스트리밍 서비스 수신 장치에 있어서,
    복수 개의 프래그먼트들을 연속적으로 수신하는 수신부;
    상기 프래그먼트들마다 미디어 데이터 영역으로부터, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할된 형태로 추출하는 프래그먼트 비디오 데이터 추출부;
    상기 프래그먼트들마다 보조 데이터 영역으로부터 속성 정보를 파싱하고, 상기 프래그먼트의 비디오의 2차원 재생 또는 3차원 재생을 위한 3차원 시그널링 정보와 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 추출하여 판독하는 프래그먼트 속성 정보 추출부; 및
    상기 프래그먼트들마다 상기 속성 정보로부터 판독된 정보에 기초하여, 상기 프래그먼트들의 상기 부호화된 데이터를 2차원 비디오 또는 3차원 비디오로 복원하는 복원부를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 장치.
  14. 제 1 항의 멀티미디어 스트리밍 서비스 제공 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
  15. 제 6 항의 멀티미디어 스트리밍 서비스 수신 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
PCT/KR2011/004230 2010-06-09 2011-06-09 프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치 WO2011155776A2 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013514117A JP6088968B2 (ja) 2010-06-09 2011-06-09 フラグメント基盤のマルチメディアストリーミングサービス提供方法とその装置、並びにフラグメント基盤のマルチメディアストリーミングサービス受信方法とその装置
BR112012031218-9A BR112012031218B1 (pt) 2010-06-09 2011-06-09 Método de fornecer um serviço de fluxo contínuo de multimídia por intermédio de uma rede, método de receber um serviço de fluxo contínuo para receber multimídia por intermédio de uma rede, equipamento para fornecer um serviço de fluxo contínuo de multimídia por intermédio de uma rede, equipamento para receber um serviço de fluxo contínuo para receber multimídia por intermédio de uma rede, e meio de gravação legível por computador
US13/703,286 US9674502B2 (en) 2010-06-09 2011-06-09 Method for providing fragment-based multimedia streaming service and device for same, and method for receiving fragment-based multimedia streaming service and device for same
EP11792687.3A EP2582142B1 (en) 2010-06-09 2011-06-09 Method for providing fragment-based multimedia streaming service and device for same, and method for receiving fragment-based multimedia streaming service and device for same
CN201180039011.5A CN103069812B (zh) 2010-06-09 2011-06-09 提供基于分段的多媒体流服务的方法及装置、接收基于分段的多媒体流服务的方法及装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US35289510P 2010-06-09 2010-06-09
US61/352,895 2010-06-09
US36627910P 2010-07-21 2010-07-21
US61/366,279 2010-07-21

Publications (2)

Publication Number Publication Date
WO2011155776A2 true WO2011155776A2 (ko) 2011-12-15
WO2011155776A3 WO2011155776A3 (ko) 2012-03-15

Family

ID=45098538

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/004230 WO2011155776A2 (ko) 2010-06-09 2011-06-09 프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치

Country Status (7)

Country Link
US (1) US9674502B2 (ko)
EP (1) EP2582142B1 (ko)
JP (1) JP6088968B2 (ko)
KR (1) KR101830881B1 (ko)
CN (1) CN103069812B (ko)
BR (1) BR112012031218B1 (ko)
WO (1) WO2011155776A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428462A (zh) * 2013-08-29 2013-12-04 中安消技术有限公司 一种多通道音视频处理方法和装置
CN103916440A (zh) * 2013-01-05 2014-07-09 尼尔森网联媒介数据服务有限公司 一种远程升级的方法及其装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9716920B2 (en) 2010-08-05 2017-07-25 Qualcomm Incorporated Signaling attributes for network-streamed video data
US9219929B2 (en) * 2012-02-27 2015-12-22 Fritz Barnes Enhanced startup and channel change for fragmented media stream delivery
CN104219537B (zh) * 2013-05-31 2018-11-06 腾讯科技（北京）有限公司 视频数据处理的方法、装置及***
EP2890075B1 (en) * 2013-12-26 2016-12-14 Telefonica Digital España, S.L.U. A method and a system for smooth streaming of media content in a distributed content delivery network
CN104980712A (zh) * 2015-07-14 2015-10-14 济南中维世纪科技有限公司 视频监控数据恢复后的智能索引方法
CN105451073B (zh) * 2015-11-16 2018-11-02 深圳Tcl数字技术有限公司 Mp4视频源的传送方法和装置
CN105447168B (zh) * 2015-12-04 2019-03-22 四川效率源信息安全技术股份有限公司 Mp4格式的碎片文件恢复与重组的方法
KR102553886B1 (ko) 2015-12-24 2023-07-11 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 제어 방법
TWI559753B (zh) * 2016-03-16 2016-11-21 晶睿通訊股份有限公司 傳輸隨選影音檔案的方法
US10567461B2 (en) * 2016-08-04 2020-02-18 Twitter, Inc. Low-latency HTTP live streaming
KR102546152B1 (ko) * 2017-02-15 2023-06-22 한국전자통신연구원 고정/이동방송 융합형 3DTV에서 화질 개선을 위한 부가 데이터(Video Enhancement Information, VEI) 시그널링 방법 및 장치
US10992961B2 (en) * 2017-05-25 2021-04-27 Qualcomm Incorporated High-level signaling for fisheye video data
GB2567624B (en) * 2017-10-12 2021-05-26 Canon Kk Method, device and computer program for transmitting media content
CN115643442A (zh) * 2022-10-25 2023-01-24 广州市保伦电子有限公司 一种音视频合流录制播放方法、装置、设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
EP1574066A1 (en) * 2002-12-13 2005-09-14 Koninklijke Philips Electronics N.V. Switching method for mdc/scalable coding
JP2004228743A (ja) 2003-01-21 2004-08-12 Nec Fielding Ltd 立体画像システム
MXPA05008404A (es) * 2003-02-18 2005-10-05 Nokia Corp Metodo de codificacion de imagen.
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
KR100585966B1 (ko) 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
WO2006087676A2 (en) 2005-02-18 2006-08-24 Koninklijke Philips Electronics N.V. Method of multiplexing auxiliary data in an audio/video stream
EP1713285B1 (en) * 2005-04-15 2015-09-09 Thomson Licensing Method and device for recording digital data
KR100657322B1 (ko) 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
WO2008054100A1 (en) 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
KR100962696B1 (ko) 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
US20100161686A1 (en) 2007-06-19 2010-06-24 Electronic And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
KR100972792B1 (ko) 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
JP2011082666A (ja) 2009-10-05 2011-04-21 Sony Corp 信号伝送方法、信号送信装置及び信号受信装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2582142A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103916440A (zh) * 2013-01-05 2014-07-09 尼尔森网联媒介数据服务有限公司 一种远程升级的方法及其装置
CN103428462A (zh) * 2013-08-29 2013-12-04 中安消技术有限公司 一种多通道音视频处理方法和装置

Also Published As

Publication number Publication date
US20130147914A1 (en) 2013-06-13
JP6088968B2 (ja) 2017-03-01
CN103069812A (zh) 2013-04-24
BR112012031218B1 (pt) 2021-11-23
EP2582142A4 (en) 2014-04-02
JP2013534747A (ja) 2013-09-05
CN103069812B (zh) 2015-12-16
EP2582142B1 (en) 2017-03-15
BR112012031218A2 (pt) 2016-10-25
EP2582142A2 (en) 2013-04-17
US9674502B2 (en) 2017-06-06
KR20110134857A (ko) 2011-12-15
KR101830881B1 (ko) 2018-04-05
WO2011155776A3 (ko) 2012-03-15

Similar Documents

Publication Publication Date Title
WO2011155776A2 (ko) 프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치
WO2015002500A1 (ko) 실시간 전송 프로토콜 기반의 방송 시스템에서 미디어 방송 신호의 송수신 방법 및 장치
WO2011105811A2 (en) Method and apparatus for transmitting and receiving data
WO2012011724A2 (ko) 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치
WO2013157828A1 (ko) 복수의 계층을 지원하는 비트스트림의 디코딩 방법 및 이를 이용하는 장치
WO2015012605A1 (ko) 3차원 콘텐츠의 부호화 방법 및 장치
WO2009145426A1 (en) Method and apparatus for generating stereoscopic image data stream by using camera parameter, and method and apparatus for restoring stereoscopic image by using camera parameter
WO2011059291A2 (en) Method and apparatus for transmitting and receiving data
WO2020076058A1 (ko) 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치
WO2011013995A2 (en) Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
WO2013048148A2 (en) Method and apparatus for transmitting and receiving content
WO2012047028A2 (ko) 스트리밍 컨텐츠 제공 장치 및 방법
WO2015126117A1 (ko) 방송 신호 송수신 방법 및 장치
WO2014025239A1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
WO2018004317A1 (ko) 고해상도 영상 스트리밍을 위한 영상 비트스트림 생성방법 및 장치
WO2014010920A1 (ko) 인핸스드 3d 오디오/비디오 처리 장치 및 방법
WO2019203627A1 (ko) 트랜지션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치
WO2019194571A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
WO2021132963A1 (ko) 슬라이스 또는 픽처에 대한 nal 유닛 타입 기반 영상 또는 비디오 코딩
WO2022131870A1 (ko) Nal 유닛 어레이 정보를 포함하는 미디어 파일 생성/수신 방법, 장치 및 미디어 파일 전송 방법
WO2022139260A1 (ko) 미디어 파일을 생성하고 처리하는 방법 및 장치
WO2022060113A1 (ko) 미디어 파일 처리 방법 및 그 장치
WO2016159636A1 (ko) 방송 신호 송수신 방법 및 장치
WO2022065893A1 (ko) 미디어 파일 처리 방법 및 그 장치
WO2022131845A1 (ko) Nal 유닛 정보를 포함하는 미디어 파일 생성/수신 방법, 장치 및 미디어 파일 전송 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180039011.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792687

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2013514117

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2011792687

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011792687

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13703286

Country of ref document: US

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012031218

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012031218

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20121207