WO2013077698A1 - Mmt 미디어와 dash 미디어와의 연동 방법 - Google Patents

Mmt 미디어와 dash 미디어와의 연동 방법 Download PDF

Info

Publication number
WO2013077698A1
WO2013077698A1 PCT/KR2012/010061 KR2012010061W WO2013077698A1 WO 2013077698 A1 WO2013077698 A1 WO 2013077698A1 KR 2012010061 W KR2012010061 W KR 2012010061W WO 2013077698 A1 WO2013077698 A1 WO 2013077698A1
Authority
WO
WIPO (PCT)
Prior art keywords
mmt
media
information
mpd
dash
Prior art date
Application number
PCT/KR2012/010061
Other languages
English (en)
French (fr)
Inventor
이충구
이용재
Original Assignee
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴맥스 filed Critical (주)휴맥스
Priority to EP12852191.1A priority Critical patent/EP2784954A4/en
Priority to US14/360,224 priority patent/US9043849B2/en
Publication of WO2013077698A1 publication Critical patent/WO2013077698A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H04N21/2143—Specialised server platform, e.g. server located in an airplane, hotel, hospital located in a single building, e.g. hotel, hospital or museum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Definitions

  • the present invention relates to an interworking method of MMT media and DASH media.
  • the MPEG-2 TS when the MPEG-2 TS is developed, the multimedia transmission environment and today's multimedia transmission environment are undergoing major changes.
  • the MPEG-2 TS standard was developed in consideration of transmitting multimedia data through an ATM network at the time of enactment, but it is hard to find a case which is used for this purpose today.
  • the requirements such as multimedia transmission using the Internet were not considered at the time of enactment of the MPEG-2 TS standard, there are elements that are not efficient for multimedia transmission over the recent Internet. Therefore, in the MPEG, the establishment of the MMT (MPEG Multimedia Transport Layer), which is a new multimedia transmission standard considering the multimedia service on the Internet that is suitable for the changing multimedia environment, is recognized as a very important problem.
  • MMT MPEG Multimedia Transport Layer
  • the mobile communication terminal has an effect of allowing the user to more easily access the communication network while efficiently allocating system resources of the conventional communication system.
  • a streaming service capable of receiving and playing multimedia content such as audio content and video content in real time through a wireless content communication network while using a mobile communication terminal.
  • the streaming service applied to the wired IPTV is provided with a streaming service in the form of a Real-time Transport Protocol (RTP) protocol or a combination of RTP and MPEG-2.
  • RTP Real-time Transport Protocol
  • a problem occurs when the streaming service is provided in a form of RTP protocol or RTP protocol combined with MPEG-2.
  • the RTP protocol does not support multiplexing, when a multimedia content is divided into a plurality of packets, a problem arises in that a plurality of ports corresponding to the plurality of packets must be opened.
  • a streaming service is provided using RTP. Cannot be provided normally.
  • RTP operates on the UDP protocol.
  • UDP divides multimedia content into a plurality of packets and transmits them to a receiver, and then does not check whether the transmitted packets arrive at the receiver in the correct order. For this reason, packet loss may occur, and if packet loss occurs, loss of content may be caused because the lost content packet is not retransmitted to the receiver.
  • HTTP streaming a method of providing a streaming service using a Hyper Text Protocol (HTTP) operating on a TCP protocol is commonly used in a mobile communication terminal such as a smartphone. This is commonly referred to as "HTTP streaming.”
  • HTTP streaming a Hyper Text Protocol
  • HTTP is a protocol used to transmit text and images such as hypertext
  • a mobile communication terminal such as a smartphone provides a multimedia content streaming service using HTTP
  • the multimedia content has a large capacity.
  • DASH Dynamic Adaptive Streaming over HTTP
  • DASH standardization is intended to provide streaming services of MPEG media in mobile communication terminals such as smartphones, while MMT standardization is used to deliver enhanced media (eg, media with UHD resolution or higher) under dynamic network environments such as hybrid transmission. It is to provide.
  • MMT use cases need to be also supported by the DASH standard to transport MPEG media.
  • Patent Document 1 Korean Unexamined Patent Publication No. 10-2011-0105710 ("Method and apparatus for adaptively streaming content including a plurality of chapters", Samsung Electronics Co., Ltd., September 27, 2011)
  • An object of the present invention is to provide a method of interworking between MMT media and DASH media for interworking with MMT media and DASH media.
  • a method of interworking between MMT media and DASH media may include: MPD interworking information of a media transmitted from an MMT transmission server to an MMT, wherein the MPD interworking information is DASH. Extracting information corresponding to the MPD of the DASH for interworking with the MMT, and generating the MPD information by the home media server; and carrying the MPD information so that the portable terminal plays the DASH media using the MPD information. And transmitting to the terminal.
  • the MPD interworking information may be stored in association with a service configuration information table (SICTT), which is a service configuration information table managed by an MMT signaling layer (S layer), and an MMT asset configuration information table (MAIT), which is an MMT asset configuration information table.
  • SICTT service configuration information table
  • S layer MMT signaling layer
  • MAIT MMT asset configuration information table
  • MPD interworking information of a media transmitted to an MMT extracted from a home media playback apparatus by a portable terminal wherein the MPD interworking information is a cross between DASH and MMT.
  • a method of interworking between MMT media and DASH media includes: MPD interworking information of media transmitted from a portable terminal to an MMT extracted from a home media playback device; Receiving information corresponding to the MPD of the DASH for interworking; And transmitting, by the portable terminal, the received MPD interworking information to an external server, and generating, by the external server, the MPD information using the MPD interworking information and transmitting the generated MPD information to the portable terminal.
  • the portable terminal includes playing the DASH media using the MPD information.
  • SICTT Service Information
  • S layer MMT signaling layer
  • MAT Configuration Information Table
  • MAIT MMT Asset Configuration Information Table
  • FIG. 1 is a conceptual diagram illustrating an MMT hierarchical structure according to an embodiment of the present invention.
  • FIG. 2 illustrates a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure of FIG. 1.
  • FIG. 3 is a conceptual diagram illustrating a structure of a media presentation description (MPD) defined in the DASH standard.
  • MPD media presentation description
  • FIG. 4 is a conceptual diagram illustrating an interworking mechanism for supporting DASH content transmission under an MMT protocol.
  • FIG. 5 is a conceptual diagram illustrating an interworking scenario of MMT and DASH for transmitting content transmitted through MMT as DASH content in the case of hybrid transmission according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method for transmitting the content transmitted to the MMT as the DASH content under the interworking scenario of the MMT and the DASH according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method for transmitting the content transmitted to the MMT as the DASH content under the interworking scenario of the MMT and the DASH according to another embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method for transmitting the content transmitted to the MMT as the DASH content under the interworking scenario of the MMT and the DASH according to another embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • Non-timed data defines all data elements that are consumed without specifying time.
  • Non-timed data can have a time range within which the data can be executed or started.
  • Timed data defines data elements associated with a particular time to be decoded and presented.
  • a presentation is defined as an operation performed by one or more devices to allow a user to experience one content component or one service (eg, watch a movie).
  • a service is defined as one or more content components that are transmitted for presentation or storage.
  • Service information is defined as metadata describing one service, characteristics and components of the service.
  • An access unit is the smallest data entity and may have time information as an attribute. If coded media data for which decoding and presentation time information is not specified is relevant, the AU is not defined.
  • the Media Fragment Unit is a general container independent of any particular codec and accommodates encoded media data that can be consumed independently by a media decoder. It has information that is smaller than or equal to the access unit (AU) and can be used in the transport layer.
  • the Media Processing Unit is a generic container that is independent of any particular media codec and holds at least one AU and information related to additional transmission and consumption. For non-temporal data, the MPU accepts a portion of data that does not fall within the AU range. MPU is encoded media data that can be processed completely and independently. In this context, processing means encapsulation or packetization into an MMT package for transmission.
  • An MMT asset is a logical data entity consisting of at least one MPU with the same MMT asset ID or a specific chunk of data with a format defined by other standards.
  • the MMT asset is the largest data unit to which the same composition information and transmission characteristics apply.
  • MMT Asset Delivery Characteristics is a description related to QoS requirements for delivering MMT assets. MMT-ADC is expressed without knowing the specific transmission environment.
  • MMT Composition Information describes spatial and temporal relationships between MMT assets.
  • An MMT package is a collection of logically structured data and includes at least one MMT asset, MMT composition information, MMT asset asset, and descriptive information.
  • the MMT packet is a format of data generated or consumed by the MMT protocol.
  • the MMT payload format is a format for payload of an MMT package or MMT signaling message to be delivered by an MMT protocol or an internet application layer protocol (eg, RTP).
  • the content component or media component is defined as a media of a single type or a subset of the media of a single type. , Video tracks, movie subtitles, or a video enhancement layer of video.
  • Content is defined as a set of content components, and may be, for example, a movie or a song.
  • Hybrid delivery defines one or more content components to be transmitted simultaneously through one or more physically different types of networks.
  • the first network or the second network may include various networks including a broadcast network, a broadband network, a cable network, or a satellite communication network. It includes.
  • the hybrid transmission may be transmitted in MMT asset unit, substream unit, MMT package unit, or MMT packet unit.
  • video content includes a plurality of layers such as a first layer and a second layer
  • hybrid transmission may be performed in a layer unit. .
  • FIG. 1 is a conceptual diagram illustrating an MMT hierarchical structure according to an embodiment of the present invention.
  • an MMT layer includes an encapsulation layer, a delivery layer, and a functional area of a signaling layer.
  • the MMT layer operates on a transport layer.
  • the encapsulation layer defines the logical structure of the format of the data content to be processed by the media content, the MMT package, and the MMT compliant entity.
  • the MMT package specifies the components that contain the media content and the relationships between them.
  • the format of the data units is defined to encapsulate the encoded media to be stored or transmitted in the payload of the transport protocol and to be easily converted between them.
  • the encapsulation layer may be responsible for, for example, packetization, fragmentation, synchronization, multiplexing, and the like of transmitted media. have.
  • Various kinds of multimedia components may be encapsulated and combined with each other for transmission and consumption by the functions provided in the encapsulation layer (E-layer).
  • Encapsulated media components and configuration information of the media components are provided in the functional area of the encapsulation layer (E-layer).
  • the main information about the encapsulated media components is aggregation, priority, media fragment dependence, MPU timing and structure information, MMT asset 150 identification information, initialization information, and codec information. It may include.
  • the configuration information of the media components may include identification information of the MMT package 160 and the MMT asset 150, configuration information having a list of the MMT asset 150, and composition information of the MMT assets 150 in the MMT package 160. (composition information) 162 and delivery characteristics information (164).
  • E-layer The encapsulation layer (E-layer), as shown in Figure 1, MMT E.1 Layer (MMT E.1 Layer), MMT E.2 Layer (MMT E.2 Layer) and MMT E.3 Layer (MMT E.3 Layer).
  • the E.3 layer encapsulates a Media Fragment Unit (MFU) provided from the Media Codec (A) layer to generate a Media Processing Unit (MPU).
  • MFU Media Fragment Unit
  • A Media Codec
  • MPU Media Processing Unit
  • Encoded media data from the upper layer is encapsulated into MFU.
  • the type and value of the encoded media are abstracted to allow the MFU to be generally used in a particular codec technology. This allows the lower layer to process the MFU without accessing the encapsulated encoded media and the lower layer retrieves the required encoded media data from the network or storage buffer and sends it to the media decoder.
  • the MFU has enough information media subunits to perform this operation.
  • the MFU can have a format that is independent of any particular codec and can carry data units that can be consumed independently in the media decoder.
  • the MFU can be, for example, a picture or slice of the video.
  • One or a group of multiple MFUs that can be independently transmitted and decoded generate an MPU.
  • Non-temporal media that are independently transportable and executable also create an MPU.
  • the MPU describes internal structures, such as the arrangement and pattern of the MFU, to enable quick access and partial consumption of the MFU.
  • the E.2 layer encapsulates the MPU created in the E.3 layer to generate an MMT asset.
  • MMT assets are packaged by the MMT package, composed of others by Composition Information (CI), Transport Characteristics (TC), multiplexed by others by the MMT payload format, and transmitted by the MMT protocol. do.
  • CI Composition Information
  • TC Transport Characteristics
  • An MMT asset is a data entity composed of one or a plurality of MPUs from a single data source and is a data unit in which composition information (CI) and transport characteristics (TC) are defined.
  • MMT assets can correspond to packetized elementary streams (PES), for example video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 file format, M2TS (MPEG transport stream), etc.
  • PES packetized elementary streams
  • the E.1 layer generates an MMT package by encapsulating the MMT asset generated in the E.2 layer.
  • the MMT asset is packaged with MMT composition information (MMT-CI) for later response of the same user experience together or separately with other functional areas—transport area and signal area.
  • MMT-CI MMT composition information
  • the MMT package is also packaged with a transmission characteristic that selects an appropriate transmission method for each MMT asset to satisfy the haptic quality of the MMT asset.
  • the MMT package may be composed of one or a plurality of MMT assets together with additional information such as composition information (CI) and transport characteristics (TC).
  • the MMT package may correspond to a program of MPEG-2 TS.
  • Composition information includes information about a relationship between MMT assets, and when one content consists of a plurality of MMT packages, the composition information indicates a relationship between a plurality of MMT packages. It may further include information.
  • the transport characteristics may include transport characteristic information necessary to determine delivery conditions of an MMT asset or an MMT packet, and may include, for example, a traffic description parameter and a QoS descriptor. ) May be included.
  • the delivery layer defines the application layer protocol and format of the payload.
  • the payload format is defined to carry coded media data regardless of the media type or encoding method.
  • the delivery layer may perform, for example, network flow multiplexing, network packetization, and QoS control of media transmitted through a network.
  • the transport layer is a packet between the transport layer and the encapsulation layer (E-layer), multiplexing of media such as video, audio, etc. transmitted over a network.
  • the transport layer (D-layer) identifies different types of payloads from the encapsulation layer (E-layer) to handle payloads from the encapsulation layer (E-layer).
  • the transport layer may handle the temporal relation between packets transmitted through different networks and different channels.
  • the synchronization function may include hybrid network synchronization using a time stamp or the like.
  • the D-layer may handle timing constraints of MMT delivery packets for real-time media transmission.
  • the D-layer may perform error control of MMT media packets such as forward error correction and retransmission.
  • the transport layer may perform flow control of the MMT media packet.
  • the transport layer interacts with other MMT layers as well as lower layers (MAC, PHY) through a cross-layer design to maintain a certain level of QoS for delivery of MMT media packets. interaction).
  • transport layer may provide a function for performing group communication.
  • the transport layer (D-layer), as shown in Figure 1, MMT D.1 Layer (MMT D.1 Layer), MMT D.2 Layer (MMT D.2 Layer) and MMT D.3 Layer (MMT) D.3 Layer).
  • the D.1 layer receives the MMT package generated in the E.1 layer and generates an MMT payload format.
  • the MMT payload format is a payload format for transmitting MMT assets and for transmitting information for consumption by the MMT application protocol or other existing application transmission protocol such as RTP.
  • the MMT payload may include a fragment of the MFU along with information such as AL-FEC.
  • the D.2-layer receives the MMT payload format generated in the D.1 layer and generates an MMT transport packet or an MMT packet.
  • the MMT transport packet or MMT packet is a data format used for an application transport protocol for MMT.
  • D.3 layer supports QoS by providing the ability to exchange information between layers by cross-layer design.
  • the D.3 layer may perform QoS control using QoS parameters of the MAC / PHY layer.
  • the QoS parameters of the MAC / PHY may be, for example, bitrate, packet loss ratio, expected delay, available buffer size, and the like.
  • the signaling layer performs a signaling function. For example, session initialization / control / management of transmitted media, server-based and / or client-based trick modes, service discovery, synchronization, and other layers, i.e., delivery
  • a signaling function for interfacing with a D-layer and an encapsulation layer (E-layer) may be performed.
  • the synchronization may include synchronization control in a hybrid network.
  • the signaling layer defines the format of the message that manages delivery and consumption of the MMT package.
  • the message for consumption management is used to transmit the structure of the MMT package, and the message for delivery management is used to transmit the structure of the payload format and the configuration of the protocol.
  • the signaling layer may be configured of an MMT S.1 layer and an MMT S.2 layer.
  • the S.1 layer includes service discovery, media session initialization / termination of media, media session presentation / control of media, delivery (D) layer and encapsulation ( E)
  • the interface function with the layer can be performed.
  • the S.1 layer may define the format of control messages between applications for media presentation session management.
  • the presentation session management may define a format of a control message exchanged between applications for providing media presentation, session management, and information required for media consumption.
  • the S.2 layer may perform delivery session management.
  • the delivery session management may be related to flow control, delivery session management, delivery session monitoring, error control, error control, and delivery regarding hybrid network synchronization control. It is possible to define the format of the control message exchanged between delivery end-points of the D-layer.
  • S.2 layer supports delivery session establishment and release, delivery session management (delivery session monitoring, flow control, error control, etc.), resource reservation for established delivery session, It may include signaling for synchronization in a complex delivery environment and signaling for adaptive delivery. Required signaling may be provided between a sender and a receiver. That is, the S.2 layer may provide signaling required between the sender and the receiver in order to support the operation of the transport layer as described above. In addition, the S.2 layer may be responsible for interfacing with the transport layer and the encapsulation layer.
  • the control message or control information may be generated in the signaling layer and transmitted through a broadcasting network and / or a broadband network.
  • the function of the control message transmitted through the broadcast network may be the same as the function of the control message transmitted through the broadband network.
  • the syntax and format of the control message may vary depending on the application and the type of delivery.
  • the same common control information and the same common format may be used for control messages transmitted to the broadcasting network and the broadband network, respectively.
  • the same common control information may be transmitted in different formats for each broadcasting network and broadband network.
  • different control information and different formats may be transmitted for each broadcasting network and broadband network.
  • FIG. 2 illustrates a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure of FIG. 1.
  • the Media Fragment Unit defines a format for encapsulating a part of the AU in the transport layer to perform adaptive transmission in the range of the MFU.
  • the MFU may be used to transmit certain types of encoded media so that portions of the AU can be independently decoded or discarded.
  • the media fragment unit (MFU) 130 includes coded media fragment data 132 and a media fragment unit header (MFUH) 134.
  • the media fragment unit 130 has a general container format independent of a specific codec and carries the smallest data unit that can be consumed independently in a media decoder.
  • the MFUH 134 may include additional information such as media characteristics-for example, loss-tolerance.
  • MFU 130 may be, for example, a picture or slice of a video.
  • the MFU has an identifier for distinguishing one MFU from other MFUs and has general relationship information between MFUs in a single AU.
  • the dependencies between the MFUs in a single AU are described, and the relevant priorities of the MFUs are described as part of such information.
  • the information can be used to handle the transmission in the lower transport layer. For example, the transport layer may omit transmission of MFUs that may be discarded, to support QoS transmission in insufficient bandwidth.
  • the MPU is a collection of media fragment units including a plurality of media fragment units 130.
  • the MPU has a general container format independent of a specific codec and includes media data equivalent to an access unit.
  • the MPU may have a timed data unit or a non-timed data unit.
  • the MPU may include a Media Processing Unit Header (MPUH) having additional information, such as a time stamp for synchronization with media fragment unit data.
  • MPUH Media Processing Unit Header
  • MPU is data that is independently and completely processed by an entity following the MMT, and processing includes encapsulation and packetization.
  • An MPU may consist of at least one MFU or have a portion of data having a format defined by another standard.
  • a single MPU can accept integral or non-time data of at least one AU.
  • an AU may be delivered from at least one MFU, but one AU may not be divided into multiple MPUs.
  • non-time data one MPU receives a portion of non-time data that has been independently and completely processed by an entity following the MMT.
  • the MPU may be uniquely identified in the MMT package by a sequence number and an associated asset ID that distinguishes it from other MPUs.
  • the MPU has at least one random access point.
  • the first byte of the MPU payload can always start with a random access point. In time data, this fact means that the decoding order of the first MFU in the MPU payload is always zero.
  • the presentation period and decoding order of each AU can be sent to inform the presentation time.
  • the MPU does not have its initial presentation time, and the presentation time of the first AU of one MPU may be described in the composition information.
  • the composition information may specify the first presentation time of the MPU.
  • the MMT asset 150 is a collection of MPUs composed of a plurality of MPUs.
  • the MMT asset 150 is a data entity composed of multiple MPUs (timed or non-timed data) from a single data source, and the MMT asset information 152 is an asset packaging metadata (Asset). Additional information such as packaging metadata) and data type.
  • MMT asset 150 may include, for example, video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 FF (File Format), packetized elementary streams (PES), and MPEG transport (M2TS). streams).
  • the MMT asset may be a logical data entity having encoded media data.
  • the MMT asset has an MMT asset header and encoded media data.
  • the encoded media data may be a group of MPUs collectively referred to by the same MMT asset ID.
  • the type of data consumed as an entity directly related to the MMT client may be a separate MMT asset. Examples of such data types are MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG files.
  • the encoded media of the MMT asset may be time data or non-time data.
  • Temporal data is audiovisual media data that requires synchronized decoding and presentation of specific data at specified times.
  • Non-timed data is data of a data type that can be decoded and provided at any time in accordance with the provision of a service or user interaction.
  • a service provider may create a multimedia service by integrating MMT assets and putting MMT assets on a space-time axis.
  • the MMT package 160 is a collection of MMT assets including one or more MMT assets 150.
  • MMT assets in an MMT package may be multiplexed or concatenated.
  • the MMT package is a container format for MMT asset and configuration information.
  • the MMT package provides a repository of MMT asset and configuration information for the MMT program.
  • the MMT program provider generates configuration information by encapsulating the encoded data into MMT assets and describing the temporal and spatial layout of the MMT assets and their transmission characteristics.
  • MU and MMT assets can be sent directly in the D.1 payload format.
  • Configuration information may be sent by the S.1 Presentation Session Management message.
  • MMT program providers and clients that allow relaying or future reuse of MMT programs store them in MMT package format.
  • the MMT program provider determines which transmission path (eg, broadcast or broadband) the MMT asset will be provided to the client.
  • the configuration information in the MMT package is transmitted in the S.1 Presentation Session Management message along with the transmission related information.
  • the client receives the S.1 Presentation Session Management message to learn which MMT programs are available and how to receive MMT assets for the corresponding MMT program.
  • the MMT package can also be transmitted by the D.1 payload format.
  • the MMT package is packetized and delivered in D.1 payload format.
  • the client receives the packetized MMT package and configures all or part of it, where it consumes the MMT program.
  • the package information 165 of the MMT package 160 may include configuration information.
  • the configuration information may include additional information such as a list of MMT assets, package identification information, composition information 162 and transport characteristics 164.
  • Composition information 162 includes information about a relationship between MMT assets 150.
  • composition information 162 may further include information for indicating a relationship between a plurality of MMT packages when one content includes a plurality of MMT packages.
  • Composition information 162 may include information about temporal, spatial and adaptive relations in an MMT package.
  • Composition Information in the MMT provides information about the spatial and temporal relationships between MMT assets in the MMT package.
  • MMT-CI is an explanatory language that extends HTML5 to provide such information. If HTML5 is designed to describe page-based presentations of text-based content, MMT-CI mainly represents spatial relationships between sources. In order to support the presentation of the temporal relationship between MMT assets, information related to MMT assets in an MMT package, such as presentation resources, time information for determining the order in which MMT assets are sent and consumed, and various MMT assets are consumed in HTML5. It can be extended to have additional properties of media elements.
  • the transport characteristics information 164 may include information on transmission characteristics and may provide information necessary for determining a delivery condition of each MMT asset (or MMT packet).
  • the transmission characteristic information may include a traffic description parameter and a QoS descriptor.
  • the traffic description parameter may include bitrate information, priority information, or the like for the media fragment unit (MFU) 130 or the MPU.
  • the bitrate information is for example information about whether the MMT asset is Variable BitRate (VBR) or Constant BitRate (CBR), guaranteed bitrate for the Media Fragment Unit (MFU) (or MPU). ), The maximum bit rate for the media fragment unit (MFU) (or MPU).
  • the traffic description parameter may be used for resource reservation between servers, clients, and other components on a delivery path, for example, maximum size information of a media fragment unit (MFU) (or MPU) in an MMT asset. It may include.
  • the traffic description parameter may be updated periodically or aperiodically.
  • the QoS descriptor includes information for QoS control and may include, for example, delay information and loss information.
  • the loss information may include, for example, a loss indicator of whether delivery loss of the MMT asset is allowed or not.
  • a loss indicator of '1' may indicate 'lossless', and a '0' indicates 'lossy'.
  • the delay information may include a delay indicator used to distinguish the sensitivity of the transmission delay of the MMT asset.
  • the delay indicator may indicate whether the type of the MMT asset is conversation, interactive, real time, and non-realtime.
  • One content may consist of one MMT package.
  • one content may consist of a plurality of MMT packages.
  • composition information or configuration information indicating temporal, spatial, and adaptive relations between the plurality of MMT packages configuration information may exist inside one MMT package or outside the MMT package.
  • some of the content components are transmitted through a broadcast network and the remaining parts of the content components are transmitted through a broadband network.
  • a broadband network For example, in the case of a plurality of audio visual streams constituting one multi-view service, one stream may be transmitted to a broadcasting network and the other stream may be transmitted to a broadband network, and each AV stream may be multiplexed and transmitted to a client terminal. Can be individually received and stored.
  • application software such as a widget is transmitted to a broadband network and an AV stream (AV program) is transmitted to an existing broadcasting network.
  • the entire plurality of AV streams may be a single MMT package, and in this case, one of the plurality of streams may be stored in only one client terminal.
  • the storage content becomes part of the MMT package, and the client terminal must rewrite the composition information or configuration information, and the rewritten content becomes a new MMT package independent of the server. .
  • each AV stream may be one MMT package, and in this case, a plurality of MMT packages constitute one content, and storage Storage is recorded in MMT package units and requires composition information or configuration information indicating a relationship between MMT packages.
  • Configuration information or configuration information included in one MMT package may refer to an MMT asset in another MMT package, and may also refer to an outside of an MMT package that refers to the MMT package in an out-band situation. I can express it.
  • the MMT package 160 provides a signaling layer (S layer).
  • the service information is translated into service discovery information, and the MMT control message may include an information table for service discovery.
  • the server dividing the multimedia content into a plurality of segments allocates URL information to a plurality of segments divided into a predetermined number, and stores URL information about each segment in a media information file and transmits the URL information to the client.
  • the media information file may be called various names such as “media presentation description (MPD)” or “manifest file” according to a standardization organization that standardizes HTTP streaming.
  • MPD media presentation description
  • MPD media presentation description
  • FIG. 3 is a conceptual diagram illustrating a structure of a media presentation description (MPD) defined in the DASH standard.
  • MPD media presentation description
  • the media presentation description MPD 300 is composed of at least one period 310-1, 310-2, 310-3,..., Each period including start time information, and a Period element ( The elements are physically sorted in ascending order of start time within the MPD for the duration of Period.
  • Each period may be formed of at least one Adaptive Set although not shown in FIG. 3.
  • the adaptive set consists of at least one representation 312-1, 312-2, ....
  • One adaptive set may include replaceable encoding of at least one media content component.
  • Representations are described as Representation elements, which are included in the Adaptive Set element. It may be one of a full set or a subset of media content components including media content for a predefined period. One representation may consist of at least one segment. 3 illustrates a case where Representation 1 is composed of 20 segments (317-1, 317-2, 317-3, ..., 317-20). Each Representation includes an Initialization Segment, and each Media Segment in the Representation is self-initializing.
  • Each Representation may include segment information 314, and the segment information 314 includes duration and template information.
  • FIG. 4 is a conceptual diagram illustrating an interworking mechanism for supporting DASH content transmission under an MMT protocol.
  • a period information such as duration in MPD and additional information (language, group type, viewpoint property, and multi-view property for grouping in Adaptive Set) are provided. information, etc.) may be described in Configuration Information in the MMT package.
  • the configuration information may include package identification information, composition information, and an information table for service discovery in MMT control information.
  • Composition information 162 includes information about temporal, spatial and adaptive relations within an MMT package.
  • Attributes of Representation such as bandwidth, may be described in MMT asset information 152 including information such as media identification, media type, media size, and the like.
  • the media segment in the DASH standard may include information such as a segment index, a brand type, and a sub-segment index.
  • the media segment information in the DASH standard may include a type of the MPU 140, an identifier of the MFU 130, and an MPU. 140, may be described as additional information of the MFU 130.
  • the MPD information of the DASH may be described in the MMT packet payload.
  • interworking data may be stored by interworking an MPD of DASH, a Service Information Configuration Information Table (SICTT) of a MMT, and an MMT Asset Configuration Information Table (MACIT). That is, the information corresponding to the MPD of the DASH for interworking of the DASH and the MMT as described above may be stored in the configuration information of the MMT and additional information of the MPU and the MFU of the MMT as described above.
  • MPD interworking information For interworking between DASH and MMT, information corresponding to MPD of DASH is defined as MPD interworking information.
  • SICTT and MACIT are illustrated in Tables 1 and 2, and are tables managed by the MMT signaling layer (S layer), and manage service configuration information and MMT asset configuration information, respectively.
  • Table 1 is a Service Information Configuration Information Table (SICTT)
  • Table 2 is an MMT Asset Configuration Information Table (MACIT).
  • the DASH MPD information may be stored in association with SICTT, which is a service configuration information table of Table 1 managed in the MMT signaling layer, and MACIT, which is an MMT asset configuration information table of Table 2, in the SMT. have.
  • FIG. 5 is a conceptual diagram illustrating an interworking scenario of MMT and DASH for transmitting content transmitted through MMT as DASH content in the case of hybrid transmission according to an embodiment of the present invention.
  • FIG. 5 illustrates that an AV stream is transmitted from a server 1 530 through a first network 512 and a broadcast such as a widget or a subtitle from a server 2 540 through a second network 514.
  • MMT and DASH transmit content (or media) transmitted to MMT, for example, UHD resolution content (or media), to DASH content (or media) through hybrid transmission in which additional information is transmitted.
  • the portable client terminal 550 such as the user's own smartphone can be used when viewing the vehicle outside the home or outside the home.
  • two scenarios of the MMT and DASH interworking scenarios may include two scenarios, one using DASH content and one using DASH as MMT content.
  • the first is a scenario of using the DASH content while using the content transmitted to the MMT.
  • the MPD information is transmitted to the portable client terminal (see FIGS. 6 and 8) or the DASH transmission server (see FIG. 7).
  • the second is a scenario in which the content used by DASH is used as the MMT content.
  • the MPD information is transmitted from the portable client terminal to the integrated TV receiver or home media server 510 or the MMT transmission server or service provider. Can be sent to.
  • the content may be transmitted from a content provider server of a service provider to an integrated TV receiver or home media server 510 or an MMT transmission server or a content provider server of a service provider.
  • FIG. 6 is a flowchart illustrating a method for transmitting the content transmitted to the MMT as the DASH content under the interworking scenario of the MMT and the DASH according to an embodiment of the present invention.
  • the home media server 510 requests the MMT media server 650 to transmit MMT media (step 601), and the MMT media server 650 responds to the home media server (MMT media). 510, (step 603).
  • the MMT media is content (or media) transmitted to the MMT, and may be, for example, UHD broadcast content.
  • the home media server 510 is used to include both a home media player or an integrated TV receiver in addition to the home media server.
  • the home media server 510 receives and plays the MMT media (step 605).
  • the home media server 510 When the home media server 510 receives the MPD information request from the portable terminal 550 (step 607), the MPD information is generated by extracting the MPD interworking information (step 609), and then the MPD information is transmitted to the portable terminal 550. (Step 611).
  • the home media server 510 transmits a list of MMT media to the portable terminal 550, and when the user selects a content (media) to play from the list of MMT media, the portable terminal 550 selects the selected MMT media.
  • the MPD information request may be sent to the home media server 510.
  • the portable terminal 550 requests the DASH media to the DASH transmission server 660 and transmits the MPD information (step 615).
  • the DASH media is content (or media) transmitted to DASH.
  • the DASH transmission server 660 transmits the DASH media to the portable terminal 550 using the MPD information, and the portable terminal 550 plays the DASH media (step 617).
  • the portable terminal 550 receives information about the interrupted location of the content (or media) that was watched at home from the home media server 510 to continuously watch from the interrupted position of the content (or media) that was watched at the home. Can be. Alternatively, the portable terminal 550 may select a desired location and play the content (or media) watched at home.
  • the MPD information is generated by the home media server 510 and transmitted to the portable terminal 550.
  • the MPD information may be generated by a separate server outside the home and transmitted to the portable terminal 550. have.
  • the separate server outside the home may be an MPD generation server of FIG. 8 as a server managing MPD interworking information.
  • the server managing the MPD interworking information may be a content providing server of a service provider.
  • the MPD information may be generated by the integrated TV receiver and transmitted directly to the portable terminal.
  • the MPD information may be generated by receiving the MPD interworking information from a portable terminal (see FIG. 7).
  • FIG. 6 illustrates a case in which the MMT media transmission apparatus transmits MPD information to a portable terminal
  • the home such as an integrated TV receiver or a home media server 510 or a content provider server of a service provider is directly transmitted from the portable terminal.
  • the MPD information may be downloaded by accessing an external separate server.
  • FIG. 7 is a flowchart illustrating a method for transmitting the content transmitted to the MMT as the DASH content under the interworking scenario of the MMT and the DASH according to another embodiment of the present invention.
  • the home media server 510 requests the MMT transmission server 650 to transmit MMT media (step 701), and the MMT transmission server 650 responds to the home media server ( 510) (step 703).
  • the MMT media is content (or media) transmitted to the MMT, and may be, for example, UHD broadcast content.
  • the home media server 510 receives and plays the MMT media (step 705).
  • the home media server 510 When the home media server 510 receives the MPD information request from the portable terminal 550 (step 707), the home media server 510 extracts the MPD interworking information and transmits the MPD interworking information to the portable terminal 550 (step 711).
  • the home media server 510 transmits a list of MMT media to the portable terminal 550, and when the user selects a content (media) to play from the list of MMT media, the portable terminal 550 selects the selected MMT media.
  • the MPD information request may be sent to the home media server 510.
  • the portable terminal 550 After step 711, the portable terminal 550 generates MPD information using the received MPD interworking information (step 713).
  • the portable terminal 550 requests the DASH media to the DASH transmission server 660 and transmits MPD information (step 715).
  • the DASH media is content (or media) transmitted to DASH.
  • the DASH transmission server 660 transmits the DASH media to the portable terminal 550 using the MPD information, and the portable terminal 550 plays the DASH media (step 717).
  • the portable terminal 550 receives information about the interrupted location of the content (or media) that was watched at home from the home media server 510 to continuously watch from the interrupted position of the content (or media) that was watched at the home. Can be. Alternatively, the portable terminal 550 may select a desired location and play the content (or media) watched at home.
  • FIG. 8 is a flowchart illustrating a method for transmitting the content transmitted to the MMT as the DASH content under the interworking scenario of the MMT and the DASH according to another embodiment of the present invention.
  • the home media server 510 requests the MMT media server 650 to transmit MMT media (step 801), and the MMT media server 650 responds to the home media server (MMT media). 510) (step 803).
  • the MMT media is content (or media) transmitted to the MMT, and may be, for example, UHD broadcast content.
  • the home media server 510 receives and plays the MMT media (step 805).
  • the home media server 510 When the home media server 510 receives the MPD information request from the portable terminal 550 (step 807), the home media server 510 extracts the MPD interworking information and transmits the MPD interworking information to the portable terminal 550 (step 811).
  • the home media server 510 transmits a list of MMT media to the portable terminal 550, and when the user selects a content (media) to play from the list of MMT media, the portable terminal 550 selects the selected MMT media.
  • the MPD information request may be sent to the home media server 510.
  • the portable terminal 550 transmits the MPD information request and the MPD interworking information to an external server, for example, the MPD generation server 670 (step 813).
  • the external server may be a content providing server or an MPD generation server 670 capable of generating separate MPD information.
  • the MPD generation server 670 generates MPD information using the received MPD interworking information (step 815) and transmits the MPD information to the portable terminal 550 (step 817).
  • the portable terminal 550 requests the DASH media to the DASH transmission server 660 and transmits MPD information (step 819).
  • the DASH media is content (or media) transmitted to DASH.
  • the DASH transmission server 660 transmits the DASH media to the portable terminal 550 using the MPD information (step 821), and plays the DASH media on the portable terminal 550 (step 823).
  • the portable terminal 550 receives information about the interrupted location of the content (or media) that was watched at home from the home media server 510 to continuously watch from the interrupted position of the content (or media) that was watched at the home. Can be. Alternatively, the portable terminal 550 may select a desired location and play the content (or media) watched at home.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

MMT 미디어와 DASH 미디어와의 연동 방법이 개시된다. MMT 미디어와 DASH 미디어와의 연동 방법은 MMT 전송 서버로부터 MMT로 전송된 미디어의 MPD 연동 정보-여기서, 상기 MPD 연동 정보는 DASH와 MMT의 상호 연동을 위하여 DASH의 MPD에 대응되는 정보임-를 홈 미디어 서버에서 추출하여 MPD 정보를 생성하는 단계와, 휴대용 단말이 상기 MPD 정보를 이용하여 DASH 미디어로 재생하도록 상기 MPD 정보를 휴대용 단말로 전송하는 단계를 포함한다.

Description

MMT 미디어와 DASH 미디어와의 연동 방법
본 발명은 MMT 미디어와 DASH 미디어와의 연동 방법에 관한 것이다.
MPEG-2의 표준화 이후, 비디오 압축 표준(또는 오디오 압축 표준)은 과거 10년간 MPEG-4, H.264/AVC, SVC(Scalable Video Coding) 등으로 꾸준히 새로운 표준이 개발되었고 또한 각각의 새로운 표준들은 새로운 시장을 형성하면서 MPEG 표준의 활용 영역을 넓혀왔으나, MPEG-2 TS(Transport System)와 같은 전송 기술의 경우 20년 가까운 세월이 흐르는 동안 변함없이 시장에서 디지털방송, 모바일 방송(T-DMB, DVB-H등)등에 널리 사용되고 있으며, 심지어 표준 제정 당시 고려하지 않았던 인터넷을 통한 멀티미디어 전송, 즉 IPTV 서비스에도 널리 활용되고 있는 상황이다.
그러나, MPEG-2 TS가 개발될 때의 멀티미디어 전송환경과 오늘날의 멀티미디어 전송환경은 큰 변화를 겪고 있다. 예컨대, MPEG-2 TS 표준은 제정 당시 ATM 망을 통해 멀티미디어 데이터를 전송하는 것을 고려하여 개발되었으나, 오늘날 이러한 목적으로 이용되는 사례는 거의 찾아보기 힘들어졌다. 또한, MPEG-2 TS 표준 제정 당시 인터넷을 이용한 멀티미디어 전송 등의 요구사항(requirement)이 고려되지 않아 최근의 인터넷을 통한 멀티미디어 전송에 효율적이지 못한 요소들이 존재한다. 따라서, MPEG에서는 변화하는 멀티미디어 환경에 걸맞는 인터넷에서의 멀티미디어 서비스를 고려한 새로운 멀티미디어 전송 표준인 MMT(MPEG Multimedia Transport Layer)의 제정이 매우 중요한 과제로 인식되고 있다.
이와 같이, MMT 표준화가 진행되는 중요한 이유는 20 년전에 만들어진 MPEG2-TS 표준이 최근 IPTV 방송 서비스, 인터넷 환경등에 최적화되어 있지 않기 때문에 최근 다양한 이종망(Heterogeneous Network)에서의 멀티미디어 전송 환경에 최적화된 멀티미디어 전송 국제 표준의 시급한 필요에 의해 MPEG에서 MMT를 새로운 전송 기술 표준으로서 표준화를 진행하고 있는 것이다.
한편, 최근 이동통신 기술의 발전은 이동통신 단말기의 대중화를 급속히 촉진시켜, 대부분의 일반인들도 핸드폰, PDA, 스마트 폰 등의 이동통신 단말기를 항상 소지하고 다니도록 우리의 생활을 변모시켰다. 이동통신 단말기는 사용자로 하여금 통신망의 접근을 보다 용이하게 하면서 종래의 전통적인 통신 시스템이 가지던 시스템 자원을 효율적으로 배분하게 하는 효과를 가져왔다.
이러한 기술 중에 이동통신 단말기를 가지고 이동 중에도 무선 컨텐츠 통신망을 통해 오디오 컨텐츠 및 비디오 컨텐츠와 같은 멀티미디어 컨텐츠를 실시간으로 전송 받아 재생할 수 있는 스트리밍 서비스가 제공되고 있다. 유선 IPTV에 적용되는 스트리밍 서비스는 멀티미디어 컨텐츠를 RTP(Real-time Transport Protocol)프로토콜 또는 RTP와 MPEG-2가 결합된 형태로 스트리밍 서비스가 제공된다.
하지만, 무선을 사용하여 스트리밍 서비스의 경우, RTP 프로토콜 또는 RTP 프로토콜과 MPEG-2가 결합된 형태로 스트리밍 서비스가 제공되는 경우 문제점이 발생한다. 먼저, RTP 프로토콜은 다중화를 지원하지 않기 때문에 멀티미디어 컨텐츠를 복수개의 패킷으로 나누어 전송할 경우, 복수개의 패킷에 따른 복수개의 포트를 열어야 한다는 문제점이 발생하며, 특히 방화벽이 설치된 지역에서는 RTP를 이용하여 스트리밍 서비스를 정상적으로 제공할 수 없다.
둘째로, RTP는 UDP 프로토콜 상에서 동작하게 되며, 무선 인터넷 상에서 UDP는 멀티미디어 컨텐츠를 복수개의 패킷으로 분할하여 수신측으로 전송한 후, 전송된 패킷들이 올바른 순서로 수신측에 도착했는지 확인하지 않는다. 이와 같은 이유로, 패킷의 손실이 발생될 수 있으며, 또한 패킷의 손실이 발생된 경우 손실된 컨텐츠패킷을수신측으로 재전송 하지 않기 때문에 컨텐츠의 손실을 가져올 수 있다.
따라서, 스마트폰과 같은 이동통신 단말기에는 TCP 프로토콜 위에서 동작하는 HTTP(Hyper Text Protocol)를 사용하여 스트리밍 서비스를 제공하는 방식이 통상적으로 이용된다. 이를 일반적으로 ‘HTTP 스트리밍(HTTP streaming)’으로 통칭하고 있다.
일반적으로 HTTP는 하이퍼 텍스트와 같은 텍스트 및 이미지를 전송하는데 사용되는 프로토콜이기 때문에, 스마트폰과 같은 이동통신 단말기에서 HTTP를 사용하여 멀티미디어 컨텐츠스트리밍 서비스를 제공하는 경우, 멀티미디어 컨텐츠의 용량이 크기 때문에, 실시간으로 스트리밍 서비스를 제공할 수 없다는 문제점이 있다.
스마트폰과 같은 이동통신 단말기에서 MPEG 미디어의 스트리밍 서비스를제공하기 위하여 DASH(Dynamic Adaptive Streaming over HTTP) 표준화가 거의 완료되었다.
DASH 표준화는스마트폰과 같은 이동통신 단말기에서 MPEG 미디어의 스트리밍 서비스를 제공하기 위한 것이며, MMT 표준화는 하이브리드 전송과 같은 동적 네트워크 환경하에서 향상된 미디어(예를 들어 UHD급 이상의 해상도를 가진 미디어)의 전송 서비스를 제공하기 위한 것이다.
MMT 응용 예(use case)들 중 일부 응용예는 MPEG 미디어를 전송하기 위하여 DASH 표준에 의해서도 지원될 필요가 있다.
(선행기술문헌)
(특허문헌)
(특허문헌 1) 한국 공개 특허 제 10-2011-0105710 호 ("복수의 챕터를 포함하는 콘텐트를 적응적으로 스트리밍하는 방법 및 장치", 삼성전자(주), 2011.09.27 공개)
특히, HTTP상에서 하이브리드 전송(Hybrid delivery over HTTP)을 지원하기 위하여 MMT에서 현재의 DASH 표준을 채택할 필요가 있다.
본 발명의 목적은 MMT 미디어와 DASH 미디어와의 연동을 수행하기 위한 MMT 미디어와 DASH 미디어와의 연동 방법을 제공하는 것이다.
전술한 본 발명의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 MMT 미디어와 DASH 미디어와의 연동 방법은 MMT 전송 서버로부터 MMT로 전송된 미디어의 MPD 연동 정보-여기서, 상기 MPD 연동 정보는 DASH와 MMT의 상호 연동을 위하여 DASH의 MPD에 대응되는 정보임-를 홈 미디어 서버에서 추출하여 MPD 정보를 생성하는 단계와, 휴대용 단말이 상기 MPD 정보를 이용하여 DASH 미디어로 재생하도록 상기 MPD 정보를 휴대용 단말로 전송하는 단계를 포함한다. 상기 MPD 연동 정보는 MMT 시그널링 계층 (S layer)에서 관리하는 서비스 컨피규레이션 정보 테이블인 SICTT(Service Information Configuration Information Table) 및 MMT 애셋 컨피규레이션 정보 테이블인 MACIT(MMT Asset Configuration Information table)에 연동시켜 저장될 수 있다.
본 발명의 다른 실시예에 따른 MMT 미디어와 DASH 미디어와의 연동 방법은 휴대용 단말기가 홈 미디어 재생 장치에서 추출된 MMT로 전송된 미디어의 MPD 연동 정보-여기서, 상기 MPD 연동 정보는 DASH와 MMT의 상호 연동을 위하여 DASH의 MPD에 대응되는 정보임-를 수신하는 단계와, 상기 휴대용 단말기가 상기 MPD 연동 정보를 이용하여 MPD 정보를 생성하는 단계와, 상기 휴대용 단말기가 상기 MPD 정보를 이용하여 DASH 미디어로 재생하는 단계를 포함한다.
본발명의 또 다른 실시예에 따른 MMT 미디어와 DASH 미디어와의 연동 방법은 휴대용 단말기가 홈 미디어 재생 장치에서 추출된 MMT로 전송된 미디어의 MPD 연동 정보-여기서, 상기 MPD 연동 정보는 DASH와 MMT의 상호 연동을 위하여 DASH의 MPD에 대응되는 정보임-를 수신하는 단계; 및 상기 휴대용 단말은 수신된 상기 MPD 연동 정보를 외부 서버로 전송하는 단계와, 상기 외부 서버는 상기 MPD 연동 정보를 이용하여 MPD 정보를 생성하여 상기 생성된 MPD 정보를 상기 휴대용 단말로 전송하는 단계와, 상기 휴대용 단말은 상기 MPD 정보를 이용하여 DASH 미디어로 재생하는 단계를 포함한다.
상술한 바와 같은 MMT 미디어와 DASH 미디어와의 연동 방법에 따르면, MMT 미디어와 DASH 미디어와의 연동 관계를 나타내는 MPD 연동 정보를 MMT 시그널링 계층 (S layer)에서 관리하는 서비스 컨피규레이션 정보 테이블인 SICTT(Service Information Configuration Information Table) 및 MMT 애셋 컨피규레이션 정보 테이블인 MACIT(MMT Asset Configuration Information table)에 연동시켜 저장함으로써, MMT 미디어와 DASH 미디어와의 연동되는 시나리오에서 MMT 미디어와 DASH 미디어와의 연동을 수행할 수 있다.
도 1은 본 발명의 일실시예에 따른 MMT 계층 구조를 나타낸 개념도이다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
도 3은 DASH 표준에서 규정하고 있는 미디어 표현 기술(MPD: Media Presentation Description)의 구조를 나타낸 개념도이다.
도 4는 MMT 프로토콜하에서 DASH 컨텐츠 전송을 지원하기 위한 인터워킹 메커니즘을 설명하기 위한 개념도이다.
도 5는 본 발명의 일실시예에 따른 하이브리드 전송의 경우 MMT로 전송된 컨텐츠를 DASH 컨텐츠로 전송하는 MMT와 DASH의 연동 시나리오를 설명하기 위한 개념도이다.
도 6은 본 발명의 일실시예에 따른 MMT와 DASH의 연동 시나리오하에서 MMT로 전송된 컨텐츠를 DASH 컨텐츠로 전송하기 위한 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 MMT와 DASH의 연동 시나리오하에서 MMT로 전송된 컨텐츠를 DASH 컨텐츠로 전송하기 위한 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 또 다른 실시예에 따른 MMT와 DASH의 연동 시나리오하에서MMT로 전송된 컨텐츠를 DASH 컨텐츠로 전송하기 위한 방법을 설명하기 위한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
이하, 용어의 의미를 다음과 같이 정의한다.
비-시간 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 비-시간 데이터는 데이터가 실행되거나 시작될 수 있는 시간 범위를 가질 수 있다.
시간 데이터(timed data)는 디코딩 및 프리젠테이션 되는 특정한 시간과 연관된 데이터 요소를 정의한다.
표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다.
서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다.
서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.
엑세스 유닛(Access Unit; AU)은 가장 작은 데이터 개체로, 시간 정보를 속성으로 가질 수 있다. 디코딩 및 프리젠테이션을 위한 시간 정보가 지정되지 않은 부호화된 미디어 데이터가 관련되면, AU는 정의되지 않는다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)는 어떠한 특정 코덱에도 독립된 일반적인 컨테이너로, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다. 이는 엑세스 유닛(AU)보다 작거나 같은 크기를 가지고 트랜스포트 계층(Transport layer)에서 사용될 수 있는 정보를 수용한다.
미디어 프로세싱 유닛(Media Processing Unit)은 어떠한 특정 미디어 코덱에도 독립된 일반적인 컨테이너로, 적어도 하나의 AU 및 추가적인 전송 및 소비에 관련된 정보를 수용한다. 비-시간적 데이터를 위하여, MPU는 AU 범위에 속하지 않는 데이터의 부분을 수용한다. MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터이다. 이러한 맥락에서 처리는 전송을 위한 MMT 패키지로의 인캡슐레이션 또는 패킷화를 의미한다.
MMT 애셋(MMT Asset)은 동일한 MMT 애셋 ID와 함께 적어도 하나의 MPU로 구성되거나 또는 다른 표준에서 정의된 형식과 함께 특정 데이터 덩어리로 구성되는 논리적 데이터 개체이다. MMT 애셋은 동일한 컴포지션 정보 및 전송 특성이 적용되는 가장 큰 데이터 유닛이다.
MMT 애셋 전송 특성(MMT Asset Delivery Characteristics; MMT-ADC)은 MMT 애셋을 전송하기 위한 QoS 요구에 관련된 서술이다. MMT-ADC는 특정 전송 환경을 알 수 없게 표현된다.
MMT 컴포지션 정보(MMT Composition Information ; MMT CI)는 MMT 애셋간의 공간적 및 시간적 관계를 설명한다.
MMT 패키지(MMT Package)는 논리적으로 구조화된 데이터의 모음으로, 적어도 하나의 MMT 애셋, MMT-컴포지션 정보, MMT-애셋 전송 특성 및 설명적인 정보로 구성된다.
MMT 패킷(MMT packet)은 MMT 프로토콜에 의해 생성 또는 소비되는 데이터의 포맷이다.
MMT 페이로드 포맷(MMT payload format)은 MMT 프로토콜 또는 인터넷 응용 계층 프로토콜(예를들면, RTP)에 의해 전달될 MMT 패키지 또는 MMT 시그널링 메시지의 페이로드를 위한 포맷이다.
컨텐츠 콤포넌트(content component) 또는 미디어 콤포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다.
컨텐츠(content)는 컨텐츠 콤포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다.
하이브리드 전송(hybrid delievery)은 하나 또는 하나 이상의 컨텐츠 컴포넌트들이 하나 이상의 물리적으로 서로 다른 형태의 망(network)을 통하여 동시에 전송되는 것으로 정의한다.
이하에서, 제 1 망(network) 또는 제 2 망(network)은 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크를 포함한다.
이하, 하이브리드 전송시 MMT 애셋 단위, 서브스트림 단위, MMT 패키지 단위 또는 MMT 패킷 단위 로 전송될수도 있고 또한 비디오 컨텐츠가 제1 레이어, 제2 레이어와 같이 복수의 레이어로 구성된 경우 레이어 단위로 하이브리드 전송할 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시 예에 따른 MMT 계층 구조를 나타낸 개념도이다.
도 1을 참조하면, MMT(Mpeg Media Transport) 계층 구조는 인캡슐레이션 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 시그널링 계층(Signaling layer)의 기능 영역(functional area)을 포함한다. MMT 계층은 트랜스포트 계층(Transport layer) 상에서 동작한다.
인캡슐레이션 계층(Encapsulation layer; E-layer)은 미디어 컨텐츠, MMT 패키지, 그리고 MMT를 준수하는 개체에 의해 처리될 데이터 유닛들의 포맷의 논리적 구조를 정의한다. 적응적 전송을 위해 필수적인 정보를 제공하기 위해 MMT 패키지는 미디어 컨텐츠를 포함하는 컴포넌트들 및 그들간의 관계를 명시한다. 데이터 유닛들의 포맷은 전송 프로토콜의 페이로드로 저장 또는 전송되도록, 그리고 그들 사이에서 쉽게 변환 되도록 부호화된 미디어를 인캡슐레이션 하기 위해 정의된다.
인캡슐레이션 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다.
다양한 종류의 멀티미디어 컴포넌트들이 인캡슐레이션 계층(E-layer)에서 제공되는 기능에 의하여 전송 및 소비되기 위하여 인캡슐레이션되고 서로 합해질 수 있다. 인캡슐레이션된 미디어 컴포넌트 및 미디어 컴포넌트들의 컨피규레이션(configurations) 정보는 인캡슐레이션 계층(E-layer)의 기능 영역에서 제공된다.
인캡슐레이션된 미디어 컴포넌트들에 대한 주된 정보는 통합(aggregation), 우선순위(prioritization), 미디어 프래그먼트의 의존성, MPU의 타이밍 정보 및 구조 정보, MMT 애셋(150)의 식별 정보, 초기화 정보 및 코덱 정보를 포함할 수 있다. 미디어 컴포넌트들의 컨피규레이션(configurations) 정보는 MMT 패키지(160) 및 MMT 애셋(150)의 식별 정보, MMT 애셋(150)의 리스트를 가지는 컨피규레이션 정보, MMT 패키지(160)내의 MMT 애셋(150)들의 컴포지션 정보(composition information)(162) 및 전달 특성(delivery characteristics) 정보(164)를 포함할 수 있다.
인캡슐레이션 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다.
E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)를 인캡슐레이션하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다.
상위 계층으로부터의 부호화된 미디어 데이터는 MFU로 인캡슐레이션된다. 부호화된 미디어의 타입 및 값은 MFU를 특정 코덱 기술에 일반적으로 사용될 수 있도록 추상화된다. 이는 하위 계층이 인캡슐레이션된 부호화된 미디어에 접근없이 MFU를 처리할 수 있게 하며 하위 계층은 요구되는 부호화된 미디어 데이터를 네트워크나 저장소의 버퍼로부터 불러오고 미디어 디코더로 전송한다. MFU는 상기 작동을 수행하기 위한 충분한 정보 미디어 부분 유닛을 가지고 있다.
MFU는 임의의 특정 코덱(codec)에 독립적이고 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는 포맷을 가질 수 있다. MFU는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
독립적으로 전송가능하고 디코딩할 수 있는 하나 또는 한개 그룹의 복수의 MFU는 MPU를 생성한다. 독립적으로 전송가능하고 실행가능한 비-시간적 미디어 또한 MPU를 생성한다. MPU는 MFU의 배열 및 패턴과 같은 내부 구조를 기술하여 MFU에의 빠른 접근 및 부분적 소비를 가능하게 한다.
E.2 계층은 E.3계층에서 생성된 MPU를 인캡슐레이션하여 MMT 애셋(MMT Asset)을 생성한다.
동일한 소스 컴포넌트로부터의 MPU의 시퀀스는 MMT 애셋을 생성한다. MMT 애셋은 MMT 패키지에 의해 패키지되고, 컴포지션 정보(Composition Information; CI), 전송 특성(Transport Characteristics; TC)에 의해 다른 것과 구성되며, MMT 페이로드 포맷에 의해 다른 것과 다중화되고, MMT 프로토콜에 의해 전송된다.
MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 MPU로 이루어진 데이터 엔티티(data entity)로서, 컴포지션 정보(Composition Information; CI) 및 전송 특성(Transport Characteristics; TC)이 정의된 데이터 유닛이다. MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream)등에 대응될 수 있다.
E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 인캡슐레이션하여 MMT 패키지(MMT Package)를 생성한다.
MMT 애셋은 다른 기능적 영역-트랜스포트 영역 및 시그널 영역-과 함께 또는 별도로 동일한 사용자 경험의 추후의 응답을 위해 MMT 콤포지션 정보(MMT-composition information;MMT-CI)와 패키지된다. 상기 MMT 패키지 또한 MMT 애셋의 체감 품질을 충족시키도록 각각의 MMT 애셋을 위한 적절한 전송 방법을 선정하는 전송 특성과 함께 패키지된다.
MMT 패키지는 콤포지션 정보(Composition Information; CI) 및 전송 특성(Transport Characteristics; TC)과 같은 부가 정보와 함께 하나 또는 복수의 MMT 애셋으로 구성될 수 있다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다.
콤포지션 정보(Composition Information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다.
전송 특성(Transport Characteristics)은 MMT 애셋 또는 MMT 패킷의 전달 조건(delivery condition)을 결정하기 위해 필요한 전송 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.
전달 계층(Delivery layer; D-layer)은 페이로드의 응용 계층 프로토콜 및 포맷을 정의한다. 페이로드 포맷은 미디어 타입 또는 인코딩 방법을 불문하고 부호화된 미디어 데이터를 전달하도록 정의된다.
전달 계층(Delivery layer; D-layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(Network flow multiplexing), 네트워크 패킷화(Network packetization), QoS 제어 등을 수행할 수 있다.
전달 계층 (D-layer)은 트랜스포트 계층(Transport layer)과 인캡슐레이션 계층(E-layer) 사이에서, 네트워크를 통해 전송되는 비디오, 오디오등과 같은 미디어(Media)의 다중화(multiplexing), 패킷 레벨의 통합(aggregation) 및/또는 분할(Fragmentation), 네트워크 패킷화(Network packetization), QoS 제어, 동기화(Synchronization) 기능, 기존의 RTP와 같은 트랜스포트 계층(Transport layer), 기존의 UDP, TCP와 같은 트랜스포트 계층(Transport layer), 인캡슐레이션 계층(E-layer), 시그널링 계층 (S layer)과의 인터페이스 등을 담당한다.
전달 계층 (D-layer)은 인캡슐레이션 계층(E-layer)으로부터의 페이로드(payloads)를 핸들링하기 위하여 인캡슐레이션 계층(E-layer)으로부터의 넘어온 서로 다른 타입의 페이로드를 식별한다.
전달 계층 (D-layer)은 서로 다른 망과 서로 다른 채널을 통하여 전달되는 패킷들간의 임시적인 관계(temporal relation)를 다룰 수 있다. 상기 동기화(Synchronization) 기능은 타임스탬프등을 이용한 하이브리드망 동기화를 포함할 수 있다.
전달 계층 (D-layer)은 실시간 미디어 전송을 위해 MMT 전달패킷(MMT delivery packets)의 타이밍 제약(timing constraints)을 다룰 수 있다.
전달 계층 (D-layer)은 전방향 에러 보정(Forward Error Correction) 및 재전송과 같은 MMT 미디어 패킷의 에러 제어를 수행할 수 있다.
전달 계층 (D-layer)은 MMT 미디어 패킷의 흐름 제어를 수행할 수 있다.
전달 계층 (D-layer)은 MMT 미디어패킷의 전달을 위한 소정 레벨의 QoS를 유지하기 위하여 크로스 레이어 디자인(Cross-layer design)을 통하여 하위 계층(MAC, PHY) 뿐만 아니라 다른 MMT 계층과의 인터랙션(interaction)을 수행할 수 있다.
또한, 전달 계층 (D-layer)은 그룹 통신을 수행하기 위한 기능을 제공할 수 있다.
전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다.
D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성한다. MMT 페이로드 포맷은 MMT 애셋을 전송하고, MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.
D.2 계층(D.2-layer)은 D.1 계층에서 생성된 MMT 페이로드 포맷을 받아서 MMT 트랜스포트 패킷(MMT Transport Packet) 또는 MMT 패킷(MMT Packet)를 생성한다. MMT 트랜스포트 패킷 또는 MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다.
D.3 계층(D.3-layer)은 크로스-레이어 디자인(cross-layer Design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공함으로써 QoS를 지원한다. 예를 들어, D.3 계층은 MAC/PHY 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다. MAC/PHY의 QoS파라미터는 예를 들어, 비트율(bitrate), 패킷손실율(packet loss ratio), 예측된 지연(expected delay), 이용 가능한 버퍼 크기 등이 될 수 있다.
시그널링 계층(Signaling layer; S layer)은 시그널링 기능(signaling function)을 수행한다. 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 및 다른 계층, 즉 전달 계층(D-layer) 및 인캡슐레이션 계층(E-layer)과의 인터페이스 기능 등을 위한 시그널링 기능을 수행할 수 있다. 상기 동기화는 하이브리드망에서의 동기화 제어를 포함할 수 있다.
시그널링 계층은 MMT 패키지의 전달 및 소비를 관리하는 메시지의 포맷을 정의한다. 소비 관리를 위한 메시지는 MMT 패키지의 구조를 전송하기 위해 사용되고, 전달 관리를 위한 메시지는 페이로드 포맷의 구조 및 프로토콜의 구성을 전송하기 위해 사용된다.
시그널링 계층 (S layer)은, 도 1에 도시된 바와 같이, MMT S.1 계층(MMT S.1 Layer) 및 MMT S.2 계층(MMT S.2 Layer)으로 구성될 수 있다.
S.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 인캡슐레이션(E) 계층과의 인터페이스 기능 등을 수행할 수 있다. S.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다. 상기 표현 세션 관리는 미디어 표현, 세션 관리, 미디어 소비에 요구되는 정보 제공을 위하여 애플리케이션간에 교환된 제어 메시지의 포맷을 정의할 수 있다.
S.2 계층은 전달 세션 관리(delivery session management)를 수행할 수 있다. 상기 전달 세션 관리는 흐름 제어(flow control), 전달 세션 관리(delivery session management), 전달 세션 모니터링(delivery session monitoring), 에러 제어(error control), 하이브리드망 동기화 제어(Hybrid network synchronization control)에 관한 전달 계층(D-layer)의 전달 엔드-포인트들(delivery end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다.
S.2 계층은 전달 계층의 동작을 지원하기 위하여 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 관리(전달 세션 모니터링, 흐름 제어, 에러 제어 등), 설정된 전달 세션에 대한 리소스 예약, 복합 전달 환경하에서의 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 즉, S.2 계층은 전술한 바와 같은 전달 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 또한, S.2 계층은 전달 계층 및 인캡슐레이션 계층과의 인터페이스 기능을 담당할 수 있다.
제어 메시지(control message; 또는 제어 정보(control information))는 시그널링 계층 (S layer)에서 생성되어 방송망 및/또는 광대역망을 통하여 전송될 수 있다.
방송망 및 광대역망 모두를 통하여 전송되는 경우, 방송망을 통하여 전송되는 제어 메시지의 기능은 광대역망을 통하여 전송되는 제어 메시지의 기능과 동일할 수 있다. 애플리케이션 및 전송(delivery)의 종류에 따라서 제어 메시지의 신택스(syntax) 및 포맷(format)은 달라질 수 있다. 예를 들어, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)과 동일한 공통 포맷(common format)이 방송망 및 광대역 망 각각으로 전송되는 제어 메시지에 사용될 수 있다. 또는, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)가 방송망 및 광대역망 각각마다 서로 다른 포맷(different format)으로 전송될 수도 있다. 또는, 하이브리드 전송의 경우, 방송망 및 광대역망 각각마다 서로 다른 제어 정보(different control information)와 서로 다른 포맷(different format)으로 전송될 수도 있다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)은 MFU의 범위에서 적응적인 전송을 수행하기 위해 트랜스포트 계층에서 AU의 부분을 인캡슐레이션하는 형식을 정의한다. MFU는 AU의 부분이 독립적으로 디코드되거나 폐기될 수 있도록 부호화된 미디어의 일정한 형식을 전송하는데 사용될 수 있다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)는 부호화된 미디어 분할 데이터(coded media fragment data, 132)와 MFUH(Media Fragment Unit Header)(134)로 이루어진다. 미디어 프래그먼트 유닛(130)은 특정 코덱(codec)에 독립적으로 일반 컨테이너 포맷(general container format)을 가지며 미디어 디코더에서 독립적으로 소비될 수 있는 가장 작은 데이터 유닛을 싣는다. MFUH(134)는 미디어 특성-예를 들어 유실 허용한계(loss-tolerance)-과 같은 부가 정보를 포함할 수 있다. MFU(130)는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
MFU는 다른 MFU들로부터 하나의 MFU를 구별하기 위한 식별자를 가지고, 단일 AU내의 MFU들 사이의 일반적인 관계 정보를 가진다. 단일 AU에서의 MFU 사이의 의존 관계가 설명되고, MFU의 관련 우선순위가 그러한 정보들의 부분으로 설명된다. 상기 정보는 하위 트랜스포트 계층에서 전송을 다루는데 사용될 수 있다. 예를 들면, 트랜스포트 계층은 불충분한 대역폭에서의 QoS 전송을 지원하도록, 폐기해도 되는 MFU들의 전송을 생략할 수 있다.
MPU는 복수의 미디어 프래그먼트 유닛(130)을 포함하는 미디어 프래그먼트 유닛의 집합이다. MPU는 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가지며 액세스 유닛(Access Unit)과 등가의 미디어 데이터를 포함한다. MPU는 시간 데이터 유닛(timed data unit) 또는 비-시간 데이터 유닛(non-timed data unit) 을 가질 수 있다. MPU는 미디어 프래그먼트 유닛 데이터(media fragment unit data)와 동기화를 위한 타임 스탬프와 같은 부가 정보를 가지는 미디어 프로세싱 유닛 헤더(Media Processing Unit Header; MPUH)를 포함할 수 있다.
MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 데이터이고, 처리는 인캡슐레이션 및 패킷화를 포함한다. MPU는 적어도 하나의 MFU로 구성되거나 다른 표준에 의해 정의된 포맷을 가진 데이터의 부분을 가질 수 있다.
단일 MPU는 적어도 하나의 AU의 정수(integral number) 또는 비-시간 데이터를 수용할 수 있다. 시간 데이터를 위하여, AU는 적어도 하나의 MFU로부터 전달될 수 있으나, 하나의 AU는 다수의 MPU로 분할될 수 없다. 비-시간 데이터에서, 하나의 MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 비-시간 데이터의 부분을 수용한다.
MPU는 시퀀스번호 및 이를 다른 MPU와 구분하여주는 연관된 애셋 ID로 MMT 패키지 내에서 유일하게 식별될 수 있다.
MPU는 적어도 하나의 임의 접근점(Random access point)을 가진다. MPU 페이로드의 첫 바이트는 항상 임의 접근점으로 시작할 수 있다. 시간 데이터에서, 상기 사실은 MPU 페이로드에서 첫 MFU의 디코딩 순서는 항상 0임을 의미한다. 시간 데이터에서, 각 AU의 프리젠테이션 기간 및 디코딩 순서는 프리젠테이션 시간을 알리기 위해 보내질 수 있다. MPU는 자신의 초기 프리젠테이션 시간을 가지고 있지 않고, 하나의 MPU의 첫 AU의 프리젠테이션 시간은 컴포지션 정보에 기술되어 있을 수 있다. 컴포지션 정보는 MPU의 첫 프리젠테이션 시간을 명시할 수 있다.
MMT 애셋(150)은 복수의 MPU 들로 이루어진 MPU의 집합이다. MMT 애셋(150)은 단일의 데이터 소스로부터의 다수의 MPU(시간(timed) 또는 비-시간(non-timed) 데이터)로 이루어진 데이터 엔티티로서, MMT 애셋 정보(152)는 애셋 패키징 메타데이터(Asset packaging metadata) 및 데이터 타입과 같은 부가 정보를 포함할 수 있다. MMT 애셋(150)은 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 FF(File Format), PES(packetized elementary streams), M2TS(MPEG transport stream)등을 포함할 수 있다.
또한 MMT 애셋은 부호화된 미디어 데이터를 가지는 논리적 데이터 개체일 수 있다. MMT 애셋은 MMT 애셋 헤더 및 부호화된 미디어 데이터를 가진다. 부호화된 미디어 데이터는 같은 MMT 애셋 아이디로 집단적으로 참조되는 MPU들의 그룹일 수 있다. MMT 클라이언트와 직접 관련되는 개체로 각각 소비되는 타입의 데이터는 분리된 MMT 애셋일 수 있다. 그러한 데이터 타입들의 예로 MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG 파일 들을 들 수 있다.
MMT 애셋의 부호화된 미디어는 시간 데이터 또는 비-시간 데이터 일 수 있다. 시간 데이터는 지정된 시간에 특정 데이터의 동기화된 디코딩 및 프리젠테이션이 요구되는 시청각 미디어 데이터이다. 비-시간 데이터는 서비스의 제공 또는 사용자 상호작용에 따라 임의의 시간에 디코딩되고 제공될 수 있는 데이터 타입의 데이터이다.
서비스 제공자(service provider)는 MMT 애셋들을 통합하여 MMT 애셋들을 공간-시간축상에 두고 멀티미디어 서비스를 생성할 수 있다.
MMT 패키지(160)는 하나 또는 하나 이상의 MMT 애셋(150)을 포함하는 MMT 애셋의 집합이다. MMT 패키지 내의 MMT 애셋들은 다중화되거나 또는 사슬같이 연결(concatenated)될 수 있다.
MMT 패키지는 MMT 애셋 및 컨피규레이션 정보를 위한 컨테이너 포맷이다. MMT 패키지는 MMT 프로그램을 위한 MMT 애셋 및 컨피규레이션 정보의 저장소를 제공한다.
MMT 프로그램 제공자는 부호화된 데이터를 MMT 애셋으로 인캡슐레이션하고 MMT 애셋과 그들의 전송 특성의 시간적 및 공간적 레이아웃을 설명하는 것으로 컨피규레이션 정보를 생성한다. MU 및 MMT 애셋은 D.1 페이로드 포맷으로 직접적으로 전송될 수 있다. 컨피규레이션 정보는 S.1 프리젠테이션 세션 관리 메시지에 의해 전송될 수 있다. 그러나 MMT 프로그램의 릴레이 또는 추후의 재사용을 허용하는 MMT 프로그램 제공자 및 클라이언트는 MMT 패키지 포맷으로 이를 저장한다.
MMT 패키지를 파싱하는데 있어, MMT 프로그램 제공자는 MMT 애셋이 클라이언트에게 어떤 전송 경로(예를들면, 브로드캐스트 또는 브로드밴드)로 제공될지를 결정한다. MMT 패키지에서의 컨피규레이션 정보는 전송 관련 정보와 함께 S.1 프리젠테이션 세션 관리 메시지로 전송된다.
클라이언트는 S.1 프리젠테이션 세션 관리 메시지를 수신하여 어떤 MMT 프로그램이 가능하고 어떻게 해당되는 MMT 프로그램을 위한 MMT 애셋을 수신하는지를 알게된다.
MMT 패키지는 D.1페이로드 포맷에 의해 또한 전송될 수 있다. MMT 패키지는 D.1 페이로드 포맷으로 패킷화 되고 전달된다. 클라이언트는 패킷화된 MMT 패키지를 수신하고 이의 전부 또는 일부를 구성하고, 여기서 MMT 프로그램을 소비한다.
MMT 패키지(160)의 패키지 정보(package information)(165)는 컨피규레이션 정보(Configuration Information)를 포함할 수 있다. 컨피규레이션 정보(Configuration Information)는 MMT 애셋들의 리스트, 패키지 식별 정보(package identification information), 콤포지션 정보(composition information)(162) 및 전송 특성(transport characteristics)(164)와 같은 부가 정보를 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 애셋(150)들 사이의 관계(relationship)에 대한 정보를 포함한다.
또한, 콤포지션 정보(composition information)(162)는 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함할 수 있다.
MMT 패키지의 전송 및 프리젠테이션을 돕는 정보와 같이, MMT에서의 컴포지션 정보(Composition Information)는 MMT 패키지 내의 MMT 애셋 사이의 공간적 및 시간적 관계에 대한 정보를 제공한다.
MMT-CI는 HTML5를 확장하여 그러한 정보를 제공하는 설명적인 언어이다. HTML5가 텍스트 기반 컨텐츠의 페이지기반 프리젠테이션을 설명하도록 설계되었다면, MMT-CI는 주로 소스들간의 공간적인 관계를 표현한다. MMT 애셋들 간의 시간적 관계를 알려주는 표현을 지원하기 위하여, 프리젠테이션 리소스와 같이 MMT 패키지에 있는 MMT 애셋에 관련된 정보, MMT 애셋의 전송 및 소비 순서를 결정하는 시간 정보 및 HTML5에서 다양한 MMT 애셋을 소비하는 미디어 요소들의 추가적인 속성을 가지도록 확장될 수 있다.
전송 특성(transport characteristics) 정보(164)는 전송 특성에 대한 정보를 포함하며, 각각의 MMT 애셋(또는 MMT 패킷)의 전달 조건(delivery condition)을 결정하기 위해 필요한 정보를 제공할 수 있다. 전송 특성 정보는 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.
트래픽 기술 파라미터는 미디어 프래그먼트 유닛(MFU)(130) 또는 MPU에 대한 비트율(bitrate) 정보, 우선 순위(priority) 정보등을 포함할 수 있다. 비트율 정보는 예를 들어 MMT 애셋이 가변 비트율(Variable BitRate; VBR) 또는 고정 비트율(Constant BitRate; CBR)인지 여부에 대한 정보, 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대해 보장된 비트율(guaranteed bitrate), 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대한 최대 비트율을 포함할 수 있다. 상기 트래픽 기술 파라미터는 전달 경로상의 서버, 클라이언트, 기타 다른 구성요소들 간에 리소스 예약(resource reservation)을 위해 사용될 수 있으며, 예를 들어 MMT 애셋내의 미디어 프래그먼트 유닛(MFU)(또는 MPU)의 최대 크기 정보를 포함할 수 있다. 상기 트래픽 기술 파라미터는 주기적 또는 비주기적으로 업데이트될 수 있다.
QoS 기술자는 QoS 제어를 위한 정보를 포함하며, 예를 들어 지연(delay) 정보 및 손실 정보(loss information)를 포함할 수 있다. 손실 정보는 예를 들어 MMT 애셋의 전달 손실(delivery loss)이 허용되는지 않되는지에 대한 손실 지시자(loss indicator)를 포함할 수 있다. 예를 들어 손실 지시자가 ‘1’인 경우 ‘lossless’를 나타내고, ‘0’인 경우에는 ‘lossy’를 나타낼 수 있다. 지연(delay) 정보는 MMT 애셋의 전송 지연의 민감도를 구분하는데 사용되는 지연 지시자(delay indicator)를 포함할 수 있다. 지연 지시자는 MMT 애셋의 타입이 대화(conversation), 인터랙티브(interactive), 실시간(real time) 및 비실시간(non-realtime) 인지 여부를 지시할 수 있다.
하나의 컨텐츠(content)는 하나의 MMT 패키지로 이루어질 수 있다. 또는 하나의 컨텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다.
하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 시간적(temporal), 공간적(spatial), 적응적(adaptive) 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 컨피규레이션 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다.
예를 들어 하이브리드 전달(hybrid delivery)의 경우 컨텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 컨텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어 하나의 멀티뷰 서비스를 구성하는 복수의 AV 스트림(audiovisual stream)의 경우 하나의 스트림은 방송망으로 전송되고 다른 스트림은 광대역망으로 전송될 수 있으며, 각각의 AV 스트림은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다. 또는 예를 들어 위젯(widget)과 같은 애플리케이션 소프트웨어는 광대역망으로 전송되고, AV 스트림(AV 프로그램)은 기존 방송망으로 전달되는 시나리오도 존재할 수 있다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 복수의 AV 스트림 전체가 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 스트림 중의 하나는 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 컨텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 컨피규레이션 정보(configuration information)를 재기록 해야하고, 재기록 된 컨텐츠는 서버와 무관한 새로운 MMT 패키지가 된다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 각각의 AV 스트림이 하나의 MMT 패키지로도 될 수 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 컨텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 컨피규레이션 정보가 필요하다.
하나의 MMT 패키지내에 포함된 컴포지션 정보 또는 컨피규레이션 정보(configuration information)는 다른 MMT 패키지내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다.
한편, 서비스 제공자(service provider)에 의해 제공된 MMT 애셋(160)들의 리스트 및 MMT 패키지(160)의 전달을 위해 가능한 경로를 클라이언트 단말에게 알려주기 위하여 MMT 패키지(160)는 시그널링 계층 (S layer)을 통하여 서비스 디스커버리 정보(Service discovery information)로 번역되어 MMT 제어 메시지에는 서비스 디스커버리를 위한 정보 테이블을 포함할 수 있다.
멀티미디어 컨텐츠를 복수개의 세그먼트로 분할한 서버는 소정의 개수로 분할된 복수개의 세그먼트들에 URL 정보를 할당하고, 각각의 세그먼트들에 대한 URL 정보를 미디어 정보 파일에 저장하여 클라이언트로 전송한다.
상기 미디어 정보 파일은 HTTP 스트리밍을 표준화하는 표준화 기구에 따라서‘미디어 표현 기술(MPD: Media Presentation Description)’ 또는 ‘매니페스트 파일(Manifest file)’등의 다양한 명칭으로 불리어 질 수 있다. 이하에서는 상기 미디어 정보 파일은 미디어 표현 기술(MPD)로 지칭하고 설명한다.
도 3은 DASH 표준에서 규정하고 있는 미디어 표현 기술(MPD: Media Presentation Description)의 구조를 나타낸 개념도이다.
미디어 표현 기술(MPD, 300)는 적어도 하나의 Period(310-1, 310-2, 310-3, …)로 구성되며, 각각의 Period는 시작 시간(start time) 정보를 포함하며, Period 엘리먼트(element)들은 Period의 지속 기간(duration) 동안 MPD 내에서 시작시간의 오름차순으로 물리적으로 정렬된다. 각각의 Period는 도 3에는 도시하지 않았지만 적어도 하나의 Adaptive Set로 이루어질 수 있다. Adaptive Set는 적어도 하나의 Representation(312-1, 312-2, …)으로 이루어진다. 하나의 Adaptive Set는 적어도 하나의 미디어 컨텐츠 컴포넌트의 대체 가능한 인코딩을 포함할 수 있다.
하나의 Adaptive Set에 포함된 모든 Representation들은 미디어 컨텐츠 컴포넌트들을 나타내며, 그 결과 결과적으로 미디어 스트림을 포함하게 된다.
Representation들은 Representation element로 기술되며, Representation element들은 Adaptive Set element내에 포함되어 있다. 미리 정의된 Period 동안 미디어 컨텐츠를 포함하는 미디어 컨텐츠컴포넌트들의 전체 집합 또는 부분 집합 중 하나가 될 수 있다. 하나의 Representation은 적어도 하나의 Segment로 이루어질 수 있다. 도 3에서는 Representation 1이 20개의 Segment(317-1, 317-2, 317-3, …, 317-20)로 이루어진 경우를 예로 들어 도시하였다. 각각의 Representation은 Initialization Segment를 포함하고, Representation 내의 각각의 Media Segment는 자기 초기화(self-initializing)이 가능하다.
각각의 Representation은 세그먼트 정보(Segment information, 314)를 포함할 수 있으며, 세그먼트 정보(314)는 지속 기간(duration), 템플릿(template) 정보를 포함한다.
도 4는 MMT 프로토콜하에서 DASH 컨텐츠전송을 지원하기 위한 인터워킹 메커니즘을 설명하기 위한 개념도이다.
도 4를 참조하면, MPD내의 지속 기간(duration)과 같은 Period 정보와 부가 정보(Adaptive Set내의 그룹핑을 위한 언어(language), 미디어 컴포넌트 타입, 시점 속성(viewpoint property), 멀티뷰 속성(multi-view property)등의 정보)는 MMT 패키지내의 컨피규레이션 정보(Configuration Information)에서 기술될 수 있다. 여기서, 상기 컨피규레이션 정보(Configuration Information)는 패키지 식별 정보(package identification information), 컴포지션 정보(composition information) 및 MMT 제어 정보내의 서비스 디스커버리(Service discovery)를 위한 정보 테이블등을 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함한다.
대역폭(bandwidth)과 같은 Representation의 속성은 미디어 식별자(media identification), 미디어 타입, 미디어 크기등의 정보를 포함하는 MMT 애셋정보(152) 내에서 기술될 수 있다. DASH 표준에서의 Media Segment는 Segment index, brand type, sub-segment index와 같은 정보를 포함할 수 있으며, 이러한 DASH 표준에서의 Media Segment 정보는 MPU(140)의 타입, MFU(130)의 식별자, MPU(140), MFU(130)의 부가정보로 기술될 수 있다. 또는 DASH와 MMT의 연동을 위하여 DASH의 MPD 정보는 MMT 패킷 페이로드에서 기술될 수도 있음은 물론이다.
이하, HTTP 프로토콜상에서 미디어 데이터를 전송하는 DASH와 하이브리드망(방송망과 광대역망)을 이용하여 미디어 데이터를 전송하는 MMT를 연동하기 위한 방법을 구체적으로 설명한다.
전술한 바와 같이 DASH와 MMT의 연동을 위하여 DASH의 MPD와 MMT의 컨피규레이션 정보(Composition Information), MMT의 MPU와 MFU의 부가적 정보, 또는 MMT 패킷 페이로드를 이용할 경우, 서비스 제공자(Service provider)는 컨텐츠 제공 서버에서 DASH의 MPD와 MMT의 SICTT(Service Information Configuration Information Table), MACIT(MMT Asset Configuration Information table)을 상호 연동하여 연동된 데이터를 저장할 수 있다. 즉, 상기와 같은 DASH와 MMT의 상호 연동을 위하여 DASH의 MPD에 대응되는 정보는 상기와 같이 MMT의 컨피규레이션 정보(Composition Information)과 MMT의 MPU와 MFU의 부가적 정보에 저장될 수 있으며, 이하에서는 DASH와 MMT의 상호 연동을 위하여 DASH의 MPD에 대응되는 정보를 MPD 연동정보라고 정의한다.
SICTT와 MACIT는 표 1 및 표 2에 예시되어 있으며, MMT 시그널링 계층 (S layer)에서 관리하는 테이블로서 각각 서비스 컨피규레이션 정보와 MMT 애셋 컨피규레이션 정보를 관리한다. 표 1은 서비스 컨피규레이션 정보 테이블(Service Information Configuration Information Table; SICTT)이고, 표2는 MMT 애셋 컨피규레이션 정보 테이블(MMT Asset Configuration Information Table; MACIT)이다.
즉, DASH와 MMT의 연동을 위하여 DASH의 MPD의 정보를 MMT 시그널링 계층 (S layer)에서 관리하는 표 1의 서비스 컨피규레이션 정보 테이블인 SICTT와 표 2의 MMT 애셋 컨피규레이션 정보 테이블인 MACIT에 연동시켜 저장할 수 있다.
표 1
Figure PCTKR2012010061-appb-T000001
표 2
Figure PCTKR2012010061-appb-T000002
도 5는 본 발명의 일실시예에 따른 하이브리드 전송의 경우 MMT로 전송된 컨텐츠를 DASH 컨텐츠로 전송하는 MMT와 DASH의 연동 시나리오를 설명하기 위한 개념도이다.
예를 들어, 도 5는 서버 1(530)으로부터 제1 망(network, 512)을 통하여 AV 스트림이 전송되고 서버 2(540)으로부터 제2 망(network, 514)을 통하여 위젯 또는 자막등의 방송 부가 정보가 전송되는 하이브리드 전송으로 MMT로 전송된 컨텐츠(또는 미디어)-예를 들어 UHD 해상도의 컨텐츠(또는 미디어)-를 DASH 컨텐츠(또는 미디어)로 전송하는 MMT와 DASH의 연동 시나리오를 설명한다.
도 5를 참조하면, 사용자가 홈에서 대화면의 TV 수신기(520)를 이용하여 MMT로 전송된 컨텐츠(또는 미디어)-예를 들어 UHD 방송 컨텐츠-을 시청하다가, 약속으로 인해 외출을 할 경우, 홈미디어 서버(510)등으로부터 MPD 정보를 전송 받아, 외출시에도 홈에서 시청중이던 MMT로 전송된 컨텐츠(또는 미디어)-예를 들어 UHD 방송 컨텐츠-를 DASH를 이용하여 사용자가 시청을 중단했던 부분 또는 사용자가 시청을 원하는 부분부터 사용자 자신의 스마트폰과 같은 휴대용 클라이언트 단말(550)을 이용하여 홈 외부 차량 탑승시 또는 홈 외부에서 시청이 가능하다.
여기서, MMT와 DASH의 연동 시나리오는 MMT로 전송된 컨텐츠 이용 중 DASH 컨텐츠를 이용하는 시나리오와 DASH로 이용하던 컨텐츠를 MMT 컨텐츠로 이용하는 시나리오의 2가지 시나리오가 가능하다.
첫번째는 MMT로 전송된 컨텐츠 이용 중 DASH 컨텐츠를 이용하는 시나리오로서, 이 경우에는 MPD 정보를 휴대용 클라이언트 단말(도 6, 도 8 참조) 또는 DASH 전송 서버(도 7 참조)로 전송한다.
두번째는 DASH로 이용하던 컨텐츠를 MMT 컨텐츠로 이용하는 시나리오로서, 이 경우에는 MPD 정보를 휴대용 클라이언트 단말에서 일체형 TV 수신기 또는 홈미디어 서버(510) 또는 MMT 전송 서버 또는 서비스 제공자(Service provider)의 컨텐츠 제공 서버로 전송할 수 있다. 또는 서비스 제공자(Service provider)의 컨텐츠 제공 서버에서 일체형 TV 수신기 또는 홈미디어 서버(510) 또는 MMT 전송 서버 또는 서비스 제공자(Service provider)의 컨텐츠 제공 서버로 전송할 수 있다.
도 6은 본 발명의 일실시예에 따른 MMT와 DASH의 연동 시나리오하에서 MMT로 전송된 컨텐츠를 DASH 컨텐츠로 전송하기 위한 방법을 설명하기 위한 순서도이다.
도 6을 참조하면, 먼저, 홈미디어 서버(510)에서 MMT 미디어 전송을 MMT 전송 서버(650)에게 요청하고(단계 601), MMT 전송 서버(650)는 이에 응답하여 MMT 미디어를 홈미디어 서버(510)에게 전송한다(단계 603). 상기 MMT 미디어는 MMT로 전송된 컨텐츠(또는 미디어)로서, 예를 들어 UHD 방송 컨텐츠가 될 수 있다. 이하, 홈미디어 서버(510)는 홈 미디어 서버외에도 홈미디어 재생 장치 또는 일체형 TV 수신기를 모두 포함하는 의미로 사용한다.
홈미디어 서버(510)는 상기 MMT 미디어를 수신하여 재생한다(단계 605).
홈미디어 서버(510)는 휴대용 단말(550)로부터 MPD 정보 요청을 수신하면(단계 607), MPD 연동 정보를 추출하여 MPD 정보를 생성(단계 609)한 후 휴대용 단말(550)에게 MPD 정보를 전송한다(단계 611).
또는, 홈미디어 서버(510)는 MMT 미디어의 리스트를 휴대용 단말(550)으로 전송하고, 사용자가 상기 MMT 미디어의 리스트 중에서 재생하려는 컨텐츠(미디어)를 선택하면 휴대용 단말(550)에서 상기 선택된 MMT 미디어에 대한 MPD 정보 요청을 홈 미디어 서버(510)에 전송할 수도 있다.
단계 611 이후에, 휴대용 단말(550)은 DASH 전송 서버(660)에게 DASH 미디어를 요청하고 MPD 정보를 전송한다(단계 615). 여기서 DASH 미디어는 DASH로 전송된 컨텐츠(또는 미디어)이다.
DASH 전송 서버(660)는 상기 요청에 응답하여 상기 MPD 정보를 이용하여 DASH 미디어를 휴대용 단말(550)으로 전송하고, 휴대용 단말(550)에서는 DASH 미디어를 재생한다(단계 617).
휴대용 단말(550)에서는 홈미디어 서버(510)로부터 홈에서 시청하던 컨텐츠(또는 미디어)의 중단된 위치에 대한 정보를 제공받아 상기 홈에서 시청하던 컨텐츠(또는 미디어)의 중단된 위치로부터 연속하여 시청할 수 있다. 또는 휴대용 단말(550)에서는 사용자가 원하는 위치를 선택하여 홈에서 시청하던 컨텐츠(또는 미디어)를 재생할 수도 있다.
도 6에서는 홈미디어서버(510)에서 MPD 정보를 생성하여 휴대용 단말(550)로 전송하는 경우를 설명하였지만, 상기 MPD 정보는 홈 외부의 별도의 서버에서 생성하여 휴대용 단말(550)로 전송될 수도 있다. 상기 홈 외부의 별도의 서버는 MPD 연동 정보를 관리하는 서버로서 도 8의 MPD 생성 서버가 될 수 있다. MPD 연동 정보를 관리하는 서버는 서비스 제공자(Service provider)의 컨텐츠 제공 서버가 될 수 있다. 또는, 홈 내의 TV 수신기와 셋탑박스가 일체형인 경우 상기 MPD 정보는 일체형 TV 수신기에서 생성되어 직접 휴대용 단말로 전송될 수도 있다. 또는, 상기 MPD 정보는 휴대용 단말에서 상기 MPD 연동 정보를 제공받아 생성할 수도 있다(도 7 참조)
도 6에서는 MMT 미디어 전송 장치에서 MPD 정보를 휴대용 단말로 전송하는 경우를 설명하였으나, 상기 휴대용 단말에서 직접 일체형 TV 수신기 또는 홈미디어 서버(510) 또는 서비스 제공자(Service provider)의 컨텐츠 제공 서버와 같은 홈 외부의 별도의 서버에 접속하여 상기 MPD 정보를 다운로드 받을 수도 있다.
도 7은 본 발명의 다른 실시예에 따른 MMT와 DASH의 연동 시나리오하에서 MMT로 전송된 컨텐츠를 DASH 컨텐츠로 전송하기 위한 방법을 설명하기 위한 순서도이다.
도 7을 참조하면, 먼저, 홈미디어 서버(510)에서 MMT 미디어 전송을 MMT 전송 서버(650)에게 요청하고(단계 701), MMT 전송 서버(650)는 이에 응답하여 MMT 미디어를 홈미디어 서버(510)에게 전송한다(단계 703). 상기 MMT 미디어는 MMT로 전송된 컨텐츠(또는 미디어)로서, 예를 들어 UHD 방송 컨텐츠가 될 수 있다.
홈미디어 서버(510)는 상기 MMT 미디어를 수신하여 재생한다(단계 705).
홈미디어 서버(510)는 휴대용 단말(550)로부터 MPD 정보 요청을 수신하면(단계 707), MPD 연동 정보를 추출하여 휴대용 단말(550)에게 MPD 연동 정보를 전송한다(단계 711).
또는, 홈미디어 서버(510)는 MMT 미디어의 리스트를 휴대용 단말(550)으로 전송하고, 사용자가 상기 MMT 미디어의 리스트 중에서 재생하려는 컨텐츠(미디어)를 선택하면 휴대용 단말(550)에서 상기 선택된 MMT 미디어에 대한 MPD 정보 요청을 홈 미디어 서버(510)에 전송할 수도 있다.
단계 711 이후에, 휴대용 단말(550)은 수신된 MPD 연동 정보를 이용하여 MPD 정보를 생성한다(단계 713).
휴대용단말(550)은 DASH 전송 서버(660)에게 DASH 미디어를 요청하고 MPD 정보를 전송한다(단계 715). 여기서 DASH 미디어는 DASH로 전송된 컨텐츠(또는 미디어)이다.
DASH 전송 서버(660)는 상기 요청에 응답하여 상기 MPD 정보를 이용하여 DASH 미디어를 휴대용 단말(550)으로 전송하고, 휴대용 단말(550)에서는 DASH 미디어를 재생한다(단계 717).
휴대용 단말(550)에서는 홈미디어 서버(510)로부터 홈에서 시청하던 컨텐츠(또는 미디어)의 중단된 위치에 대한 정보를 제공받아 상기 홈에서 시청하던 컨텐츠(또는 미디어)의 중단된 위치로부터 연속하여 시청할 수 있다. 또는 휴대용 단말(550)에서는 사용자가 원하는 위치를 선택하여 홈에서 시청하던 컨텐츠(또는 미디어)를 재생할 수도 있다.
도 8은 본 발명의 또 다른 실시예에 따른 MMT와 DASH의 연동 시나리오하에서 MMT로 전송된 컨텐츠를 DASH 컨텐츠로 전송하기 위한 방법을 설명하기 위한 순서도이다.
도 8을 참조하면, 먼저, 홈미디어 서버(510)에서 MMT 미디어 전송을 MMT 전송 서버(650)에게 요청하고(단계 801), MMT 전송 서버(650)는 이에 응답하여 MMT 미디어를 홈미디어 서버(510)에게 전송한다(단계 803). 상기 MMT 미디어는 MMT로 전송된 컨텐츠(또는 미디어)로서, 예를 들어 UHD 방송 컨텐츠가 될 수 있다.
홈미디어 서버(510)는 상기 MMT 미디어를 수신하여 재생한다(단계 805).
홈미디어 서버(510)는 휴대용 단말(550)로부터 MPD 정보 요청을 수신하면(단계 807), MPD 연동 정보를 추출하여 휴대용 단말(550)에게 MPD 연동 정보를 전송한다(단계 811).
또는, 홈미디어 서버(510)는 MMT 미디어의 리스트를 휴대용 단말(550)으로 전송하고, 사용자가 상기 MMT 미디어의 리스트 중에서 재생하려는 컨텐츠(미디어)를 선택하면 휴대용 단말(550)에서 상기 선택된 MMT 미디어에 대한 MPD 정보 요청을 홈 미디어 서버(510)에 전송할 수도 있다.
단계 811 이후에, 휴대용 단말(550)은 MPD 정보 요청 및 MPD 연동 정보를 외부의 서버-예를 들어 MPD 생성서버(670)-에게 전송한다(단계 813). 여기서, 상기 외부의 서버는 컨텐츠 제공 서버 또는 별도의 MPD 정보를 생성할 수 있는 MPD 생성서버(670)가 될 수도 있다.
MPD 생성서버(670)는 수신된 MPD 연동 정보를 이용하여 MPD 정보를 생성(단계 815)하여 휴대용 단말(550)에게 MPD 정보를 전송한다(단계 817).
휴대용 단말(550)은 DASH 전송 서버(660)에게 DASH 미디어를 요청하고 MPD 정보를 전송한다(단계 819). 여기서 DASH 미디어는 DASH로 전송된 컨텐츠(또는 미디어)이다.
DASH 전송 서버(660)는 상기 요청에 응답하여 상기 MPD 정보를 이용하여 DASH 미디어를 휴대용 단말(550)으로 전송하고(단계 821), 휴대용 단말(550)에서는 DASH 미디어를 재생한다(단계 823).
휴대용 단말(550)에서는 홈미디어 서버(510)로부터 홈에서 시청하던 컨텐츠(또는 미디어)의 중단된 위치에 대한 정보를 제공받아 상기 홈에서 시청하던 컨텐츠(또는 미디어)의 중단된 위치로부터 연속하여 시청할 수 있다. 또는 휴대용 단말(550)에서는 사용자가 원하는 위치를 선택하여 홈에서 시청하던 컨텐츠(또는 미디어)를 재생할 수도 있다.

Claims (4)

  1. MMT 미디어와 DASH 미디어와의 연동 방법에 있어서,
    MMT 전송 서버로부터 MMT로 전송된 미디어의 MPD 연동 정보-여기서, 상기 MPD 연동 정보는 DASH와 MMT의 상호 연동을 위하여 DASH의 MPD에 대응되는 정보임-를 홈 미디어 서버에서 추출하여 MPD 정보를 생성하는 단계; 및
    휴대용 단말이 상기 MPD 정보를 이용하여 DASH 미디어로 재생하도록 상기 MPD 정보를 휴대용 단말로 전송하는 단계를 포함하는 것을 특징으로 하는 MMT 미디어와 DASH 미디어와의 연동 방법.
  2. 제 1항에 있어서, 상기 MPD 연동 정보는 MMT 시그널링 계층 (S layer)에서 관리하는 서비스 컨피규레이션 정보 테이블인 SICTT(Service Information Configuration Information Table) 및 MMT 애셋 컨피규레이션 정보 테이블인 MACIT(MMT Asset Configuration Information table)에 연동시켜 저장하는 것을 특징으로 하는 MMT 미디어와 DASH 미디어와의 연동 방법.
  3. MMT 미디어와 DASH 미디어와의 연동 방법에 있어서,
    휴대용 단말기가 홈 미디어 재생 장치에서 추출된 MMT로 전송된 미디어의 MPD 연동 정보-여기서, 상기 MPD 연동 정보는 DASH와 MMT의 상호 연동을 위하여 DASH의 MPD에 대응되는 정보임-를 수신하는 단계; 및
    상기 휴대용 단말기가 상기 MPD 연동 정보를 이용하여 MPD 정보를 생성하는 단계; 및
    상기 휴대용 단말기가 상기 MPD 정보를 이용하여 DASH 미디어로 재생하는 단계를 포함하는 것을 특징으로 하는 MMT 미디어와 DASH 미디어와의 연동 방법.
  4. MMT 미디어와 DASH 미디어와의 연동 방법에 있어서,
    휴대용 단말기가 홈 미디어 재생 장치에서 추출된 MMT로 전송된 미디어의 MPD 연동 정보-여기서, 상기 MPD 연동 정보는 DASH와 MMT의 상호 연동을 위하여 DASH의 MPD에 대응되는 정보임-를 수신하는 단계; 및
    상기 휴대용 단말은 수신된 상기 MPD 연동 정보를 외부 서버로 전송하는 단계;
    상기 외부 서버는 상기 MPD 연동 정보를 이용하여 MPD 정보를 생성하여 상기 생성된 MPD 정보를 상기 휴대용 단말로 전송하는 단계; 및
    상기 휴대용 단말은 상기 MPD 정보를 이용하여 DASH 미디어로 재생하는 단계를 포함하는 것을 특징으로 하는 MMT 미디어와 DASH 미디어와의 연동 방법.
PCT/KR2012/010061 2011-11-25 2012-11-26 Mmt 미디어와 dash 미디어와의 연동 방법 WO2013077698A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP12852191.1A EP2784954A4 (en) 2011-11-25 2012-11-26 METHOD FOR CONNECTING MMT MEDIA AND DASH MEDIA
US14/360,224 US9043849B2 (en) 2011-11-25 2012-11-26 Method for linking MMT media and DASH media

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20110124608 2011-11-25
KR10-2011-0124608 2011-11-25
KR10-2012-0134617 2012-11-26
KR20120134617A KR20130058648A (ko) 2011-11-25 2012-11-26 Mmt 미디어와 dash 미디어와의 연동 방법

Publications (1)

Publication Number Publication Date
WO2013077698A1 true WO2013077698A1 (ko) 2013-05-30

Family

ID=48857841

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/010061 WO2013077698A1 (ko) 2011-11-25 2012-11-26 Mmt 미디어와 dash 미디어와의 연동 방법

Country Status (4)

Country Link
US (1) US9043849B2 (ko)
EP (1) EP2784954A4 (ko)
KR (1) KR20130058648A (ko)
WO (1) WO2013077698A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015013687A1 (en) * 2013-07-25 2015-01-29 Futurewei Technologies, Inc. System and method for effectively controlling client behavior in adaptive streaming
WO2015013550A1 (en) * 2013-07-24 2015-01-29 Futurewei Technologies Inc. System and method for network-assisted adaptive streaming
WO2015147590A1 (en) * 2014-03-27 2015-10-01 Samsung Electronics Co., Ltd. Broadcast and broadband hybrid service with mmt and dash
JP2015201699A (ja) * 2014-04-04 2015-11-12 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
WO2016080754A1 (ko) * 2014-11-19 2016-05-26 엘지전자 주식회사 시청 환경 조정을 위한 방송 신호를 송수신하는 방법 및 장치
WO2016171528A1 (ko) * 2015-04-23 2016-10-27 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JPWO2015083541A1 (ja) * 2013-12-03 2017-03-16 ソニー株式会社 受信装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101885852B1 (ko) * 2011-09-29 2018-08-08 삼성전자주식회사 컨텐트 전송 및 수신 방법 및 장치
JP5661206B2 (ja) * 2012-01-31 2015-01-28 シャープ株式会社 生成装置、再生装置、データ構造、生成方法、再生方法、制御プログラム、および記録媒体
KR101484843B1 (ko) 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
US9444863B2 (en) 2013-06-06 2016-09-13 Intel Corporation Manager for DASH media streaming
US9807452B2 (en) * 2013-10-07 2017-10-31 Samsung Electronics Co., Ltd. Practical delivery of high quality video using dynamic adaptive hypertext transport protocol (HTTP) streaming (DASH) without using HTTP in a broadcast network
US10887651B2 (en) * 2014-03-31 2021-01-05 Samsung Electronics Co., Ltd. Signaling and operation of an MMTP de-capsulation buffer
JP6610538B2 (ja) * 2014-04-24 2019-11-27 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
KR20160142327A (ko) * 2014-04-30 2016-12-12 엘지전자 주식회사 방송 전송 장치, 방송 수신 장치, 방송 전송 장치의 동작 방법 및 방송 수신 장치의 동작 방법
US9992251B2 (en) * 2014-07-18 2018-06-05 Cisco Technology, Inc. Segment routing support in MPEG dash
US9787751B2 (en) 2014-08-06 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content utilizing segment and packaging information
KR102324604B1 (ko) * 2014-12-18 2021-11-10 한국전자통신연구원 하이브리드망에서의 스트리밍 방법 및 그 장치
KR101656193B1 (ko) * 2015-08-11 2016-09-22 서울여자대학교 산학협력단 이기종 망에서의 uhd 비디오 전송을 위한 mmt 기반 방송 시스템 및 방법
US20190069028A1 (en) * 2016-02-04 2019-02-28 Sharp Kabushiki Kaisha Event registration and notification
US10917477B2 (en) 2016-05-25 2021-02-09 Samsung Electronics Co., Ltd. Method and apparatus for MMT integration in CDN
US20170353772A1 (en) * 2016-06-03 2017-12-07 Electronics And Telecommunications Research Institute Method for controlling mpeg media transport (mmt) session and apparatus performing the same
KR102361314B1 (ko) 2016-07-19 2022-02-10 한국전자통신연구원 360도 가상현실 방송 서비스 제공 방법 및 장치
WO2018016879A1 (ko) * 2016-07-19 2018-01-25 한국전자통신연구원 360도 가상현실 방송 서비스 제공 방법 및 장치
CN109691094B (zh) * 2016-08-25 2021-10-22 Lg电子株式会社 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
CN109644262A (zh) * 2016-08-25 2019-04-16 Lg电子株式会社 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
US11044294B2 (en) * 2018-01-03 2021-06-22 Sony Group Corporation ATSC 3.0 playback using MPEG media transport protocol (MMTP)
US11606528B2 (en) 2018-01-03 2023-03-14 Saturn Licensing Llc Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute
US10891100B2 (en) * 2018-04-11 2021-01-12 Matthew Cohn System and method for capturing and accessing real-time audio and associated metadata
CN108769681B (zh) * 2018-06-20 2022-06-10 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
US10743069B2 (en) 2018-12-10 2020-08-11 Sony Corporation Delivery of information related to digital rights management (DRM) in a terrestrial broadcast system
US11706465B2 (en) 2019-01-15 2023-07-18 Sony Group Corporation ATSC 3.0 advertising notification using event streams
JP6790218B2 (ja) * 2019-11-20 2020-11-25 マクセル株式会社 データ出力方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825755B1 (ko) * 2006-11-29 2008-04-29 한국전자통신연구원 Ｍｐｅｇ-4 ｂｉｆｓ 기반의 데이터 서비스와 미들웨어기반의 데이터 서비스 연동을 위한 디지털 멀티미디어 방송송수신 방법 및 그 장치
KR20110053180A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
KR20110100932A (ko) * 2010-03-05 2011-09-15 삼성전자주식회사 데이터 통신 망에서의 스트리밍 서비스 장치 및 방법
KR20110105710A (ko) * 2010-03-19 2011-09-27 삼성전자주식회사 복수의 챕터를 포함하는 콘텐트를 적응적으로 스트리밍하는 방법 및 장치
KR20110111213A (ko) * 2010-04-02 2011-10-10 삼성전자주식회사 디지털 방송 시스템에서 타임시프트 서비스 제공 방법 및 시스템

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110137093A (ko) * 2010-06-16 2011-12-22 삼성전자주식회사 무선 통신 시스템에서 녹화된 컨텐츠의 재생 방법 및 장치
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
KR20120083747A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 방송통신 융합형 서비스를 위한 전송 방법 및 장치
KR101887506B1 (ko) * 2011-09-22 2018-08-13 삼성전자주식회사 방송 시스템에서 방송 콘텐츠 재생 방법 및 장치
KR20130058647A (ko) * 2011-11-25 2013-06-04 (주)휴맥스 Ｍｍｔ 패키지화 컨텐츠의하이브리드 전송 방법 및 컨텐츠 수신 방법
EP2859707B1 (en) * 2012-07-13 2018-01-03 Huawei Technologies Co., Ltd. Signaling and handling content encryption and rights management in content transport and delivery
US9071853B2 (en) * 2012-08-31 2015-06-30 Google Technology Holdings LLC Broadcast content to HTTP client conversion
WO2014143122A1 (en) * 2013-03-14 2014-09-18 General Instrument Corporation Devices, systems, and methods for converting or translating dynamic adaptive streaming over http (dash) to http live streaming (hls)
US20140298157A1 (en) * 2013-03-26 2014-10-02 Samsung Electronics Co., Ltd Apparatus and method for presenting html page
US9900166B2 (en) * 2013-04-12 2018-02-20 Qualcomm Incorporated Methods for delivery of flows of objects over broadcast/multicast enabled networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825755B1 (ko) * 2006-11-29 2008-04-29 한국전자통신연구원 Ｍｐｅｇ-4 ｂｉｆｓ 기반의 데이터 서비스와 미들웨어기반의 데이터 서비스 연동을 위한 디지털 멀티미디어 방송송수신 방법 및 그 장치
KR20110053180A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
KR20110100932A (ko) * 2010-03-05 2011-09-15 삼성전자주식회사 데이터 통신 망에서의 스트리밍 서비스 장치 및 방법
KR20110105710A (ko) * 2010-03-19 2011-09-27 삼성전자주식회사 복수의 챕터를 포함하는 콘텐트를 적응적으로 스트리밍하는 방법 및 장치
KR20110111213A (ko) * 2010-04-02 2011-10-10 삼성전자주식회사 디지털 방송 시스템에서 타임시프트 서비스 제공 방법 및 시스템

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015013550A1 (en) * 2013-07-24 2015-01-29 Futurewei Technologies Inc. System and method for network-assisted adaptive streaming
WO2015013687A1 (en) * 2013-07-25 2015-01-29 Futurewei Technologies, Inc. System and method for effectively controlling client behavior in adaptive streaming
JPWO2015083541A1 (ja) * 2013-12-03 2017-03-16 ソニー株式会社 受信装置
US11039212B2 (en) 2013-12-03 2021-06-15 Saturn Licensing Llc Reception device
US10425688B2 (en) 2013-12-03 2019-09-24 Saturn Licensing Llc Reception device
EP3079373B1 (en) * 2013-12-03 2022-01-05 Saturn Licensing LLC Receiving device
JP2017515351A (ja) * 2014-03-27 2017-06-08 サムスン エレクトロニクス カンパニー リミテッド Ｍｍｔ及びｄａｓｈを使用するブロードキャスト及びブロードバンドハイブリッドサービス
US9560421B2 (en) 2014-03-27 2017-01-31 Samsung Electronics Co., Ltd. Broadcast and broadband hybrid service with MMT and DASH
CN106134153A (zh) * 2014-03-27 2016-11-16 三星电子株式会社 利用mmt和dash的广播和宽带混合服务
CN106134153B (zh) * 2014-03-27 2019-07-26 三星电子株式会社 利用mmt和dash的广播和宽带混合服务
WO2015147590A1 (en) * 2014-03-27 2015-10-01 Samsung Electronics Co., Ltd. Broadcast and broadband hybrid service with mmt and dash
US10771175B2 (en) 2014-04-04 2020-09-08 Saturn Licensing Llc Receiving apparatus, receiving method, transmitting apparatus, and transmitting method
US10291341B2 (en) 2014-04-04 2019-05-14 Sony Corporation Receiving apparatus, receiving method, transmitting apparatus, and transmitting method
US11329741B2 (en) 2014-04-04 2022-05-10 Saturn Licensing, Llc Receiving apparatus, receiving method, transmitting apparatus, and transmitting method
JP2015201699A (ja) * 2014-04-04 2015-11-12 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
WO2016080754A1 (ko) * 2014-11-19 2016-05-26 엘지전자 주식회사 시청 환경 조정을 위한 방송 신호를 송수신하는 방법 및 장치
US10595095B2 (en) 2014-11-19 2020-03-17 Lg Electronics Inc. Method and apparatus for transceiving broadcast signal for viewing environment adjustment
US10412422B2 (en) 2015-04-23 2019-09-10 Lg Electronics Inc. Apparatus for transmitting broadcasting signal, apparatus for receiving broadcasting signal, method for transmitting broadcasting signal, and method for receiving broadcasting signal
WO2016171528A1 (ko) * 2015-04-23 2016-10-27 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Also Published As

Publication number Publication date
KR20130058648A (ko) 2013-06-04
US9043849B2 (en) 2015-05-26
EP2784954A4 (en) 2015-05-27
US20140325572A1 (en) 2014-10-30
EP2784954A1 (en) 2014-10-01

Similar Documents

Publication Publication Date Title
WO2013077698A1 (ko) Mmt 미디어와 dash 미디어와의 연동 방법
WO2013169084A1 (ko) Mmt 패킷 포맷 확장을 통한 하이브리드 전송 방법
WO2013077697A1 (ko) Ｍｍｔ 패키지화 컨텐츠의하이브리드 전송 방법 및 컨텐츠 수신 방법
WO2013141666A1 (ko) Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법
WO2013055191A2 (ko) 방송 시스템에서의 제어 메시지 구성 장치 및 방법
US20200037046A1 (en) Apparatus and methods for thumbnail generation
WO2013162312A1 (ko) 멀티미디어 전송 시스템을 위한 데이터 송수신 방법 및 장치
WO2013089437A1 (ko) 미디어 컨텐트를 수신하는 장치 및 방법
WO2012011735A2 (en) Method and apparatus for transmitting and receiving adaptive streaming mechanism-based content
WO2011152675A2 (en) Method and apparatus for adaptive streaming based on plurality of elements for determining quality of content
WO2011059274A2 (en) Adaptive streaming method and apparatus
WO2012060581A2 (ko) 미디어 콘텐트 송수신 방법 및 그를 이용한 송수신 장치
WO2012173402A2 (ko) 방송 시스템에서 컨텐트를 구성하는 방법 및 장치
WO2012177041A2 (ko) 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치
WO2013112027A1 (ko) 부호화된 미디어 데이터를 전송하는 장치에서의 네트워크 지터 추정 방법
US10390059B2 (en) Latent binding of content based on user preference
WO2018174367A1 (ko) 방송 신호 송수신 방법 및 장치
KR102098723B1 (ko) Mmt 전송 패킷의 설정 방법 및 전송 방법
WO2013187667A1 (ko) 멀티미디어 서비스를 위한 비트 에러율을 이용한 레이트 어댑테이션 방법 및 그 장치
WO2013055168A1 (ko) 콤포지션 정보 및 전송 특성 정보가 연동된 미디어 데이터를 이종 ip 네트워크를 통하여 전송하는 방법
WO2014010830A1 (ko) 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
US20200267422A1 (en) Complementary Transport Stream
WO2013119023A1 (ko) 이종망 네트워크에서 부호화된 미디어 데이터를 전송하는 시스템에 랜덤 액세스를 지원하는 엠엠티 애셋의 구조, 생성 방법 및 생성 장치
WO2013109094A1 (ko) 이종망 네트워크에서 미디어 프래그먼트 유닛으로 나누어진 액세스 유닛을 가지는 미디어 데이터를 전송하는 방법
WO2014116060A1 (ko) 유연한 ｍｍｔ 애셋 송수신 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12852191

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14360224

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012852191

Country of ref document: EP