KR20130108198A - Mmt 패키지화된 svc 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법 - Google Patents

Mmt 패키지화된 svc 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법 Download PDF

Info

Publication number
KR20130108198A
KR20130108198A KR20130031171A KR20130031171A KR20130108198A KR 20130108198 A KR20130108198 A KR 20130108198A KR 20130031171 A KR20130031171 A KR 20130031171A KR 20130031171 A KR20130031171 A KR 20130031171A KR 20130108198 A KR20130108198 A KR 20130108198A
Authority
KR
South Korea
Prior art keywords
mmt
svc video
information
divided
video content
Prior art date
Application number
KR20130031171A
Other languages
English (en)
Inventor
이충구
이용재
김휘
Original Assignee
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴맥스 filed Critical (주)휴맥스
Priority to PCT/KR2013/002425 priority Critical patent/WO2013141666A1/ko
Priority to US14/387,244 priority patent/US9967582B2/en
Priority to CN201380021547.3A priority patent/CN104255036A/zh
Publication of KR20130108198A publication Critical patent/KR20130108198A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

전송망의 개수에 상응하여 콘텐츠를 분할하고 전송하는 콘텐츠의 하이브리드 전송(hybrid delievery) 방법이 개시된다. 콘텐츠의 하이브리드 전송(hybrid delievery) 방법은 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하여 상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보(composition information)를 생성하는 단계 및 상기 분할된 SVC 비디오 콘텐츠들을 복수의 전송망을 이용하여 상기 클라이언트로 전송하는 단계를 포함한다. 따라서, 다양한 전송망을 효율적으로 이용할 수 있다.

Description

MMT 패키지화된 SVC 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법{METHOD OF HYBRID DELIEVERY FOR MMT PACKAGED SVC VIDEO CONTENTS AND METHOD OF RECIEVING}
비디오 콘텐츠의 전송 방법 및 수신 방법에 관한 것으로서, 더욱 상세하게는 MMT 패키지화된 비디오 콘텐츠를 복수의 전송망을 통해 전송하는 방법에 관한 것이다.
MPEG-2의 표준화 이후, 비디오 압축 표준(또는 오디오 압축 표준)은 과거 10년간 MPEG-4, H.264/AVC, SVC(Scalable Video Coding) 등으로 꾸준히 새로운 표준이 개발되었고 또한 각각의 새로운 표준들은 새로운 시장을 형성하면서 MPEG 표준의 활용 영역을 넓혀왔으나, MPEG-2 TS(Transport System)와 같은 전송 기술의 경우 20년 가까운 세월이 흐르는 동안 변함없이 시장에서 디지털방송, 모바일 방송(T-DMB, DVB-H등)등에 널리 사용되고 있으며, 심지어 표준 제정 당시 고려하지 않았던 인터넷을 통한 멀티미디어 전송, 즉 IPTV 서비스에도 널리 활용되고 있는 상황이다.
그러나, MPEG-2 TS가 개발될 때의 멀티미디어 전송환경과 오늘날의 멀티미디어 전송환경은 큰 변화를 겪고 있다. 예컨대, MPEG-2 TS 표준은 제정 당시 ATM 망을 통해 멀티미디어 데이터를 전송하는 것을 고려하여 개발되었으나, 오늘날 이러한 목적으로 이용되는 사례는 거의 찾아보기 힘들어졌다. 또한, MPEG-2 TS 표준 제정 당시 인터넷을 이용한 멀티미디어 전송 등의 요구사항(requirement)이 고려되지 않아 최근의 인터넷을 통한 멀티미디어 전송에 효율적이지 못한 요소들이 존재한다. 따라서, MPEG에서는 변화하는 멀티미디어 환경에 걸맞는 인터넷에서의 멀티미디어 서비스를 고려한 새로운 멀티미디어 전송 표준인 MMT(MPEG Multimedia Transport Layer)의 제정이 매우 중요한 과제로 인식되고 있다.
이와 같이, MMT 표준화가 진행되는 중요한 이유는 20 년전에 만들어진 MPEG2-TS 표준이 최근 IPTV 방송 서비스, 인터넷 환경등에 최적화되어 있지 않기 때문에 최근 다양한 이종망(Heterogeneous Network)에서의 멀티미디어 전송 환경에 최적화된 멀티미디어 전송 국제 표준의 시급한 필요에 의해 MPEG에서 MMT를 새로운 전송 기술 표준으로서 표준화를 진행하고 있는 것이다.
한편, 무선망과 인터넷의 초고속화와 함께 방통융합 환경에서의 비디오를 중심으로 한 멀티미디어 콘텐츠 서비스가 보편화되고 있다. 기존의 TV나 PC 뿐만 아니라 스마트폰, 타플렛 PC 등 다양한 성능의 단말이 혼재하는 융합 콘텐츠 소비 환경에서 비디오, 음악, 게임, 데이터 등의 콘텐츠를 끊김 없이 이용할 수 있는 서비스를 N-스크린 서비스라고 한다.
이러한 다양한 단말기에서 각 단말기에 맞는 다양한 해상도의 콘텐츠를 소비하게 되고, 이동 서비스가 가능해 지면서, 네트워크 환경이 실시간으로 변화하는 콘텐츠 소비환경이 조성되고 있다. 이러한 실시간으로 변하는 소비환경에 적합한 고품질의 콘텐츠를 제공하기 위해서는 기존의 단일 포맷을 지원하는 비디오 부호화 방식으로는 한계가 있다.
이런 측면에서 스케일러블 비디오 부호화(Scalable Video Coding, SVC) 방식에 대한 연구가 활발하게 진행되고 있다. SVC는 다양한 전송 환경 및 단말 성능에 실시간으로 적응 가능하도록 설계되었다. 즉, 단말에 따라 다양하게 요구되는 해상도, 네트워크 상태 등 가변의 이종 소비환경에 적합한 포맷을 지원하는 실시간 적응이 가능한 비디오 부호화 방식이다.
전술한 바와 같이, 다양한 단말기의 성능 및 변화하는 네트워크 환경에 따라 적응적으로 적합한 비디오 콘텐츠를 제공할 수 있는 SVC 비디오 콘텐츠가 주목받고 있으며, 이러한 SVC 비디오 콘텐츠를 MMT 방식으로 다양한 이종망(Heterogeneous Network)을 통해 전송함에 있어서, 동시에 복수의 전송망이 활용될 수 있다.
따라서, 본 발명의 목적은 전송망의 개수에 상응하도록 SVC 비디오 콘텐츠의 계층(Layer)들을 분리하여 전송함으로써 다양한 환경에서 최적의 전송 효율을 갖는 MMT 패키지화된 SVC 비디오 콘텐츠의 하이브리드 전송 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 전송망의 개수에 상응하도록 분리하여 전송한 SVC 비디오 콘텐츠의 계층(Layer)들을 수신하고 병합함으로써 다양한 환경에서 최적의 전송 효율을 갖는 SVC 비디오 콘텐츠의 수신 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위한 SVC 비디오 콘텐츠의 하이브리드 전송 방법은 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하는 단계; 및 상기 분할된 SVC 비디오 콘텐츠들을 복수의 전송망을 이용하여 상기 클라이언트로 전송하는 단계를 포함한다.
상기 분할된 SVC 비디오 콘텐츠들은 기저 계층(Base Layer)의 MMT 애셋 및 향상 계층(Enhanced Layer)의 MMT 애셋 중 적어도 하나를 포함할 수 있다.
상기 MMT 애셋은 MPU(Media Processing Uint)을 포함하고, 상기 MPU는 상기 SVC 비디오 컨텐츠의 분할 정보를 포함할 수 있다.
상기 MPU는 상기 MPU의 부분화 정보를 포함하는 MMT 힌트 트랙(MMT hint track)을 포함할 수 있다.
상기 MMT 힌트 트랙은 상기 SVC 비디오 컨텐츠의 분할정보를 포함할 수 있다.
상기 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하는 단계는 상기 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하여 상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보(composition information)를 생성하는 단계를 포함할 수 있다.
상기 콤포지션 정보는 상기 콤포지션 정보가 참조하는 분할된 SVC 비디오 콘텐츠에 포함된 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
상기 콤포지션 정보는 MMT(Mpeg Media Transport) 패키지(Package)의 패키지 정보, MMT 패킷의 헤더, 및 페이로드 중 적어도 하나에 포함될 수 있다.
상기 분할된 SVC 비디오 콘텐츠들을 전송하는 단계는 상기 콤포지션 정보가 상기 분할된 SVC 비디오 콘텐츠 외부에 존재할 경우, 상기 분할된 SVC 비디오 콘텐츠들 및 상기 콤포지션 정보를 상기 클라이언트로 전송할 수 있다.
상기 SVC 비디오 콘텐츠를 분할하여 콤포지션 정보(composition information)를 생성하는 단계는 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 전송할 수 있는 전송망의 개수를 검출하는 단계; 상기 SVC 비디오 콘텐츠를 상기 검출된 전송망의 개수에 상응하도록 분할하는 단계; 및 상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보를 생성하는 단계를 포함할 수 있다.
상기 분할된 SVC 비디오 콘텐츠들은 개별적으로 각각 하나의 MMT 패키지(Package)를 형성할 수 있다.
상기 복수의 전송망으로 전송되는 상기 분할된 SVC 비디오 콘텐츠 간에 동조를 위한 시그널링 메시지를 상기 SVC 비디오 컨텐츠와 함께 전송할 수 있다.
상기 시그널링 메시지는 서로 상이한 타입의 타임스탬프를 동조하기 위한 클록 릴레이션 인포메이션(Clock Relation Information)을 가질 수 있다.
또한, 본 발명의 목적을 달성하기 위한 콘텐츠 수신 방법은 서버로부터 분할된 SVC 비디오 콘텐츠들을 복수의 전송망을 통하여 수신하는 단계; 및 상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계를 포함한다.
상기 분할된 SVC 비디오 콘텐츠들을 수신하는 단계는 상기 콤포지션 정보가 상기 분할된 SVC 비디오 콘텐츠 외부에 존재할 경우, 상기 분할된 SVC 비디오 콘텐츠들 및 상기 콤포지션 정보를 서버로부터 수신할 수 있다.
상기 분할된 SVC 비디오 콘텐츠들을 수신하는 단계는 상기 수신된 분할된 콘텐츠 및 콤포지션 정보를 기반으로 수신된 일부의 분할된 콘텐츠들 간의 관계를 나타내는 제2콤포지션 정보를 생성할 수 있다.
상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계는 상기 분할된 SVC 비디오 콘텐츠들에 포함된 콤포지션 정보를 기반으로 상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계를 포함할 수 있다.
상기 수신 방법은 수신한 SVC 비디오 콘텐츠의 에러를 정정하는 단계를 더 포함할 수 있다.
상기 SVC 비디오 콘텐츠의 에러를 정정하는 단계는, 다른 계층의 수신 데이터를 사용하여 에러 정정을 수행할 수 있다.
상기 분할된 SVC 비디오 콘텐츠간의 동조(synchronize)를 위한 시그널링 메시지를 수신하는 단계를 더 포함할 수 있다.
상기 시그널링 메시지는 서로 상이한 타입의 타임스탬프를 동조하기 위한 클록 릴레이션 인포메이션(Clock Relation Information)을 가질 수 있다.
상기 시그널링 메시지의 클록 릴레이션 인포메이션(Clock Relation Information)을 사용하여 시스템 클록(system clock)을 생성하는 단계를 더 포함할 수 있다.
전술한 본 발명의 일 실시예에 따른 MMT 패키지화된 SVC 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법에 따르면 가능한 전송망의 개수를 검출하여 상기 전송망의 개수에 상응하도록 SVC 비디오 콘텐츠의 계층들을 적절히 분배하여 전송 및 수신할 수 있다. 따라서, 다양한 환경에서 최적의 전송 효율을 갖는 하이브리드 전송이 가능하다.
도 1은 본 발명의 일 실시예에 따른 MMT 계층 구조를 나타낸 개념도이다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 1 예시도이다.
도 4는 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 2 예시도이다.
도 5는 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 3 예시도이다.
도 6은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 4 예시도이다.
도 7은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 5 예시도이다.
도 8은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 6 예시도이다.
도 9는 본 발명의 일 실시예에 따른 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법의 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 SVC 비디오 콘텐츠 수신 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
이하, 용어의 의미를 다음과 같이 정의한다.
비-시간 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 비-시간 데이터는 데이터가 실행되거나 시작될 수 있는 시간 범위를 가질 수 있다.
시간 데이터(timed data)는 디코딩 및 프리젠테이션 되는 특정한 시간과 연관된 데이터 요소를 정의한다.
표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다.
서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다.
서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.
엑세스 유닛(Access Unit; AU)은 가장 작은 데이터 개체로, 시간 정보를 속성으로 가질 수 있다. 디코딩 및 프리젠테이션을 위한 시간 정보가 지정되지 않은 부호화된 미디어 데이터가 관련되면, AU는 정의되지 않는다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)는 어떠한 특정 코덱에도 독립된 일반적인 컨테이너로, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다. 이는 엑세스 유닛(AU)보다 작거나 같은 크기를 가지고 트랜스포트 계층(Transport layer)에서 사용될 수 있는 정보를 수용한다.
미디어 프로세싱 유닛(Media Processing Unit)은 어떠한 특정 미디어 코덱에도 독립된 일반적인 컨테이너로, 적어도 하나의 AU 및 추가적인 전송 및 소비에 관련된 정보를 수용한다. 비-시간적 데이터를 위하여, MPU는 AU 범위에 속하지 않는 데이터의 부분을 수용한다. MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터이다. 이러한 맥락에서 처리는 전송을 위한 MMT 패키지로의 인캡슐레이션 또는 패킷화를 의미한다. 단, 스케일러블 비디오 코딩(Scalable Video Coding, SVC) 및 다시점 비디오 코딩(Multiview Video Coding, MVC)을 위해 일부 경우에는 MPU는 미디어 코덱 서버에서 독립적으로 및 완전히 소비되지 않을 수 있다.
MMT 애셋(MMT Asset)은 동일한 MMT 애셋 ID와 함께 적어도 하나의 MPU로 구성되거나 또는 다른 표준에서 정의된 형식과 함께 특정 데이터 덩어리로 구성되는 논리적 데이터 개체이다. MMT 애셋은 동일한 컴포지션 정보 및 전송 특성이 적용되는 가장 큰 데이터 유닛이다.
MMT 애셋 전송 특성(MMT Asset Delivery Characteristics; MMT-ADC)은 MMT 애셋을 전송하기 위한 QoS 요구에 관련된 서술이다. MMT-ADC는 특정 전송 환경을 알 수 없게 표현된다.
MMT 컴포지션 정보(MMT Composition Information ; MMT CI)는 MMT 애셋간의 공간적 및 시간적 관계를 설명한다.
MMT 패키지(MMT Package)는 논리적으로 구조화된 데이터의 모음으로, 적어도 하나의 MMT 애셋, MMT-컴포지션 정보, MMT-애셋 전송 특성 및 설명적인 정보로 구성된다.
MMT 패킷(MMT packet)은 MMT 프로토콜에 의해 생성 또는 소비되는 데이터의 포맷이다.
MMT 페이로드 포맷(MMT payload format)은 MMT 프로토콜 또는 인터넷 응용 계층 프로토콜(예를 들면, RTP)에 의해 전달될 MMT 패키지 또는 MMT 시그널링 메시지의 페이로드를 위한 포맷이다.
컨텐츠 콤포넌트(content component) 또는 미디어 콤포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다.
컨텐츠(content)는 컨텐츠 콤포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다.
하이브리드 전송(hybrid delievery)은 하나 또는 하나 이상의 컨텐츠 컴포넌트들이 하나 이상의 물리적으로 서로 다른 형태의 망(network)을 통하여 동시에 전송되거나 물리적으로 같은 형태의 망이나 서로 다른 망을 통하여 동시에 전송되는 것으로 정의한다.
이하에서, 제 1 망(network) 또는 제 2 망(network)은 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크를 포함한다.
이하, 하이브리드 전송시 MMT 애셋 단위, 서브스트림 단위, MFU 단위, MPU 단위, MMT 패키지 단위 또는 MMT 패킷 단위로 전송될 수도 있고 또한 비디오 컨텐츠가 제1 레이어, 제2 레이어와 같이 복수의 레이어로 구성된 경우 레이어 단위로 하이브리드 전송할 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시 예에 따른 MMT 계층 구조를 나타낸 개념도이다.
도 1을 참조하면, MMT(Mpeg Media Transport) 계층 구조는 인캡슐레이션 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 시그널링 계층(Signaling layer)의 기능 영역(functional area)을 포함한다. MMT 계층은 트랜스포트 계층(Transport layer) 상에서 동작한다.
인캡슐레이션 계층(Encapsulation layer; E-layer)은 미디어 컨텐츠, MMT 패키지, 그리고 MMT를 준수하는 개체에 의해 처리될 데이터 유닛들의 포맷의 논리적 구조를 정의한다. 적응적 전송을 위해 필수적인 정보를 제공하기 위해 MMT 패키지는 미디어 컨텐츠를 포함하는 컴포넌트들 및 그들간의 관계를 명시한다. 데이터 유닛들의 포맷은 전송 프로토콜의 페이로드로 저장 또는 전송되도록, 그리고 그들 사이에서 쉽게 변환 되도록 부호화된 미디어를 인캡슐레이션 하기 위해 정의된다.
인캡슐레이션 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다.
다양한 종류의 멀티미디어 컴포넌트들이 인캡슐레이션 계층(E-layer)에서 제공되는 기능에 의하여 전송 및 소비되기 위하여 인캡슐레이션되고 서로 합해질 수 있다. 인캡슐레이션된 미디어 컴포넌트 및 미디어 컴포넌트들의 컨피규레이션(configurations) 정보는 인캡슐레이션 계층(E-layer)의 기능 영역에서 제공된다.
인캡슐레이션된 미디어 컴포넌트들에 대한 주된 정보는 통합(aggregation), 우선순위(prioritization), 미디어 프래그먼트의 의존성, MPU의 타이밍 정보 및 구조 정보, MMT 애셋(150)의 식별 정보, 초기화 정보 및 코덱 정보를 포함할 수 있다. 미디어 컴포넌트들의 컨피규레이션(configurations) 정보는 MMT 패키지(160) 및 MMT 애셋(150)의 식별 정보, MMT 애셋(150)의 리스트를 가지는 컨피규레이션 정보, MMT 패키지(160)내의 MMT 애셋(150)들의 컴포지션 정보(composition information)(162) 및 전달 특성(delivery characteristics) 정보(164)를 포함할 수 있다.
인캡슐레이션 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다.
E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)를 인캡슐레이션하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다.
상위 계층으로부터의 부호화된 미디어 데이터는 MFU로 인캡슐레이션된다. 부호화된 미디어의 타입 및 값은 MFU를 특정 코덱 기술에 일반적으로 사용될 수 있도록 추상화된다. 이는 하위 계층이 인캡슐레이션된 부호화된 미디어에 접근없이 MFU를 처리할 수 있게 하며 하위 계층은 요구되는 부호화된 미디어 데이터를 네트워크나 저장소의 버퍼로부터 불러오고 미디어 디코더로 전송한다. MFU는 상기 작동을 수행하기 위한 충분한 정보 미디어 부분 유닛을 가지고 있다.
MFU는 임의의 특정 코덱(codec)에 독립적이고 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는 포맷을 가질 수 있다. MFU는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
독립적으로 전송가능하고 디코딩할 수 있는 하나 또는 한개 그룹의 복수의 MFU는 MPU를 생성한다. 독립적으로 전송가능하고 실행가능한 비-시간적 미디어 또한 MPU를 생성한다. MPU는 MFU의 배열 및 패턴과 같은 내부 구조를 기술하여 MFU에의 빠른 접근 및 부분적 소비를 가능하게 한다.
E.2 계층은 E.3계층에서 생성된 MPU를 인캡슐레이션하여 MMT 애셋(MMT Asset)을 생성한다.
동일한 소스 컴포넌트로부터의 MPU의 시퀀스는 MMT 애셋을 생성한다. MMT 애셋은 MMT 패키지에 의해 패키지되고, 컴포지션 정보(Composition Information; CI), 전송 특성(Transport Characteristics; TC)에 의해 다른 것과 구성되며, MMT 페이로드 포맷에 의해 다른 것과 다중화되고, MMT 프로토콜에 의해 전송된다.
MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 MPU로 이루어진 데이터 엔티티(data entity)로서, 컴포지션 정보(Composition Information; CI) 및 전송 특성(Transport Characteristics; TC)이 정의된 데이터 유닛이다. MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream)등에 대응될 수 있다.
E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 인캡슐레이션하여 MMT 패키지(MMT Package)를 생성한다.
MMT 애셋은 다른 기능적 영역-트랜스포트 영역 및 시그널 영역-과 함께 또는 별도로 동일한 사용자 경험의 추후의 응답을 위해 MMT 콤포지션 정보(MMT-composition information;MMT-CI)와 패키지된다. 상기 MMT 패키지 또한 MMT 애셋의 체감 품질을 충족시키도록 각각의 MMT 애셋을 위한 적절한 전송 방법을 선정하는 전송 특성과 함께 패키지된다.
MMT 패키지는 콤포지션 정보(Composition Information; CI) 및 전송 특성(Transport Characteristics; TC)과 같은 부가 정보와 함께 하나 또는 복수의 MMT 애셋으로 구성될 수 있다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다.
콤포지션 정보(Composition Information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다.
전송 특성(Transport Characteristics)은 MMT 애셋 또는 MMT 패킷의 전달 조건(delivery condition)을 결정하기 위해 필요한 전송 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.
전달 계층(Delivery layer; D-layer)은 페이로드의 응용 계층 프로토콜 및 포맷을 정의한다. 페이로드 포맷은 미디어 타입 또는 인코딩 방법을 불문하고 부호화된 미디어 데이터를 전달하도록 정의된다.
전달 계층(Delivery layer; D-layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(Network flow multiplexing), 네트워크 패킷화(Network packetization), QoS 제어 등을 수행할 수 있다.
전달 계층 (D-layer)은 트랜스포트 계층(Transport layer)과 인캡슐레이션 계층(E-layer) 사이에서, 네트워크를 통해 전송되는 비디오, 오디오등과 같은 미디어(Media)의 다중화(multiplexing), 패킷 레벨의 통합(aggregation) 및/또는 분할(Fragmentation), 네트워크 패킷화(Network packetization), QoS 제어, 동기화(Synchronization) 기능, 기존의 RTP와 같은 트랜스포트 계층(Transport layer), 기존의 UDP, TCP와 같은 트랜스포트 계층(Transport layer), 인캡슐레이션 계층(E-layer), 시그널링 계층 (S layer)과의 인터페이스 등을 담당한다.
전달 계층 (D-layer)은 인캡슐레이션 계층(E-layer)으로부터의 페이로드(payloads)를 핸들링하기 위하여 인캡슐레이션 계층(E-layer)으로부터의 넘어온 서로 다른 타입의 페이로드를 식별한다.
전달 계층 (D-layer)은 서로 다른 망과 서로 다른 채널을 통하여 전달되는 패킷들간의 임시적인 관계(temporal relation)를 다룰 수 있다. 상기 동기화(Synchronization) 기능은 타임스탬프등을 이용한 하이브리드망 동기화를 포함할 수 있다.
전달 계층 (D-layer)은 실시간 미디어 전송을 위해 MMT 전달패킷(MMT delivery packets)의 타이밍 제약(timing constraints)을 다룰 수 있다.
전달 계층 (D-layer)은 전방향 에러 보정(Forward Error Correction) 및 재전송과 같은 MMT 미디어 패킷의 에러 제어를 수행할 수 있다.
전달 계층 (D-layer)은 MMT 미디어 패킷의 흐름 제어를 수행할 수 있다.
전달 계층 (D-layer)은 MMT 미디어패킷의 전달을 위한 소정 레벨의 QoS를 유지하기 위하여 크로스 레이어 디자인(Cross-layer design)을 통하여 하위 계층(MAC, PHY) 뿐만 아니라 다른 MMT 계층과의 인터랙션(interaction)을 수행할 수 있다.
또한, 전달 계층 (D-layer)은 그룹 통신을 수행하기 위한 기능을 제공할 수 있다.
전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다.
D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성한다. MMT 페이로드 포맷은 MMT 애셋을 전송하고, MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.
D.2 계층(D.2-layer)은 D.1 계층에서 생성된 MMT 페이로드 포맷을 받아서 MMT 트랜스포트 패킷(MMT Transport Packet) 또는 MMT 패킷(MMT Packet)를 생성한다. MMT 트랜스포트 패킷 또는 MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다.
D.3 계층(D.3-layer)은 크로스-레이어 디자인(cross-layer Design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공함으로써 QoS를 지원한다. 예를 들어, D.3 계층은 MAC/PHY 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다. MAC/PHY의 QoS파라미터는 예를 들어, 비트율(bitrate), 패킷손실율(packet loss ratio), 예측된 지연(expected delay), 이용 가능한 버퍼 크기 등이 될 수 있다.
시그널링 계층(Signaling layer; S layer)은 시그널링 기능(signaling function)을 수행한다. 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 및 다른 계층, 즉 전달 계층(D-layer) 및 인캡슐레이션 계층(E-layer)과의 인터페이스 기능 등을 위한 시그널링 기능을 수행할 수 있다. 상기 동기화는 하이브리드망에서의 동기화 제어를 포함할 수 있다.
시그널링 계층은 MMT 패키지의 전달 및 소비를 관리하는 메시지의 포맷을 정의한다. 소비 관리를 위한 메시지는 MMT 패키지의 구조를 전송하기 위해 사용되고, 전달 관리를 위한 메시지는 페이로드 포맷의 구조 및 프로토콜의 구성을 전송하기 위해 사용된다.
시그널링 계층 (S layer)은, 도 1에 도시된 바와 같이, MMT S.1 계층(MMT S.1 Layer) 및 MMT S.2 계층(MMT S.2 Layer)으로 구성될 수 있다.
S.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 인캡슐레이션(E) 계층과의 인터페이스 기능 등을 수행할 수 있다. S.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다. 상기 표현 세션 관리는 미디어 표현, 세션 관리, 미디어 소비에 요구되는 정보 제공을 위하여 애플리케이션간에 교환된 제어 메시지의 포맷을 정의할 수 있다.
S.2 계층은 전달 세션 관리(delivery session management)를 수행할 수 있다. 상기 전달 세션 관리는 흐름 제어(flow control), 전달 세션 관리(delivery session management), 전달 세션 모니터링(delivery session monitoring), 에러 제어(error control), 하이브리드망 동기화 제어(Hybrid network synchronization control)에 관한 전달 계층(D-layer)의 전달 엔드-포인트들(delivery end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다.
S.2 계층은 전달 계층의 동작을 지원하기 위하여 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 관리(전달 세션 모니터링, 흐름 제어, 에러 제어 등), 설정된 전달 세션에 대한 리소스 예약, 복합 전달 환경하에서의 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 즉, S.2 계층은 전술한 바와 같은 전달 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 또한, S.2 계층은 전달 계층 및 인캡슐레이션 계층과의 인터페이스 기능을 담당할 수 있다.
제어 메시지(control message; 또는 제어 정보(control information))는 시그널링 계층 (S layer)에서 생성되어 방송망 및/또는 광대역망을 통하여 전송될 수 있다.
방송망 및 광대역망 모두를 통하여 전송되는 경우, 방송망을 통하여 전송되는 제어 메시지의 기능은 광대역망을 통하여 전송되는 제어 메시지의 기능과 동일할 수 있다. 애플리케이션 및 전송(delivery)의 종류에 따라서 제어 메시지의 신택스(syntax) 및 포맷(format)은 달라질 수 있다. 예를 들어, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)과 동일한 공통 포맷(common format)이 방송망 및 광대역 망 각각으로 전송되는 제어 메시지에 사용될 수 있다. 또는, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)가 방송망 및 광대역망 각각마다 서로 다른 포맷(different format)으로 전송될 수도 있다. 또는, 하이브리드 전송의 경우, 방송망 및 광대역망 각각마다 서로 다른 제어 정보(different control information)와 서로 다른 포맷(different format)으로 전송될 수도 있다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)은 MFU의 범위에서 적응적인 전송을 수행하기 위해 트랜스포트 계층에서 AU의 부분을 인캡슐레이션하는 형식을 정의한다. MFU는 AU의 부분이 독립적으로 디코드되거나 폐기될 수 있도록 부호화된 미디어의 일정한 형식을 전송하는데 사용될 수 있다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)는 부호화된 미디어 분할 데이터(coded media fragment data, 132)와 MFUH(Media Fragment Unit Header)(134)로 이루어진다. 미디어 프래그먼트 유닛(130)은 특정 코덱(codec)에 독립적으로 일반 컨테이너 포맷(general container format)을 가지며 미디어 디코더에서 독립적으로 소비될 수 있는 가장 작은 데이터 유닛을 싣는다. MFUH(134)는 미디어 특성-예를 들어 유실 허용한계(loss-tolerance)-과 같은 부가 정보를 포함할 수 있다. MFU)(130)는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
MFU는 다른 MFU들로부터 하나의 MFU를 구별하기 위한 식별자를 가지고, 단일 AU내의 MFU들 사이의 일반적인 관계 정보를 가진다. 단일 AU에서의 MFU 사이의 의존 관계가 설명되고, MFU의 관련 우선순위가 그러한 정보들의 부분으로 설명된다. 상기 정보는 하위 트랜스포트 계층에서 전송을 다루는데 사용될 수 있다. 예를 들면, 트랜스포트 계층은 불충분한 대역폭에서의 QoS 전송을 지원하도록, 폐기해도 되는 MFU들의 전송을 생략할 수 있다.
MPU는 복수의 미디어 프래그먼트 유닛(130)을 포함하는 미디어 프래그먼트 유닛의 집합이다. MPU는 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가지며 액세스 유닛(Access Unit)과 등가의 미디어 데이터를 포함한다. MPU는 시간 데이터 유닛(timed data unit) 또는 비-시간 데이터 유닛(non-timed data unit) 을 가질 수 있다. MPU는 미디어 프래그먼트 유닛 데이터(media fragment unit data)와 동기화를 위한 타임 스탬프와 같은 부가 정보를 가지는 미디어 프로세싱 유닛 헤더(Media Processing Unit Header; MPUH)를 포함할 수 있다.
MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 데이터이고, 처리는 인캡슐레이션 및 패킷화를 포함한다. MPU는 적어도 하나의 MFU로 구성되거나 다른 표준에 의해 정의된 포맷을 가진 데이터의 부분을 가질 수 있다.
단일 MPU는 적어도 하나의 AU의 정수(integral number) 또는 비-시간 데이터를 수용할 수 있다. 시간 데이터를 위하여, AU는 적어도 하나의 MFU로부터 전달될 수 있으나, 하나의 AU는 다수의 MPU로 분할될 수 없다. 비-시간 데이터에서, 하나의 MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 비-시간 데이터의 부분을 수용한다.
MPU는 시퀀스번호 및 이를 다른 MPU와 구분하여주는 연관된 애셋 ID로 MMT 패키지 내에서 유일하게 식별될 수 있다.
MPU는 적어도 하나의 임의 접근점(Random access point)을 가진다. MPU 페이로드의 첫 바이트는 항상 임의 접근점으로 시작할 수 있다. 시간 데이터에서, 상기 사실은 MPU 페이로드에서 첫 MFU의 디코딩 순서는 항상 0임을 의미한다. 시간 데이터에서, 각 AU의 프리젠테이션 기간 및 디코딩 순서는 프리젠테이션 시간을 알리기 위해 보내질 수 있다. MPU는 자신의 초기 프리젠테이션 시간을 가지고 있지 않고, 하나의 MPU의 첫 AU의 프리젠테이션 시간은 컴포지션 정보에 기술되어 있을 수 있다. 컴포지션 정보는 MPU의 첫 프리젠테이션 시간을 명시할 수 있다.
MPU는 MMT 힌트 트랙을 포함할 수 있다. MPU의 패킷화된 전달을 위해, MMT 힌트 트랙(MMT hint track)은 인캡슐레이션된 MPU를 MMT 페이로드 및 MMT 패킷으로 변환하기 위한 정보를 제공할 수 있다.
MMT 힌트 트랙은 MPU의 부분(fragmentation)을 전송부에 암시한다. 이로써 적어도 하나의 MFU는 MMT 페이로드를 생성하기 위해 사용될 수 있다. 미디어 데이터는 전송부에 의해 전송 시점에 MMT 페이로드로 생성되고 전달될 수 있다. 따라서, 저장되는 포멧은 전달시의 포멧과 상이할 수 있다. 이러한 경우, 전송시 미디어 데이터를 추출하고 MMT 페이로드를 생성할 수 있는 동적인 전송부가 요구된다.
MMT 힌트 트랙은 MMT 페이로드 포멧을 사용하는 인캡슐레이션을 위한 MFU의 추출 및 생성을 암시한다. MMT페이로드는 MPU 메타데이터 또는 적어도 하나의 MFU를 포함할 수 있다. MMT 힌트 트랙은 MFU 데이터를 추출하는 방법을 전송부에 암시한다. 프래그멘테이션이 사용되지 않으면 힌트 트랙은 생략될 수 있다.
MMT 힌트 트랙은 샘플의 엔트리 포멧을 나타낼 수 있다. 각 미디어 샘플은 적어도 하나의 MFU에 지정되고, MMT 힌트 트랙의 샘플은 적어도 하나의 MFU를 생성하게 된다.
MMT 힌트 트랙은 다수의 파라미터를 포함한다. 예로, 1의 값을 가지면 다중 레이어 정보가 제공됨을 나타내는 multilayer_flag를 포함할 수 있다. dependency_id는 해당 MFU의 의존성을 나타내는 ID이다. 0의 값이 아니면 적어도 하나의 시간적, 품질적 또는 공간적 해상도 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. depth_id는 해당 MFU가 비디오의 깊이 데이터(depth data)를 전달하는지를 나타낸다. quality_id는 MFU의 품질 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상 시킨다. temporal_id는 MFU의 시간적 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. view_id 는 MFU의 뷰 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. 또한 힌트트랙은 스케일러빌리티 차수(scalability dimensions) 정보가 초기 정보에 제공되는 스케일러블 레이어의 아이디를 나타내는 layer_id 파라미터를 가질 수 있다.
MMT 애셋(150)은 복수의 MPU 들로 이루어진 MPU의 집합이다. MMT 애셋(150)은 단일의 데이터 소스로부터의 다수의 MPU(시간(timed) 또는 비-시간(non-timed) 데이터)로 이루어진 데이터 엔티티로서, MMT 애셋 정보(152)는 애셋 패키징 메타데이터(Asset packaging metadata) 및 데이터 타입과 같은 부가 정보를 포함할 수 있다. MMT 애셋(150)은 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 FF(File Format), PES(packetized elementary streams), M2TS(MPEG transport stream)등을 포함할 수 있다.
또한 MMT 애셋은 부호화된 미디어 데이터를 가지는 논리적 데이터 개체일 수 있다. MMT 애셋은 MMT 애셋 헤더 및 부호화된 미디어 데이터를 가진다. 부호화된 미디어 데이터는 같은 MMT 애셋 아이디로 집단적으로 참조되는 MPU들의 그룹일 수 있다. MMT 클라이언트와 직접 관련되는 개체로 각각 소비되는 타입의 데이터는 분리된 MMT 애셋일 수 있다. 그러한 데이터 타입들의 예로 MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG 파일 들을 들 수 있다.
MMT 애셋의 부호화된 미디어는 시간 데이터 또는 비-시간 데이터 일 수 있다. 시간 데이터는 지정된 시간에 특정 데이터의 동기화된 디코딩 및 프리젠테이션이 요구되는 시청각 미디어 데이터이다. 비-시간 데이터는 서비스의 제공 또는 사용자 상호작용에 따라 임의의 시간에 디코딩되고 제공될 수 있는 데이터 타입의 데이터이다.
서비스 제공자(service provider)는 MMT 애셋들을 통합하여 MMT 애셋들을 공간-시간축상에 두고 멀티미디어 서비스를 생성할 수 있다.
MMT 패키지(160)는 하나 또는 하나 이상의 MMT 애셋(150)을 포함하는 MMT 애셋의 집합이다. MMT 패키지 내의 MMT 애셋들은 다중화되거나 또는 사슬같이 연결(concatenated)될 수 있다.
MMT 패키지는 MMT 애셋 및 컨피규레이션 정보를 위한 컨테이너 포맷이다. MMT 패키지는 MMT 프로그램을 위한 MMT 애셋 및 컨피규레이션 정보의 저장소를 제공한다.
MMT 프로그램 제공자는 부호화된 데이터를 MMT 애셋으로 인캡슐레이션하고 MMT 애셋과 그들의 전송 특성의 시간적 및 공간적 레이아웃을 설명하는 것으로 컨피규레이션 정보를 생성한다. MU 및 MMT 애셋은 D.1 페이로드 포맷으로 직접적으로 전송될 수 있다. 컨피규레이션 정보는 S.1 프리젠테이션 세션 관리 메시지에 의해 전송될 수 있다. 그러나 MMT 프로그램의 릴레이 또는 추후의 재사용을 허용하는 MMT 프로그램 제공자 및 클라이언트는 MMT 패키지 포맷으로 이를 저장한다.
MMT 패키지를 파싱하는데 있어, MMT 프로그램 제공자는 MMT 애셋이 클라이언트에게 어떤 전송 경로(예를들면, 브로드캐스트 또는 브로드밴드)로 제공될지를 결정한다. MMT 패키지에서의 컨피규레이션 정보는 전송 관련 정보와 함께 S.1 프리젠테이션 세션 관리 메시지로 전송된다.
클라이언트는 S.1 프리젠테이션 세션 관리 메시지를 수신하여 어떤 MMT 프로그램이 가능하고 어떻게 해당되는 MMT 프로그램을 위한 MMT 애셋을 수신하는지를 알게된다.
MMT 패키지는 D.1페이로드 포맷에 의해 또한 전송될 수 있다. MMT 패키지는 D.1 페이로드 포맷으로 패킷화 되고 전달된다. 클라이언트는 패킷화된 MMT 패키지를 수신하고 이의 전부 또는 일부를 구성하고, 여기서 MMT 프로그램을 소비한다.
MMT 패키지(160)의 패키지 정보(package information)(165)는 컨피규레이션 정보(Configuration Information)를 포함할 수 있다. 컨피규레이션 정보(Configuration Information)는 MMT 애셋들의 리스트, 패키지 식별 정보(package identification information), 콤포지션 정보(composition information)(162) 및 전송 특성(transport characteristics)(164)와 같은 부가 정보를 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 애셋(150)들 사이의 관계(relationship)에 대한 정보를 포함한다.
또한, 콤포지션 정보(composition information)(162)는 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함할 수 있다. 콤포지션 정보(composition information)는 다중 스크린 환경에서 패키지 전달 최적화 및 표현을 위한 정보를 제공한다. 다중스크린 환경에서 애셋을 특정 스크린에 매핑하는 정보를 나타낼 수 있다. 자세한 설명은 후술한다.
MMT 패키지의 전송 및 프리젠테이션을 돕는 정보와 같이, MMT에서의 컴포지션 정보(Composition Information)는 MMT 패키지 내의 MMT 애셋 사이의 공간적 및 시간적 관계에 대한 정보를 제공한다.
MMT-CI는 HTML5를 확장하여 그러한 정보를 제공하는 설명적인 언어이다. HTML5가 텍스트 기반 컨텐츠의 페이지기반 프리젠테이션을 설명하도록 설계되었다면, MMT-CI는 주로 소스들간의 공간적인 관계를 표현한다. MMT 애셋들 간의 시간적 관계를 알려주는 표현을 지원하기 위하여, 프리젠테이션 리소스와 같이 MMT 패키지에 있는 MMT 애셋에 관련된 정보, MMT 애셋의 전송 및 소비 순서를 결정하는 시간 정보 및 HTML5에서 다양한 MMT 애셋을 소비하는 미디어 요소들의 추가적인 속성을 가지도록 확장될 수 있다.
전송 특성(transport characteristics) 정보(164)는 전송 특성에 대한 정보를 포함하며, 각각의 MMT 애셋(또는 MMT 패킷)의 전달 조건(delivery condition)을 결정하기 위해 필요한 정보를 제공할 수 있다. 전송 특성 정보는 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.
트래픽 기술 파라미터는 미디어 프래그먼트 유닛(MFU)(130) 또는 MPU에 대한 비트율(bitrate) 정보, 우선 순위(priority) 정보등을 포함할 수 있다. 비트율 정보는 예를 들어 MMT 애셋이 가변 비트율(Variable BitRate; VBR) 또는 고정 비트율(Constant BitRate; CBR)인지 여부에 대한 정보, 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대해 보장된 비트율(guaranteed bitrate), 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대한 최대 비트율을 포함할 수 있다. 상기 트래픽 기술 파라미터는 전달 경로상의 서버, 클라이언트, 기타 다른 구성요소들 간에 리소스 예약(resource reservation)을 위해 사용될 수 있으며, 예를 들어 MMT 애셋내의 미디어 프래그먼트 유닛(MFU)(또는 MPU)의 최대 크기 정보를 포함할 수 있다. 상기 트래픽 기술 파라미터는 주기적 또는 비주기적으로 업데이트될 수 있다.
QoS 기술자는 QoS 제어를 위한 정보를 포함하며, 예를 들어 지연(delay) 정보 및 손실 정보(loss information)를 포함할 수 있다. 손실 정보는 예를 들어 MMT 애셋의 전달 손실(delivery loss)이 허용되는지 않되는지에 대한 손실 지시자(loss indicator)를 포함할 수 있다. 예를 들어 손실 지시자가 ‘1’인 경우 ‘lossless’를 나타내고, ‘0’인 경우에는 ‘lossy’를 나타낼 수 있다. 지연(delay) 정보는 MMT 애셋의 전송 지연의 민감도를 구분하는데 사용되는 지연 지시자(delay indicator)를 포함할 수 있다. 지연 지시자는 MMT 애셋의 타입이 대화(conversation), 인터랙티브(interactive), 실시간(real time) 및 비실시간(non-realtime) 인지 여부를 지시할 수 있다.
하나의 컨텐츠(content)는 하나의 MMT 패키지로 이루어질 수 있다. 또는 하나의 컨텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다.
하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 시간적(temporal), 공간적(spatial), 적응적(adaptive) 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 컨피규레이션 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다.
예를 들어 하이브리드 전달(hybrid delivery)의 경우 컨텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 컨텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어 하나의 멀티뷰 서비스를 구성하는 복수의 AV 스트림(audiovisual stream)의 경우 하나의 스트림은 방송망으로 전송되고 다른 스트림은 광대역망으로 전송될 수 있으며, 각각의 AV 스트림은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다. 또는 예를 들어 위젯(widget)과 같은 애플리케이션 소프트웨어는 광대역망으로 전송되고, AV 스트림(AV 프로그램)은 기존 방송망으로 전달되는 시나리오도 존재할 수 있다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 복수의 AV 스트림 전체가 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 스트림 중의 하나는 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 컨텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 컨피규레이션 정보(configuration information)를 재기록 해야하고, 재기록 된 컨텐츠는 서버와 무관한 새로운 MMT 패키지가 된다.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 각각의 AV 스트림이 하나의 MMT 패키지로도 될 수 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 컨텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 컨피규레이션 정보가 필요하다.
하나의 MMT 패키지내에 포함된 컴포지션 정보 또는 컨피규레이션 정보(configuration information)는 다른 MMT 패키지내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다.
SVC 비디오 콘텐츠의 하이브리드 전송 방법
전술한 바와 같이, MMT 방식을 통한 전송의 대상이 되는 콘텐츠는 기저 계층(Base Layer) 및 적어도 하나 이상의 향상 계층(Enhanced Layer)를 포함하는 SVC 비디오 콘텐츠일 수 있다. 하나의 SVC 비디오 콘텐츠는 하나의 MMT 패키지로 이루어질 수 있고, 또는 하나의 SVC 비디오 콘텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다. 즉, SVC 비디오 콘텐츠에 포함된 복수의 계층들이 하나의 MMT 패키지에 포함될 수도 있고, 복수의 MMT 패키지로 분리되어 포함될 수도 있다.
하나의 SVC 비디오 콘텐츠가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지 간의 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 구성 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다.
하이브리드 전송(hybrid delivery)의 경우 콘텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 콘텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어, 하나의 SVC 비디오 콘텐츠를 구성하는 기저 계층 및 하나 이상의 향상 계층들 중 기저 계층은 방송망으로 전송되고 향상 계층들은 광대역망으로 전송될 수 있으며, 또는 기저 계층 및 적어도 하나의 향상 계층이 방송망을 통해 전송되고, 하나 이상의 다른 향상 계층이 광대역망을 통해 전송될 수 있다. 여기서, 각각의 계층들은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다.
상기와 같은 SVC 비디오 콘텐츠의 경우, 복수의 계층들이 전체로서 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 계층들 중의 하나가 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 콘텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 구성 정보(configuration information)를 재기록해야하고, 재기록된 콘텐츠는 서버와 무관한 새로운 MMT 패키지가 된다.
여기서, 기저 계층은 반드시 클라이언트 단말로 전송되어야 하며, 향상 계층들은 상기 클라이언트 단말의 성능(Capabilities)이나 전송 환경(예를 들어, 네트워크의 대역폭(network bandwidth)) 중 적어도 하나를 기반으로 선택되어 일부만이 상기 클라이언트 단말에 저장될 수 있다. 따라서, 단말의 성능 및 전송 환경에 적합한 새로운 SVC 비디오 콘텐츠의 MMT 패키지가 될 수 있다.
상기와 같은 SVC 비디오 콘텐츠의 경우, 각각의 계층들이 각각 하나의 MMT 패키지로 구성될 수도 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 콘텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 구성 정보가 필요하다.
하나의 MMT 패키지 내에 포함된 컴포지션 정보 또는 구성 정보(configuration information)는 다른 MMT 패키지 내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다. 예를 들면, 하나의 MMT 패키지 내에 기저 계층, 하나 이상의 향상 계층 및 콤포지션 정보가 포함되고, 다른 MMT 패키지 내에 하나 이상의 다른 향상 계층이 포함된 경우, 상기 콤포지션 정보는 동일 MMT 패키지 내의 기저 계층과 향상 계층 뿐만아니라, 다른 MMT 패키지 내의 향상 계층 또한 참조할 수 있다.
복수의 MMT 패키지가 존재하는 경우, 상기 콤포지션 정보는 하나의 MMT 패키지에만 포함될 수 있고, 각각의 MMT 패키지 내에 포함될 수도 있다. 이하, 도 3 내지 도 10을 참조하여 본 발명의 다양한 실시예에 따른 SVC 비디오 콘텐츠를 기반으로한 MMT 패키지 구성의 예시를 설명한다.
이하에서 방송망(broadcast network) 및 광대역망(broadband network)을 통한 하이브리드 전송을 예시하였으나, 본 발명의 범위는 상기 방송망(broadcast network) 및 광대역망(broadband network)을 통한 하이브리드 전송에 한정되지 아니하며, 본 발명의 실시예에 따른 하이브리드 전송 방식으로서 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크들 중 복수가 선택될 수 있다.
또한, 상기 SVC 비디오 콘텐츠가 포함하는 각각의 계층들이 각각 하나의 MMT 애셋을 구성할 수 있다. 따라서, 상기 MMT 패키지와 MMT 애셋들의 관계는 상기 MMT 패키지와 각각의 계층들 간의 관계를 나타낼 수 있다. 이하에서 MMT 패키지의 구성을 설명하기 위해 기저 계층 또는 향상 계층이 MMT 애셋 단위인 것을 기준으로 설명하였으나, 본 발명의 일 실시예에 따른 SVC 비디오 콘텐츠의 하이브리드 전송 방법은 MMT 애셋 단위의 전송에 한정되지 아니하며, 서브스트림 단위, MMT 패키지 단위 또는 MMT 패킷 단위로 전송될 수도 있으며, 이 경우 각각의 전송 단위를 구성하기 위해 서브스트림, MMT 패키지, 또는 MMT 패킷 별로 분할 및 결합 될 수 있다.
도 3은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 1 예시도이다.
상기 제 1 예시도는 하나의 SVC 비디오 콘텐츠가 하나의 MMT 패키지로 이루어진 경우를 도시한다. 도 3에 도시된 바와 같이, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 기저 계층의 MMT 애셋(311) 및 향상 계층의 MMT 애셋들(312, 313)은 방송망(broadcast network)(301)을 통해 전송되고 SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 향상 계층의 MMT 애셋들(314, 315, 316)은 광대역망(broadband network)(302)을 통해 전송될 수 있다. 여기서, 상기 방송망을 통해 전송되는 MMT 애셋들(311, 312, 313)은 다중화(MUX)될 수 있고, 상기 광대역망을 통해 전송되는 MMT 애셋들(314, 315, 316)도 다중화(MUX)될 수 있다.
여기서, 하나의 콘텐츠를 구성하는 모든 콘텐츠 컴포넌트들인 MMT 애셋들(311, 312, 313, 314, 315, 316)은 전체로서 하나의 MMT 패키지(331)에 포함될 수 있다. 또한, 상기 MMT 애셋들(311, 312, 313, 314, 315, 316) 간의 콤포지션 정보(321)는 상기 MMT 패키지(331)에 포함될 수 있다.
여기서, 상기 콤포지션 정보는 상기 콤포지션 정보가 참조하는 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 2 예시도이다.
상기 제 2 예시도는 하나의 콘텐츠가 하나의 MMT 패키지로 이루어지되, 로컬 콤포지션 정보를 포함하는 경우를 도시한다. 도 4에 도시된 바와 같이, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 기저 계층의 MMT 애셋(411) 및 향상 계층의 MMT 애셋들(412, 413)은 방송망(broadcast network)(401)을 통해 전송되고 SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 향상 계층의 MMT 애셋들(414, 415, 416)은 광대역망(broadband network)(402)을 통해 전송될 수 있다. 여기서, 상기 방송망을 통해 전송되는 MMT 애셋들(411, 412, 413)은 다중화(MUX)될 수 있고, 상기 광대역망을 통해 전송되는 MMT 애셋들(414, 415, 416)도 다중화(MUX)될 수 있다.
한편, 하나의 콘텐츠를 구성하는 모든 콘텐츠 컴포넌트들인 MMT 애셋들(411, 412, 413, 414, 415, 416)은 전체로서 하나의 MMT 패키지(431)에 포함될 수 있다. 여기서 상기 MMT 패키지(431)는 상기 방송망을 통해 전송되는 MMT 애셋들(411, 412, 413) 간의 관계를 나타내는 로컬 콤포지션 정보(local composition information)(441), 상기 광대역망을 통해 전송되는 MMT 애셋들(414, 415, 416) 간의 관계를 나타내는 로컬 콤포지션 정보(442) 및 상기 로컬 콤포지션 정보(441)와 로컬 콤포지션 정보(442) 간의 관계를 나타내는 콤포지션 정보(421)를 포함할 수 있다.
여기서, 상기 로컬 콤포지션 정보는 상기 로컬 콤포지션 정보가 참조하는 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 3 예시도이다.
상기 제 5 예시도는 하나의 콘텐츠가 복수개의 MMT 패키지로 이루어진 경우를 도시한다. 도 5에 도시된 바와 같이, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 기저 계층의 MMT 애셋(511) 및 향상 계층의 MMT 애셋들(512, 513)은 방송망(broadcast network)(501)을 통해 전송되고 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 향상 계층의 MMT 애셋들(514, 515, 516)은 광대역망(broadband network)(502)을 통해 전송될 수 있다. 여기서, 상기 방송망을 통해 전송되는 MMT 애셋들(511, 512, 513)은 다중화(MUX)될 수 있고, 상기 광대역망을 통해 전송되는 MMT 애셋들(514, 515, 516)도 다중화(MUX)될 수 있다.
여기서, 콘텐츠 컴포넌트(content component)들 중 일부인 MMT 애셋들(511, 512, 513)이 하나의 MMT 패키지(531)에 포함되고, 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 MMT 애셋들(514, 515, 516)이 다른 MMT 패키지(532)에 포함될 수 있다. 즉, 하나의 SVC 비디오 콘텐츠가 복수개의 MMT 패키지들(531, 532)로 이루어질 수 있다. 또한, 상기 MMT 패키지들(531, 532) 간의 관계를 나타내는 콤포지션 정보(521)는 상기 MMT 패키지(531) 또는 MMT 패키지(532) 중 어느 하나에 포함될 수 있다.
여기서, 상기 콤포지션 정보는 상기 콤포지션 정보가 참조하는 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
도 6은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 4 예시도이다.
상기 제 4 예시도는 하나의 SVC 비디오 콘텐츠가 복수개의 MMT 패키지로 이루어지되, 로컬 콤포지션 정보를 포함하는 경우를 도시한다. 도 6에 도시된 바와 같이, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 기저 계층의 MMT 애셋(611) 및 향상 계층의 MMT 애셋들(612, 613)은 방송망(broadcast network)(601)을 통해 전송되고 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 향상 계층의 MMT 애셋들(614, 615, 616)은 광대역망(broadband network)(602)을 통해 전송될 수 있다. 여기서, 상기 방송망을 통해 전송되는 MMT 애셋들(611, 612, 613)은 다중화(MUX)될 수 있고, 상기 광대역망을 통해 전송되는 MMT 애셋들(614, 615, 616)도 다중화(MUX)될 수 있다.
한편, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 MMT 애셋들(611, 612, 613)이 하나의 MMT 패키지(631)에 포함되고, 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 MMT 애셋들(614, 615, 616)이 다른 MMT 패키지(632)에 포함될 수 있다. 즉, 하나의 콘텐츠가 복수개의 MMT 패키지들(631, 632)로 이루어질 수 있다.
여기서, 상기 MMT 패키지(631)는 상기 방송망을 통해 전송되는 MMT 애셋들(611, 612, 613) 간의 관계를 나타내는 로컬 콤포지션 정보(641)를 포함할 수 있고, 상기 MMT 패키지(632)는 상기 광대역망을 통해 전송되는 MMT 애셋들(614, 615, 616) 간의 관계를 나타내는 로컬 콤포지션 정보(642)를 포함할 수 있다. 또한, 상기 로컬 콤포지션 정보들(641, 642) 간의 관계를 나타내는 콤포지션 정보(621)는 상기 MMT 패키지(631) 또는 MMT 패키지(632) 중 어느 하나에 포함될 수 있다.
여기서, 상기 로컬 콤포지션 정보는 상기 로컬 콤포지션 정보가 참조하는 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
도 7는 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 5 예시도이다.
상기 제 5 예시도는 하나의 SVC 비디오 콘텐츠가 복수개의 MMT 패키지로 이루어진 경우를 도시한다. 도 7에 도시된 바와 같이, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 기저 계층의 MMT 애셋(711) 및 향상 계층의 MMT 애셋들(712, 713)은 방송망(broadcast network)(701)을 통해 전송되고 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 향상 계층의 MMT 애셋들(714, 715, 716)은 광대역망(broadband network)(702)을 통해 전송될 수 있다. 여기서, 상기 방송망을 통해 전송되는 MMT 애셋들(711, 712, 713)은 다중화(MUX)될 수 있고, 상기 광대역망을 통해 전송되는 MMT 애셋들(714, 715, 716)도 다중화(MUX)될 수 있다.
여기서, 콘텐츠 컴포넌트(content component)들 중 일부인 MMT 애셋들(711, 712, 713)이 하나의 MMT 패키지(731)에 포함되고, 콘텐츠 컴포넌트(content)들 중 나머지 부분인 MMT 애셋들(714, 715, 716)이 다른 MMT 패키지(732)에 포함될 수 있다. 즉, 하나의 SVC 비디오 콘텐츠가 복수개의 MMT 패키지들(731, 732)로 이루어질 수 있다. 또한, 상기 MMT 패키지들(731, 732) 간의 관계를 나타내는 콤포지션 정보(721)는 상기 MMT 패키지들(731, 732) 외부에 존재할 수 있다.
여기서, 상기 콤포지션 정보는 상기 콤포지션 정보가 참조하는 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
도 8은 본 발명의 일 실시예에 따른 MMT 패키지 구성의 제 6 예시도이다.
상기 제 6 예시도는 하나의 SVC 비디오 콘텐츠가 복수개의 MMT 패키지로 이루어지되, 로컬 콤포지션 정보를 포함하는 경우를 도시한다. 도 8에 도시된 바와 같이, SVC 비디오 콘텐츠의 콘텐츠 컴포넌트(content component)들 중 일부인 기저 계층의 MMT 애셋(811) 및 향상 계층의 MMT 애셋들(812, 813)은 방송망(broadcast network)(801)을 통해 전송되고 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 향상 계층의 MMT 애셋들(814, 815, 816)은 광대역망(broadband network)(802)을 통해 전송될 수 있다. 여기서, 상기 방송망을 통해 전송되는 MMT 애셋들(811, 812, 813)은 다중화(MUX)될 수 있고, 상기 광대역망을 통해 전송되는 MMT 애셋들(814, 815, 816)도 다중화(MUX)될 수 있다.
한편, 콘텐츠 컴포넌트(content component)들 중 일부인 MMT 애셋들(811, 812, 813)이 하나의 MMT 패키지(831)에 포함되고, 콘텐츠 컴포넌트(content component)들 중 나머지 부분인 MMT 애셋들(814, 815, 816)이 다른 MMT 패키지(832)에 포함될 수 있다. 즉, 하나의 콘텐츠가 복수개의 MMT 패키지들(831, 832)로 이루어질 수 있다.
여기서, 상기 MMT 패키지(831)는 상기 방송망을 통해 전송되는 MMT 애셋들(811, 812, 813) 간의 관계를 나타내는 로컬 콤포지션 정보(841)를 포함할 수 있고, 상기 MMT 패키지(832)는 상기 광대역망을 통해 전송되는 MMT 애셋들(814, 815, 816) 간의 관계를 나타내는 로컬 콤포지션 정보(842)를 포함할 수 있다. 또한, 상기 로컬 콤포지션 정보들(841, 842) 간의 관계를 나타내는 콤포지션 정보(821)는 상기 MMT 패키지들(831, 832) 외부에 존재할 수 있다.
여기서, 상기 로컬 콤포지션 정보는 상기 로컬 콤포지션 정보가 참조하는 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
상기와 같이 방송망과 광대역망을 이용한 하이브리드 전송의 경우를 도시하였으나, 본 발명의 실시예에 따른 하이브리드 전송 방식으로서 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크들 중 복수가 선택될 수 있다. 또한 두 개의 전송망에 한정되지 아니하고 셋 이상의 다양한 전송망에 대해서 상기와 같이 하나의 MMT 패키지가 하나의 SVC 비디오 콘텐츠를 구성하거나, 복수의 MMT 패키지가 하나의 SVC 비디오 콘텐츠를 구성하는 다양한 패키지 구성 또한 적용할 수 있을 것이다.
도 9는 본 발명의 일 실시예에 따른 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법의 흐름도이다.
전술한 바와 같이, 다양한 이종(Heterogeneous)의 전송망을 통한 하이브리드 전송이 가능해지고, 방송망 또는 광대역망 이외에도 케이블망(cable network), 또는 위성 통신망(satellite communication network)을 포함하는 다양한 전송망이 발달하였다. 따라서, 다양한 전송망 중 현재의 통신 상황을 기반으로 판단하여 서버로부터 클라이언트로 SVC 비디오 콘텐츠를 전송할 수 있는 전송망의 개수를 검출하고, 상기 검출한 전송망의 개수에 상응하도록 상기 SVC 비디오 콘텐츠를 분할하며, 다양한 방법에 의해 상기 분할된 콘텐츠들 간의 관계를 나타내는 정보를 생성하여 전송함으로써, 가능한 전송망을 최대한 활용하여 최적의 전송 효율을 가지는 SVC 비디오 콘텐츠의 하이브리드 전송 방법이 필요하다. 여기서, SVC 비디오 콘텐츠는 기저 계층 및 적어도 하나의 향상 계층을 포함하므로, 상기 분할된 콘텐츠는 각각 기저 계층 또는 적어도 하나의 향상 계층을 포함할 수 있다. 즉, 복수의 계층들을 상기 전송망의 개수에 상응하도록 분리하여 전송할 수 있다.
도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법은 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하여 상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보(composition information)를 생성하는 단계 및 상기 분할된 SVC 비디오 콘텐츠들을 상기 전송망을 이용하여 상기 클라이언트로 전송하는 단계(S940)를 포함할 수 있다. 여기서, 상기 SVC 비디오 콘텐츠를 분할하고 콤포지션 정보를 생성하는 단계는 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 전송할 수 있는 전송망의 개수를 검출하는 단계(S910), 상기 SVC 비디오 콘텐츠를 상기 검출된 전송망의 개수에 상응하도록 분할하는 단계(S920) 및 상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보(composition information)를 생성하는 단계(S930)를 포함할 수 있다.
서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 전송할 수 있는 전송망의 개수를 검출하는 단계(S910)에서, 콘텐츠를 전송하기 위해 이용할 수 있는 모든 전송망을 검출하여 상기 전송망의 개수를 검출한다. 상기 전송망으로 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크들 중 복수가 선택될 수 있다. 또한, 상기 전송망의 개수뿐만 아니라 전송 속도와 같은 각각의 전송망의 특성을 함께 검출할 수 있다.
상기 SVC 비디오 콘텐츠를 상기 검출된 전송망의 개수에 상응하도록 분할하는 단계(S920)에서, 상기 SVC 비디오 콘텐츠를 상기 검출된 전송망의 개수에 상응하도록 분할할 수 있다. 전송망의 개수에 상응하도록 분할하되, 상기 검출 단계(S910)에서 각각의 전송망의 특성을 검출한 경우, 상기 전송망의 특성 및 상기 전송망의 개수를 기반으로 상기 콘텐츠를 분할할 수 있다. 상기 분할된 콘텐츠들은 오디오 정보, 비디오 정보, 부가 데이터 정보, 또는 위젯 정보일 수 있다. 상기 오디오 정보, 비디오 정보, 부가 데이터 정보, 또는 위젯 정보는 각각 하나의 분할된 콘텐츠에 포함될 수 있고, 복수의 분할된 콘텐츠에 포함될 수도 있다.
여기서, 상기 콘텐츠는 적어도 하나의 MMT 애셋(Asset)을 포함할 수 있다. 상기 분할된 콘텐츠들은 각각 동일한 개수의 MMT 애셋(Asset)을 포함할 수도 있고, 상기 전송망의 특성을 기반으로 상이한 개수의 MMT 애셋(Asset)을 포함할 수도 있다. 또한, 상기 분할된 콘텐츠들은 상기 분할된 콘텐츠들 전체가 하나의 MMT 패키지(패키지)를 형성할 수 있고, 상기 분할된 콘텐츠들은 개별적으로 각각 하나의 MMT 패키지(Package)를 형성할 수도 있다.
특히, 상기 분할된 SVC 비디오 콘텐츠들은 기저 계층(Base Layer)의 MMT 애셋 및 향상 계층(Enhanced Layer)의 MMT 애셋 중 적어도 하나를 포함할 수 있다. 전술한 바와 같이, SVC 비디오 콘텐츠는 하나의 기저 계층(Base Layer) 및 적어도 하나의 향상 계층을 포함할 수 있고, 상기 기저 계층 또는 향상 계층은 MMT 애셋으로 구성될 수 있다. 따라서, 상기 SVC 비디오 콘텐츠를 분할하는 경우, 분할된 SVC 비디오 콘텐츠들은 기저 계층의 MMT 애셋을 포함할 수 있고, 하나 이상의 향상 계층의 MMT 애셋을 포함할 수 있다. 또는, 상기 분할된 SVC 비디오 콘텐츠는 기저 계층의 MMT 애셋 및 하나 이상의 향상 계층의 MMT 애셋을 전부 포함할 수도 있다.
상기 콘텐츠는 MMT 애셋 단위 뿐만 아니라, 서브스트림 단위, MMT 패키지 단위 또는 MMT 패킷 단위로 분할될 수 있다. 전술한 바와 같이, 비디오 콘텐츠가 제1 계층, 제2 계층와 같이 복수의 계층로 구성된 SVC 비디오 콘텐츠인 경우 계층 단위로 분할될 수 있다. 상기 MMT 애셋, 서브스트림, MMT 패키지, 또는 MMT 패킷은 각각의 분할된 콘텐츠들에 동일한 개수가 포함될 수도 있고, 상기 전송망의 특성을 기반으로 상이한 개수가 포함될 수도 있다.
분할된 SVC 비디오 콘텐츠들의 콤포지션 정보(composition information)를 생성하는 단계(S930)에서, 상기 분할된 콘텐츠들간의 관계를 나타내는 콤포지션 정보를 생성할 수 있다. 상기 콘텐츠 분할 단계(S920)에서 분할된 콘텐츠들이 개별적으로 각각 하나의 MMT 패키지를 형성한 경우, 상기 콤포지션 정보는 상기 각각 형성된 MMT 패키지들간의 관계를 나타낼 수 있다. 또한, 상기 생성된 콤포지션 정보는 각각 형성된 MMT 패키지들 중 어느 하나에 포함되거나, 별도로 존재할 수 있다. 도 2를 참조하면, 상기 콤포지션 정보(162)는 도 2에 도시된 바와 같이 MMT(Mpeg Media Transport) 패키지(Package)의 패키지 정보(165)에 포함될 수 있다.
특히, SVC 비디오 콘텐츠들의 콤포지션 정보는 상기 콤포지션 정보가 참조하는 분할된 SVC 비디오 콘텐츠에 포함된 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함할 수 있다.
상기 미디어 타입 정보를 기반으로 해당하는 MMT 애셋이 비디오 데이터, 오디오 데이터 및 자막 중 어느 타입의 데이터인지를 판단할 수 있다. 또한, 해당하는 MMT 애셋이 비디오 데이터인 경우, 상기 콤포지션 정보는 비디오 데이터(미디어)의 사이즈 정보를 포함할 수 있다. 또한, 상기 콤포지션 정보는 SVC 비디오 콘텐츠에 포함된 계층의 수 및 상기 MMT 애셋들이 기저 계층의 MMT 애셋인지, 향상 계층의 MMT 애셋인지 여부를 나타내는 정보를 포함할 수 있다.
한편, 상기 콘텐츠 분할 단계(S920)에서 서브스트림 단위, MMT 패키지 단위, MMT 패킷 단위, 또는 계층 단위로 분할된 경우, 상기 콤포지션 정보는 각각의 분할된 콘텐츠들 간의 관계를 나타낼 수 있다. 또한 상기 콤포지션 정보는 패키지 정보(165) 뿐만 아니라, MMT 패킷의 헤더(182) 또는 페이로드에 포함될 수도 있고, 다른 MMT 계층 구조의 단위 정보에 포함될 수도 있으며, 별도의 구성을 통해 존재할 수 있다.
보다 구체적으로, 도 3 내지 도 8을 다시 참조하면, 도 3에 도시된 바와 같이 분할된 콘텐츠들은 전체로서 하나의 MMT 패키지(331)를 구성할 수 있고, 상기 분할된 콘텐츠들 간의 관계를 나타내는 콤포지션 정보(321)는 상기 MMT 패키지(331)에 포함될 수 있다.
또한, 도 4에 도시된 바와 같이 분할된 콘텐츠들은 전체로서 하나의 MMT 패키지(431)를 구성할 수 있고, 상기 분할된 콘텐츠 각각이 포함하는 MMT 애셋들 간의 관계를 나타내는 로컬 콤포지션 정보들(441, 442)과 상기 로컬 콤포지션 정보들(441, 442) 간의 관계를 나타내는 콤포지션 정보(421)는 상기 MMT 패키지(431)에 포함될 수 있다.
또한, 도 5에 도시된 바와 같이 분할된 콘텐츠들은 각각 하나씩의 MMT 패키지들(531, 532)을 구성할 수 있고, 상기 MMT 패키지들(531, 532) 간의 관계를 나타내는 콤포지션 정보(521)는 상기 MMT 패키지들(531, 532) 중 어느 하나인 MMT 패키지(531)에 포함될 수 있다.
또한, 도 6에 도시된 바와 같이 분할된 콘텐츠들은 각각 하나씩의 MMT 패키지들(631, 632)를 구성할 수 있고, 상기 각각의 MMT 패키지들(631, 632)은 상기 각각의 MMT 패키지들(631, 632)이 포함한 MMT 애셋들 간의 관계를 나타내는 로컬 콤포지션 정보들(641, 642)을 포함할 수 있다. 또한, 상기 로컬 콤포지션 정보들(641, 642) 간의 관계를 나타내는 콤포지션 정보(621)는 상기 MMT 패키지들(631, 632) 중 어느 하나인 MMT 패키지(631)에 포함될 수 있다.
또한, 도 7에 도시된 바와 같이 분할된 콘텐츠들은 각각 하나씩의 MMT 패키지들(731, 732)을 구성할 수 있고, 상기 MMT 패키지들(731, 732) 간의 관계를 나타내는 콤포지션 정보(721)는 MMT 패키지들(731,732) 외부에 존재할 수 있다.
또한, 도 8에 도시된 바와 같이 분할된 콘텐츠들은 각각 하나씩의 MMT 패키지들(831, 832)을 구성할 수 있고, 상기 각각의 MMT 패키지들(831, 832)은 상기 각각의 MMT 패키지들(831, 832)이 포함한 MMT 애셋들 간의 관계를 나타내는 로컬 콤포지션 정보들(841, 842)을 포함할 수 있다. 또한, 상기 로컬 콤포지션 정보들(841, 842) 간의 관계를 나타내는 콤포지션 정보(821)는 MMT 패키지들(831,832) 외부에 존재할 수 있다.
상기에서 MMT 애셋을 기준으로 콘텐츠를 분할한 경우를 예시하였으나, 전술한 바와 같이 상기 콘텐츠는 MMT 애셋 뿐만 아니라, 서브스트림 단위, MMT 패키지 단위 또는 MMT 패킷 단위로 분할될 수 있다.
콘텐츠들의 전송 단계(S940)에서, 상기 분할된 SVC 비디오 콘텐츠들을 상기 전송망을 이용하여 상기 클라이언트로 전송한다. 상기 콤포지션 정보가 상기 MMT 패키지의 외부에 존재하는 경우, 상기 분할된 SVC 비디오 콘텐츠들 및 상기 콤포지션 정보를 상기 전송망을 이용하여 상기 클라이언트로 전송할 수 있다. 상기 SVC 비디오 콘텐츠가 상기 전송망의 특성을 고려하여 분할된 경우, 상기 각각의 전송망은 상기 각각의 전송망의 특성에 상응하는 분할된 콘텐츠를 전송할 수 있다.
SVC 비디오 콘텐츠의 수신 방법
도 10은 본 발명의 일 실시예에 따른 콘텐츠 수신 방법의 흐름도이다.
도 10에 도시된 바와 같이 본 발명의 일 실시예에 따른 콘텐츠 수신 방법은 서버로부터 분할된 SVC 비디오 콘텐츠을 수신하는 단계(S1010) 및 상기 분할된 SVC 비디오 콘텐츠들에 포함된 콤포지션 정보를 기반으로 상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계(S1020)를 포함할 수 있다.
상기 콘텐츠들의 수신단계에서는 클라이언트가 서버로부터 분할된 SVC 비디오 콘텐츠들을 수신한다(S1010). 여기서, 상기 콘텐츠가 상기 전송망의 특성을 고려하여 분할된 경우, 상기 각각의 전송망의 특성에 상응하는 각각의 전송망을 이용하여 상기 분할된 콘텐츠들을 수신할 수 있다. 상기 콘텐츠들 수신 단계(S1010)는 콤포지션 정보가 MMT 패키지들 외부에 존재하는 경우, 상기 분할된 콘텐츠들 및 콤포지션 정보를 수신할 수 있다.
상기 클라이언트가 상기 분할된 콘텐츠들 중 일부만을 수신한 경우, 상기 클라이언트는 상기 수신된 일부의 분할된 콘텐츠들 및 콤포지션 정보를 기반으로, 상기 수신된 일부의 분할된 콘텐츠들 간의 관계를 나타내는 제 2 콤포지션 정보를 생성할 수 있다. 여기서, 상기 분할된 콘텐츠들은 서브스트림, MMT 애셋(Asset), MMT 패키지, 또는 MMT 패킷 일 수 있다.
콘텐츠 병합 단계(S1020)에서는 상기 콤포지션 정보 또는 제 2 콤포지션 정보를 기반으로 상기 분할된 콘텐츠들을 병합한다.
하이브리드 전송시 동조 방법
하나의 컨텐츠 컴포넌트는 방송망으로 전송되고 다른 컨텐츠 컴포넌트는 광대역 망으로 전송될 수 있다. 또는, 하나의 컨텐츠는 방송망으로 전송되고 다른 컨텐츠는 또 다른 방송망으로 전송될 수 있다.
하이브리드 전송시 MMT와 MPEG-2 TS의 서로 상이한 타입의 동조(synchronize)를 위한 미디어 컴포넌트의 타입 및 위치를 확인하기 위해 시그널링 메시지를 사용할 수 있다. 시그널링 메시지는 미디어 컴포넌트의 주소를 명시한다. 방송망 채널에서 MPEG-2 TS와 함께 사용되는 상황에서 MPEG-2 TS의 위치가 사용된다.
MPEG-2 TS 컴포넌트는 STC에 기반한 타임스탬프를 갖는다. MMT 컴포넌트는 UTC에 기반한 타임스탬프를 가진다. MMT와 MPEG-2 TS의 서로 상이한 타입의 타임스탬프를 동조(synchronized)하기 위해 클록 릴레이션 인포메이션(Clock Relation Information) 메시지가 요구된다.
MMT에 대응하는 수신기에서, MPEG-2 TS 의 STC 기반 클록은 클록 릴레이션 인포메이션을 사용함에 따라 UTC 기반의 시스템 클록(wall clock) 으로 변환될 수 있다. MMT 컴포넌트 및 MPEG-2 TS 컴포넌트는 시스템 클록과 같은 동일한 타임 도메인을 공유함으로써 동조되어 제공될 수 있다.
하이브리드 전송시 에러 정정 방법
스케일러블 비디오 코딩(SVC) 비디오 데이터를 하이브리드 전송시 일부 계층의 수신 데이터에 에러가 발생한 경우 에러정정을 설명한다. 전송부 및 수신부가 존재하고, 전송부는 기본계층 및 제1 향상계층으로 구성된 SVC 비디오 데이터를 수신부로 하이브리드 전송하는 상황을 가정한다. 전송부는 기본계층 데이터를 제1망을 통해 전송하고, 제1 향상계층 데이터를 제2망을 통해 수신부로 전송한다. 수신부는 제1망을 통해 기본계층의 데이터를 수신하고 제2망을 통해 제1향상계층의 데이터를 수신한다. 수신부가 수신한 기본계층 데이터에 에러가 존재하는 경우 일반적인 에러는 수신한 기본계층 데이터의 다른 부분을 사용하여 에러를 정정할 수 있다. 그러나 기본 계층 데이터 만을 사용하여 정정할 수 없는 에러가 발생한 경우 수신부는 제2망을 통해 수신한 제1 향상 계층의 데이터를 추가로 사용하여 기본계층 데이터의 에러 정정을 수행한다. 이로써 제1망을 통해 수신된 기본 계층의 데이터에 정정할 수 없는 에러가 발생한 경우에도 제 2 망으로 수신된 제1 향상 계층의 데이터가 에러 없이 수신된 경우 기본 계층의 수신 데이터의 에러를 수정할 수 있고, 반대로 향상 계층의 데이터에 에러가 존재하고 기본 계층의 데이터가 에러 없이 수신된 경우에도 마찬가지로 에러정정이 가능하다.

Claims (22)

  1. 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하는 단계; 및
    상기 분할된 SVC 비디오 콘텐츠들을 복수의 전송망을 이용하여 상기 클라이언트로 전송하는 단계를 포함하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  2. 제 1항에 있어서, 상기 분할된 SVC 비디오 콘텐츠들은
    기저 계층(Base Layer)의 MMT 애셋 및 향상 계층(Enhanced Layer)의 MMT 애셋 중 적어도 하나를 포함하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  3. 제 2 항에 있어서, 상기 MMT 애셋은 MPU(Media Processing Uint)을 포함하고,
    상기 MPU는 상기 SVC 비디오 컨텐츠의 분할 정보를 포함하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  4. 제 3 항에 있어서,
    상기 MPU는 상기 MPU의 부분화 정보를 포함하는 MMT 힌트 트랙(MMT hint track)을 포함하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  5. 제 4 항에 있어서,
    상기 MMT 힌트 트랙은 상기 SVC 비디오 컨텐츠의 분할정보를 포함하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  6. 제1항에 있어서, 상기 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하는 단계는 상기 서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 분할하여 상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보(composition information)를 생성하는 단계를 포함하는 것을 특징으로하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  7. 제 6항에 있어서, 상기 콤포지션 정보는
    상기 콤포지션 정보가 참조하는 분할된 SVC 비디오 콘텐츠에 포함된 MMT 애셋들의 미디어 타입 정보 - 여기서, 상기 미디어 타입은 비디오, 오디오 및 자막 중 어느 하나일 수 있음- , 미디어의 사이즈, 계층 수 및 상기 MMT 애셋들이 기저 계층인지 향상 계층인지 여부 중 적어도 하나를 나타내는 정보를 포함하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  8. 제 6항에 있어서, 상기 콤포지션 정보는
    MMT(Mpeg Media Transport) 패키지(Package)의 패키지 정보, MMT 패킷의 헤더, 및 페이로드 중 적어도 하나에 포함되는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  9. 제 6항에 있어서, 상기 분할된 SVC 비디오 콘텐츠들을 전송하는 단계는
    상기 콤포지션 정보가 상기 분할된 SVC 비디오 콘텐츠 외부에 존재할 경우, 상기 분할된 SVC 비디오 콘텐츠들 및 상기 콤포지션 정보를 상기 클라이언트로 전송하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  10. 제 6항에 있어서, 상기 SVC 비디오 콘텐츠를 분할하여 콤포지션 정보(composition information)를 생성하는 단계는
    서버가 클라이언트로 전송할 SVC 비디오 콘텐츠를 전송할 수 있는 전송망의 개수를 검출하는 단계;
    상기 SVC 비디오 콘텐츠를 상기 검출된 전송망의 개수에 상응하도록 분할하는 단계; 및
    상기 분할된 SVC 비디오 콘텐츠들의 콤포지션 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  11. 제 1항에 있어서, 상기 분할된 SVC 비디오 콘텐츠들은
    개별적으로 각각 하나의 MMT 패키지(Package)를 형성하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  12. 제 1 항에 있어서,
    상기 복수의 전송망으로 전송되는 상기 분할된 SVC 비디오 콘텐츠 간에 동조를 위한 시그널링 메시지를 상기 SVC 비디오 컨텐츠와 함께 전송하는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  13. 제 12 항에 있어서,
    상기 시그널링 메시지는 서로 상이한 타입의 타임스탬프를 동조하기 위한 클록 릴레이션 인포메이션(Clock Relation Information)을 가지는 것을 특징으로 하는 SVC 비디오 콘텐츠의 하이브리드 전송(hybrid delievery) 방법.
  14. 서버로부터 분할된 SVC 비디오 콘텐츠들을 복수의 전송망을 통하여 수신하는 단계; 및
    상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계를 포함하는 콘텐츠 수신 방법.
  15. 제 14항에 있어서, 상기 분할된 SVC 비디오 콘텐츠들을 수신하는 단계는
    상기 콤포지션 정보가 상기 분할된 SVC 비디오 콘텐츠 외부에 존재할 경우, 상기 분할된 SVC 비디오 콘텐츠들 및 상기 콤포지션 정보를 서버로부터 수신하는 것을 특징으로 하는 콘텐츠 수신 방법.
  16. 제 14 항에 있어서, 상기 분할된 SVC 비디오 콘텐츠들을 수신하는 단계는
    상기 수신된 분할된 콘텐츠 및 콤포지션 정보를 기반으로 수신된 일부의 분할된 콘텐츠들 간의 관계를 나타내는 제2콤포지션 정보를 생성하는 것을 특징으로 하는 콘텐츠 수신 방법.
  17. 제 14항에 있어서, 상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계는 상기 분할된 SVC 비디오 콘텐츠들에 포함된 콤포지션 정보를 기반으로 상기 분할된 SVC 비디오 콘텐츠들을 병합하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 수신 방법.
  18. 제 14항에 있어서,
    수신한 SVC 비디오 콘텐츠의 에러를 정정하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 수신 방법.
  19. 제 18항에 있어서, 상기 SVC 비디오 콘텐츠의 에러를 정정하는 단계는,
    다른 계층의 수신 데이터를 사용하여 에러 정정을 수행하는 것을 특징으로 하는 콘텐츠 수신 방법.
  20. 제 14 항에 있어서,
    상기 분할된 SVC 비디오 콘텐츠간의 동조(synchronize)를 위한 시그널링 메시지를 수신하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 수신 방법.
  21. 제 20 항에 있어서,
    상기 시그널링 메시지는 서로 상이한 타입의 타임스탬프를 동조하기 위한 클록 릴레이션 인포메이션(Clock Relation Information)을 가지는 것을 특징으로 하는 콘텐츠 수신 방법.
  22. 제 21 항에 있어서,
    상기 시그널링 메시지의 클록 릴레이션 인포메이션(Clock Relation Information)을 사용하여 시스템 클록(system clock)을 생성하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 수신 방법.
KR20130031171A 2012-03-23 2013-03-22 Mmt 패키지화된 svc 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법 KR20130108198A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2013/002425 WO2013141666A1 (ko) 2012-03-23 2013-03-22 Mmt 패키지화된 svc 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법
US14/387,244 US9967582B2 (en) 2012-03-23 2013-03-22 Hybrid delivery method and reception method for MMT packaged SVC video contents
CN201380021547.3A CN104255036A (zh) 2012-03-23 2013-03-22 Mmt打包svc视频内容的混合传送方法及接收方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120029669 2012-03-23
KR1020120029669 2012-03-23

Publications (1)

Publication Number Publication Date
KR20130108198A true KR20130108198A (ko) 2013-10-02

Family

ID=49631219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130031171A KR20130108198A (ko) 2012-03-23 2013-03-22 Mmt 패키지화된 svc 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법

Country Status (5)

Country Link
US (1) US9967582B2 (ko)
EP (1) EP2830318A4 (ko)
KR (1) KR20130108198A (ko)
CN (1) CN104255036A (ko)
WO (1) WO2013141666A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016129964A1 (ko) * 2015-02-13 2016-08-18 에스케이텔레콤 주식회사 네트워크 적응형 컨텐츠 제공을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 네트워크 적응형 컨텐츠 제공 장치

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9319721B2 (en) * 2011-10-13 2016-04-19 Electronics And Telecommunications Research Institute Method of configuring and transmitting an MMT transport packet
US8863208B2 (en) * 2012-06-18 2014-10-14 Micropower Technologies, Inc. Synchronizing the storing of streaming video
US9888293B2 (en) 2012-10-11 2018-02-06 Samsung Electronics Co., Ltd. Apparatus and method for delivering and receiving multimedia data in hybrid network
US11290510B2 (en) * 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
KR101484843B1 (ko) * 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
US20150032845A1 (en) * 2013-07-26 2015-01-29 Samsung Electronics Co., Ltd. Packet transmission protocol supporting downloading and streaming
US10530828B2 (en) * 2014-03-31 2020-01-07 Samsung Electronics Co., Ltd. Method and apparatus for signaling and operation of low delay consumption of media data in MMT
US10887651B2 (en) * 2014-03-31 2021-01-05 Samsung Electronics Co., Ltd. Signaling and operation of an MMTP de-capsulation buffer
KR20160004858A (ko) * 2014-07-04 2016-01-13 삼성전자주식회사 멀티미디어 통신 시스템에서 패킷 송/수신 장치 및 방법
US10085051B2 (en) * 2015-02-13 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for converting MMTP stream to MPEG-2TS
KR102126257B1 (ko) * 2015-02-13 2020-06-24 에스케이텔레콤 주식회사 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치
US10742703B2 (en) * 2015-03-20 2020-08-11 Comcast Cable Communications, Llc Data publication and distribution
KR102153554B1 (ko) 2015-06-17 2020-09-08 한국전자통신연구원 미디어 데이터의 처리를 위한 mmt 장치 및 방법
KR102519209B1 (ko) 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
WO2018221293A1 (ja) * 2017-06-01 2018-12-06 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
US10944804B1 (en) 2017-11-22 2021-03-09 Amazon Technologies, Inc. Fragmentation of time-associated data streams
US10878028B1 (en) * 2017-11-22 2020-12-29 Amazon Technologies, Inc. Replicating and indexing fragments of time-associated data streams
US10764347B1 (en) 2017-11-22 2020-09-01 Amazon Technologies, Inc. Framework for time-associated data stream storage, processing, and replication
US11025691B1 (en) 2017-11-22 2021-06-01 Amazon Technologies, Inc. Consuming fragments of time-associated data streams
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US11284134B2 (en) 2018-08-08 2022-03-22 Comcast Cable Communications, Llc Media content enhancement based on content importance
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
US20210245047A1 (en) * 2020-02-10 2021-08-12 Intel Corporation Continuum architecture for cloud gaming

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
EP1421796A4 (en) * 2001-07-23 2008-07-09 Thomson Licensing SYSTEM AND METHOD FOR ROUND TRANSMITTING INDEPENDENTLY CODED SIGNALS TO ATSC CHANNELS
US7440764B2 (en) * 2004-02-12 2008-10-21 Motorola, Inc. Method and apparatus for improving throughput in a wireless local area network
KR100738930B1 (ko) 2006-01-06 2007-07-12 에스케이 텔레콤주식회사 이동통신망과 위성 디지털 멀티미디어 방송망의 다중전송을 이용한 위성 디지털 멀티미디어 방송의 화질 개선방법 및 시스템, 그를 위한 장치
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
CN101102282A (zh) * 2007-08-08 2008-01-09 中兴通讯股份有限公司 一种数据广播业务发送和接收方法
KR100948260B1 (ko) 2007-12-18 2010-03-18 한국전자통신연구원 계층적 부호화를 이용한 다중대역 방송 전송/수신 장치 및그 방법
KR20110074823A (ko) * 2008-09-30 2011-07-04 파나소닉 주식회사 3d 영상에 관한 기록매체, 재생장치, 시스템 lsi, 재생방법, 안경 및 표시장치
KR101098824B1 (ko) 2008-12-01 2011-12-26 한국전자통신연구원 멀티미디어 콘텐츠 서비스 장치 및 방법
JP2010139322A (ja) * 2008-12-10 2010-06-24 Renesas Electronics Corp 半導体集積回路およびその半導体集積回路のテスト方法
EP2362560B1 (en) 2010-02-22 2012-10-31 Alcatel Lucent Method for transmitting video contents from a server to a terminal of a user within service periods of a radio transport channel
WO2012018339A1 (en) * 2010-08-05 2012-02-09 Thomson Licensing Application of unequal error protection rateless codes in multimedia streaming over multi-path networks
CN101969551B (zh) * 2010-09-26 2014-04-09 中兴通讯股份有限公司 一种交互式网络电视***中的码流分片方法和***
CN102098542A (zh) * 2010-12-15 2011-06-15 中兴通讯股份有限公司 一种多媒体数据传输的方法、***和装置
KR20120084234A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 Mpeg media transport(mmt)에서 mmt au를 전송하는 방법
US9866877B2 (en) * 2011-03-08 2018-01-09 Cox Communications, Inc. Transparent scalable video coding
US9848217B2 (en) * 2012-01-20 2017-12-19 Korea Electronics Technology Institute Method for transmitting and receiving program configuration information for scalable ultra high definition video service in hybrid transmission environment, and method and apparatus for effectively transmitting scalar layer information
KR101501344B1 (ko) * 2012-05-02 2015-03-10 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016129964A1 (ko) * 2015-02-13 2016-08-18 에스케이텔레콤 주식회사 네트워크 적응형 컨텐츠 제공을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 네트워크 적응형 컨텐츠 제공 장치
US10165311B2 (en) 2015-02-13 2018-12-25 Sk Telecom Co., Ltd. Non-transitory computer-readable recording medium having program recorded therein for providing network-adaptive content and apparatus for providing network-adaptive content

Also Published As

Publication number Publication date
EP2830318A1 (en) 2015-01-28
US20150201207A1 (en) 2015-07-16
EP2830318A4 (en) 2015-12-02
WO2013141666A1 (ko) 2013-09-26
US9967582B2 (en) 2018-05-08
CN104255036A (zh) 2014-12-31

Similar Documents

Publication Publication Date Title
KR102202143B1 (ko) 유연한 mmt 애셋 송수신 방법 및 그 장치
US9967582B2 (en) Hybrid delivery method and reception method for MMT packaged SVC video contents
US10728591B2 (en) Method of configuring and transmitting an MMT transport packet
US9544641B2 (en) Hybrid transmission method through MMT packet format extension
US9414123B2 (en) Method for hybrid delivery of MMT package and content and method for receiving content
US9043849B2 (en) Method for linking MMT media and DASH media
US20140282799A1 (en) Method for transmitting media data via a heterogeneous ip network independently of a media codec
US20150181003A1 (en) Method and apparatus for transmitting and receiving packets in hybrid transmission service of mmt
KR102170717B1 (ko) 멀티미디어 서비스를 위한 비트 에러율을 이용한 레이트 어댑테이션 방법 및 그 장치
KR102098723B1 (ko) Mmt 전송 패킷의 설정 방법 및 전송 방법
KR20130085987A (ko) 이종망 네트워크에서 미디어 프래그먼트 유닛으로 나누어진 액세스 유닛을 가지는 미디어 데이터를 전송하는 방법
US20150020138A1 (en) Mmt asset structure for supporting random access to systems for transmitting coded media data in heterogeneous networks, and method and apparatus for generating same
US20150249835A1 (en) Method for adaptively transmitting fec parity data using cross-layer optimization
KR20130119885A (ko) 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치
KR20130040151A (ko) 콤포지션 정보 및 전송 특성 정보가 연동된 미디어 데이터를 이종 ip 네트워크를 통하여 전송하는 방법
KR20130040144A (ko) 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법
KR20130058540A (ko) 하이브리드 전송시 동기화 방법
KR20130058539A (ko) 하이브리드 전송시 동기화 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid