KR20130119885A

KR20130119885A - 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치

Info

Publication number: KR20130119885A
Application number: KR1020130045496A
Authority: KR
Inventors: 김창기; 김태정; 유정주; 홍진우; 서광덕
Original assignee: 한국전자통신연구원; 연세대학교 원주산학협력단
Priority date: 2012-04-24
Filing date: 2013-04-24
Publication date: 2013-11-01

Abstract

본 발명은 MMT(MPEG Media Transport: MPEG 미디어 전송) 시스템 기반의 미디어 전송 서비스에서 SVC 와 같은 멀티-레이어 비디오를 네트워크 환경에 적응적으로 전송하기 위해 필요한 확장 정보를 가지는 MMT 패킷의 구조 및 확장 정보를 사용하여 MMT 패킷을 전송하는 전송 방법 및 그 장치를 제공한다.

Description

네트워크 적응적인 계층적 비디오 전송을 위한 MMT 패킷의 전송 방법 및 장치{METHODS OF TRANSPORTING MMT PACKET FOR IN-NETWORK ADAPTATION OF LAYERED VIDEO}

비디오 콘텐츠의 전송 방법 및 수신 방법에 관한 것으로서, 더욱 상세하게는 MMT 패킷의 전송 방법에 관한 것이다.

다양한 단말기에서 각 단말기에 맞는 다양한 해상도의 콘텐츠를 소비하게 되고, 이동 서비스가 가능해 지면서, 네트워크 환경이 실시간으로 변화하는 콘텐츠 소비환경이 조성되고 있다. 이러한 실시간으로 변하는 소비환경에 적합한 고품질의 콘텐츠를 제공하기 위해서는 기존의 단일 포맷을 지원하는 비디오 부호화 방식으로는 한계가 있다.

이런 측면에서 스케일러블 비디오 부호화(Scalable Video Coding, SVC) 및 MVC(Multiview Video Coding)방식에 대한 연구가 활발하게 진행되고 있다. SVC는 다양한 전송 환경 및 단말 성능에 실시간으로 적응 가능하도록 설계되었다. 즉, 단말에 따라 다양하게 요구되는 해상도, 네트워크 상태 등 가변의 이종 소비환경에 적합한 포맷을 지원하는 실시간 적응이 가능한 비디오 부호화 방식이다.

또한, H.264 AVC(Advanced Video Coding)/MVC(Multi-view Video coding)은 3D 화상을 표시할 수 있는 스트림을 기록하기 위한 부호화 방식이다. H.264 AVC/MVC 프로파일 규격에서는, Base view video라고 불리는 화상 스트림과, Dependent view video라고 불리는 화상 스트림이 정의되어 있다. 이하, 적절하게 H.264 AVC/MVC 프로파일 규격을 간단히 MVC라고 한다.

그러한 SVC 또는 MVC 비디오의 전송에 있어서, 네트워크 내의 환경을 고려하여 적응적으로 비디오 데이터를 전송하는 것이 요구된다.

상기한 문제를 해결하기 위한 본 발명의 목적은 MMT 패킷을 완전히 파싱하지 않고도 MMT 패킷의 전달 여부를 결정하는 MMT 패킷의 전송 방법 및 장치를 제공하는 것이다.

본 발명의 목적을 달성하기 위한 MMT 패킷 생성 방법은 비디오 데이터를 전달하는 MMT 패킷 전송 장치가 MMT 패킷을 생성하는 방법에 있어서, MMT 패킷 내에 포함된 적어도 하나의 NAL 유닛의 정보를 사용하여 생성된 확장 정보를 포함하는 MMT 패킷을 생성한다.

상기 확장 정보는 MMT 패킷의 패킷 헤더 또는 MMT 패킷에 포함된 MMT 페이로드의 페이로드 헤더에 포함될 수 있다.

상기 확장 정보는 상기 적어도 하나의 NAL 유닛의 시간적 레벨을 사용하여 생성된 TID(Temporal_ID) 파라미터, 상기 적어도 하나의 NAL 유닛의 공간적 레벨을 사용하여 생성된 DID(Dependency_ID) 파라미터, 상기 적어도 하나의 NAL 유닛의 품질 레벨을 사용하여 생성된 QID(Quality_ID) 파라미터 및 상기 적어도 하나의 NAL 유닛의 우선순위 정보를 사용하여 생성된 PID(Priority_ID) 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 적어도 하나의 NAL 유닛의 시점(view) 정보를 사용하여 생성된 VID 파라미터를 포함할 수 있다.

상기 확장정보는 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 작은 값을 나타내는 TID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 작은 값을 나타내는 DID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 작은 값을 나타내는 QID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 작은 값을 나타내는 PID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 큰 값을 나타내는 TID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 큰 값을 나타내는 DID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 큰 값을 나타내는 QID_high 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 큰 값을 나타내는 PID_high 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 작은 값을 나타내는 VID_low 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 큰 값을 나타내는 VID_high 파라미터 중 적어도 하나를 포함할 수 있다.

상기 확장 정보는 상기 MMT 패킷이 포함하는 비디오 데이터의 인코딩 방식을 나타내는 ML_Type파라미터를 더 포함할 수 있다.

또한, 본 발명의 목적을 달성하기 위한 MMT 패킷 전송 방법은 비디오 데이터 전송 장치가 MMT 패킷을 전송하는 방법에 있어서, 상기 MMT 패킷에 포함된 확장 정보를 사용하여 상기 MMT 패킷의 전달여부를 결정하는 단계를 포함한다.

상기 MMT 패킷은 MMT 패킷 헤더, MMT 페이로드 헤더 및 MMT 페이로드를 포함하고, 상기 확장 정보는 상기 MMT 패킷 헤더 또는 상기 MMT 페이로드 헤더에 위치할 수 있다.

상기 전달여부를 결정하는 단계는, 상기 전송 장치가 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_high의 값 보다 크거나 같고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_high의 값 보다 크거나 같으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_high의 값 보다 크거나 같고, 설정된 우선순위 정보의 기준값 PID_opt가 PID_low의 값 보다 크거나 같은 경우에 상기 MMT 패킷을 전달함으로써 수행될 수 있다.

상기 전달여부를 결정하는 단계는, 상기 전송 장치가 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_low의 값 보다 작고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_low의 값 보다 작으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_low의 값 보다 작고, 설정된 우선순위 정보의 기준값 PID_opt가 PID_low의 값 보다 작은 경우에 상기 MMT 패킷을 전달하지 않음으로써 수행될 수 있다.

상기 확장정보는 상기 MMT 패킷이 포함하는 비디오 데이터의 인코딩 방식을 나타내는 ML_type파라미터를 더 포함하며, 상기 전송 방법은 상기 전송 장치가 상기 ML_type 파라미터의 값을 사용하여 상기 MMT 패킷에 포함된 비디오 데이터는 SVC(Scalable Video Coding) 인코딩 방식으로 인코딩 되었음을 확인하는 단계를 더 포함하고, 상기 전달여부를 결정하는 단계는, 상기 전달 장치가 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_high의 값 보다 작고 상기 TID_low의 값 보다 크거나 같은 경우, 설정된 공간적 레벨의 기준값 DID_opt가 상기 DID_high의 값 보다 작고 상기 DID_low의 값 보다 크거나 같은 경우 또는 설정된 품질 레벨의 기준값 QID_opt가 상기 QID_high의 값 보다 작고 상기 QID_low의 값 보다 크거나 같은 경우에 상기 MMT 패킷의 NAL 유닛을 조사하여 MMT 패킷의 전달 여부를 판단함으로써 수행될 수 있다.

상기 전송 장치는 MANE(Media Aware Network Element)이고, 상기 MMT 패킷의 데이터를 사용하여 상기 MMT 패킷의 전달여부를 결정하는 단계는, 상기 MANE에 MMT 패킷이 도착하는 단계; 상기 MMT 패킷 헤더를 파싱하는 단계; 상기 MMT 패킷 헤더로부터 확장 정보를 얻는 단계; 및 상기 확장정보로부터 상기 MMT 패킷의 전달 여부를 결정하는 단계를 포함할 수 있다.

또한, 본 발명의 목적을 달성하기 위한 MMT 패킷 전송 장치는 비디오 데이터를 전달하는 MMT 패킷 전송 장치에 있어서, MMT 패킷 생성부; 및 MMT 패킷 전송부를 포함하고, 상기 MMT 패킷 생성부는 MMT 페이로드와 MMT 페이로드 내에 포함된 적어도 하나의 NAL 유닛의 정보를 사용하여 생성된 확장 정보를 포함하는 MMT 패킷을 생성한다.

상기 MMT 패킷 생성부는 상기 확장 정보를 상기 MMT 패킷의 패킷 헤더 또는 상기 MMT 패킷에 포함된 상기 MMT 페이로드의 페이로드 헤더에 포함시켜 상기 MMT 패킷을 생성할 수 있다.

상기 확장 정보는 상기 적어도 하나의 NAL 유닛의 시간적 레벨을 사용하여 생성된 TID 파라미터, 상기 적어도 하나의 NAL 유닛의 공간적 레벨을 사용하여 생성된 DID 파라미터, 상기 적어도 하나의 NAL 유닛의 품질 레벨을 사용하여 생성된 QID 파라미터 및 상기 적어도 하나의 NAL 유닛의 우선순위 정보를 사용하여 생성된 PID 파라미터 중 적어도 하나를 포함하거나 상기 적어도 하나의 NAL 유닛의 시점(view) 정보를 사용하여 생성된 VID 파라미터를 포함할 수 있다.

또한, 본 발명의 목적을 달성하기 위한 MMT 패킷 전송 장치는 비디오 데이터를 전달하는 MMT 패킷 전송 장치에 있어서, 상기 MMT 패킷의 확장 정보를 사용하여 상기 MMT 패킷의 전달여부를 결정하는 MMT 패킷 전송부를 포함한다.

상기 MMT 패킷은 MMT 패킷 헤더, MMT 페이로드 헤더 및 MMT 페이로드를 포함하고, 상기 확장 정보는 상기 MMT 패킷의 MMT 패킷 헤더 또는 페이로드 헤더에 위치할 수 있다.

상기 전송 장치는 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_high의 값 보다 크거나 같고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_high의 값 보다 크거나 같으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_high의 값 보다 크거나 같고, 설정된 우선순위 정보의 기준값 PID_opt가 PID_high의 값 보다 크거나 같은 경우에 상기 MMT 패킷을 전달할 수 있다.

상기 전송 장치는 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_low의 값 보다 작고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_low의 값 보다 작으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_low의 값 보다 작고, 설정된 우선순위 정보의 기준값 PID_opt가 PID_low의 값 보다 작은 경우에 상기 MMT 패킷을 전달하지 않을 수 있다.

상기 상기 확장 정보는 상기 MMT 패킷이 포함하는 비디오 데이터의 인코딩 방식을 나타내는 ML_type파라미터를 더 포함하며, 상기 전송 장치는 상기 ML_type 파라미터의 값을 사용하여 상기 MMT 패킷의 비디오 데이터가 MVC(Multi-view Video coding) 인코딩으로 생성된 것을 판단한 경우, 설정된 시점 정보의 기준값 VID_opt가 상기 VID_high보다 크거나 같은 경우에 상기 MMT 패킷을 전달할 수 있다.

상기 전송 장치는 MANE(Media Aware Network Element)이고, 상기 전송 장치는, 상기 MMT 패킷을 수신하는 수신부를 더 포함하고, 상기 MMT 패킷 전송부는 상기 MMT 패킷에 포함된 MMT 패킷 헤더를 파싱하여 생성한 확장 정보로부터 상기 MMT 패킷의 전달 여부를 결정할 수 있다.

또한, 본 발명의 목적을 달성하기 위한 MMT 패킷 구조는 MMT 패킷 헤더; 및 MMT 페이로드를 포함하는 MMT 패킷의 구조에 있어서, 상기 MMT 페이로드는 페이로드 헤더를 포함하고, 상기 MMT 패킷 헤더 또는 상기 페이로드 헤더는 적어도 하나의 NAL 유닛을 사용하여 생성된 확장 정보를 포함한다.

전술한 본 발명의 일 실시예에 따른 MMT 패킷의 전송 방법 및 장치는 MMT(MPEG Media Transport: MPEG 미디어 전송) 시스템 기반의 미디어 전송 서비스에서 SVC 및 MVC와 같은 멀티-레이어 비디오를 네트워크 환경에 적응적으로 전송하기 위해 필요한 확장 정보를 가지는 MMT 패킷의 구조 및 확장 정보를 사용하여 MANE가 MANE에 입력된 MMT 패킷들 가운데 타겟 단말기로 전달하기 위해 선택하거나 혹은 버리게 될 MMT 패킷을 고속으로 결정할 수 있게 하는 효과를 가진다.

도 1은 본 발명의 일 실시예에 따른 MMT 계층 구조를 나타낸 개념도이다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 MMT 패키지 구성을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 MANE 기반의 네트워크 적응적인 SVC 및 MVC 비디오 전송 시스템의 구조를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 MMT 패킷의 내부 구조이다.
도 6은 본 발명의 일 실시예에 따른 페이로드 스케일러빌리티 정보의 구조이다.
도 7은 본 발명의 일 실시예에 따른 MANE(Media Aware Network Element)에서 이루어지게 되는 MMT 패킷에 대한 전달, 버림, 패킷 내부 조사 여부를 판단하는 알고리듬이다.
도 8은 본 발명의 일 실시예에 따른 MANE의 MMT 패킷의 전달 순서를 나타낸 순서도이다.
도 9는 본 발명의 다른 실시 예에서 NAME 기반 네트워크 내 적응을 위한 확장 정보를 포함하는 MMT 패킷 헤더 포멧의 실시예를 도시한다.
도 10은 멀티 레이어 정보가 표현하는 타입의 상태를 나타내는 ML_type 필드를 설명한다.
도 11은 본 발명의 일 실시 예에 따른 MMT 패킷 헤더 포멧이 SVC에서의 멀티레이어 정보를 위한 포멧을 가진 상태를 도시한다.
도 12는 본 발명의 다른 실시예에 따른 MANE에서 이루어지게 되는 SVC 비디오를 포함한 MMT 패킷에 대한 전달, 버림, 패킷 내부 조사 여부를 판단하는 알고리듬이다.
도 13은 본 발명의 다른 실시 예에서 SVC 비디오를 포함한 MANE 에서 적용되는 작업 흐름도 (work flow)를 나타낸다.
도 14는 본 발명의 다른 실시 예에 따른 MMT 패킷 헤더 포멧이 MVC에서의 멀티레이어 정보를 위한 포멧을 가진 상태를 도시한다.
도 15는 본 발명의 다른 실시예에 따른 MANE에서 이루어지게 되는 MVC 비디오를 포함한 MMT 패킷에 대한 전달, 버림, 패킷 내부 조사 여부를 판단하는 알고리듬이다.
도 16은 본 발명의 다른 실시 예에서 MVC 비디오를 포함한 MANE 에서 적용되는 작업 흐름도(work flow)를 나타낸다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

이하, 용어의 의미를 다음과 같이 정의한다.

논 타임드 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 논 타임드 데이터는 그의 미디어 유닛의 디코딩 및/또는 표현을 위한 고유의 동기화 정보를 가지지 않는 데이터다.

타임드 데이터(timed data)는 그의 미디어 유닛의 디코딩 및/또는 표현을 위한 고유의 동기화 정보를 가는 데이터로, 디코딩 및 프리젠테이션 되는 특정한 시간과 연관된 데이터 요소를 정의한다.

엑세스 유닛(Access Unit; AU)은 시간 정보를 가질 수 있는 가장 작은 데이터 개체다.

MMT 애셋(MMT Asset)은 동일한 MMT 애셋 ID와 함께 적어도 하나의 MPU로 구성되거나 또는 다른 표준에서 정의된 형식과 함께 특정 데이터 덩어리로 구성되는 논리적 데이터 개체이다. MMT 애셋은 동일한 전송 특성으로 데이터를 포함하는 데이터 개체이다.

MMT 애셋 전달 특성(MMT Asset Delivery Characteristics; MMT-ADC)은 MMT 애셋을 전송하기 위한 QoS(Quality of Service) 요구에 관련된 서술이다. MMT-ADC는 특정 전달 환경에 무관한 파라미터로 표현된다.

MMT 컴포지션 정보(MMT Composition Information ; MMT CI)는 MMT 애셋간의 공간적 및 시간적 관계를 설명한다.

미디어 프래그먼트 유닛(Media Fragment Unit; MFU)는 어떠한 특정 코덱에도 독립된 일반적인 컨테이너로, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다. AU는 타임드 미디어 데이터를 위한 AU의 전부 또는 일부와 같이 미디어 디코더에 의해 독립적으로 디코드 가능한 미디어 데이터 또는 논 타임드 미디어 데이터를 위한 하나의 파일을 포함한다. 이는 엑세스 유닛(AU)보다 작거나 같은 크기를 가지고 트랜스포트 계층(Transport layer)에서 사용될 수 있는 정보를 수용한다.

미디어 프로세싱 유닛(Media Processing Unit)은 어떠한 특정 미디어 코덱에도 독립된 일반적인 컨테이너로, 독립적으로 디코드 할 수 있는 타임드 또는 논 타임드 데이터를 위한 일반적 컨테이너이다. 추가적 전달 및 소비에 관련된 정보와 함께 타임드 데이터의 적어도 하나의 AU나 논 타임드 데이터의 부분을 포함한다. MPU의 프로세싱은 패키지로의 인캡슐레이션 또는 전달을 위한 패킷화를 의미한다. MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터이다. 단, 스케일러블 비디오 코딩(Scalable Video Coding, SVC) 및 다시점 비디오 코딩(Multiview Video Coding, MVC)을 위해 일부 경우에는 MPU는 미디어 코덱 서버에서 독립적으로 및 완전히 소비되지 않을 수 있다.

MMT 개체(MMT entity)는 MMT 프로파일을 따르는 소프트웨어 또는 하드웨어의 구현이다.

MMT 패킷(MMT packet)은 MMT 프로토콜에 따라 생성 또는 소비되는 데이터의 형식화된 유닛(formatted unit)이다.

MMT 패키지(MMT Package)는 논리적으로 구조화된 데이터의 모음으로, 적어도 하나의 MMT 애셋과, MMT-컴포지션 정보, MMT-애셋 전달 특성 및 설명적인 정보로 구성된다.

MMT 페이로드(MMT payload)는 패키지를 나르거나 MMT 프로토콜 이나 인터넷 응용 계층 전송 프로토콜(예를 들어 RTP가 있다)을 사용하여 메시지를 시그날링하는 데이터의 형식화된 유닛이다.

MMT 프로토콜은 MMT 페이로드를 IP 네트워크를 통해 전달하기 위한 응용 계층 전송 프로토콜이다.

MMT 페이로드 포맷(MMT payload format)은 MMT 프로토콜 또는 인터넷 응용 계층 프로토콜(예를 들면, RTP)에 의해 전달될 MMT 패키지 또는 MMT 시그널링 메시지의 페이로드를 위한 포맷이다.

표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다.

서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다.

서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.

컨텐츠 콤포넌트(content component) 또는 미디어 콤포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다.

컨텐츠(content)는 컨텐츠 콤포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다.

하이브리드 전송(hybrid delievery)은 하나 또는 하나 이상의 컨텐츠 컴포넌트들이 하나 이상의 물리적으로 서로 다른 형태의 망(network)을 통하여 동시에 전송되거나 물리적으로 같은 형태의 망이나 서로 다른 망을 통하여 동시에 전송되는 것으로 정의한다.

이하에서, 제 1 망(network) 또는 제 2 망(network)은 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크를 포함한다.

이하, 하이브리드 전송시 MMT 애셋 단위, 서브스트림 단위, MFU 단위, MPU 단위, MMT 패키지 단위 또는 MMT 패킷 단위로 전송될 수도 있고 또한 비디오 컨텐츠가 제1 레이어, 제2 레이어와 같이 복수의 레이어로 구성된 경우 레이어 단위로 하이브리드 전송할 수도 있다.

도 1은 본 발명의 일 실시 예에 따른 MMT 계층 구조를 나타낸 개념도이다.

도 1을 참조하면, MMT(Mpeg Media Transport) 계층 구조는 인캡슐레이션 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 시그널링 계층(Signaling layer)의 기능 영역(functional area)을 포함한다. MMT 계층은 트랜스포트 계층(Transport layer) 상에서 동작한다.

인캡슐레이션 계층(Encapsulation layer; E-layer)은 미디어 컨텐츠, MMT 패키지, 그리고 MMT 개체(MMT entity)에 의해 처리될 데이터 유닛의 포맷의 논리적 구조와 ISO 기반의 미디어 파일 포멧(ISO base media file format, ISOBMFF)으로의 구현예를 정의한다. 적응적 전달을 위해 필수적인 정보를 제공하기 위해 MMT 패키지는 미디어 컨텐츠를 포함하는 컴포넌트들 및 그들간의 관계를 명시한다. 데이터 유닛들의 포맷은 저장 또는 전달을 위해 부호화된 미디어를 인캡슐레이션하고, 상기 두 포멧 간에 용이하게 변환되도록 정의된다.

인캡슐레이션 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다.

다양한 종류의 멀티미디어 컴포넌트들이 인캡슐레이션 계층(E-layer)에서 제공되는 기능에 의하여 전송 및 소비되기 위하여 인캡슐레이션되고 서로 합해질 수 있다. 인캡슐레이션된 미디어 컴포넌트 및 미디어 컴포넌트들의 컨피규레이션(configurations) 정보는 인캡슐레이션 계층(E-layer)의 기능 영역에서 제공된다.

인캡슐레이션된 미디어 컴포넌트들에 대한 주된 정보는 통합(aggregation), 우선순위(prioritization), 미디어 프래그먼트의 의존성, MPU의 타이밍 정보 및 구조 정보, MMT 애셋(150)의 식별 정보, 초기화 정보 및 코덱 정보를 포함할 수 있다. 미디어 컴포넌트들의 컨피규레이션(configurations) 정보는 MMT 패키지(160) 및 MMT 애셋(150)의 식별 정보, MMT 애셋(150)의 리스트를 가지는 컨피규레이션 정보, MMT 패키지(160)내의 MMT 애셋(150)들의 컴포지션 정보(composition information)(162) 및 애셋 전달 특성(Asset Delivery Characteristics, ADC)(164)를 포함할 수 있다.

인캡슐레이션 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다.

E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 인캡슐레이션하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다.

상위 계층으로부터의 부호화된 미디어 데이터는 MFU로 인캡슐레이션된다. 부호화된 미디어의 타입 및 값은 MFU를 특정 코덱 기술에 일반적으로 사용될 수 있도록 추상화된다. 이는 하위 계층이 인캡슐레이션된 부호화된 미디어에 접근 없이 MFU를 처리할 수 있게 하며 하위 계층은 요구되는 부호화된 미디어 데이터를 네트워크나 저장소의 버퍼로부터 불러오고 미디어 디코더로 전송한다. MFU는 상기 작동을 수행하기 위한 충분한 정보 미디어 부분 유닛을 가지고 있다.

독립적으로 전송가능하고 디코딩할 수 있는 하나 또는 한개 그룹의 복수의 MFU는 MPU를 생성한다. 독립적으로 전송가능하고 실행가능한 비-시간적 미디어 또한 MPU를 생성한다. MPU는 MFU의 배열 및 패턴과 같은 내부 구조를 기술하여 MFU에의 빠른 접근 및 부분적 소비를 가능하게 한다.

MFU는 임의의 특정 코덱(codec)에 독립적이고 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는 포맷을 가질 수 있다. MFU는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.

E.2 계층은 E.3계층에서 생성된 MPU를 인캡슐레이션하여 MMT 애셋(MMT Asset)을 생성한다.

동일한 소스 컴포넌트로부터의 MPU의 시퀀스는 MMT 애셋을 생성한다. MMT 애셋은 MMT 패키지에 의해 패키지되고, 컴포지션 정보(Composition Information; CI), 전송 특성(Transport Characteristics; TC)에 의해 다른 것과 구성되며, MMT 페이로드 포맷에 의해 다른 것과 다중화되고, MMT 프로토콜에 의해 전송된다.

MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 MPU로 이루어진 데이터 엔티티(data entity)로서, 컴포지션 정보(Composition Information; CI) 및 애셋 전달 특성(Asset Delivery Characteristics, ADC)이 정의된 데이터 유닛이다. MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream)등에 대응될 수 있다.

E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 인캡슐레이션하여 MMT 패키지(MMT Package)를 생성한다.

MMT 애셋은 다른 기능적 영역-트랜스포트 영역 및 시그널 영역-과 함께 또는 별도로 동일한 사용자 경험의 추후의 응답을 위해 MMT 콤포지션 정보(MMT-composition information;MMT-CI)와 패키지된다. 또한 MMT 애셋은 MMT 애셋의 체감 품질을 충족시키도록 각각의 MMT 애셋을 위한 적절한 전달 방법을 선정하는 애셋 전달 특성(Asset Delivery Characteristics, ADC)과 함께 패키지된다.

도 3을 참조하면, MMT 패키지(160)는 하나의 콤포지션 정보(Composition Information; CI, 162), 적어도 하나의 MMT 애셋(150) 및 각각의 애셋에 관련된 애셋 전달 특성(Asset Delivery characteristics; ADC, 164)을 포함한다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다.

또한, 패키지의 프로세싱은 MPU 기반으로 적용되고, 애셋은 동일한 애셋 ID를 가진 적어도 하나의 MPU의 집합인바, 하나의 패키지는 하나의 콤포지션 정보, 적어도 하나의 MPU 및 각각의 애셋에 관련된 애셋 전송 특성으로 구성되어 있다고 볼 수도 있다.

애셋은 타임드 또는 논 타임드 성질을 가진 오디오, 비디오 또는 웹페이지 데이터와 같은 부호화된 미디어 데이터를 인캡슐레이션하는 패키지의 요소가 될 수 있다.

콤포지션 정보(Composition Information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다.

애셋 전달 특성(Asset Delivery Characteristics; ADC, 162)은 애셋의 전달을 위한 QoS 요구 및 통계를 나타낸다. 복수의 애셋은 하나의 ADC에 관련될 수 있다. ADC는 애셋의 효과적인 전달을 위해 패키지를 패킷화하는 개체에 의해 MMT 페이로드 및 MMT 프로토콜의 파라미터를 설정하는데 사용될 수 있다.

애셋 전달 특성(Asset Delivery Characteristics; ADC)은 MMT 애셋 또는 MMT 패킷의 전달 조건(delivery condition)을 결정하기 위해 필요한 전달 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.

전달 계층(Delivery layer; D-layer)은 페이로드 포맷 및 응용 계층 전송 프로토콜을 정의한다. 페이로드 포맷은 미디어 타입 또는 인코딩 방법을 불문하고 부호화된 미디어 데이터를 나를 수 있도록 정의된다. 응용 계층 전송 프로토콜은 멀티플렉싱 및 교차 계층 커뮤니케이션을 포함하는 패키지의 전달을 위한 강화된 특징을 제공한다.

전달 계층(Delivery layer; D-layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(Network flow multiplexing), 네트워크 패킷화(Network packetization), QoS 제어 등을 수행할 수 있다. 전달 계층 (D-layer)은 트랜스포트 계층(Transport layer)과 인캡슐레이션 계층(E-layer) 사이에서, 네트워크를 통해 전송되는 비디오, 오디오등과 같은 미디어(Media)의 다중화(multiplexing), 패킷 레벨의 통합(aggregation) 및/또는 분할(Fragmentation), 네트워크 패킷화(Network packetization), QoS 제어, 동기화(Synchronization) 기능, 기존의 RTP와 같은 트랜스포트 계층(Transport layer), 기존의 UDP, TCP와 같은 트랜스포트 계층(Transport layer), 인캡슐레이션 계층(E-layer), 시그널링 계층 (S layer)과의 인터페이스 등을 담당한다.

전달 계층 (D-layer)은 인캡슐레이션 계층(E-layer)으로부터의 페이로드(payloads)를 핸들링하기 위하여 인캡슐레이션 계층(E-layer)으로부터의 넘어온 서로 다른 타입의 페이로드를 식별한다. 전달 계층 (D-layer)은 서로 다른 망과 서로 다른 채널을 통하여 전달되는 패킷들간의 임시적인 관계(temporal relation)를 다룰 수 있다. 상기 동기화(Synchronization) 기능은 타임스탬프등을 이용한 하이브리드망 동기화를 포함할 수 있다.

전달 계층 (D-layer)은 실시간 미디어 전송을 위해 MMT 전달패킷(MMT delivery packets)의 타이밍 제약(timing constraints)을 다룰 수 있다. 전달 계층 (D-layer)은 전방향 에러 보정(Forward Error Correction) 및 재전송과 같은 MMT 미디어 패킷의 에러 제어를 수행할 수 있다. 전달 계층 (D-layer)은 MMT 미디어 패킷의 흐름 제어를 수행할 수 있다. 전달 계층 (D-layer)은 MMT 미디어패킷의 전달을 위한 소정 레벨의 QoS를 유지하기 위하여 크로스 레이어 디자인(Cross-layer design)을 통하여 하위 계층(MAC, PHY) 뿐만 아니라 다른 MMT 계층과의 인터랙션(interaction)을 수행할 수 있다. 또한, 전달 계층 (D-layer)은 그룹 통신을 수행하기 위한 기능을 제공할 수 있다.

전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다. D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드를 생성한다. MMT 페이로드는 MMT 페이로드 포멧으로 구성된다. MMT 페이로드 포멧은 MMT 애셋을 전송하고, MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드의 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.

MMT 페이로드 포멧은 패키지의 컨텐츠 콤포넌트의 패킷화를 위한 일반적인 페이로드 포멧으로 정의된다. MMT 페이로드 포멧은 특정 미디어 코덱에 무관하게 정의되어, MPU와 같이 인캡슐레이션된 어떠한 타입의 미디어도 미디어 컨텐츠의 스트리밍 전달을 지원하는 응용 계층 전송 프로토콜을 위한 페이로드로 패킷화 될 수 있다. MMT 페이로드는 RTP, MMT 및 다른 패킷 전송 프로토콜을 위한 페이로드 포멧으로 사용될 수 있다. MMT 페이로드는 시그널링 메시지를 패킷화하기 위해 사용될 수도 있다.

D.2 계층(D.2-layer)은 D.1 계층에서 생성된 MMT 페이로드를 받아서 MMT 패킷(MMT Packet)을 생성한다. MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다.

D.3 계층(D.3-layer)은 크로스-레이어 디자인(cross-layer Design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공함으로써 QoS를 지원한다. 예를 들어, D.3 계층은 MAC/PHY 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다. MAC/PHY의 QoS파라미터는 예를 들어, 비트율(bitrate), 패킷손실율(packet loss ratio), 예측된 지연(expected delay), 이용 가능한 버퍼 크기 등이 될 수 있다.

시그널링 계층(Signaling layer; S layer)은 시그널링 기능(signaling function)을 수행한다. 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 및 다른 계층, 즉 전달 계층(D-layer) 및 인캡슐레이션 계층(E-layer)과의 인터페이스 기능 등을 위한 시그널링 기능을 수행할 수 있다. 상기 동기화는 하이브리드망에서의 동기화 제어를 포함할 수 있다.

시그널링 계층은 MMT 패키지의 전달 및 소비를 관리하는 메시지의 포맷을 정의한다. 소비 관리를 위한 메시지는 MMT 패키지의 구조를 알리기 위해 사용되고, 전달 관리를 위한 메시지는 페이로드 포맷의 구조 및 프로토콜의 구성을 알리기 위해 사용된다.

시그널링 계층 (S layer)은, 도 1에 도시된 바와 같이, MMT S.1 계층(MMT S.1 Layer) 및 MMT S.2 계층(MMT S.2 Layer)으로 구성될 수 있다.

S.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다. 상기 표현 세션 관리는 미디어 표현, 세션 관리, 미디어 소비에 요구되는 정보 제공을 위하여 애플리케이션간에 교환된 제어 메시지의 포맷을 정의할 수 있다. S.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 인캡슐레이션(E) 계층과의 인터페이스 기능 등을 수행할 수 있다.

S.2 계층은 전달 세션 관리(delivery session management)를 수행할 수 있다. 상기 전달 세션 관리는 흐름 제어(flow control), 전달 세션 관리(delivery session management), 전달 세션 모니터링(delivery session monitoring), 에러 제어(error control), 하이브리드망 동기화 제어(Hybrid network synchronization control)에 관한 전달 계층(D-layer)의 전달 엔드-포인트들(delivery end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다.

S.2 계층은 전달 계층의 동작을 지원하기 위하여 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 관리(전달 세션 모니터링, 흐름 제어, 에러 제어 등), 설정된 전달 세션에 대한 리소스 예약, 복합 전달 환경하에서의 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 즉, S.2 계층은 전술한 바와 같은 전달 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 또한, S.2 계층은 전달 계층 및 인캡슐레이션 계층과의 인터페이스 기능을 담당할 수 있다.

제어 메시지(control message; 또는 제어 정보(control information))는 시그널링 계층 (S layer)에서 생성되어 방송망 및/또는 광대역망을 통하여 전송될 수 있다.

방송망 및 광대역망 모두를 통하여 전송되는 경우, 방송망을 통하여 전송되는 제어 메시지의 기능은 광대역망을 통하여 전송되는 제어 메시지의 기능과 동일할 수 있다. 애플리케이션 및 전송(delivery)의 종류에 따라서 제어 메시지의 신택스(syntax) 및 포맷(format)은 달라질 수 있다. 예를 들어, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)과 동일한 공통 포맷(common format)이 방송망 및 광대역 망 각각으로 전송되는 제어 메시지에 사용될 수 있다. 또는, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)가 방송망 및 광대역망 각각마다 서로 다른 포맷(different format)으로 전송될 수도 있다. 또는, 하이브리드 전송의 경우, 방송망 및 광대역망 각각마다 서로 다른 제어 정보(different control information)와 서로 다른 포맷(different format)으로 전송될 수도 있다.

도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.

미디어 프래그먼트 유닛(Media Fragment Unit; MFU)은 MFU의 범위에서 적응적인 전송을 수행하기 위해 트랜스포트 계층에서 AU의 부분을 인캡슐레이션하는 형식을 정의한다. MFU는 AU의 부분이 독립적으로 디코드되거나 폐기될 수 있도록 부호화된 미디어의 일정한 형식을 전송하는데 사용될 수 있다.

MFU는 다른 MFU들로부터 하나의 MFU를 구별하기 위한 식별자를 가지고, 단일 AU내의 MFU들 사이의 일반적인 관계 정보를 가진다. 단일 AU에서의 MFU 사이의 의존 관계가 설명되고, MFU의 관련 우선순위가 그러한 정보들의 부분으로 설명된다. 상기 정보는 하위 트랜스포트 계층에서 전송을 다루는데 사용될 수 있다. 예를 들면, 트랜스포트 계층은 불충분한 대역폭에서의 QoS 전송을 지원하도록, 폐기해도 되는 MFU들의 전송을 생략할 수 있다.

미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)은 부호화된 미디어 분할 데이터(coded media fragment data, 132)와 MFUH(Media Fragment Unit Header)(134)로 이루어진다. 미디어 프래그먼트 유닛(130)은 특정 코덱(codec)에 독립적으로 일반 컨테이너 포맷(general container format)을 가지며 미디어 디코더에서 독립적으로 소비될 수 있는 가장 작은 데이터 유닛을 싣는다. MFUH(134)는 미디어 특성-예를 들어 유실 허용한계(loss-tolerance)-과 같은 부가 정보를 포함할 수 있다. MFU)(130)는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.

MPU는 복수의 미디어 프래그먼트 유닛(130)을 포함하는 미디어 프래그먼트 유닛의 집합이다. MPU는 시간 데이터 유닛(timed data unit) 또는 비-시간 데이터 유닛(non-timed data unit) 을 가질 수 있다. MPU는 미디어 프래그먼트 유닛 데이터(media fragment unit data)와 동기화를 위한 타임 스탬프와 같은 부가 정보를 가지는 미디어 프로세싱 유닛 헤더(Media Processing Unit Header; MPUH)를 포함할 수 있다. MPU는 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가지며 액세스 유닛(Access Unit)과 등가의 미디어 데이터를 포함한다. MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 데이터이고, 처리는 인캡슐레이션 및 패킷화를 포함한다. MPU는 적어도 하나의 MFU로 구성되거나 다른 표준에 의해 정의된 포맷을 가진 데이터의 부분을 가질 수 있다.

MPU는 시퀀스번호 및 이를 다른 MPU와 구분하여주는 연관된 애셋 ID로 MMT 패키지 내에서 유일하게 식별될 수 있다. 단일 MPU는 적어도 하나의 AU의 정수(integral number) 또는 비-시간 데이터를 수용할 수 있다. 시간 데이터를 위하여, AU는 적어도 하나의 MFU로부터 전달될 수 있으나, 하나의 AU는 다수의 MPU로 분할될 수 없다. 비-시간 데이터에서, 하나의 MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 비-시간 데이터의 부분을 수용한다.

MPU는 적어도 하나의 임의 접근점(Random access point)을 가진다. MPU 페이로드의 첫 바이트는 항상 임의 접근점으로 시작할 수 있다. 시간 데이터에서, 상기 사실은 MPU 페이로드에서 첫 MFU의 디코딩 순서는 항상 0임을 의미한다. 시간 데이터에서, 각 AU의 프리젠테이션 기간 및 디코딩 순서는 프리젠테이션 시간을 알리기 위해 보내질 수 있다. MPU는 자신의 초기 프리젠테이션 시간을 가지고 있지 않고, 하나의 MPU의 첫 AU의 프리젠테이션 시간은 컴포지션 정보에 기술되어 있을 수 있다. 컴포지션 정보는 MPU의 첫 프리젠테이션 시간을 명시할 수 있다.

MPU는 MMT 힌트 트랙을 포함할 수 있다. MPU의 패킷화된 전달을 위해, MMT 힌트 트랙(MMT hint track)은 인캡슐레이션된 MPU를 MMT 페이로드 및 MMT 패킷으로 변환하기 위한 정보를 제공할 수 있다.

MMT 힌트 트랙은 MPU의 부분(fragmentation)을 전송부에 암시한다. 이로써 적어도 하나의 MFU는 MMT 페이로드를 생성하기 위해 사용될 수 있다. 미디어 데이터는 전송부에 의해 전송 시점에 MMT 페이로드로 생성되고 전달될 수 있다. 따라서, 저장되는 포멧은 전달시의 포멧과 상이할 수 있다. 이러한 경우, 전송시 미디어 데이터를 추출하고 MMT 페이로드를 생성할 수 있는 동적인 전송부가 요구된다.

MMT 힌트 트랙은 MMT 페이로드 포멧을 사용하는 인캡슐레이션을 위한 MFU의 추출 및 생성을 암시한다. MMT페이로드는 MPU 메타데이터 또는 적어도 하나의 MFU를 포함할 수 있다. MMT 힌트 트랙은 MFU 데이터를 추출하는 방법을 전송부에 암시한다. 프래그멘테이션이 사용되지 않으면 힌트 트랙은 생략될 수 있다.

MMT 힌트 트랙은 샘플의 엔트리 포멧을 나타낼 수 있다. 각 미디어 샘플은 적어도 하나의 MFU에 지정되고, MMT 힌트 트랙의 샘플은 적어도 하나의 MFU를 생성하게 된다.

MMT 힌트 트랙은 다수의 파라미터를 포함한다. 예로, 1의 값을 가지면 다중 레이어 정보가 제공됨을 나타내는 multilayer_flag를 포함할 수 있다. dependency_id는 해당 MFU의 의존성을 나타내는 ID이다. 0의 값이 아니면 적어도 하나의 시간적, 품질적 또는 공간적 해상도 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. depth_id는 해당 MFU가 비디오의 깊이 데이터(depth data)를 전달하는지를 나타낸다. quality_id는 MFU의 품질 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상 시킨다. temporal_id는 MFU의 시간적 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. view_id 는 MFU의 뷰 ID이다. 0의 값이 아니면 시간적, 품질적 또는 공간적 해상도의 적어도 한 측면에서 적어도 하나의 스케일러빌리티 레벨에 의해 비디오를 향상시킨다. 또한 힌트트랙은 스케일러빌리티 차수(scalability dimensions) 정보가 초기 정보에 제공되는 스케일러블 레이어의 아이디를 나타내는 layer_id 파라미터를 가질 수 있다.

MMT 애셋(150)은 복수의 MPU 들로 이루어진 MPU의 집합이다. MMT 애셋(150)은 단일의 데이터 소스로부터의 다수의 MPU(시간(timed) 또는 비-시간(non-timed) 데이터)로 이루어진 데이터 엔티티로서, MMT 애셋 정보(152)는 애셋 패키징 메타데이터(Asset packaging metadata) 및 데이터 타입과 같은 부가 정보를 포함할 수 있다. MMT 애셋(150)은 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 FF(File Format), PES(packetized elementary streams), M2TS(MPEG transport stream)등을 포함할 수 있다.

또한 MMT 애셋은 부호화된 미디어 데이터를 가지는 논리적 데이터 개체일 수 있다. MMT 애셋은 MMT 애셋 헤더 및 부호화된 미디어 데이터를 가진다. 부호화된 미디어 데이터는 같은 MMT 애셋 아이디로 집단적으로 참조되는 MPU들의 그룹일 수 있다. MMT 클라이언트와 직접 관련되는 개체로 각각 소비되는 타입의 데이터는 분리된 MMT 애셋일 수 있다. 그러한 데이터 타입들의 예로 MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG 파일 들을 들 수 있다.

MMT 애셋의 부호화된 미디어는 시간 데이터 또는 비-시간 데이터 일 수 있다. 시간 데이터는 지정된 시간에 특정 데이터의 동기화된 디코딩 및 프리젠테이션이 요구되는 시청각 미디어 데이터이다. 비-시간 데이터는 서비스의 제공 또는 사용자 상호작용에 따라 임의의 시간에 디코딩되고 제공될 수 있는 데이터 타입의 데이터이다.

서비스 제공자(service provider)는 MMT 애셋들을 통합하여 MMT 애셋들을 공간-시간축상에 두고 멀티미디어 서비스를 생성할 수 있다.

MMT 패키지(160)는 하나 또는 하나 이상의 MMT 애셋(150)을 포함하는 MMT 애셋의 집합이다. MMT 패키지 내의 MMT 애셋들은 다중화되거나 또는 사슬같이 연결(concatenated)될 수 있다.

MMT 패키지는 MMT 애셋 및 컨피규레이션 정보를 위한 컨테이너 포맷이다. MMT 패키지는 MMT 프로그램을 위한 MMT 애셋 및 컨피규레이션 정보의 저장소를 제공한다.

MMT 프로그램 제공자는 부호화된 데이터를 MMT 애셋으로 인캡슐레이션하고 MMT 애셋과 그들의 전송 특성의 시간적 및 공간적 레이아웃을 설명하는 것으로 컨피규레이션 정보를 생성한다. MMT 애셋은 D.1 페이로드 포맷으로 직접적으로 전송될 수 있다. 컨피규레이션 정보는 S.1 프리젠테이션 세션 관리 메시지에 의해 전송될 수 있다. 그러나 MMT 프로그램의 릴레이 또는 추후의 재사용을 허용하는 MMT 프로그램 제공자 및 클라이언트는 MMT 패키지 포맷으로 이를 저장한다.

MMT 패키지를 파싱하는데 있어, MMT 프로그램 제공자는 MMT 애셋이 클라이언트에게 어떤 전송 경로(예를들면, 브로드캐스트 또는 브로드밴드)로 제공될지를 결정한다. MMT 패키지에서의 컨피규레이션 정보는 전송 관련 정보와 함께 S.1 프리젠테이션 세션 관리 메시지로 전송된다.

클라이언트는 S.1 프리젠테이션 세션 관리 메시지를 수신하여 어떤 MMT 프로그램이 가능하고 어떻게 해당되는 MMT 프로그램을 위한 MMT 애셋을 수신하는지를 알게된다.

MMT 패키지는 D.1페이로드 포맷에 의해 또한 전송될 수 있다. MMT 패키지는 D.1 페이로드 포맷으로 패킷화 되고 전달된다. 클라이언트는 패킷화된 MMT 패키지를 수신하고 이의 전부 또는 일부를 구성하고, 여기서 MMT 프로그램을 소비한다.

MMT 패키지(160)의 패키지 정보(package information)(165)는 컨피규레이션 정보(Configuration Information)를 포함할 수 있다. 컨피규레이션 정보(Configuration Information)는 MMT 애셋들의 리스트, 패키지 식별 정보(package identification information), 콤포지션 정보(composition information)(162) 및 애셋 전달 특성(Asset Delivery Characteristics, ADC) (164)과 같은 부가 정보를 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 애셋(150)들 사이의 관계(relationship)에 대한 정보를 포함한다.

또한, 콤포지션 정보(composition information)(162)는 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함할 수 있다. 콤포지션 정보(composition information)는 다중 스크린 환경에서 패키지 전달 최적화 및 표현을 위한 정보를 제공한다. 다중스크린 환경에서 애셋을 특정 스크린에 매핑하는 정보를 나타낼 수 있다. 자세한 설명은 후술한다.

MMT 패키지의 전송 및 프리젠테이션을 돕는 정보와 같이, MMT에서의 컴포지션 정보(Composition Information)는 MMT 패키지 내의 MMT 애셋 사이의 공간적 및 시간적 관계에 대한 정보를 제공한다.

MMT-CI는 HTML5를 확장하여 그러한 정보를 제공하는 설명적인 언어이다. HTML5가 텍스트 기반 컨텐츠의 페이지기반 프리젠테이션을 설명하도록 설계되었다면, MMT-CI는 주로 소스들간의 공간적인 관계를 표현한다. MMT 애셋들 간의 시간적 관계를 알려주는 표현을 지원하기 위하여, 프리젠테이션 리소스와 같이 MMT 패키지에 있는 MMT 애셋에 관련된 정보, MMT 애셋의 전송 및 소비 순서를 결정하는 시간 정보 및 HTML5에서 다양한 MMT 애셋을 소비하는 미디어 요소들의 추가적인 속성을 가지도록 확장될 수 있다.

애셋 전달 특성(Asset Delivery characteristics) 정보(164)는 전달 특성에 대한 정보를 포함하며, 각각의 MMT 애셋(또는 MMT 패킷)의 전달 조건(delivery condition)을 결정하기 위해 필요한 정보를 제공할 수 있다. 애셋 전달 특성은 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.

트래픽 기술 파라미터는 미디어 프래그먼트 유닛(MFU)(130) 또는 MPU에 대한 비트율(bitrate) 정보, 우선 순위(priority) 정보등을 포함할 수 있다. 비트율 정보는 예를 들어 MMT 애셋이 가변 비트율(Variable BitRate; VBR) 또는 고정 비트율(Constant BitRate; CBR)인지 여부에 대한 정보, 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대해 보장된 비트율(guaranteed bitrate), 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대한 최대 비트율을 포함할 수 있다. 상기 트래픽 기술 파라미터는 전달 경로상의 서버, 클라이언트, 기타 다른 구성요소들 간에 리소스 예약(resource reservation)을 위해 사용될 수 있으며, 예를 들어 MMT 애셋내의 미디어 프래그먼트 유닛(MFU)(또는 MPU)의 최대 크기 정보를 포함할 수 있다. 상기 트래픽 기술 파라미터는 주기적 또는 비주기적으로 업데이트될 수 있다.

QoS 기술자는 QoS 제어를 위한 정보를 포함하며, 예를 들어 지연(delay) 정보 및 손실 정보(loss information)를 포함할 수 있다. 손실 정보는 예를 들어 MMT 애셋의 전달 손실(delivery loss)이 허용되는지 않되는지에 대한 손실 지시자(loss indicator)를 포함할 수 있다. 예를 들어 손실 지시자가 ‘1’인 경우 ‘lossless’를 나타내고, ‘0’인 경우에는 ‘lossy’를 나타낼 수 있다. 지연(delay) 정보는 MMT 애셋의 전송 지연의 민감도를 구분하는데 사용되는 지연 지시자(delay indicator)를 포함할 수 있다. 지연 지시자는 MMT 애셋의 타입이 대화(conversation), 인터랙티브(interactive), 실시간(real time) 및 비실시간(non-realtime) 인지 여부를 지시할 수 있다.

하나의 컨텐츠(content)는 하나의 MMT 패키지로 이루어질 수 있다. 또는 하나의 컨텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다.

하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 시간적(temporal), 공간적(spatial), 적응적(adaptive) 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 컨피규레이션 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다.

예를 들어 하이브리드 전달(hybrid delivery)의 경우 컨텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 컨텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어 하나의 멀티뷰 서비스를 구성하는 복수의 AV 스트림(audiovisual stream)의 경우 하나의 스트림은 방송망으로 전송되고 다른 스트림은 광대역망으로 전송될 수 있으며, 각각의 AV 스트림은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다. 또는 예를 들어 위젯(widget)과 같은 애플리케이션 소프트웨어는 광대역망으로 전송되고, AV 스트림(AV 프로그램)은 기존 방송망으로 전달되는 시나리오도 존재할 수 있다.

상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 복수의 AV 스트림 전체가 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 스트림 중의 하나는 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 컨텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 컨피규레이션 정보(configuration information)를 재기록 해야하고, 재기록 된 컨텐츠는 서버와 무관한 새로운 MMT 패키지가 된다.

상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 각각의 AV 스트림이 하나의 MMT 패키지로도 될 수 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 컨텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 컨피규레이션 정보가 필요하다.

하나의 MMT 패키지내에 포함된 컴포지션 정보 또는 컨피규레이션 정보(configuration information)는 다른 MMT 패키지내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다.

IP 망을 통한 네트워크 적응적 비디오 전송을 위한 방법으로 SVC (Scalable Video Coding) 부호화 기술과 MANE (Media Aware Network Element) 기술이 있다. SVC 부호화 기술은 입력 비디오를 여러 개의 계층으로 압축함으로써 주어진 네트워크 상태에 적합한 비디오 계층만을 전송할 수 있도록 하는 계층적 비디오 압축 기술이며, MANE은 입력되는 비디오 비트스트림으로부터 전송에 적합한 비디오 데이터 부분만을 추출할 수 있는 지능적인 기능을 탑재한 라우터 혹은 게이트웨이를 의미한다.

본 발명의 일 실시 예에 따른 MMT 패킷 전송 방법은 SVC(Scalable Video Coding)와 같은 멀티-레이어 비디오를 IP-네트워크를 통하여 전송할 때 네트워크 내에서 레이트 적응을 할 수 있도록 D.1계층에서 생성되는 MMT 페이로드의 헤더 포멧 필드를 제공한다. MMT의 전달 계층(Delivery layer, D-layer)은 하나의 네트워크 개체에서 다른 네트워크 개체로 인캡슐레이션된 미디어 데이터를 전송하기 위한 MMT 페이로드 포멧(MMT payload format)을 포함하는 응용 계층 프로토콜(application layer protocol)을 정의한다. MMT 페이로드 포멧은 MMT 전송 프로토콜에 의해 운반될 MMT 패키지를 포함하는 정보의 논리적 구조를 정의한다.

MMT 방식을 통한 전송의 대상이 되는 콘텐츠는 기저 계층(Base Layer) 및 적어도 하나 이상의 향상 계층(Enhanced Layer)를 포함하는 SVC 비디오 콘텐츠일 수 있다. 하나의 SVC 비디오 콘텐츠는 하나의 MMT 패키지로 이루어질 수 있고, 또는 하나의 SVC 비디오 콘텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다. 즉, SVC 비디오 콘텐츠에 포함된 복수의 계층들이 하나의 MMT 패키지에 포함될 수도 있고, 복수의 MMT 패키지로 분리되어 포함될 수도 있다.

도 4는 본 발명의 일 실시예에 따른 MANE 기반의 네트워크 적응적인 SVC 또는 MVC 비디오 전송 시스템의 구조를 나타낸다. 도 4는 적어도 하나의 멀티 레이어 비디오를 포함하는 MMT 패킷을 전송하는 멀티 레이어 비디오 서버(410), 멀티 레이어 비디오 서버(410)로부터 수신한 MMT 패킷을 네트워크 상태에 따라 선택적으로 재전송하는 MANE(Media Aware Network Element, 420) 및 MANE(430)로부터 재전송되는 MMT 패킷을 수신하는 다수의 MMT 패킷 수신 장치(430)을 도시한다.

도 4는 SVC 또는 MVC 부호화 기술과 MANE 기술이 결합되어 이루어지는 MANE 기반의 네트워크 적응적인 SVC 비디오 전송 시스템의 구조를 나타낸다. 본 발명의 일 실시 예에 따른 MANE를 이용하는 SVC 비디오의 전송과 MVC 비디오의 전송은 동일한 구조를 가지므로 이하 SVC 비디오의 전송에 관하여 설명한다. 이하의 설명은 MVC 비디오의 전송의 경우에도 유사한 방식으로 적용될 수 있다.

멀티 레이어 비디오 서버(410)에는 L0~L3까지의 총 4개의 계층을 갖는 SVC 비디오가 저장되어 있다. 상기 SVC 비디오 계층들은 전송 프로토콜에 의해 MANE(420)으로 전달이 되며 MANE(420)은 네트워크의 품질 상태, 연결된 타겟 단말기의 코덱 능력 (codec capability), 디스플레이 해상도 (display resolution) 등을 고려하여 적합한 비디오 계층만을 추출하여 각 단말기(430)로 전달한다. 이때, 서버(410)에서 SVC 비디오 계층들을 MANE(420)으로 전송하기 위한 프로토콜로서 MMT 프로토콜이 적용될 경우에 MANE에서 네트워크 적응적인 비디오 계층을 선택하는데 효율적인 정보가 제공될 필요가 있다. 따라서, SVC 비디오 계층 관련 정보를 MMT 페이로드 헤더 포맷에 기록하여 MANE에게 전달할 필요가 있으며, 이때 어떠한 정보를 MMT 페이로드 헤더 포맷에 기록할지도 명시 해야 할 필요가 있다.

MANE(Media Aware Network Element, 430)는 도 4에 도시된 바와 같이 네트워크 내에서 레이트 적응을 수행할 수 있는 IP 네트워크의 라우터 또는 스위치이다. 본 발명의 일실시 예에 따른 MANE(430)는 어떠한 패킷이 더 이상 전송되지 않도록 드롭(drop)되거나, 앞으로 진행(forward)될지를 시그널링 프로시져(signaling procedure) 및 패킷 페이로드 헤더에서 구할 수 있는 시그널링 정보(signaling information)에 기반하여 결정하고 판단한다.

일정한 대역폭을 제공하는 것이 어려운 패킷 스위치 네트워크(packet-switched network)에서 MANE(430)는 네트워크의 정체(congestion) 문제를 줄이기 위해 사용될 수 있다. 일 실시 예에서, 계층적 비디오 전송은 코어스 그레인(coarse grain) 적응에서 비디오 계층의 일부를 드롭하도록 사용될 수 있다. 파이너 그레인(finer grain) 적응에서, MANE는 상위 비디오 계층의 비디오 데이터의 일부를 드롭하여 결과적으로 이용할 수 있는 대역폭에 적합하도록 전송되는 비디오 데이터의 양을 줄일 수 있다. 일반적으로, 계층적 멀티캐스트(layered multicast)는 스트리밍 패스의 코어 네트워크를 위하여만 고려되나, 엣지 네트워크에 근접한 다양한 터미널들에 연결된 MANE는 적절한 비디오 계층만을 포함하는 패킷 스트림으로 계층적 멀티캐스트를 재조립할 수 있다. 이러한 실시 예에서, MANE는 패킷을 검사(inspection)하지 않고 어떠한 패킷을 드롭하거나 진행(pass) 시킬지를 결정하기 위해 MMT 패킷으로부터 확장 정보를 얻어야 한다. 확장 정보(scalability information)가 MMT 페이로드 헤더에 표현된다면, MANE는 MMT 패킷을 앞으로 진행할 가치가 있는지 없는 지를 효율적으로 결정할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 MMT 패킷의 내부 구조이다. MMT 패킷은 D.2 계층에서 생성되는 MMT 패킷 헤더, D.1 계층에서 생성되는 MMT 페이로드 헤더와 MMT 페이로드를 포함한다. MMT 페이로드는 E 계층에서 생성된 SVC NAL 유닛을 포함한다.

본 발명의 일 실시 예에 따른 MMT 페이로드 헤더는 MANE가 상이한 계층에서 온 복수의 집약된(aggregated) NAL 유닛들을 포함하는 MMT 패킷을 수신하고, 수신한 MMT 패킷을 완전하게 파싱하지 않고도 MMT 패킷의 전달을 계속할지 또는 MMT 패킷의 전달을 계속하지 않고 MMT 패킷을 버릴지를 결정할 수 있게 한다. 이러한 방식은 어떤(certain) 비디오 계층이 현재 스트리밍 세션에 필요하지 않을 때 사용될 수 있으며, MANE의 이러한 작동을 위하여 MANE에 도착하는 패킷은 MANE에서 조사될 필요가 있다.

MANE가 간단히 MMT 패킷의 진행여부를 판단하고 그에 따른 처리를 수행하기 위하여, MMT 패킷에 모인 계층 비디오 데이터인 페이로드들의 확장 정보의 요약(informative summary)이 MANE에 제공되어야 한다. SVC 비트 스트림의 NAL 유닛 헤더에는 NAL 패킷의 특정 확장 정보가 기본적으로 내재되어(buried) 있다.

본 발명의 일 실시 예에 따른 MMT 페이로드 헤더는 MMT의 D.1레이어에 대응되는 MMT 페이로드 헤더의 정보에 추가적인 확장 정보를 포함하여 구성된다. 적절한 확장 정보는 MANE가 SVC 비디오 코딩 규격에 따라 집약되어(aggregated) MMT 패킷의 페이로드에 포함된 NAL 유닛의 내부를 직접 들여다보지 않고도, MMT 페이로드 헤더에 포함된 NAL 유닛의 확장 정보를 조사함으로써, MMT 패킷을 앞으로 전달할지(forward), 전달하지 않고 버릴지(discard) 또는 MMT 패킷의 내부를 조사하여 판단할 지를 판단할 수 있게 한다.

도 6은 본 발명의 일 실시 예에 따른 확장 정보의 구조이다. 도 6에는 MMT 페이로드 헤더에 포함된 페이로드 확장 정보(payload scalability information)가 나타나 있다. 페이로드 확장 정보는 TID_low, DID_low, QID_low, TID_high, DID_high 및 QID_high 파라미터를 포함한다. 도 6을 참조하여 확장 정보를 구성하는 신택스 (syntax)의 구조를 설명한다. 페이로드 스케일러빌리티 정보는 TID_low, DID_low, QID_low, TID_high, DID_high, 및 QID_high 등 총 6개의 파라미터로 구성되어 있다. 이 6개의 파라미터에 대한 개별적인 의미 (semantics)가 도 6에 나타나 있다.

TID_low 파라미터는 MMT 패킷에 집약되어 있는 NAL unit들의 TID 값들 중에서 가장 작은 TID 값을 나타낸다. DID_low 파라미터는 MMT 패킷에 집약되어 있는 NAL 유닛들의 DID 값들 중에서 가장 작은 DID 값을 나타낸다. QID_low 파라미터는 MMT 패킷에 집약되어 있는 NAL 유닛들의 QID 값들 중에서 가장 작은 QID 값을 나타낸다. TID_high 파라미터는 MMT 패킷에 집약되어 있는 NAL 유닛들의 TID 값들 중에서 가장 큰 TID 값을 나타낸다. DID_high 파라미터는 MMT 패킷에 집약되어 있는 NAL 유닛들의 DID 값들 중에서 가장 큰 DID 값을 나타낸다. 그리고 QID_high 파라미터는 MMT 패킷에 집약되어 있는 NAL 유닛들의 QID 값들 중에서 가장 큰 QID 값을 나타낸다

각 파라미터에 대하여 보다 자세히 설명한다. SVC 비디오에서는 NAL(Network Abstraction Layer) 유닛들 간의 시공간적 (spatio-temporal) 관계를 나타내기 위해서 세가지 종류의 계층과 관련된 ID (layer identification)를 사용한다. SVC 비디오에 있어서, 각각의 NAL 유닛의 시간적 레벨은 TID(temporal_ID)에 의해 나타나고, 공간적 레벨은 DID(Dependency_ID)에 의해 나타나며, 품질 레벨은 QID(quality_ID)에 의해 나타난다. 즉, TID(Temporal_ID)는 NAL 유닛의 시간적 레벨(temporal level)을 나타내고, DID(Dependency_ID)는 공간적 레벨 (spatial level)을 나타내며, QID(Qualtiy_ID)는 품질 레벨 (quality level)을 나타낸다. 이러한 확장 계층 정보인 (TID, DID, QID) 값은 각 NAL 유닛의 헤더마다 기록된다.

본 발명의 일 실시 예에 따른 확장 정보는 TID_low, DID_low, QID_low, TID_high, DID_high 및 QID_high 파라미터로 구성되며 6개의 파라미터 중 어느 하나 만을 포함할 수도 있다. 본 발명의 일 실시 예에 따른 확장 정보는 (TID_low, DID_low, QID_low)의 셋과 (TID_high, DID_high, QID_high)의 셋으로 구성될 수도 있다. 또한, 본 발명의 일 실시 예에 따른 페이로드 확장 정보는 (TID_low, TID_high)의 셋, DID_low, DID_high 의 셋 및 (QID_low, QID_high)의 셋으로 구성될 수도 있으며 어느 하나의 셋 만을 포함할 수도 있다. 또한 그외에 다양한 파라미터들의 셋을 포함할 수 있다.

도 7은 본 발명의 일 실시예에 따른 MANE에서 이루어지게 되는 MMT 패킷에 대한 전달, 버림, 패킷 내부 조사 여부를 판단하는 알고리듬이다. 도7의 알고리즘을 참조하면, 상기 TID_low, DID_low, QID_low, TID_high, DID_high 및 QID_high 파라미터를 활용하여 MANE는 상이한 비디오 계층으로부터의 복수의 집성된 NAL 유닛들을 포함하는 MMT 패킷을 전달할지(forward), 버릴지(discard) 또는 MMT 패킷의 내부를 조사할지(inspect)를 간단하게 결정할 수 있다.

도 6의 payload_scalability_information()을 참조하면, MANE는 도7의 알고리듬을 사용하여 네트워크 내 적응을 위해 어떤 MMT 패킷을 드롭할지, 전달할지(forward), 또는 NAL 유닛 헤더의 내부에 존재하는 각각의 (TID, DID, QID) 값을 조사할지를 간단히 결정할 수 있다. 도 7의 알고리듬은 NAME가 주어진 (TID_low, DID_low, QID_low) 및 (TID_high, DID_high, QID_high) 값을 계층 적응을 위한 최적의 추출 포인트로 결정된 TID_opt, DID_opt 및 QID_opt 값과 비교한다.

도 7의 알고리듬에서 TID_opt, DID_opt 및 QID_opt는 주어진 네트워크 환경에 적응하기 위해서 MANE에서 결정된 최적의 추출 포인트(optimal extraction point)에 해당하는 (TID, DID, QID) 값을 나타낸다. MANE는 TID_opt, DID_opt 및 QID_opt의 모든 값이 MMT 패킷의 페이로드 헤더에 기록되어 있는 TID_high, DID_high 및 QID_high 보다 각각 크거나 같을 경우 해당 MMT 패킷을 타겟 단말로 전달하게 된다. MANE는 TID_opt, DID_opt 및 QID_opt의 모든 값이 MMT 패킷의 페이로드 헤더에 기록되어 있는 TID_low, DID_low 및 QID_low 보다 각각 작을 경우 해당 MMT 패킷을 전송하지 않고 버리게 된다. 상기의 2가지 조건을 모두 만족하지 않을 경우, MANE는 MMT 패킷 내부에 포함되어 있는 모든 NAL unit의 TID, DID 및 QID 값을 개별적으로 분석하여, 전달하거나 버리게 될 NAL unit을 판별하게 된다.

도 8은 본 발명이 MANE 에서 적용되는 작업 흐름도 (work flow)를 나타낸다. 먼저 MMT 패킷이 MANE에 도달한다(S100). MANE는 MMT 패킷의 페이로드 헤더를 파싱한다(S110). 그리고 MANE는 MMT 페이로드 헤더로부터 (TID_low, DID_low, QID_low) 및 (TID_high, DID_high, QID_high) 값을 얻는다(S120). 다음으로, MANE는 전술한 도 7의 알고리즘을 사용하여 MMT 패킷의 처리를 결정한다.

전술한 바와 같이 본 발명의 일 실시 예에 따른 MMT 패킷 전송 방법은 IP 네트워크를 통해 SVC와 같은 멀티-레이어 비디오를 전송할 때 네트워크 내 적응을 가능하게 하는 D.1 계층 페이로드 헤더 포멧 필드를 제공한다. 본 발명의 일 실시 예에 따른 MMT 페이로드 헤더 포멧 내에 포함된 페이로드 확장 정보와 함께, MANE은 어떤 MMT 패킷을 드롭하고, 전달하고(forward), 또는 NAL 유닛 헤더의 내부에 존재하는 각각의 TID, DID, QID 값을 조사할지를 간단하게 결정할 수 있다.

일반적으로, MMT 패킷이 하나의 SVC NAL 유닛 만을 포함하여 전송될 경우에는 NAL 유닛 헤더 자체가 MMT 페이로드 헤더의 역할을 하므로 NAL 유닛 헤더에 기록된 (TID, DID, QID) 값이 자동적으로 페이로드 헤더에 기록되어 MANE이 이를 참조할 수 있다. MANE 자체는 기본적으로 도 1에서의 D 계층(D-layer)까지 처리할 수 있는 프로토콜이므로 MMT 페이로드 헤더에 기록되어 있는 TID, DID 및 QID 값을 참조하여 필요한 적응적인 처리를 수행하게 된다. 이때의 적응적 처리는 타겟 단말기로 전달할 NAL 유닛과 전달하지 않을 NAL 유닛을 TID, DID 및 QID 값을 기준으로 구분함을 의미한다. 즉, 타겟 단말로의 전달에 적합한 공간 해상도, 프레임 레이트(frame rate) 및 화질을 갖춘 NAL 유닛만을 TID, DID 및 QID 값을 기준으로 필터링 (filtering)하는 것이다.

한편, MMT 패킷은 SVC NAL unit 여러 개를 하나의 MMT 패킷에 집약 (aggregation) 시켜서 한꺼번에 전송할 수 있다. 개별적인 NAL unit의 크기가 매우 작은 경우에는 많은 개수의 NAL unit을 하나의 MMT 패킷에 집약시킬 경우 다수의 MMT 패킷 생성에 따른 오버헤드를 대폭적으로 줄일 수 있다. 이 경우에는 도 6에 도시된 바와 같이 다수의 NAL 유닛들을 대표할 수 있는 페이로드 확장 정보 (payload scalability information)를 MMT 패킷의 페이로드 헤더에 별도로 기록할 수 있다. MANE에서는 이러한 페이로드 스케일러빌리티 정보가 페이로드 헤더에 포함되어 제공될 경우 모든 NAL 유닛 헤더에 기록되어 있는 TID, DID 및 QID 값을 일일이 분석할 필요가 없다. 즉 본 발명의 일 실시 예에 따라 MANE는 페이로드 헤더에 기록되어 있는 페이로드 확장 정보만을 간단히 참조하여 타겟 단말기로 전달시킬 (forward) MMT 패킷과 버리게 될 (discard) MMT 패킷을 고속으로 결정할 수 있다.

이상에서 설명한 본 발명은 일련의 기능 블록들을 기초로 설명되고 있지만, 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

즉, 전술한 본 발명의 실시 예들은 확장 정보가 MMT 페이로드 헤더에 생성되는 것을 설명하고 있으나, 다른 실시 예에서 확장 정보는 MMT 패킷 헤더에 존재하여 전술한 확장 정보를 MMT 패킷 헤더 레벨에서 제공할 수도 있다. 또 다른 실시 예에서 확장 정보는 MMT 페이로드에 포함되어 있을 수도 있다. 또 다른 실시 예에서 확장 정보는 별도의 MMT 패킷에 존재할 수도 있을 것이다.

도 9는 본 발명의 다른 실시 예에서 NAME 기반 네트워크 내 적응을 위한 확장 정보를 포함하는 MMT 헤더 포멧의 실시예를 도시한다. 도 9에서 확장정보는 멀티레이어 정보(multilayer information, ML-Info)로 나타나 있다. 본 발명의 다른 실시 예에 따른 MMT 패킷 헤더는 현재의 MMT 패킷에 의해 운반되는 멀티레이어 정보의 타입과 그에 상응하고 현재 SVC 및 MVC 비디오 데이터에 관련되는 멀티레이어 정보를 분류하기 위해 ML_type(2비트) 플래그를 더 포함한다. SVC를 위한 멀티레이어 정보의 비트길이는 32비트이고, MVC(Multiview Video Coding)를 위한 멀티레이어 정보의 비트길이는 20비트이다. 멀티레이어 정보는 PID와 VID에 관련된 PID_low, PID_high, VID_low 및 VID_high의 값을 더 포함한다. PID_low, PID_high, VID_low 및 VID_high의 정의와 사용은 전술한 TID, DID 및 QID 파라미터들의 최대값 및 최소값에 대한 정의 및 그 사용과 유사한 방식으로 사용될 수 있다.

도 9를 참조하여 멀티레이어 정보를 반영하기 위한 본 발명의 다른 실시 예에 따른 MMT 패킷 헤더 포멧의 신택스와 시맨틱스를 설명한다.

packet_id(16bits)는 하나의 MMT 애셋의 패킷을 다른 패킷과 구별하기 위해 각각의 MMT 애셋에 지정되는 인티저 값이다. 서로 다른 값이 시그널링 메시지와 FEC 패리티 플로우(FEC parity flows)에 지정된다. packet_sequence_number(32bits)는 임의의 값으로부터 하나씩 증가하며 각각의 MMT 패킷에 지정되는 인티저 값이다. packet_sequence_number는 최대값을 도과하면 0부터 다시 시작한다. timestamp(32bits)는 MMT 패킷 전달의 타임 인스턴스를 나타낸다. flags(8bits)는 header extension 필드가 MMT 패킷 헤더에 제공되는 지를 나타내는 header_extension_flag, 서비스 분류 정보가 MMT 패킷 헤더에 제공되는 지를 나타내는 service_classifier_flag, QoS 분류 정보가 MMT 패킷 헤더에 제공되는 지를 나타내는 QoS_classifier_flag, 플로우 확인 정보가 MMT 패킷 헤더에 제공되는 지를 나타내는 flow_identifier_flag, 및 개인 사용자 데이터 정보가 MMT 패킷 헤더에 제공되는지를 나타내는 private_user_data_flag를 포함한다. 또한, flags는 멀티레이어 정보가 MMT 패킷 헤더에 제공되는지를 나타내는 Multilayerinfo_flag를 포함한다. Flags의 각 flag는 1비트로 제공될 수 있다.

ML_Info는 멀티레이어 정보의 타입에 좌우되는 변수이다. ML_Info필드는 MANE에서의 네트워크내 적응을 위해 필요한 멀티레이어 정보를 나타낸다. 본 발명의 다른 실시 예에 따른 MMT 패킷의 ML_Info 필드는 SVC 비디오 데이터를 담은 MMT 패킷의 경우와, MVC 비디오 데이터를 담은 MMT 패킷의 경우가 상이하므로 비디오 데이터의 종류에 따라 ML_Info의 구성은 달라진다. 먼저, 도 10을 참조하여 멀티 레이어 정보가 표현하는 타입의 상태를 나타내는 ML_type 필드를 설명한다.

도10을 참조하면, ML_type필드가 00의 값을 가질 경우 ML_type필드 이후에 SVC에 관련된 멀티레이어 정보인. (TID_low, DID_low, QID_low, PID_low) 및 (TID_high, DID_high, QID_high, PID_high) 값이 뒤따라 제공될 것이라는 것을 알 수 있다. 마찬가지로, ML_type필드가 01의 값을 가질 경우 ML_type필드 이후에 MVC에 관련된 멀티레이어 정보. VID_low 및 VID_high 값이 뒤따라 제공될 것이라는 것을 알 수 있다. ML_type필드가 10의 값을 가질 경우 ML_type필드 이후에 나타나는 값은 3D 비디오 관련 멀티레이어 정보가 적용될 수 있다. 즉, ML_type필드는 MMT 패킷에 포함된 비디오 데이터가 어떠한 인코딩 방식으로 인코딩 되었는지를 나타낸다. ML_type필드의 값에 따라 ML_Info필드 이후의 값이 가지는 의미에 대하여 설명하였으나, 의미하는 바는 상이 할 수 있고, 사용에 따라 다른 의미로 변경되어 사용될 수 있다.

도 11은 본 발명의 일 실시 예에 따른 MMT 패킷 헤더 포멧이 SVC에서의 멀티레이어 정보를 위한 포멧을 가진 상태를 도시한다. 도 11과 같이 SVC 비디오 데이터를 담은 MMT 패킷 헤더 포멧에서 ML_Info 필드는 ML-type(2 bit), TID_low(T_low, 3bit), DID_low(D_low, 3bit), QID_low(Q_low, 4bit), PID_low(P_low, 10bit), TID_high(T_high, 3bit), DID_high(D_high, 3bit), QID_high(Q_high, 4bit) 및 PID_high(P_high, 6bit) 필드를 포함하고, 상기 필드들이 언급된 순서로 배열됨으로써 구성될 수 있다. 다른 실시 예에서 사용에 따라 상기 필드들의 배열 순서는 변경될 수 있으며, 일부 필드는 생략될 수 있다.

도 11에서 TID, DID 및 QID의 값에 관련된 필드들은 전술한 TID_low, DID_low 및 QID_low 파라미터와 TID_high, DID_high 및 QID_high파라미터와 같은 의미를 가진다. PID(priority identification)는 NAL 유닛의 우선순위를 나타내며 값이 작을수록 우선순위가 높음을 의미한다. PID_low값은 MMT 패킷에 집약되어있는 NAL 유닛들의 PID 값들 중에서 가장 작은 PID 값을 나타낸다. 따라서 PID_low는 가장 높은 우선순위를 가진 NAL 유닛의 PID 값이다. PID_high값은 MMT 패킷에 집약되어있는 NAL 유닛들의 PID 값들 중에서 가장 높은 PID 값을 나타낸다. 따라서 PID_high는 가장 낮은 우선순위를 가진 NAL 유닛의 PID 값이다. PID_low 및 PID_high는 필요에 따라 선택적으로 사용할 수 있다.

도 12는 본 발명의 다른 실시예에 따른 MANE에서 이루어지게 되는 SVC 비디오를 포함한 MMT 패킷에 대한 전달, 버림, 패킷 내부 조사 여부를 판단하는 알고리듬이다. 도 12의 알고리듬에서 TID_opt, DID_opt, QID_opt 및 PID_opt는 주어진 네트워크 환경에 적응하기 위해서 MANE에서 결정된 최적의 추출 포인트(optimal extraction point)에 해당하는 (TID, DID, QID, PID) 값을 나타낸다. MANE는 TID_opt, DID_opt, QID_opt 및 PID_opt의 모든 값이 MMT 패킷 헤더에 기록되어 있는 TID_high, DID_high, QID_high 및 PID_high 보다 각각 크거나 같을 경우 해당 MMT 패킷을 타겟 단말로 전달하게 된다. MANE는 TID_opt, DID_opt, QID_opt 및 PID_opt의 모든 값이 MMT 패킷 헤더에 기록되어 있는 TID_low, DID_low, QID_low 및 PID_low 보다 각각 작을 경우 해당 MMT 패킷을 전송하지 않고 버리게 된다. 상기의 2가지 조건을 모두 만족하지 않을 경우, MANE는 MMT 패킷 내부에 포함되어 있는 모든 NAL 유닛의 TID, DID, QID 및 PID 값을 개별적으로 분석하여, 전달하거나 버리게 될 NAL 유닛을 판별하게 된다.

본 발명의 또 다른 실시 예에서, 전술한 바와 같이 PID의 사용여부는 선택적인바 PID값의 판별은 선택적으로 수행될 수 있다. 또한 필요에 따라 TID, DID 및 QID의 값의 판별도 선택적으로 수행될 수 있다. 또한, 필요에 따라 최대값 및 최소값 중 어느 하나의 값만을 최적의 추출 포인트와 비교하여 MMT 패킷의 전달 여부를 결정할 수도 있다.

도 13은 본 발명의 다른 실시 예에서 SVC 비디오를 포함한 MANE 에서 적용되는 작업 흐름도 (work flow)를 나타낸다. 먼저 MMT 패킷이 MANE에 도달한다(S200). MANE는 MMT 패킷의 헤더를 파싱한다(S210). 그리고 MANE는 MMT 페킷 헤더로부터 (TID_low, DID_low, QID_low, PID_low) 및 (TID_high, DID_high, QID_high, PID_high) 값을 얻는다(S220). 다음으로, MANE는 전술한 도 12의 알고리즘을 사용하여 MMT 패킷의 처리를 결정한다.

즉, MANE는 TID_opt의 값이 TID_high보다 크거나 같고, DID_opt의 값이 DID_high보다 크거나 같고, QID_opt의 값이 QID_high보다 크거나 같으며 PID_opt의 값이 PID_high 보다 크거나 같은 지를 판단한다(S230). 판단결과가 참인 경우 해당 MMT 패킷을 타겟 단말로 전송한다(S240).

판단결과가 거짓인 경우 MANE는 S230과 유사한 방식으로, TID_opt, DID_opt, QID_opt 및 PID_opt의 모든 값이 MMT 패킷 헤더에 기록되어 있는 TID_low, DID_low, QID_low 및 PID_low 보다 모두 각각 작은지를 판단한다(S250). 판단결과가 참인 경우 MANE는 해당 MMT 패킷을 전송하지 않고 버린다(S260). 그러나 판단 결과가 거짓인 경우, 즉 MMT 패킷이 전송되는 조건을 만족하지도 않고, MMT 패킷을 버리는 조건도 만족하지 않은 경우 MANE는 MMT 패킷의 내부의 NAL 유닛을 조사한다(S270).

도 14는 본 발명의 다른 실시 예에 따른 MMT 패킷 헤더 포멧이 MVC에서의 멀티레이어 정보를 위한 포멧을 가진 상태를 도시한다. 도 14와 같이 MVC 비디오 데이터를 담은 MMT 패킷 페더 포멧에서 ML_Info 필드는 ML-type(2 bit), VID_low(V_low, 10bit), VID_high(V_high, 10bit)의 순으로 배치될 수 있다. 다른 실시 예에서 VID_low와 VID_high의 순서는 변경될 수 있고 어느 하나는 생략될 수 있다. VID(view identification)는 MVC에서 뷰(view)의 ID를 나타낸다. 따라서, VID_low는 MMT 패킷에 속한 NAL유닛의 VID 중에서 가장 낮은 값을 가지고, VID_high는 MMT 패킷에 속한 NAL유닛의 VID 중에서 가장 높은 값을 가진다.

모든 시점(view)의 비디오의 전송이 필요가 없을 때 VID 값을 활용하여 MANE에서 필터링 할 수 있다. H.264 AVC/MVC 에 의한 인코드 시, 인코드 결과의 스트림을 구성하는 Access Unit에는 VID가 설정된다. VID는 MVC에서 각 Access Unit이 어느 view component의 유닛인지를 식별할 수 있도록 한다. MVC에서 Access Unit(Dependent view의 경우, Dependent Unit)은 픽처 단위에 의한 액세스가 가능하게 되도록, 예를 들어 1매의 픽처의 데이터를 통합한 유닛이다. H.264 AVC/MVC 프로파일 규격에 의한 인코드 시 각각의 view component에는 MVC 헤더가 부가된다. MVC 헤더에는 view_id 가 포함된다.

도 15는 본 발명의 다른 실시예에 따른 MANE에서 이루어지게 되는 MVC 비디오를 포함한 MMT 패킷에 대한 전달, 버림, 패킷 내부 조사 여부를 판단하는 알고리듬이다. 도 15의 알고리듬에서 VID_opt 주어진 네트워크 환경에 적응하기 위해서 MANE에서 결정된 최적의 추출 포인트(optimal extraction point)에 해당하는 VID 값을 나타낸다. MANE는 VID_opt 값이 MMT 패킷 헤더에 기록되어 있는 VID_high 크거나 같을 경우 해당 MMT 패킷을 타겟 단말로 전달하게 된다. MANE는 VID_opt 값이 MMT 패킷 헤더에 기록되어 있는 VID_low 보다 작을 경우 해당 MMT 패킷을 전송하지 않고 버리게 된다. 상기의 2가지 조건을 모두 만족하지 않을 경우, MANE는 MMT 패킷 내부에 포함되어 있는 모든 NAL 유닛의 VID 값을 개별적으로 분석하여, 전달하거나 버리게 될 NAL 유닛을 판별하게 된다.

도 15에 도시된 알고리즘과 달리 본 발명의 또 다른 실시 예에 따른 MVC 비디오를 포함한 MMT 패킷의 전달 여부를 판단하는 알고리즘에서 MANE는 VID_opt 값이 MMT 패킷 헤더에 기록되어 있는 VID_high 보다 크거나 같은 지만 조사하여 이에 해당될 경우에만 해당 MMT 패킷을 타겟 단말로 전달하고 그렇지 않은 경우에는 MMT 패킷을 전송하지 않고 버릴 수 있다. 마찬가지로, 본 발명의 또 다른 실시 예에 따른 알고리즘에서 MANE는 VID_opt 값이 MMT 패킷 헤더에 기록되어 있는 VID_low 보다 작은지만 조사하여 이에 해당될 경우에만 해당 MMT 패킷을 전송하지 않고 버리며, 해당되지 않는 경우에는 MMT 패킷을 버리지 않고 전송할 수 있다.

도 16은 본 발명의 다른 실시 예에서 MVC 비디오를 포함한 MANE 에서 적용되는 작업 흐름도(work flow)를 나타낸다. 먼저 MMT 패킷이 MANE에 도달한다(S300). MANE는 MMT 패킷의 헤더를 파싱한다(S310). 그리고 MANE는 MMT 페킷 헤더로부터 VID_low 및 VID_high 값을 얻는다(S320). 다음으로, MANE는 전술한 도 15의 알고리즘을 사용하여 MMT 패킷의 처리를 결정한다.

즉, MANE는 VID_opt의 값이 VID_high보다 크거나 같은 지를 판단한다(S330). 판단결과가 참인 경우 해당 MMT 패킷을 타겟 단말로 전송한다(S340).

판단결과가 거짓인 경우 MANE는 S330과 유사한 방식으로, VID_opt의 값이 MMT 패킷 헤더에 기록되어 있는 VID_low의 값 보다 작은지를 판단한다(S350). 판단결과가 참인 경우 MANE는 해당 MMT 패킷을 전송하지 않고 버린다(S360). 그러나 판단 결과가 거짓인 경우, 즉 MMT 패킷이 전송되는 조건을 만족하지도 않고, MMT 패킷을 버리는 조건도 만족하지 않은 경우 MANE는 MMT 패킷의 내부를 조사한다(S370).

또 다른 실시 예에서, S320단계는 MANE가 MMT 페킷 헤더로부터 VID_high 값만을 얻는 것으로 수행될 수 있다. 이러한 경우 S330단계는 VID_opt 값이 MMT 패킷 헤더에 기록되어 있는 VID_high 보다 크거나 같은 지만 조사하는 것으로 수행될 수 있고, 이에 해당될 경우에만 해당 MMT 패킷을 타겟 단말로 전달하고(S340), 그렇지 않은 경우에는 MMT 패킷을 전송하지 않고 버릴 수 있다(S360). 즉, 도 16의 순서도에서 S350의 단계가 생략될 수 있다.

마찬가지로, 본 발명의 또 다른 실시 예에서, S320단계는 MANE가 MMT 페킷 헤더로부터 VID_low값만을 얻는 것으로 수행될 수 있다. 이러한 경우 S330단계는 VID_opt 값이 MMT 패킷 헤더에 기록되어 있는 VID_low 보다 작은지만 조사하는 것으로 수행된다. 이에 해당되지 않는 경우에는 MMT 패킷을 버리지 않고 전송하며(S340), 이에 해당될 경우에만 해당 MMT 패킷을 전송하지 않고 버린다(S360). 즉, 도 16의 순서도에서 판단단계 하나가 생략될 수 있다.

전술한 실시 예들의 조합은 전술한 실시 예에 한정되는 것이 아니며, 구현 및/또는 필요에 따라 전술한 실시 예들 뿐만 아니라 다양한 형태의 조합이 제공될 수 있다.

즉, 전술한 본 발명의 실시 예들과 같이 MANE가 전술한 확장 정보를 사용하여 MMT 패킷의 전송을 제어하는 것과 같이 멀티-레이어 비디오 서버(410)가 확장정보를 사용하여 MMT 패킷의 전송을 제어할 수도 있다.

전술한 실시 예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

전술한 실시 예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims

비디오 데이터를 전달하는 MMT 패킷 전송 장치가 MMT 패킷을 생성하는 방법에 있어서,
MMT 패킷 내에 포함된 적어도 하나의 NAL 유닛의 정보를 사용하여 생성된 확장 정보를 포함하는 MMT 패킷을 생성하는 것을 특징으로 하는 MMT 패킷 생성 방법.
제 1 항에 있어서,
상기 확장 정보는 MMT 패킷의 패킷 헤더 또는 MMT 패킷에 포함된 MMT 페이로드의 페이로드 헤더에 포함되는 것을 특징으로 하는 MMT 패킷 생성 방법.
제 1 항에 있어서,
상기 확장 정보는 상기 적어도 하나의 NAL 유닛의 시간적 레벨을 사용하여 생성된 TID(Temporal_ID) 파라미터, 상기 적어도 하나의 NAL 유닛의 공간적 레벨을 사용하여 생성된 DID(Dependency_ID) 파라미터, 상기 적어도 하나의 NAL 유닛의 품질 레벨을 사용하여 생성된 QID(Quality_ID) 파라미터 및 상기 적어도 하나의 NAL 유닛의 우선순위 정보를 사용하여 생성된 PID(Priority_ID) 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 적어도 하나의 NAL 유닛의 시점(view) 정보를 사용하여 생성된 VID 파라미터를 포함하는 것을 특징으로 하는 MMT 패킷 생성 방법.
제 1 항에 있어서,
상기 확장정보는 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 작은 값을 나타내는 TID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 작은 값을 나타내는 DID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 작은 값을 나타내는 QID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 작은 값을 나타내는 PID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 큰 값을 나타내는 TID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 큰 값을 나타내는 DID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 큰 값을 나타내는 QID_high 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 큰 값을 나타내는 PID_high 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 작은 값을 나타내는 VID_low 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 큰 값을 나타내는 VID_high 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 MMT 패킷 생성 방법.
제 3항 또는 제 4 항에 있어서,
상기 확장 정보는 상기 MMT 패킷이 포함하는 비디오 데이터의 인코딩 방식을 나타내는 ML_Type파라미터를 더 포함하는 것을 특징으로 하는 MMT 패킷 생성 방법.
비디오 데이터 전송 장치가 MMT 패킷을 전송하는 방법에 있어서,
상기 MMT 패킷에 포함된 확장 정보를 사용하여 상기 MMT 패킷의 전달여부를 결정하는 단계를 포함하는 것을 특징으로 하는 MMT 패킷 전송 방법
제 6 항에 있어서,
상기 MMT 패킷은 MMT 패킷 헤더, MMT 페이로드 헤더 및 MMT 페이로드를 포함하고,
상기 확장 정보는 상기 MMT 패킷 헤더 또는 상기 MMT 페이로드 헤더에 위치하는 것을 특징으로 하는 MMT 패킷 전송 방법.
제 6 항에 있어서,
상기 확장정보는 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 작은 값을 나타내는 TID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 작은 값을 나타내는 DID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 작은 값을 나타내는 QID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 작은 값을 나타내는 PID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 큰 값을 나타내는 TID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 큰 값을 나타내는 DID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 큰 값을 나타내는 QID_high 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 큰 값을 나타내는 PID_high 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 작은 값을 나타내는 VID_low 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 큰 값을 나타내는 VID_high 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 MMT 패킷 전송 방법.
제 8 항에 있어서, 상기 전달여부를 결정하는 단계는,
상기 전송 장치가 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_high의 값 보다 크거나 같고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_high의 값 보다 크거나 같으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_high의 값 보다 크거나 같은 경우에 상기 MMT 패킷을 전달함으로써 수행되는 것을 특징으로 하는 MMT 패킷 전송 방법.
제 8 항에 있어서, 상기 전달여부를 결정하는 단계는,
상기 전송 장치가 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_low의 값 보다 작고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_low의 값 보다 작으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_low의 값 보다 작고, 설정된 우선순위 정보의 기준값 PID_opt가 PID_low의 값 보다 작은 경우에 상기 MMT 패킷을 전달하지 않음으로써 수행되는 것을 특징으로 하는 MMT 패킷 전송 방법.
제 8 항에 있어서,
상기 확장정보는 상기 MMT 패킷이 포함하는 비디오 데이터의 인코딩 방식을 나타내는 ML_type파라미터를 더 포함하며,
상기 전송 방법은 상기 전송 장치가 상기 ML_type 파라미터의 값을 사용하여 상기 MMT 패킷에 포함된 비디오 데이터는 SVC(Scalable Video Coding) 인코딩 방식으로 인코딩 되었음을 확인하는 단계를 더 포함하고,
상기 전달여부를 결정하는 단계는,
상기 전달 장치가 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_high의 값 보다 작고 상기 TID_low의 값 보다 크거나 같은 경우, 설정된 공간적 레벨의 기준값 DID_opt가 상기 DID_high의 값 보다 작고 상기 DID_low의 값 보다 크거나 같은 경우 또는 설정된 품질 레벨의 기준값 QID_opt가 상기 QID_high의 값 보다 작고 상기 QID_low의 값 보다 크거나 같은 경우에 상기 MMT 패킷의 NAL 유닛을 조사하여 MMT 패킷의 전달 여부를 판단함으로써 수행되는 것을 특징으로 하는 MMT 패킷 전송 방법.
제 6항에 있어서,
상기 전송 장치는 MANE(Media Aware Network Element)이고,
상기 MMT 패킷의 데이터를 사용하여 상기 MMT 패킷의 전달여부를 결정하는 단계는,
상기 MANE에 MMT 패킷이 도착하는 단계;
상기 MMT 패킷 헤더를 파싱하는 단계;
상기 MMT 패킷 헤더로부터 확장 정보를 얻는 단계; 및
상기 확장정보로부터 상기 MMT 패킷의 전달 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 MMT 패킷 전송 방법.
비디오 데이터를 전달하는 MMT 패킷 전송 장치에 있어서,
MMT 패킷 생성부; 및
MMT 패킷 전송부를 포함하고,
상기 MMT 패킷 생성부는 MMT 페이로드와 MMT 페이로드 내에 포함된 적어도 하나의 NAL 유닛의 정보를 사용하여 생성된 확장 정보를 포함하는 MMT 패킷을 생성하는 것을 특징으로 하는 MMT 패킷 전송 장치.
제 13 항에 있어서,
상기 MMT 패킷 생성부는 상기 확장 정보를 상기 MMT 패킷의 패킷 헤더 또는 상기 MMT 패킷에 포함된 상기 MMT 페이로드의 페이로드 헤더에 포함시켜 상기 MMT 패킷을 생성하는 것을 특징으로 하는 MMT 패킷 전송 장치.
제 13 항에 있어서,
상기 확장 정보는 상기 적어도 하나의 NAL 유닛의 시간적 레벨을 사용하여 생성된 TID 파라미터, 상기 적어도 하나의 NAL 유닛의 공간적 레벨을 사용하여 생성된 DID 파라미터, 상기 적어도 하나의 NAL 유닛의 품질 레벨을 사용하여 생성된 QID 파라미터 및 상기 적어도 하나의 NAL 유닛의 우선순위 정보를 사용하여 생성된 PID 파라미터 중 적어도 하나를 포함하거나 상기 적어도 하나의 NAL 유닛의 시점(view) 정보를 사용하여 생성된 VID 파라미터를 포함하는 것을 특징으로 하는 MMT 페이로드 전송 장치.
비디오 데이터를 전달하는 MMT 패킷 전송 장치에 있어서,
상기 MMT 패킷의 확장 정보를 사용하여 상기 MMT 패킷의 전달여부를 결정하는 MMT 패킷 전송부를 포함 하는 것을 특징으로 하는 MMT 패킷 전송 장치
제 16 항에 있어서,
상기 MMT 패킷은 MMT 패킷 헤더, MMT 페이로드 헤더 및 MMT 페이로드를 포함하고,
상기 확장 정보는 상기 MMT 패킷의 MMT 패킷 헤더 또는 페이로드 헤더에 위치하는 것을 특징으로 하는 MMT 패킷 전송 장치.
제 16 항에 있어서,
상기 확장정보는 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 작은 값을 나타내는 TID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 작은 값을 나타내는 DID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 작은 값을 나타내는 QID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 작은 값을 나타내는 PID_low 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 시간적 레벨 중 가장 큰 값을 나타내는 TID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 공간적 레벨 중 가장 큰 값을 나타내는 DID_high 파라미터, 상기 MMT 패킷에 포함된 NAL 유닛의 품질 레벨 중 가장 큰 값을 나타내는 QID_high 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 우선순위 정보 중 가장 큰 값을 나타내는 PID_high 파라미터 중 적어도 하나를 포함하거나 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 작은 값을 나타내는 VID_low 파라미터 및 상기 MMT 패킷에 포함된 NAL 유닛의 시점(view) 정보 중 가장 큰 값을 나타내는 VID_high 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 MMT 패킷 전송 장치.
제 18 항에 있어서,
상기 전송 장치는 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_high의 값 보다 크거나 같고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_high의 값 보다 크거나 같으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_high의 값 보다 크거나 같은 경우에 상기 MMT 패킷을 전달하는 것을 특징으로 하는 MMT 패킷 전송 장치.
제 18 항에 있어서,
상기 전송 장치는 설정된 시간적 레벨의 기준값 TID_opt가 상기 TID_low의 값 보다 작고, 설정된 공간적 레벨의 기준값 DID_opt가 DID_low의 값 보다 작으며, 설정된 품질 레벨의 기준값 QID_opt가 QID_low의 값 보다 작고, 설정된 우선순위 정보의 기준값 PID_opt가 PID_low의 값 보다 작은 경우에 상기 MMT 패킷을 전달하지 않는 것을 특징으로 하는 MMT 패킷 전송 장치.
제 18 항에 있어서,
상기 상기 확장 정보는 상기 MMT 패킷이 포함하는 비디오 데이터의 인코딩 방식을 나타내는 ML_type파라미터를 더 포함하며,
상기 전송 장치는 상기 ML_type 파라미터의 값을 사용하여 상기 MMT 패킷의 비디오 데이터가 MVC(Multi-view Video coding) 인코딩으로 생성된 것을 판단한 경우, 설정된 시점 정보의 기준값 VID_opt가 상기 VID_high보다 크거나 같은 경우에 상기 MMT 패킷을 전달하는 것을 특징으로 하는 MMT 패킷 전송 장치.
제 16항에 있어서,
상기 전송 장치는 MANE(Media Aware Network Element)이고,
상기 전송 장치는,
상기 MMT 패킷을 수신하는 수신부를 더 포함하고,
상기 MMT 패킷 전송부는 상기 MMT 패킷에 포함된 MMT 패킷 헤더를 파싱하여 생성한 확장 정보로부터 상기 MMT 패킷의 전달 여부를 결정하는 것을 특징으로 하는 MMT 패킷 전송 장치.
MMT 패킷 헤더; 및 MMT 페이로드를 포함하는 MMT 패킷의 구조에 있어서,
상기 MMT 페이로드는 페이로드 헤더를 포함하고,
상기 MMT 패킷 헤더 또는 상기 페이로드 헤더는 적어도 하나의 NAL 유닛을 사용하여 생성된 확장 정보를 포함하는 것을 특징으로 하는 MMT 패킷 구조.