KR101941781B1

KR101941781B1 - Mmt 기반 8k 방송 수신 방법 및 장치

Info

Publication number: KR101941781B1
Application number: KR1020170100180A
Authority: KR
Inventors: 백종호; 손예진; 조민주; 서민재; 이송연
Original assignee: 서울여자대학교 산학협력단
Priority date: 2017-08-08
Filing date: 2017-08-08
Publication date: 2019-01-23

Abstract

MMT 기반 8K 방송 수신 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 MMT 기반 방송 수신 장치은, 영역 별로 분할되어 계층적으로 인코딩된 비디오를 포함하는 미디어를 수신하고, 수신된 미디어에서 비디오를 영역 별로 구분한 뒤 계층 별로 통합하여 재구성하고, 재구성된 비디오를 포함하는 미디어를 재생한다. 이에 의해, 8K 콘텐츠를 4개의 4K 영역들로 분할하여 이종 네트워크를 통해 MMT 기반으로 전달하는 8K 방송 서비스에서, 분할된 4개의 4K 영역들을 수신하여 1개의 8K 콘텐츠로 병합할 수 있게 된다.

Description

MMT 기반 8K 방송 수신 방법 및 장치{Method and Apparatus for Receiving 8K Broadcasting based on MMT}

본 발명은 방송 서비스 기술에 관한 것으로, 더욱 상세하게는 MMT(MPEG Media Transport) 기반으로 이종 네트워크를 통해 송출되는 8K 방송 스트림을 수신하여 처리하고 재생하는 방법에 관한 것이다.

디지털 방송이 안정화되고 디스플레이의 성능이 향상됨에 따라, 사용자는 보다 나은 품질과 보다 큰 크기의 비디오 서비스를 요구하고 있다.

UHDTV는 사실적인 콘텐츠를 위해 고화질 비디오와 22.2 멀티채널 오디오를 제공하여, 시청자의 요구 사항을 충족시킬 수 있는 차세대 방송이다. 2016년 8월, 일본의 공영 방송사인 NHK가 위성을 통해 세계 최초로 정규 UHDTV를 시작함에 따라, 콘텐츠, 전송, 디스플레이 장치, 셋톱 등과 같은 UHDTV 기술의 선점을 놓고 국가 간 경쟁이 치열하다.

2K(1920x1080) 보다 16배 크고 4K(3840x2160) 보다 4배 큰 8K 비디오는 크기가 매우 크기 때문에, UHDTV 콘텐츠를 위한 고효율 비디오 코딩 및 전송 기술이 필요하다.

8K 콘텐츠는 세계에서 유일한 8K 테스트 방송을 시작한 일본에서 60fps의 프레임 레이트, 10비트의 컬러 뎁스 및 4:2:0의 샘플링 레이트에 따라 HEVC(High Efficiency Video Coding)로 압축된다.

도 1에 제시된 4K 규격에 따른 비트 레이트를 통해, 8K 서비스의 경우 더 높은 비트 레이트가 필요하다는 것을 알 수 있다. 일본의 8K UHDTV는 실제로는 80~90Mbps의 비트 레이트로 위성을 통해 전송된다.

현실적으로, 지상파 채널을 통해 80Mbps 이상으로 전송하는 것은 불가능하다. 지상파 디지털 방송 규격인 ATSC 3.0(Advanced Television Systems Committee)과 DVB-T2(Digital Video Broadcasting - Terrestrial)의 전송 기술을 사용하여 기술적으로 40Mbps 이상일 수 있지만, 실제로 30Mbps의 비트 레이트가 20km 내에서 안정적인 지상파 방송 서비스를 제공하기 위한 제한적인 상황에서의 최대 한도이다.

따라서 현재의 지상파 방송 환경에서 8K 방송을 위한 새로운 시스템이 요구된다. 특히, 우리나라의 경우, 지상파 8K 시험 방송을 목표로 많은 연구가 진행되고 있지만, 현재 지상파 방송 환경은 진정한 8K(7680*4320, 4:2:0, @120fps, 10bit:color depth) 콘텐츠를 전송하기에 대역폭 부족 등 여러 가지 문제가 남아 있다.

나아가, 현재 8K 영상을 위한 코덱(인코더, 디코더)은 상용화되지 않았다는 점, 상용화된다 하더라도 매우 고가일 것이라는 점은 8K 방송에 고려하여야 할 사항이다.

뿐만 아니라, 8K 방송 스트림을 수신하여 처리하고 재생하는 수신단의 구체적인 설계 방안도 필요한 실정이다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 비트 레이트 부족을 해결하기 위해 8K 콘텐츠를 4개의 4K 영역들로 분할하여 이종 네트워크를 통해 MMT 기반으로 전달하는 8K 방송 서비스에서, 분할된 4개의 4K 영역들을 수신하여 1개의 8K 콘텐츠로 병합 처리하는 방송 수신 장치 및 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, MMT 기반 방송 수신 장치은, 영역 별로 분할되어 계층적으로 인코딩된 비디오를 포함하는 미디어를 수신하는 수신기; 수신기에서 수신된 미디어에서 비디오를 영역 별로 구분한 뒤 계층 별로 통합하여 재구성하는 MCE(Media Consumption Entity); 및 MCE에서 재구성된 비디오를 포함하는 미디어를 재생하는 재생기;를 포함한다.

그리고, MCE는, 수신기에서 수신된 방송 패킷들에서 시그널 메시지와 미디어를 분류하고, 미디어 중 비디오를 영역 별로 구분하는 파서; 파서로부터 시그널 메시지를 전달받아 미디어 재생에 필요한 미디어 정보를 추출하는 관리자; 파서에서 구분된 영역들을 계층 별로 통합하여 재구성하는 재구성기; 및 관리자에 의해 추출된 미디어 정보를 참조하여, 미디어를 재생 가능하도록 처리하여 재생기로 전달하는 미디어 프로세서;를 포함할 수 있다.

또한, 미디어 프로세서는, 각 영역에 대한 비디오를 계층 별로 구분하여 버퍼링하고, 버퍼링된 계층 별 비디오를 통합하여 각 영역을 생성하는 각 영역 별 버퍼 관리자들; 및 버퍼 관리자들로부터 전달되는 비디오 영역들을 재생 가능하도록 관리하고, 비디오와 오디오의 미디어 동기화를 수행하여, 재생기로 전달하는 표현 관리자;를 포함할 수 있다.

그리고, 버퍼 관리자들은, 방송 수신 시작 후 인트라-픽쳐가 최초로 수신되기 이전에 버퍼링된 계층 별 비디오는 통합하지 않고 폐기할 수 있다.

또한, 버퍼 관리자들은, 버퍼링된 계층별 비디오들의 프레임 인덱스가 동일하지 않으면, 통합하지 않고 폐기할 수 있다.

그리고, 버퍼 관리자들은, 기본 계층 보다 프레임 인덱스가 빠른 향상 계층들의 비디오들을 폐기할 수 있다.

또한, 표현 관리자는, 버퍼 관리자들로부터 전달되는 비디오 영역들 중 기준 영역의 해상도 및 시간정보와 다른 영역들의 해상도 및 시간정보가 일치하지 않으면, 비디오 영역들을 폐기할 수 있다.

그리고, 기준 영역은, 오디오와 함께 수신되는 비디오의 영역일 수 있다.

또한, 버퍼 관리자들 중 하나는, 미디어에 포함된 오디오를 버퍼링할 수 있다.

그리고, 수신기는, 오디오, 일부 계층의 비디오 및 시그널 메시지가 인코딩된 패킷들을 MMTP(MMT Protocol)로 수신하는 제1 수신기; 및 나머지 계층의 비디오가 인코딩된 패킷들을 HTTP로 수신하는 제2 수신기;를 포함할 수 있다.

또한, 방송 패킷의 헤더에, 페이로드의 데이터가 비디오 데이터인지 여부를 나타내는 정보, 비디오 데이터인 경우 계층에 대한 정보와 영역에 대한 정보를 포함하는 패킷 ID가 수록되어 있을 수 있다.

그리고, 콘텐츠는 8K 비디오이고, 분할된 영역들은 4K 비디오 크기일 수 있다.

한편, 본 발명의 다른 실시예에 따른, MMT 기반 방송 수신 방법은, 영역 별로 분할되어 계층적으로 인코딩된 비디오를 포함하는 미디어를 수신하는 단계; 수신된 미디어에서 비디오를 영역 별로 구분한 뒤 계층 별로 통합하여 재구성하는 단계; 및 재구성된 비디오를 포함하는 미디어를 재생하는 단계;를 포함한다.

한편, 본 발명의 다른 실시예에 따른, MMT 기반 방송 송출 시스템은, 비디오를 다수의 영역들로 분할하고, 분할된 영역들 각각을 다수의 계층들로 인코딩하는 콘텐츠 서버; 인코딩된 계층들 중 일부 계층을 포함하는 미디어를 방송 수신 장치로 전송하는 제1 서버; 인코딩된 계층들 중 나머지 계층을 포함하는 미디어를 방송 수신 장치로 전송하는 제2 서버;를 포함하고, 방송 수신 장치는, 수신된 미디어에서 비디오를 영역 별로 구분한 뒤 계층 별로 통합하여 재구성하고, 재구성된 비디오를 포함하는 미디어를 재생한다.

한편, 본 발명의 다른 실시예에 따른, MMT 기반 방송 송출 시스템은, 비디오를 다수의 영역들로 분할하고, 분할된 영역들 각각을 다수의 계층들로 인코딩하는 단계; 인코딩된 계층들 중 일부 계층을 포함하는 미디어를 방송 수신 장치로 전송하는 단계; 인코딩된 계층들 중 나머지 계층을 포함하는 미디어를 방송 수신 장치로 전송하는 단계;를 포함하고, 방송 수신 장치는, 수신된 미디어에서 비디오를 영역 별로 구분한 뒤 계층 별로 통합하여 재구성하고, 재구성된 비디오를 포함하는 미디어를 재생한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 비트 레이트 부족을 해결하기 위해 8K 콘텐츠를 4개의 4K 영역들로 분할하여 이종 네트워크를 통해 MMT 기반으로 전달하는 8K 방송 서비스에서, 분할된 4개의 4K 영역들을 수신하여 1개의 8K 콘텐츠로 병합할 수 있게 되어, 상용화되지 않은 또는 상용화된다 하더라도 매우 고가임이 확실한 8K 영상을 위한 코덱(인코더, 디코더)이 없어도, 8K 방송 서비스가 가능해진다.

특히, 본 발명의 실시예들에 따르면, 동일 계층을 구성하는 영역들의 정보를 그룹 정보로 제공하여, 수신단에서 영역 병합에 의한 원본 콘텐츠의 원활한 복원을 가능하게 한다.

나아가, 본 발명의 실시예들에 따르면, 각 영역 내의 동일 계층들의 데이터를 포함하는 패킷들을 영역-번호 순서로 스케줄링하여, 영역 분할에 의한 방송 서비스 지연을 줄일 수 있다.

도 1은 한국과 일본의 UHSTV 규격을 비교한 표,
도 2는 SHVC 인코딩의 개념 설명에 제공되는 도면,
도 3은 SHVC-인코딩된 비디오의 캡슐화 방법,
도 4는 이종 네트워크를 통한 8K 방송 서비스 아키텍처를 도시한 도면,
도 5는 4개의 영역들로 분할된 8K 콘텐츠,
도 6은 네트워크 환경 변화에 따른 UHDTV 서비스 시나리오,
도 7은 CI와 HTML5 문서 간의 관계 및 CI 콤포넌트에 의해 생성된 CI 문서를 예시한 도면,
도 8은 MP 테이블을 예시한 도면,
도 9는 Group_descriptor()의 구문을 예시한 도면,
도 10은 packet_id의 구조를 나타낸 도면,
도 11는 packet_id를 구성하는 정보들의 상세 내용을 나타낸 도면,
도 12는 'packet_id'의 value과 이에 대한 description을 나타낸 표,
도 13은 영역 정보에 따른 MMTP 패킷 스케줄링 방법을 나타낸 도면,
도 14는, 도 4에 도시된 수신기의 상세 블럭도, 그리고,
도 15는, 도 14에 도시된 미디어 프로세서의 상세 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명의 실시예에서는, 디지털 방송 네트워크와 패킷 교환 네트워크를 이용한 8K 방송 시스템을 제시한다. 제시하는 시스템은 8K 콘텐츠를 4개의 4K 영역들로 분할하여 이종 네트워크를 통해 전달한다.

또한, 본 발명의 실시예에서는, 이종 네트워크를 통해 전송되는 분할된 4개의 4K 영역들이 수신단에서 1개의 8K 콘텐츠로 병합할 수 있도록 하기 위한 방안을 제시한다.

MMT(MPEG Media Transport)는 디지털 방송 네트워크와 패킷 교환 네트워크를 통한 미디어 전달을 위한 차세대 기술로, MPU(Media Processing Unit) 포맷, 시그널 메시지(Signal Messages) 및 전달 프로토콜(Delivery Protocol)의 세 가지 기능 영역이 있다.

ISOBMFF(ISO based Media File Format)에 기초한 MPU 포맷은, 인코딩된 데이터를 캡슐화하기 위한 미디어 콘텐츠의 논리 구조와 데이터 유닛의 포맷을 정의한다. 시그널 메시지는 미디어 데이터의 전달 및 사용을 관리하기 위한 많은 시그널 메시지들을 정의한다. 전달 프로토콜은 응용 계층 전송 프로토콜(Application-Layer Transport Protocol)과 페이로드 포맷을 정의한다. MMT는 패킷화된 ISOBMFF 파일과 시그널 메시지를 전송하기 위해 최적화된 스트리밍 모드를 지원하여 방송 서비스를 가능하게 한다.

본 발명의 실시예에 따른 방송 수신 장치는, 스마트폰, 태블릿 PC, 랩탑 PC, 노트북 컴퓨터 및 텔레비전과 같은 다양한 장치에 적용 가능하다.

본 발명의 실시예에서, 8K로부터 분할된 각 4K 영역들은 도 2에 도시된 컨셉의 SHVC로 인코딩된다. SHVC는 최대 8K 해상도를 지원하는 비디오 압축 표준인 HEVC의 Scalability Extensions으로, AVC(Advanced Video Coding)에 비해 두 배에 가까운 데이터 압축률을 제공한다. 이는 공간적, 시간적 및 품질 확장성을 제공한다.

SHVC 인코더는 여러 개의 계층, 구체적으로, 기본 계층(Base Layer)과 하나 이상의 향상 계층(Enhanced Layer)을 생성한다. 공간적 확장성(spatial scalability)을 갖는 SHVC에 의해 한 번만 인코딩된 비디오 스트림은 추가적인 프로세스 없이 다양한 해상도(예: HD, FHD 및 UHD)를 갖는 다양한 장치에서 사용할 수 있다.

미디어 스트리밍에 있어 안정적인 서비스를 위해서는, 다음에 설명할 몇 개의 솔루션이 필요하다.

첫 번째는 시그널 메시지의 스케줄링이다. 시그널 메시지는 서비스의 위치, 미디어 스트림들 간의 동기화 정보 및 디코딩 환경(decoding configuration)과 같은 중요한 정보를 포함하기 때문에, 방송 서비스에 반드시 필요하므로, MMT는 시그널 메시지가 일정 시간 간격(예: 0.5초 또는 1초) 마다 주기적으로 전송되도록 권고한다.

하지만, 이는 낮은 레이턴시와 전송 오버 헤드에 대한 문제를 야기한다. 이는, 비디오 픽처 타입을 고려하여 주기적으로 시그널 메시지를 전송하는 것으로 문제를 해결할 수 있다. 비디오 픽처 타입에는, 자신만으로 디코딩이 가능하고 인터-픽쳐에 의해 참조되는 인트라-픽쳐(예: IDR, BLA 및 CRA)와 하나 이상의 인접한 픽처의 관점에서 표현되는 인터-픽처(예: P 및 B 픽처)가 있다. 시그널 메시지가 자주 전송되더라도 인트라-픽쳐의 MPU가 수신기에서 수신되지 않으면 방송 서비스를 제공할 수 없으므로, 시그널 메시지가 인터-픽쳐의 MPU 직전에 전송되는 것이 좋다.

두 번째 솔루션은 랜덤 액세스를 위한 캡슐화 방법이다. 방송 사업자는 사용자가 서비스에 액세스하는 시점을 알지 못하므로, 사용자가 선택한 콘텐츠를 낮은 레이턴시로 시청할 수 있도록 하는 캡슐화 방법이 필요하다.

SHVC로 인코딩된 비디오 스트리밍을 무작위로 연결하기 위한 캡슐화 방법으로, MPU는 인코딩된 로우 포맷의 스트림(encoded raw-formatted stream)과 파라미터 세트가 포함된 메타 데이터를 가지고 있다. 파라미터 세트에는, VPS(Video Parameter set), SPS(Sequence Parameter set) 및 PPS(Picture Parameter Set)이 포함된다.

인코딩된 로우 포맷의 스트림은 mdat 박스에 로드되고, 메타데이터는 트랙 박스(trak) 내의 Configuration 박스 (예: hvc1, lhv1)에 로드된다. 이러한 파라미터 세트에는, 디코딩 정보가 들어 있다. 스케일러블 인코딩된 각각의 계층은 자신의 계층에 대한 파라미터 세트를 갖는다. 그러나, 이들은 로우 포맷된 스트림을 갖는 디코더에 파라미터 세트가 입력될 때, 디코더가 요청하는 순서대로 재정렬 되어야 한다.

도 3은 3개의 계층을 갖는 SHVC-인코딩된 비디오의 각 계층이 재정렬된 파라미터 세트로 캡슐화되는 것을 나타낸 도면이다. 이 프로세스가 수신기에서 동작하면, 시간이 걸리므로 결과가 지연된다. 지연을 줄이기 위해, 재정렬된 파라미터들은, 도 3에 도시된 바와 같이, 송신단에서 캡슐화할 때 MPU에서 인코딩된 로우 포맷의 비디오 스트림 앞에 추가된다.

세 번째 솔루션은 이종 네트워크로 전송되는 스케일러블 비디오 스트림을 위한 동기화 방법이다. 도 3에 도시된 바와 같이, SHVC-인코딩된 비디오 스트림은 L0, L1 및 L2의 3개의 계층을 갖는다. 각 계층은 자신의 자체 정보와 함께 MPU에 캡슐화된다. L0 및 L1에 대한 MPU는 오디오 및 시그널 메시지와 함께 방송 네트워크를 통해 전송되고, L2에 대한 MPU는 HTTP 네트워크를 통해 전송된다. 서로 다른 이종 네트워크를 통해 전달되는 MPU들은 동기화 방법을 사용하여 하나의 콘텐츠로 병합되어야 한다.

MMT에서 컴포지션 계층(Composition Layer)은 미디어 콘텐츠들 간의 시간 관계 및 미디어 데이터(예: 스케일러블 비디오 계층, 오디오 데이터 등) 간의 의존 관계에 관한 정보를 제공한다. 이 정보를 CI(Composition Information)라고 한다. MXD(MMT eXtension Document)는 향상 계층의 세그먼트 목록이 있는 XML 형식의 문서이다.

CI 문서와 MXD는 시그널 메시지로 전달된다. 수신단은 시그널 메시지를 파싱하여, CI 문서와 MXD의 물리적 주소를 획득한다. 그 후, 그 주소를 가진 웹 서버에 요청하여 MXD를 획득할 수 있다. MXD에 나열된 세그먼트들 중 적정한 것은 미디어 동기화를 위한 선택 알고리즘을 통해 선택된다. 수신단은 선택한 세그먼트를 웹 서버에 요청하고, CI를 참조하여 미디어 세그먼트들을 병합할 수 있다.

도 4는 이종 네트워크를 통한 8K 방송 서비스 아키텍처를 도시한 도면이다.

8K 방송 서비스를 위해, 먼저 콘텐츠 서버(콘텐츠 공급자)(100)는 8K 콘텐츠를 획득하고 미디어 유형별(비디오와 오디오)로 추출한다.

추출된 8K 비디오 스트림은, 도 5에 도시된 바와 같이, 4개의 영역들(Area1, Area2, Area3, Area4)로 분할된다. 분할된 4K 비디오들은 고유 식별자가 있는 미디어 데이터인 독립된 애셋(assest)으로 처리된다. 그리고, 각 4K 스트림은 SHVC로 인코딩되어, 3개의 계층들(L0, L1 및 L2)을 생성한다. 이에, 원본 8K 비디오는 12(=4*3)개의 계층, 즉 12개의 애셋들로 구성된다. 오디오 스트림은 AAC에 의해 인코딩된다.

MMT 시그널/MMTP 생성기(210)는, 1) 오디오, L0 및 L1의 인코딩된 스트림을 수신하고, 2) 각 스트림을 MPU들로 캡슐화하며, 3) 서비스 및 각 미디어 정보를 포함하는 시그널 메시지를 생성하고, 4) 2개의 MMTP 스트림을 생성한다. 메인 스트림은 오디오, L0 및 시그널 메시지를 가지며, 두 번째 스트림은 L1에 대한 패킷을 갖는다.

시그널 생성기(220)는 MMT 시그널/MMTP 생성기(210)로부터 수신되는 MMTP 스트림으로부터, ATSC 3.0, DVB-T2 등과 같은 방송 표준에 따라, 방송 신호를 생성한다.

HTTP 서비스 생성기(310)는 L2용 MXD를 생성하고, 이 문서와 L2 스트림을 HTTP 스트리밍 서버(320)에 저장한다. HTTP 스트리밍 서버(320)는 수신단의 요청에 따라 광대역 네트워크를 통해 L2에 대한 스트리밍 서비스를 제공한다.

도 4에 도시된 8K 방송 시스템은, 전술한 시그널 메시지 스케줄링 방법, 랜덤 액세스를 위한 캡슐화 방법 및 동기화 방법을 수행한다.

사용자는 수신기(400)에서 수신된 방송 신호를 디코딩하여 콘텐츠를 생성하는 디코더와 생성된 콘텐츠를 표시하는 디스플레이(500)의 성능에 따라 콘텐츠를 시청할 수 있다. 예를 들어, 2K-해상도의 TV는 방송 네트워크를 통해 각 영역의 L0 데이터를 수신해야 한다.

또한, 방송 네트워크와 광대역 네트워크에 연결된 8K-해상도 TV를 보유하고 있는 사용자는 8K 콘텐츠를 시청할 수 있다. 4개의 영역에 대한 L2 데이터는 광대역 네트워크를 통해 전달되고, 나머지 데이터는 방송 네트워크를 통해 전달된다.

도 6은 네트워크 환경 변화에 따른 UHDTV 서비스 시나리오를 제시한 도면이다. 도 6에 도시된 바와 같이, 8K 콘텐츠는 모든 계층들의 데이터가 이종 네트워크를 통해 수신될 때인 "t2"에서 시작된다. 한편, 임의의 영역의 L2 데이터가 tn에서의 변동하는 비트 레이트로 인해 수신되지 않거나 또는 깨진 경우, 콘텐츠는 더 낮은 해상도로 변경된다.

8K 방송 시스템에서, 송신단은 분할된 각 영역들이 하나의 콘텐츠에 속한다는 것을 수신단에 알려야 한다. 하나의 콘텐츠를 여러 부분으로 전송하기 때문이다.

또한, 다수의 분할된 영역들을 하나의 콘텐츠로 병합해야 하기 때문에, 서비스 지연이 발생할 수 있다. 따라서, 콘텐츠 동기화 방법이 지연을 줄이기 위해 필요하다.

이를 위해, MMT 시그널/MMTP 생성기(210)는 영역적/계층적으로 분할된 비디오와 오디오를 캡슐화하여 MPU를 생성하며, CI와 HTML5를 생성하고 시그널 메시지를 생성한 후, MMTP 스트림을 생성한다.

CI 문서는 XML 스키마로 정의되며, 도 7에 도시된 바와 같이 ID들로 HTML5 문서에 정의된 엘리먼트들을 참조하는 여러 엘리먼트들을 포함하고 있다.

'view' 엘리먼트는 뷰와 그 영역들의 변화에 대한 시간 정보를 제공하며, 'MediaSync' 엘리먼트는 미디어 데이터의 표현에 대한 시간 정보를 제공한다. 또한, 함께 표시되어야 하는 애셋들의 정보를 제공하는 'group' 엘리먼트가 추가된다. 여기에는 각 'div'에 동일 계층(L0, L1 및 L2)에서 에셋 세트가 포함된다.

시그널 메시지는 MMTP 스트림에서 전달되는 멀티미디어 구조, MMTP 환경(Configuration) 정보 및 MMT 페이로드 포맷 정보를 전달한다.

PA(Packet Access) 메시지, MPI(Media Presentation Information) 메시지, MPT(MMT Package Table) 메시지, CRI(Clock Relation Information) 메시지 및 DCI(Device Capability Information) 메시지 등 5가지 유형의 시그널 메시지가 멀티미디어 데이터의 사용을 위해 MMT 표준에 정의되어 있다.

각 시그널 메시지에는 하나 이상의 테이블이 있다. 그 중 하나인 MP 테이블에는 모든 애셋들의 목록을 포함하는 패키지에 대한 정보가 있다. 분할된 모든 계층화된 비디오 스트림을 애셋으로 간주하므로, 애셋들 간의 관계에 대한 정보가 있어야 한다.

그룹에는 동일 계층을 구성하는 각 영역들의 애셋들이 포함되어 있다. 영역의 개수는 4개이므로 1개의 그룹에는 4개의 애셋들이 있고, 계층의 개수는 3개이므로 1개의 패키지에는 3개의 그룹들이 있다.

본 발명의 실시예에서는, 도 8에 도시된 바와 같이 MPI 메시지의 MP 테이블에 'Group_descriptor()'를 추가하여 위의 정보를 제공한다. 'num_of_groups'의 값은 이 패키지에 포함된 그룹의 수를 의미한다.

각 그룹에 대한 정보는 'Group_descriptor()'에 의해 획득되며, 도 9에는 Group_descriptor()의 구문을 나타내었다.

MPU와 시그널 메시지는 이종 네트워크를 통해 전송하기 위해 MMT 패킷에 로드된다. MMT 시그널/MMTP 생성기(210)는 미디어 유형에 따라 MMTP 헤더의 각 필드 값을 설정하고, 각 패킷이 전송되는 순서를 스케줄링한다.

수신단은 MMTP 헤더의 'type' 값에 따라 어떤 유형의 데이터가 MMTP 페이로드에 수록되어 있는지 알 수 있다. 이를 위해, 먼저 시그널 메시지 패킷의 패킷들을 찾아 각 시그널 테이블을 파싱하여, 각 애셋에 대한 'packet_id' 값을 획득할 수 있다.

'packet_id'을 통해 MPU를 획득할 수 있지만, 수신단은 MPU가 비디오 용인지 아니면 오디오 용인지를 알 수 없다. 또한, 비디오의 경우, 어떤 레이어와 영역에 대한 것인지 알 수 없다.

수신단이 MMTP 헤더를 완전히 파싱하기 전에 이 정보를 얻을 수 있다면, 비디오 스트림이 디코딩될 때까지 걸리는 시간을 줄일 수 있다. 이에, 본 발명의 실시예에서는, 수신단에서 수신된 패킷을 빠르게 분류하기 위해, MMTP 헤더의 'packet_id' 필드 값의 생성 규칙을 제시한다.

도 10에는 packet_id의 구조를 나타내었고, 도 11에는 packet_id를 구성하는 정보들의 상세 내용을 나타내었다. 도시된 바와 같이, packet_id의 길이는 2 바이트이다.

첫 번째 비트는 packet_id 필드가 수록된 패킷이 비디오인지 여부를 나타내는 video indicator(v_i)이다. v_i가 '0'으로 설정 되어 있으면, 패킷이 비디오 이외의 다른 데이터를 수록하고 있음을 의미하고, v_i가 '1'로 설정 되면 패킷이 비디오 데이터를 수록하고 있음을 의미한다.

packet_id의 나머지는, 계층 정보(layer_info), 영역 정보(area info.), id 정보(id info.), 세 부분으로 구분된다.

계층 정보는 비디오가 속한 계층에 대한 정보가 수록된다. 방송 네트워크를 통해 전송되는 비디오 데이터는 L0 또는 L1 이다. 도 11에 나타난 바와 같이, 계층 정보가 '0'으로 설정되어 있으면 비디오 패킷은 L0에 대한 비디오 패킷이고, 계층 정보가 '1'로 설정되어 있으면 비디오 패킷은 L1에 대한 비디오 패킷임을 나타낸다.

'영역 정보'는 비디오 데이터의 영역, 즉, 화면(도 5 참조) 상의 위치를 의미한다. 도 11에 나타난 바와 같이, 영역 정보가 '00'으로 설정되어 있으면 비디오 패킷은 Area 1에 대한 비디오 패킷이고, 영역 정보가 '01'로 설정되어 있으면 비디오 패킷은 Area 2에 대한 비디오 패킷이고, 영역 정보가 '10'으로 설정되어 있으면 비디오 패킷은 Area 3에 대한 비디오 패킷이고, 영역 정보가 '11'로 설정되어 있으면 비디오 패킷은 Area 4에 대한 비디오 패킷임을 나타낸다.

도 12에는 'packet_id'의 value과 이에 대한 description을 표로 나타내었다.

방송 서비스 지연을 줄이기 위한 다른 방법은 스케줄링이다. 영역 데이터가 수신되지 않거나 영역 데이터들 간의 순서가 수신되지 않으면, 지연이 발생한다. 이에 따라, 본 발명의 실시예에서, 수신단은 영역-1의 데이터가 도착하지 않으면 영역-2의 데이터를 디코딩할 수 없고, 영역-2의 데이터가 도착하지 않으면 영역-3의 데이터를 디코딩할 수 없는 정책을 가지고 있다. 영역 데이터는 영역-번호 순서로 도착해야 한다.

이를 위해, MMT 시그널/MMTP 생성기(210)는 도 13에 도시된 바와 같이 영역 정보에 따라 MMTP 패킷을 스케줄링한다. 구체적으로, 도 13의 좌측에 도시된 바와 같이 MPU가 MMTP 패킷으로 생성될 때, MMT 시그널/MMTP 생성기(210)는 도 13의 우측에 도시된 바와 같이 각 영역 내의 동일 계층들의 데이터를 포함하는 패킷들을 영역-번호 순서로 스케줄링한다.

이하에서는, 도 4에 도시된 수신기(400)의 상세 구조와 동작에 대해, 도 14를 참조하여 상세히 설명한다. 도 14는 수신기(400)의 상세 블럭도이다.

수신기(400)는, 도 14에 도시된 바와 같이, 패킷 수신기(Packet Receiver)(410), MCE(Media Consumption Entity)(420) 및 재생기(Player)(430)를 포함한다.

패킷 수신기(410)는 8K 방송 송출 시스템으로부터 방송 스트림을 수신하는 구성으로, MMTP 수신기(MMTP Receiver)(411)와 HTTP 수신기(HTTP Receiver)(412)를 포함한다.

MMTP 수신기(411)는 MMTP 서버(200)로부터 오디오, L0, L1 및 시그널 메시지가 인코딩된 MMTP 패킷들을 수신한다.

HTTP 수신기(412)는 HTTP 서버(300)로부터 L2가 인코딩된 HTTP 패킷들을 수신한다. HTTP 수신기(412)는 수신한 비디오 데이터를 영역 별로 구분하여 MCE(420)로 전달한다.

MMTP 서버(200)는 도 4에 도시된 MMT 시그널/MMTP 생성기(210)와 시그널 생성기(220)를 의미하고, HTTP 서버(300)는 도 4에 도시된 HTTP 서비스 생성기(310)와 HTTP 스트리밍 서버(320)를 의미한다.

MCE(420)는 MMTP 수신기(411)와 HTTP 수신기(412)를 통해 수신된 패킷들을 미디어 재생에 이용할 수 있도록 처리하기 위한 구성으로, 도 14에 도시된 바와 같이, MMTP 파서(MMTP Parser)(421), MPU 재구성기(MPU Re-constructor)(422), 시그널 메시지 관리자(Signaling Message Manager)(423) 및 미디어 프로세서(Media Processor)(424)를 포함한다.

MMTP 파서(421)는 MMTP 수신기(411)를 통해 수신된 MMTP 패킷의 헤더 분석을 통해 MMTP 패킷의 페이로드를 미디어와 시그널 메시지로 분류하여, 미디어는 MPU 재구성기(422)로 전달하고, 시그널 메시지는 시그널 메시지 관리자(423)로 전달한다.

비디오의 경우, MMTP 파서(421)는 영역(Area1, Area2, Area3, Area4) 별로 구분하여 MPU 재구성기(422)에 전달한다. MPU 재구성기(422)는 영역 별로 구분되어 입력되는 비디오 데이터를 계층 별로 통합하여 MPU들을 재구성/복원한다.

시그널 메시지 관리자(423)는 시그널 메시지에서 미디어 재생에 필요한 미디어 정보를 추출하여 미디어 프로세서(424)에 전달하고, HTML5, CI 등의 정보를 재생기(430)의 UI 관리자(433)에 전달한다.

도 15는, 도 14에 도시된 미디어 프로세서(424)의 상세 구조를 도시한 도면이다. 미디어 프로세서(424)는, 도 15에 도시된 바와 같이, 버퍼 관리자들(424-1, 424-2, 424-3, 424-4)과 표현 관리자(Presentation Manager)(424-5)를 포함한다.

버퍼 관리자-1(424-1)은 오디오 버퍼(Audio Buffer), 영역 1(Area1)에 대한 비디오가 계층 별로 구분되어 버퍼링되는 비디오 버퍼들(Base Layer Buffer, E#1 Layer Buffer, E#2 Layer Buffer), 비디오 버퍼들에 버퍼링된 계층별 비디오를 통합하여 영역 1(Area1)을 생성하는 비디오 통합기(Video Aggregator) 및 브로드밴드 관리자(Broadband Manager)를 포함한다.

비디오 통합기는 다음과 같은 경우에는 비디오 버퍼들에 버퍼링된 계층별 비디오 데이터들을 통합하지 않는다.

첫 번째, 방송 수신 시작 후 인트라-픽쳐가 최초로 수신되기 이전에 비디오 버퍼들에 버퍼링된 계층별 비디오 데이터들은 디코딩이 불가능하므로 통합하지 않고 폐기한다.

두 번째, 비디오 버퍼들에 버퍼링된 계층별 비디오들의 프레임 인덱스가 동일하지 않으면 통합하지 않고 폐기한다. 보다 구체적으로는, 기본 계층 보다 프레임 인덱스가 빠른 향상 계층들을 폐기한다.

브로드밴드 관리자는 네트워크 조건 및 디스플레이(500)의 해상도를 기초로 L2 계층의 비디오를 사용할지 여부를 결정한다. 사용 결정시, 브로드밴드 관리자는 HTTP 서버(300)에 이를 요청하여 수신되는 L2 계층의 비디오 데이터들 중 영역 1(Area1)에 대한 비디오 데이터를 L2 계층의 비디오 버퍼(E#2)에 버퍼링한다.

버퍼 관리자-2(424-2)는 영역 2(Area2)에 대한 비디오가 계층 별로 구분되어 버퍼링되는 비디오 버퍼들, 비디오 버퍼들에 버퍼링된 계층별 비디오를 통합하여 영역 2(Area2)를 생성하는 비디오 통합기 및 브로드밴드 관리자를 포함한다.

버퍼 관리자-3(424-3)은 영역 3(Area3)에 대한 비디오가 계층 별로 구분되어 버퍼링되는 비디오 버퍼들, 비디오 버퍼들에 버퍼링된 계층별 비디오를 통합하여 영역 3(Area3)을 생성하는 비디오 통합기 및 브로드밴드 관리자를 포함한다.

버퍼 관리자-4(424-4)는 영역 4(Area4)에 대한 비디오가 계층 별로 구분되어 버퍼링되는 비디오 버퍼들, 비디오 버퍼들에 버퍼링된 계층별 비디오를 통합하여 영역 4(Area4)를 생성하는 비디오 통합기 및 브로드밴드 관리자를 포함한다.

버퍼 관리자-2,3,4(424-2,3,4)는 오디오 버퍼가 없다는 점에서 버퍼 관리자-1(424-1)과 차이가 있을 뿐이며, 비디오 버퍼들, 비디오 통합기 및 브로드밴드 관리자의 기능은 버퍼 관리자-1(424-1)과 동일하다.

표현 관리자(424-5)는 버퍼 관리자들(424-1, 424-2, 424-3, 424-4)로부터 전달되는 비디오 영역들(Area1, Area2, Area3, Area4)에 대한 그룹 관리와 비디오와 버퍼 관리자-1(424-1)로부터 전달되는 오디오의 미디어 동기화를 수행하여, 재생기(430)로 전달한다.

그룹 관리는 오디오와 함께 수신되는 기준 영역인 영역 1의 DCI 해상도/시간정보(timestamp)와 나머지 영역들인 영역 2,3,4의 DCI 해상도/시간정보가 일치하는지 확인하는 절차이다. 일치하지 않으면 비디오 영역들을 폐기한다.

미디어 동기화는 오디오의 시간 정보를 기준으로 오디오와 비디오를 동기화하는 절차이다.

다시, 도 14를 참조하여 설명한다.

재생기(430)의 오디오 디코더(432)는 미디어 프로세서(424)의 표현 관리자(424-5)로부터 전달되는 오디오를 디코딩하여 디스플레이(500)에 전달하며, 디스플레이(500)는 이를 스피커를 통해 출력한다.

비디오 디코더(431)는 표현 관리자(424-5)로부터 전달되는 비디오 영역들(Area1, Area2, Area3, Area4)을 각각 디코딩한다. 디코딩된 영역들은 영역 정보를 기초로 하나의 화면으로 합성되어 디스플레이(500)에 표시된다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 콘텐츠 서버(콘텐츠 공급자)
200 : MMTP 서버
210 : MMT 시그널/MMTP 생성기(210)
220 : 시그널 생성기
300 : HTTP 서버
310 : HTTP 서비스 생성기
320 : HTTP 스트리밍 서버
400 : 수신기
410 : 패킷 수신기(Packet Receiver)
411 : MMTP 수신기(MMTP Receiver)
412 : HTTP 수신기(HTTP Receiver)
420 : MCE(Media Consumption Entity)
421 : MMTP 파서(MMTP Parser)
422 : MPU 재구성기(MPU Re-constructor)
423 : 시그널 메시지 관리자(Signaling Message Manager)
424 : 미디어 프로세서(Media Processor)
430 : 재생기(Player)
431 : 비디오 디코더
432 : 오디오 디코더
433 : UI 관리자
500 : 디스플레이

Claims

영역 별로 분할되어 계층적으로 인코딩된 비디오를 포함하는 미디어를 수신하는 수신기;
수신기에서 수신된 미디어에서 비디오를 영역 별로 구분한 뒤 계층 별로 통합하여 재구성하는 MCE(Media Consumption Entity); 및
MCE에서 재구성된 비디오를 포함하는 미디어를 재생하는 재생기;를 포함하고,
MCE는,
수신기에서 수신된 방송 패킷들에서 시그널 메시지와 미디어를 분류하고, 미디어 중 비디오를 영역 별로 구분하는 파서;
파서로부터 시그널 메시지를 전달받아 미디어 재생에 필요한 미디어 정보를 추출하는 관리자;
파서에서 구분된 영역들을 계층 별로 통합하여 재구성하는 재구성기; 및
관리자에 의해 추출된 미디어 정보를 참조하여, 미디어를 재생 가능하도록 처리하여 재생기로 전달하는 미디어 프로세서;를 포함하며,
미디어 프로세서는,
각 영역에 대한 비디오를 계층 별로 구분하여 버퍼링하고, 버퍼링된 계층 별 비디오를 통합하여 각 영역을 생성하는 각 영역 별 버퍼 관리자들; 및
버퍼 관리자들로부터 전달되는 비디오 영역들을 재생 가능하도록 관리하고, 비디오와 오디오의 미디어 동기화를 수행하여, 재생기로 전달하는 표현 관리자;를 포함하고,
버퍼 관리자들은,
버퍼링된 계층별 비디오들의 프레임 인덱스가 동일하지 않으면, 통합하지 않고 폐기하며,
기본 계층 보다 프레임 인덱스가 빠른 향상 계층들의 비디오들을 폐기하는 것을 특징으로 하는 MMT(MPEG Media Transport) 기반 방송 수신 장치.
삭제
삭제
청구항 1에 있어서,
버퍼 관리자들은,
방송 수신 시작 후 인트라-픽쳐가 최초로 수신되기 이전에 버퍼링된 계층 별 비디오는 통합하지 않고 폐기하는 것을 특징으로 하는 MMT 기반 방송 수신 장치.
삭제
삭제
영역 별로 분할되어 계층적으로 인코딩된 비디오를 포함하는 미디어를 수신하는 수신기;
수신기에서 수신된 미디어에서 비디오를 영역 별로 구분한 뒤 계층 별로 통합하여 재구성하는 MCE(Media Consumption Entity); 및
MCE에서 재구성된 비디오를 포함하는 미디어를 재생하는 재생기;를 포함하고,
MCE는,
수신기에서 수신된 방송 패킷들에서 시그널 메시지와 미디어를 분류하고, 미디어 중 비디오를 영역 별로 구분하는 파서;
파서로부터 시그널 메시지를 전달받아 미디어 재생에 필요한 미디어 정보를 추출하는 관리자;
파서에서 구분된 영역들을 계층 별로 통합하여 재구성하는 재구성기; 및
관리자에 의해 추출된 미디어 정보를 참조하여, 미디어를 재생 가능하도록 처리하여 재생기로 전달하는 미디어 프로세서;를 포함하며,
미디어 프로세서는,
각 영역에 대한 비디오를 계층 별로 구분하여 버퍼링하고, 버퍼링된 계층 별 비디오를 통합하여 각 영역을 생성하는 각 영역 별 버퍼 관리자들; 및
버퍼 관리자들로부터 전달되는 비디오 영역들을 재생 가능하도록 관리하고, 비디오와 오디오의 미디어 동기화를 수행하여, 재생기로 전달하는 표현 관리자;를 포함하고,
표현 관리자는,
버퍼 관리자들로부터 전달되는 비디오 영역들 중 기준 영역의 해상도 및 시간정보와 다른 영역들의 해상도 및 시간정보가 일치하지 않으면, 비디오 영역들을 폐기하는 것을 특징으로 하는 MMT 기반 방송 수신 장치.
청구항 7에 있어서,
기준 영역은,
오디오와 함께 수신되는 비디오의 영역인 것을 특징으로 하는 MMT 기반 방송 수신 장치.
청구항 8에 있어서,
버퍼 관리자들 중 하나는,
미디어에 포함된 오디오를 버퍼링하는 것을 특징으로 하는 MMT 기반 방송 수신 장치.
청구항 1에 있어서,
수신기는,
오디오, 일부 계층의 비디오 및 시그널 메시지가 인코딩된 패킷들을 MMTP(MMT Protocol)로 수신하는 제1 수신기; 및
나머지 계층의 비디오가 인코딩된 패킷들을 HTTP로 수신하는 제2 수신기;를 포함하는 것을 특징으로 하는 MMT 기반 방송 수신 장치.
청구항 1에 있어서,
방송 패킷의 헤더에, 페이로드의 데이터가 비디오 데이터인지 여부를 나타내는 정보, 비디오 데이터인 경우 계층에 대한 정보와 영역에 대한 정보를 포함하는 패킷 ID가 수록되어 있는 것을 특징으로 하는 MMT 기반 방송 수신 장치.
청구항 1에 있어서,
콘텐츠는 8K 비디오이고,
분할된 영역들은 4K 비디오 크기인 것을 특징으로 하는 MMT 기반 방송 수신 장치.
영역 별로 분할되어 계층적으로 인코딩된 비디오를 포함하는 미디어를 수신하는 단계;
수신된 미디어에서 비디오를 영역 별로 구분한 뒤 계층 별로 통합하여 재구성하는 단계; 및
재구성된 비디오를 포함하는 미디어를 재생하는 단계;를 포함하고,
재구성 단계는,
수신 단계에서 수신된 방송 패킷들에서 시그널 메시지와 미디어를 분류하고, 미디어 중 비디오를 영역 별로 구분하는 단계;
구분 단계에서 분류된 시그널 메시지를 이용하여 미디어 재생에 필요한 미디어 정보를 추출하는 딘계;
구분 단계에서 구분된 영역들을 계층 별로 통합하여 재구성하는 단계; 및
추출 단계에서 추출된 미디어 정보를 참조하여, 미디어를 재생 가능하도록 처리하는 단계;를 포함하며,
처리 단계는,
각 영역 별 버퍼 관리자들을 이용하여 각 영역에 대한 비디오를 계층 별로 구분하여 버퍼링하고, 버퍼링된 계층 별 비디오를 통합하여 각 영역을 생성하며, 버퍼 관리자들로부터 전달되는 비디오 영역들을 재생 가능하도록 관리하고, 비디오와 오디오의 미디어 동기화를 수행하되,
버퍼링된 계층별 비디오들의 프레임 인덱스가 동일하지 않으면 통합하지 않고 폐기하며, 기본 계층 보다 프레임 인덱스가 빠른 향상 계층들의 비디오들을 폐기하는 것을 특징으로 하는 MMT(MPEG Media Transport) 기반 방송 수신 방법.
비디오를 다수의 영역들로 분할하고, 분할된 영역들 각각을 다수의 계층들로 인코딩하는 콘텐츠 서버;
인코딩된 계층들 중 일부 계층을 포함하는 미디어를 방송 수신 장치로 전송하는 제1 서버;
인코딩된 계층들 중 나머지 계층을 포함하는 미디어를 방송 수신 장치로 전송하는 제2 서버;를 포함하고,
방송 수신 장치는,
수신된 방송 패킷들에서 시그널 메시지와 미디어를 분류하고, 미디어 중 비디오를 영역 별로 구분하고, 시그널 메시지를 이용하여 미디어 재생에 필요한 미디어 정보를 추출하며, 구분된 영역들을 계층 별로 통합하여 재구성하고, 각 영역 별 버퍼 관리자들을 이용하여 각 영역에 대한 비디오를 계층 별로 구분하여 버퍼링하고, 버퍼링된 계층 별 비디오를 통합하여 각 영역을 생성하며, 버퍼 관리자들로부터 전달되는 비디오 영역들을 재생 가능하도록 관리하고, 비디오와 오디오의 미디어 동기화를 수행하되,
버퍼링된 계층별 비디오들의 프레임 인덱스가 동일하지 않으면 통합하지 않고 폐기하며, 기본 계층 보다 프레임 인덱스가 빠른 향상 계층들의 비디오들을 폐기하는 것을 특징으로 하는 MMT(MPEG Media Transport) 기반 방송 송출 시스템.
비디오를 다수의 영역들로 분할하고, 분할된 영역들 각각을 다수의 계층들로 인코딩하는 단계;
인코딩된 계층들 중 일부 계층을 포함하는 미디어를 방송 수신 장치로 전송하는 단계;
인코딩된 계층들 중 나머지 계층을 포함하는 미디어를 방송 수신 장치로 전송하는 단계;를 포함하고,
방송 수신 장치는,
수신된 방송 패킷들에서 시그널 메시지와 미디어를 분류하고, 미디어 중 비디오를 영역 별로 구분하고, 시그널 메시지를 이용하여 미디어 재생에 필요한 미디어 정보를 추출하며, 구분된 영역들을 계층 별로 통합하여 재구성하고, 각 영역 별 버퍼 관리자들을 이용하여 각 영역에 대한 비디오를 계층 별로 구분하여 버퍼링하고, 버퍼링된 계층 별 비디오를 통합하여 각 영역을 생성하며, 버퍼 관리자들로부터 전달되는 비디오 영역들을 재생 가능하도록 관리하고, 비디오와 오디오의 미디어 동기화를 수행하되,
버퍼링된 계층별 비디오들의 프레임 인덱스가 동일하지 않으면 통합하지 않고 폐기하며, 기본 계층 보다 프레임 인덱스가 빠른 향상 계층들의 비디오들을 폐기하는 것을 특징으로 하는 MMT(MPEG Media Transport) 기반 방송 송출 방법.