KR20130032843A - Mmt 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법 - Google Patents
Mmt 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법 Download PDFInfo
- Publication number
- KR20130032843A KR20130032843A KR1020120105350A KR20120105350A KR20130032843A KR 20130032843 A KR20130032843 A KR 20130032843A KR 1020120105350 A KR1020120105350 A KR 1020120105350A KR 20120105350 A KR20120105350 A KR 20120105350A KR 20130032843 A KR20130032843 A KR 20130032843A
- Authority
- KR
- South Korea
- Prior art keywords
- sampling time
- time information
- information
- layer
- sampling
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
- H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명은 MMT(MPEG Media Transport: MPEG 미디어 전송) 시스템을 위한 E-layer 타이밍 정보에 관한 것이다. MMT 시스템의 E-layer 타이밍 모델에서는 미디어의 재생시점 (playout time)과 미디어들 간의 동기화에 필요한 기본적인 타이밍 정보를 효율적으로 제공하여야 한다. 또한, MMT 시스템의 E-layer에서 생성된 데이터는 기존의 응용 계층 전송 프로토콜 (application-layer transport protocol) 인 RTP에 의해서 전달이 가능해야 한다. 따라서, 본 발명에서는 기존의 MPEG 미디어 전송 기술과의 호환성을 유지하면서 MMT의 E-layer 타이밍 모델에 적용이 가능한 타이밍 정보를 고안한다.
Description
본 발명은 미디어 데이터의 전송 및 수신을 위한 장치 및 방법에 관한 것으로서, 더욱 상세하게는 MMT(MPEG Media Transport : MPEG 미디어 전송) 시스템을 위한 미디어 데이터의 송수신에 있어서 요구되는 캡슐화 계층(Encapsulation Layer, E-layer)의 타이밍 정보에 관한 것이다.
MMT(MPEG Media Transport)는 MPEG 시스템 분과(systems sub-working group) 에서 개발을 시작한 새로운 표준 기술이다. 기존의 MPEG-2 시스템은 방송망에서 A/V 콘텐츠를 전송하기 위해 필요한 패킷화, 동기화, 멀티플렉싱 등의 기능에 대한 표준으로 MPEG-2 TS(transport stream) 기술이 표준화되어 현재 널리 쓰여지고 있다. 그러나, 네트워크가 IP (Internet Protocol) 기반인 패킷 전송 환경에서 MPEG-2 TS는 비효율적이다. 따라서, ISO MPEG에서는 새로운 미디어 전송 환경과 앞으로 예상되는 미디어 전송 환경을 고려하여 새로운 미디어 전송 표준의 필요성을 인식하게 되었고, MMT 표준화를 시작하게 되었다.
MMT의 E-layer 타이밍 모델과 유사한 종래의 기술로는 MPEG-2 시스템 기술에서 채택하고 있는 DTS(Decoding Time Stamp), PTS(Presentation Time Stamp) 기반의 타이밍 모델과 RTP(real-time transport protocol) 프로토콜에서 제공하는 RTP 타임스탬프 및 NTP(network time protocol) 타임스탬프 정보 기반의 타이밍 모델이 있다.
보다 구체적으로 설명하면, 종래에 개발된 미디어 전송을 위한 타이밍 모델은 크게 2 가지가 존재하며, 첫째는 MPEG-2 시스템 기술이고, 둘째는 RTP 및 RTCP(RTP control protocol)를 결합적으로 활용하는 방법이다. MPEG-2 시스템에서는 미디어 재생시점 결정을 위한 타이밍 모델을 구성하기 위한 타이밍 정보로 PTS, DTS 타이밍 정보를 활용한다. RTP 및 RTCP를 복합적으로 활용하는 방법의 경우에는 RTP에 기록되는 RTP 타임스탬프 정보와 RTCP SR (sender report)에 기록되는 NTP 타임 스탬프를 동시에 활용하게 된다.
MPEG-2 시스템 기술은 압축된 미디어를 방송망과 같은 안정적인 전송망을 통해 전달하기 위한 타이밍 모델을 제시하고 있다. MPEG-2 시스템은 통상적으로 디지털방송 서비스를 목적으로 개발된 규격이기 때문에 전송되는 MPEG-2 TS (transport stream) 패킷들은 채널 품질이 비교적 안정적인 서킷 스위치 망 (circuit switched network)인 방송망을 통해 수신기에 전달된다. 따라서, MPEG-2 TS 패킷들은 전송 채널에서 경험하게 되는 패킷 지연 시간이 비교적 짧고 일정하며 수신기에 도착된 TS 패킷들을 순차적으로 처리하기 위한 타이밍 모델도 비교적 안정적으로 작동하게 된다. 그러나, 방송망이 아닌 IP 망의 경우 전송되는 TS 패킷들이 겪게 되는 도착 지연 시간의 간격이 매우 불규칙하기 때문에, MPEG-2 시스템 기술이 채택하는 타이밍 모델이 안정적으로 유지되기가 힘들다.
RTP/RTCP 기반의 타이밍 모델의 경우 RTP 패킷의 헤더에 기록되는 RTP 타임스탬프가 특정 미디어 스트림의 내부적인 시간적 순서 관계를 나타낸다. 따라서, 서로 다른 미디어 스트림 사이의 동기화를 제공하기 위해서는 절대 시간 (wall-clock)에 해당하는 타이밍 정보가 전달이 되어야 하는데 이러한 목적으로 단말로 전송되는 타이밍 정보가 NTP 타임스탬프이다. NTP 타임스탬프는 RTCP SR (sender report) 패킷에 실려서 전송이 되는데, 일정한 주기를 갖고서 반복적으로 전송된다. RTCP SR 패킷은 미디어를 전송하기 위한 RTP 스트림과는 별도로 전송되는 스트림이므로 네트워크에 대해 트래픽 부담을 가중시키고 서버/단말에서 관리해야 할 UDP 포트 (port) 및 스트림 개수의 증가로 송수신 시스템의 동작이 복잡해 진다.
따라서, 상기 방법들의 문제점을 해결하기 위해 새롭게 표준화가 진행되는 MMT 기술의 E-layer 에서는 간단하면서 효율적인 동작이 가능한 새로운 타이밍 모델을 고려할 필요가 있다.
따라서, 전술한 문제점을 해결하기 위한 본 발명의 목적은 MMT 시스템 기반의 미디어 전송 서비스에서 전송되는 미디어의 재생 시점과 미디어들 간의 시간적 동기화에 필요한 기본적인 타이밍 정보를 제공하되, 종래의 타이밍 모델인 MPEG-2 시스템의 타이밍 모델과 RTP/RTCP 기반의 타이밍 모델과도 호환 가능한 타이밍 정보를 제공할 수 있는 미디어 데이터의 전송 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 MMT 시스템 기반의 미디어 전송 서비스에서 전송되는 미디어의 재생 시점과 미디어들 간의 시간적 동기화에 필요한 기본적인 타이밍 정보를 제공하되, 종래의 타이밍 모델인 MPEG-2 시스템의 타이밍 모델과 RTP/RTCP 기반의 타이밍 모델과도 호환 가능한 타이밍 정보를 제공할 수 있는 미디어 데이터의 수신 장치 및 방법을 제공하는 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 미디어 데이터 전송 장치는 부호화된 미디어 스트림을 캡슐화하여 타이밍 정보를 포함하는 캡슐화 계층 데이터(Encapsulation layer data, E-layer 데이터)를 생성하는 캡슐화부(Encapsulator)를 포함하되, 상기 타이밍 정보는 제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 포함하는 것을 특징으로 할 수 있다. 여기서, 상기 미디어 데이터 전송 장치는 미디어 데이터를 인코딩하여 미디어 스트림을 생성하는 인코더; 상기 부호화된 미디어 스트림을 저장하고 있는 버퍼; 상기 E-layer 데이터를 패킷화하여 전달 계층 패킷(Delivery layer packet, D-layer 패킷)을 생성하는 패킷화부(Packetizer); 및 상기 패킷화된 D-layer 패킷을 전송하는 전송부를 더 포함하는 것을 특징으로 할 수 있다. 또한, 상기 제 1 샘플링 타임 정보는 1 비트이고, 상기 제 2 샘플링 타임 정보는 32 비트인 것을 특징으로 할 수 있다. 여기서, 상기 제 1 샘플링 타임 정보는 샘플링 클럭 주파수를 기반으로 하는 샘플링 타임(Sampling Time)의 33번째 비트의 값이고, 상기 제 2 샘플링 타임 정보는 상기 샘플링 타임(Sampling Time)의 하위 32 비트의 값인 것을 특징으로 할 수 있다.
본 발명의 다른 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 미디어 데이터 수신 장치는 캡슐화 계층 데이터(Encapsulation layer data, E-layer 데이터)를 디캡슐화화여 부호화된 미디어 스트림을 생성하고 타이밍 정보를 추출하는 디캡슐화부(Decapsulator)를 포함하되, 상기 타이밍 정보는 제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 포함하는 것을 특징으로 할 수 있다. 여기서, 상기 미디어 데이터 수신 장치는 전달 계층 패킷(Delivery layer packet, D-layer 패킷)을 수신하는 수신부; 상기 D-layer 패킷을 디패킷화하여 상기 E-layer 데이터를 생성하는 디패킷화부(Depacketizer); 상기 부호화된 미디어 스트림을 저장하는 버퍼; 상기 부호화된 미디어 스트림을 디코딩하는 디코더; 및 디스플레이를 위해 상기 디코딩된 미디어 데이터를 재정렬하는 렌더링 버퍼(Rendering Buffer)를 더 포함하는 것을 특징으로 할 수 있다. 또한, 상기 렌더링 타임 정보는 상기 미디어 스트림이 디코딩된 이후 재생 시점까지 소요되는 시간을 나타내는 것을 특징으로 할 수 있다. 여기서, 상기 제 1 샘플링 타임 정보 및 제 2 샘플링 타임 정보를 기반으로 샘플링 타임(Sampling Time)을 결정하고 상기 샘플링 타임을 기반으로 미디어의 정확한 재생 시점을 나타내는 렌더링 타임을 결정하는 제어부를 더 포함하는 것을 특징으로 할 수 있다. 여기서, 상기 제어부는 상기 제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 기반으로 MPEG-2 시스템의 DTS(Decoding Time Stamp) 및 PTS(Presentation Time Stamp)를 생성하는 것을 특징으로 할 수 있으며, 상기 제어부는 상기 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 기반으로 RTP(Real Time Protocol)의 RTP 타임 스탬프를 생성하는 것을 특징으로 할 수 있다.
본 발명의 다른 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 미디어 데이터 전송 방법은 부호화된 미디어 스트림을 캡슐화하여 타이밍 정보를 포함하는 캡슐화 계층 데이터(Encapsulation layer data, E-layer 데이터)를 생성하는 단계를 포함하되, 상기 타이밍 정보는 제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 포함하는 것을 특징으로 할 수 있다. 여기서, 상기 미디어 데이터 전송 방법은 미디어 데이터를 인코딩하여 미디어 스트림을 생성하는 단계; 상기 부호화된 미디어 스트림을 저장하는 단계; 상기 E-layer 데이터를 패킷화하여 전달 계층 패킷(Delivery layer packet, D-layer 패킷)을 생성하는 단계; 및 상기 패킷화된 D-layer 패킷을 전송하는 단계를 더 포함하는 것을 특징으로 할 수 있다. 또한, 상기 제 1 샘플링 타임 정보는 1 비트이고, 상기 제 2 샘플링 타임 정보는 32 비트인 것을 특징으로 할 수 있다. 여기서, 상기 제 1 샘플링 타임 정보는 샘플링 클럭 주파수를 기반으로 하는 샘플링 타임(Sampling Time)의 33번째 비트의 값이고, 상기 제 2 샘플링 타임 정보는 상기 샘플링 타임(Sampling Time)의 하위 32 비트의 값인 것을 특징으로 할 수 있다.
본 발명의 다른 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 미디어 데이터 수신 방법은 캡슐화 계층 데이터(Encapsulation layer data, E-layer 데이터)를 디캡슐화화여 부호화된 미디어 스트림을 생성하고 타이밍 정보를 추출하는 단계를 포함하되, 상기 타이밍 정보는 제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 포함하는 것을 특징으로 할 수 있다. 여기서, 상기 미디어 데이터 수신 방법은 전달 계층 패킷(Delivery layer packet, D-layer 패킷)을 수신하는 단계; 상기 D-layer 패킷을 디패킷화하여 상기 E-layer 데이터를 생성하는 단계; 상기 부호화된 미디어 스트림을 저장하는 단계; 상기 부호화된 미디어 스트림을 디코딩하는 단계; 및 디스플레이를 위해 상기 디코딩된 미디어 데이터를 재정렬하는 단계를 더 포함하는 것을 특징으로 할 수 있다. 여기서, 상기 렌더링 타임 정보는 상기 미디어 스트림이 디코딩된 이후 재생 시점까지 소요되는 시간을 나타내는 것을 특징으로 할 수 있다. 여기서, 상기 제 1 샘플링 타임 정보 및 제 2 샘플링 타임 정보를 기반으로 샘플링 타임(Sampling Time)을 결정하고 상기 샘플링 타임을 기반으로 미디어의 정확한 재생 시점을 나타내는 렌더링 타임을 결정하는 단계를 더 포함하는 것을 특징으로 할 수 있다. 또한, 상기 제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 기반으로 MPEG-2 시스템의 DTS(Decoding Time Stamp) 및 PTS(Presentation Time Stamp)를 생성하는 단계를 더 포함하는 것을 특징으로 할 수 있으며, 상기 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 기반으로 RTP(Real Time Protocol)의 RTP 타임 스탬프를 생성하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
전술한 본 발명의 일 실시 예에 따른 미디어 데이터의 전송 및 수신 장치에 따르면, MMT 전송 시스템이 Sampling_Time_Ext, Sampling_Time_Base, Rendering_Time_Offset 등의 타이밍 정보를 수신 단말기 측에게 제공하여 미디어에 대한 재생 시점을 도출하고 비디오 및 오디오와 같은 서로 다른 미디어 간에 동기화(lip-synchronization)를 유지하기 위해서 필요한 기본적인 타이밍 정보가 제공된다. 특히, Sampling Time 정보를 1비트의 Sampling_Time_Ext 필드와 32 비트의 Sampling_Time_Base 필드로 분리하여 표현함으로써 기존의 MPEG-2 시스템에서 사용되는 33비트 크기의 DTS/PTS 타이밍 정보와 RTP에서 사용되는 32 비트 크기의 RTP 타임스탬프 정보와 호환성을 유지할 수 있다.
도 1은 MMT 계층 구조를 나타낸 개념도이다.
도 2는 MMT의 E-layer 헤더에 기록될 기본적인 타이밍 정보를 나타낸다.
도 3은 E-layer 헤더에 기록되는 타이밍 정보들 간의 시간적 상관 관계를 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 미디어 데이터 전송 장치의 구성을 나타내는 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 미디어 데이터 수신 장치의 구성을 나타내는 블록도이다.
도 6은 도 5의 미디어 데이터 수신 장치가 도 3에 표시된 타이밍 정보를 활용하여 시간적 동기화를 맞추기 위한 MMT 시스템의 수신 단말기에서 이루어지는 동작절차를 나타낸다.
도 7은 MMT E-layer 데이터의 헤더에 기록되어 있는 타이밍 정보를 MPEG-2 시스템의 DTS 및 PTS 정보로 매핑시키는 경우를 나타낸다.
도 8은 MMT E-layer 데이터의 헤더에 기록되어 있는 타이밍 정보를 RTP 패킷의 RTP 타임스탬프 정보로 매핑시키는 경우를 나타낸다.
도 9는 본 발명의 일 실시 예에 따른 미디어 데이터 전송 방법의 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 미디어 데이터 수신 방법의 흐름도이다.
도 11은 도 10의 샘플링 타임 및 렌더링 타임을 결정하는 단계의 상세 흐름도이다.
도 2는 MMT의 E-layer 헤더에 기록될 기본적인 타이밍 정보를 나타낸다.
도 3은 E-layer 헤더에 기록되는 타이밍 정보들 간의 시간적 상관 관계를 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 미디어 데이터 전송 장치의 구성을 나타내는 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 미디어 데이터 수신 장치의 구성을 나타내는 블록도이다.
도 6은 도 5의 미디어 데이터 수신 장치가 도 3에 표시된 타이밍 정보를 활용하여 시간적 동기화를 맞추기 위한 MMT 시스템의 수신 단말기에서 이루어지는 동작절차를 나타낸다.
도 7은 MMT E-layer 데이터의 헤더에 기록되어 있는 타이밍 정보를 MPEG-2 시스템의 DTS 및 PTS 정보로 매핑시키는 경우를 나타낸다.
도 8은 MMT E-layer 데이터의 헤더에 기록되어 있는 타이밍 정보를 RTP 패킷의 RTP 타임스탬프 정보로 매핑시키는 경우를 나타낸다.
도 9는 본 발명의 일 실시 예에 따른 미디어 데이터 전송 방법의 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 미디어 데이터 수신 방법의 흐름도이다.
도 11은 도 10의 샘플링 타임 및 렌더링 타임을 결정하는 단계의 상세 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
MMT
계층 구조
도 1은 MMT 계층 구조를 나타낸 개념도이다.
도 1을 참조하면, MMT 계층은 캡슐화 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 시그널링 계층(Signaling layer)의 기능 영역(functional area)을 포함한다. MMT 계층은 전송 계층(Transport layer) 위에서 동작한다.
캡슐화 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다.
캡슐화 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다.
E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)를 캡슐화하여 M-유닛(M-Unit)을 생성한다.
MFU는 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는, 임의의 특정 코덱(codec)에 독립적인, 포맷을 가질 수 있다. MFU는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
M-유닛은 하나 또는 복수의 MFU 로 구성될 수 있으며, 하나 또는 복수의 액세스 유닛(Access Unit)을 싣을 수 있는, 특정 코덱(codec)에 독립적인, 포맷을 가질 수 있다.
E.2 계층은 E.3 계층에서 생성된 M-유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성한다.
MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 M-유닛으로 이루어진 데이터 엔티티(data entity)로서, 컴포지션 정보(composition information) 및 전송 특성(transport characteristics)이 정의된 데이터 유닛이다. MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream) 등에 대응될 수 있다.
E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성한다.
MMT 패키지는 콤포지션 정보(composition information) 및 전송 특성(transport characteristics)과 같은 부가 정보와 함께 하나 또는 복수의 MMT 애셋으로 구성될 수 있다. 콤포지션 정보(composition information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 전송 특성(transport characteristics)은 MMT 애셋 또는 MMT 패킷의 전송 조건(delivery condition)을 결정하기 위해 필요한 전송 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다.
전달 계층(delivery layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(network flow multiplexing), 네트워크 패킷화(network packetization), QoS 제어 등을 수행할 수 있다.
전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다.
D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성한다. MMT 페이로드 포맷은 MMT 애셋을 전송하고, 그리고 MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.
D.2 계층(D.2-layer)은 D.1 계층에서 생성된 MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet) 또는 MMT 패킷(MMT Packet)를 생성한다. MMT 전송 패킷 또는 MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다.
D.3 계층(D.3-layer)은 교차 계층 설계(cross-layer design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공하여 QoS를 지원한다. 예를 들어, D.3 계층은 MAC/PHY 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다.
시그널링 계층(Signaling layer)은 시그널링 기능(signaling function)을 수행한다. 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 등을 위한 시그널링 기능을 수행할 수 있다.
시그널링 계층(Signaling layer)은, 도 1에 도시된 바와 같이, MMT S.1 계층(MMT S.1 Layer) 및 MMT S.2 계층(MMT S.2 Layer)으로 구성될 수 있다.
S.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 캡슐화(E) 계층과의 인터페이스 기능 등을 수행할 수 있다. S.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다.
S.2 계층은 흐름 제어(flow control), 전달 세션 관리(delivery session management), 전달 세션 모니터링(delivery session monitoring), 에러 제어(error control), 하이브리드망 동기화 제어(Hybrid network synchronization control)에 관한 전달 계층(D-layer)의 전달 엔드-포인트들(delivery end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다.
S.2 계층은 전달 계층의 동작을 지원하기 위하여 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 모니터링, 흐름 제어, 에러 제어, 설정된 전달 세션에 대한 리소스 예약, 복합 전달 환경하에서의 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 즉, S.2 계층은 전술한 바와 같은 전달 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 또한, S.2 계층은 전달 계층 및 캡슐화 계층과의 인터페이스 기능을 담당할 수 있다.
본 발명은 MMT 시스템에서 미디어에 대한 재생 시점 정보를 얻고 미디어들 간에 시간적 동기화를 유지하면서 미디어를 재생하기 위한 기본적인 E-layer 타이밍 정보를 포함하는 미디어 데이터의 전송 장치 및 방법, 그리고 수신 장치 및 방법에 관한 것이다. 제안하는 타이밍 정보는 기존의 MPEG-2 시스템 및 RTP의 타이밍 모델과 연동하여 호환성을 유지하면서 활용될 수 있도록 하여 MMT E-layer에 생성된 데이터가 MMT의 D-layer(Delivery layer, 전달 계층) 뿐만 아니라 기존의 RTP에 의해서도 원활하게 전송되도록 할 수 있다. 그리고, MMT E-layer에서 생성된 데이터를 MPEG-2 시스템 포맷으로 변환할 경우에 타이밍 정보가 MPEG-2 시스템에서 채택하는 타이밍 정보의 표현 방식과 호환성을 유지하면서 간단하게 변환되도록 할 수 있다.
즉, 본 발명에서는 E-layer에 포함되어야 할 효율적인 타이밍 정보를 고안함으로써 IP 망을 통한 효율적인 미디어 전송을 목표로 하는 MMT 시스템 기반의 미디어 전송 서비스에서 전송되는 미디어의 재생 시점과 미디어들 간에 시간적 동기화에 필요한 기본적인 타이밍 정보를 제공한다. 여기서, 기존에 개발된 타이밍 모델인 MPEG-2 시스템의 타이밍 모델과 RTP/RTCP 기반의 타이밍 모델의 단점을 보완하여 MMT 시스템의 E-layer에 적용이 가능한 간단하면서도 효율적인 타이밍 모델을 고안하고 이 모델의 작동에 필요한 타이밍 정보를 제안한다. 이 타이밍 정보를 활용하여 미디어 스트림 내의 프레임에 대한 정확한 재생시점 정보를 제공하여 정해진 시간에 미디어 재생이 가능하도록 하고, 더 나아가서 서로 다른 미디어들 간의 동기화에 필요한 기본적인 시간 정보를 제공하게 한다.
도 4는 본 발명의 일 실시 예에 따른 미디어 데이터 전송 장치의 구성을 나타내는 블록도이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 미디어 데이터 전송 장치(400)는 미디어 데이터를 인코딩하여 미디어 스트림을 생성하는 인코더(410), 상기 부호화된 미디어 스트림을 저장하고 있는 버퍼(420), 상기 부호화된 미디어 스트림을 캡슐화하여 타이밍 정보를 포함하는 캡슐화 계층 데이터(Encapsulation layer data, E-layer 데이터)를 생성하는 캡슐화부(Encapsulator, 430), 상기 E-layer 데이터를 패킷화하여 전달 계층 패킷(Delivery layer packet, D-layer 패킷)을 생성하는 패킷화부(Packetizer, 440) 및 상기 패킷화된 D-layer 패킷을 전송하는 전송부(450)를 포함할 수 있다. 여기서, 상기 E-layer 데이터에 포함된 타이밍 정보는 MPEG-2 시스템 및 RTP(Real Time Protocol)와 호환되는 것을 특징으로 할 수 있다. 보다 구체적으로, 상기 타이밍 정보는 제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 포함하는 것을 특징으로 할 수 있다.
도 2는 MMT의 E-layer 데이터의 헤더에 기록되는 타이밍 정보를 나타낸다. 도 2를 참조하여, 상기 타이밍 정보에 포함된 제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 상세히 설명한다.
상기 타이밍 정보는 비디오의 픽처(picture)나 오디오의 프레임(frame)과 같은 미디어 데이터의 샘플 혹은 이러한 미디어 데이터의 샘플을 하나 이상으로 묶은 단위의 E-layer 데이터에 할당될 수 있다. 도 2에 도시된 바와 같이, 상기 E-layer 타이밍 정보는 제 1 샘플링 타임 정보(이하 'Sampling_Time_Ext', 210), 제 2 샘플링 타임 정보(이하 'Sampling_Time_Base', 220) 및 렌더링 타임 정보(이하 'Rendering_Time_Offset', 230) 등의 세 가지 필드를 포함할 수 있다. 여기서, 상기 Sampling_Time_Ext(210)는 1 비트, 상기 Sampling_Time_Base(220)는 32 비트, 상기 Rendering_Time_Offset(230)는 20 비트인 것을 특징으로 할 수 있다.
샘플링 타임(Sampling Time)은 MPEG-2 시스템 및 RTP전송 시스템에서 통상적으로 사용되는 90 KHz 정밀도로 작동하는 샘플링 클럭 주파수 (sampling clock frequency) 로부터 얻어질 수 있다. 만약, 90 KHz 정밀도 이외의 샘플링 클럭 주파수를 채택할 경우에도 마찬가지의 원리로 적용이 가능하다. MMT 전송 시스템의 미디어 인코더(Encoder)에 압축되는 순서대로 입력되는 픽처들에 대한 샘플링 시간을 90 KHz 샘플링 클럭 주파수로부터 얻어낸 결과가 샘플링 타임(Sampling Time) 이다. 샘플링 타임(Sampling Time)은 총 33 비트의 크기로 이루어 질 수 있다. 여기서 상기 Sampling_Time_Ext(210)은 Sampling Time의 33번째 비트의 값을 의미할 수 있으며, Sampling_Time_Base(220)는 Sampling Time의 하위 32 비트의 값을 나타낼 수 있다.
Rendering_Time_Offset(230)은 디코딩(Decoding) 이후에 재생 시점인 렌더링(Rendering Time)에 이르기까지 소요되는 시간을 나타낸다. 디코딩 후에 얻어진 압축이 해제된 미디어 데이터를 렌더링 버퍼(Rendering buffer)에 저장한 후에 렌더링 타임(ndering Time) 순간에 출력 장치로 재생시킬 수 있다. Rendering buffer는 비디오 화면 구조 (video sequence structure)에 B-픽처가 존재하는 경우에 발생하는 I-픽처, P-픽처, 및 B-픽처들의 화면간 순서 재배치 (picture reordering)를 위한 용도로도 활용된다. 통상적으로 B-픽처는 디코딩 즉시 재생되므로 Rendering buffer 과정을 거치지 않고 곧바로 출력이 되지만, I-픽처나 P-픽처는 디코딩된 후 재생되기까지 Rendering_Time_Offset 만큼 기다려야 한다.
이러한 시간 정보들 간의 상관 관계를 그림으로 표현하면 도 3과 같다.
도 3은 E-layer 헤더에 기록되는 타이밍 정보들 간의 시간적 상관 관계를 나타낸다. 도 3에서 도시된 바와 같이, Delivery Time과 Decoding Time은 전송 포맷의 MMT 패킷을 생성하는 역할을 담당하는 D-layer의 헤더에서 전달하게 되는 타이밍 정보를 통해서 얻어진다.
도 5는 본 발명의 일 실시 예에 따른 미디어 데이터 수신 장치의 구성을 나타내는 블록도이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 미디어 데이터 수신 장치(500)는 전달 계층 패킷(Delivery layer packet, D-layer 패킷)을 수신하는 수신부(510), 상기 D-layer 패킷을 디패킷화하여 캡슐화 계층 데이터(Encapsulation layer data, E-layer 데이터)를 생성하는 디패킷화부(Depacketizer, 520), 상기 E-layer 데이터를 디캡슐화화여 부호화된 미디어 스트림을 생성하고 타이밍 정보를 추출하는 디캡슐화부(Decapsulator, 530), 상기 부호화된 미디어 스트림을 저장하는 버퍼(540), 상기 부호화된 미디어 스트림을 디코딩하는 디코더(550) 및 디스플레이를 위해 상기 디코딩된 미디어 데이터를 재정렬하는 렌더링 버퍼(Rendering Buffer, 560)를 포함할 수 있다. 여기서, 상기 타이밍 정보는 MPEG-2 시스템 및 RTP(Real Time Protocol)와 호환되는 것을 특징으로 할 수 있다. 구체적으로, 상기 타이밍 정보는 제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 포함할 수 있다. 상기 타이밍 정보는 전술한 미디어 데이터 전송 장치의 타이밍 정보와 동일하다. 즉, 상기 E-layer 타이밍 정보는 제 1 샘플링 타임 정보(이하 'Sampling_Time_Ext'), 제 2 샘플링 타임 정보(이하 'Sampling_Time_Base') 및 렌더링 타임 정보(이하 'Rendering_Time_Offset') 등의 세 가지 필드를 포함할 수 있다.
여기서, 상기 미디어 데이터 수신 장치(500)는 상기 제 1 샘플링 타임 정보 및 제 2 샘플링 타임 정보를 기반으로 샘플링 타임(Sampling Time)을 결정하고 상기 샘플링 타임을 기반으로 미디어의 정확한 재생 시점을 나타내는 렌더링 타임을 결정하는 제어부(570)를 더 포함할 수 있다. 상기 제어부(570)가 도 3의 시간 관계에 의해 Sampling Time과 Rendering Time 값을 얻어내기 위한 수학식은 하기와 같다. 먼저, Sampling Time을 하기의 수학식 1에 의해 계산할 수 있다.
Decoding Time은 E-layer의 Sampling Time정보와 D-layer에서 제공되는 Sender_Processing_Delay와 Receiver_Processing_Delay를 활용하여 하기의 수학식 2에 의해 계산할 수 있다.
미디어의 정확한 재생시점을 나타내는 Rendering Time은 하기의 수학식 3에 의해 계산할 수 있다.
한편, MMT 시스템의 작동이 IP 네트워크를 통한 전송이 목적이 아니라, 로컬 장치로의 직접적인 저장만을 목적으로 할 경우에는 Sender_Processing_Delay, Transmission_Delay, 및 Receiver_Processing_Delay가 존재하지 않는다. 따라서, 로컬 저장 장치(local storage device)에 저장된 MMT 데이터를 단말기에서 로컬로 재생하기 위해 필요한 Decoding Time 과 Rendering Time은 각각 하기의 수학식 4와 수학식 5에 의해 계산할 수 있다.
이 경우에는 수학식 2와 달리 Sampling_Time 값 자체가 Decoding_Time 값으로 활용된다.
도 6은 도 5의 미디어 데이터 수신 장치가 도 3에 표시된 타이밍 정보를 활용하여 시간적 동기화를 맞추기 위한 MMT 시스템의 수신 단말기에서 이루어지는 동작절차를 나타낸다. 도 3에 표시된 MMT E-layer 의 타이밍 정보를 활용하여 MMT 시스템의 미디어 데이터 수신 장치 측에서 이루어지는 동작 절차는 도 6과 같다.
도 2에 도시된 바와 같이, Sampling Time을 Sampling_Time_Ext와 Sampling_Time_Base필드로 나뉘어 표시하는 이유는 MMT E-layer의 타이밍 정보를 기존의 MPEG-2 시스템의 타이밍 정보와 RTP 타임스탬프 값으로 직접적인 변환이 이루어질 수 있도록 하기 위함이다. MMT에 의해 생성된 데이터는 기존의 MPEG-2 시스템과 같은 저장 포맷과 RTP 패킷과 같은 전송 포맷으로 손쉽게 변환이 가능해야 한다.
따라서, MMT 시스템의 E-layer에서 생성된 데이터를 MPEG-2 시스템 포맷으로 변환할 경우에는 MPEG-2 PES(packetized elementary system) 패킷 헤더에 포함되는 DTS 및 PTS 타이밍 정보를 MMT의 E-layer 타이밍 정보로부터 효율적으로 유도해 내야 한다. 또한, MMT 시스템의 E-layer에서 생성된 데이터를 RTP 프로토콜을 활용하여 전송할 경우에도 RTP 프로토콜 헤더에 포함되는 RTP 타임스탬프 값을 MMT E-layer 타이밍 정보로부터 효율적으로 유도해 내야 한다. 이 두 가지 경우를 모두 만족시키기 위해서 본 발명에서는 총 33 비트 크기를 갖는 Sampling Time 값의 33번째 비트에 해당하는 값을 1비트 크기의 Sampling_Time_Ext필드로 표시하고, 나머지 32비트에 해당하는 값을 Sampling_Time_Base 필드로 표시할 수 있다. 상기와 같이 Sampling Time 정보를 1비트의 Sampling_Time_Ext필드와 32 비트의 Sampling_Time_Base 필드로 분리하여 표현할 경우 MPEG-2 시스템의 33비트 DTS/PTS 값과 32 비트의 RTP 타임스탬프 값 모두를 직접적으로 얻어낼 수 있다.
도 7은 MMT E-layer 데이터의 헤더에 기록되어 있는 타이밍 정보를 MPEG-2 시스템의 DTS 및 PTS 정보로 매핑시키는 경우를 나타낸다. 본 발명의 일 실시 예에 따른 미디어 데이터 수신 장치의 제어부(570)는 상기 제 1 샘플링 타임 정보(Sampling_Time_Ext), 제 2 샘플링 타임 정보(Sampling_Time_Base) 및 렌더링 타임 정보를 기반으로 MPEG-2 시스템의 DTS(Decoding Time Stamp) 및 PTS(Presentation Time Stamp)를 생성할 수 있다.
보다 구체적으로, MMT E-layer 데이터의 헤더에 기록되어 있는 타이밍 정보를 하기의 수학식 6을 기반으로 MPEG-2 시스템의 DTS 값으로 매핑할 수 있다.
상기 수학식 6에서 Sender_Processing_to_Decoding_Delay는 도 3에 표시된 Sender Processing Delay, Transmission Delay, Receiver Processing Delay를 모두 합한 시간에 대한 예상된 값을 나타낸다.
또한, MMT E-layer 데이터의 헤더에 기록되어 있는 타이밍 정보를 상기 수학식 6의 결과를 활용한 하기의 수학식 7을 기반으로 MPEG-2 시스템의 PTS 값으로 매핑할 수 있다.
한편, 상기 수학식 6과 수학식 7에 의해 계산되는 DTS와 PTS 정보를 활용하면 MMT 시스템에 의해 전송되는 미디어 데이터의 시간 정보를 MPEG-2 시스템에서 사용하는 시간 정보의 포맷으로 해석이 가능하므로 MPEG-2 시스템을 통해 전송된 미디어 데이터와도 시간적 동기화를 맞출 수 있다. 즉, 하나의 스트림은 MMT 시스템을 통해서 전송이 되고 또 다른 스트림은 MPEG 시스템을 통해서 전송이 될 경우, 이 두 가지 스트림들 간에 시간적 동기화를 맞출 수 있다.
도 8은 MMT E-layer 데이터의 헤더에 기록되어 있는 타이밍 정보를 RTP 패킷의 RTP 타임스탬프 정보로 매핑시키는 경우를 나타낸다. 본 발명의 일 실시 예에 따른 미디어 데이터 수신 장치의 제어부(570)는 상기 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 기반으로 RTP(Real Time Protocol)의 RTP 타임 스탬프를 생성하는 것을 특징으로 할 수 있다. RTP 타임스탬프는 총 32 비트의 길이를 갖기 때문에 하기 수학식 8을 기반으로 RTP 타임스탬프 값으로의 직접적인 매핑이 가능하다.
따라서, MMT E-layer의 타이밍 정보를 기존의 MPEG-2 시스템의 타이밍 정보와 RTP 타임스탬프 값으로 직접 변환할 수 있다. 즉, MMT에 의해 생성된 데이터가 기존의 MPEG-2 시스템과 같은 저장 포맷과 RTP 패킷과 같은 전송 포맷으로 손쉽게 변환될 수 있다.
도 9는 본 발명의 일 실시 예에 따른 미디어 데이터 전송 방법의 흐름도이다.
도 9에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 미디어 데이터 전송 방법은 미디어 데이터를 인코딩하여 미디어 스트림을 생성하는 단계(S910), 상기 부호화된 미디어 스트림을 저장하는 단계(S920), 상기 부호화된 미디어 스트림을 캡슐화하여 타이밍 정보를 포함하는 캡슐화 계층 데이터(Encapsulation layer data, E-layer 데이터)를 생성하는 단계(S930), 상기 E-layer 데이터를 패킷화하여 전달 계층 패킷(Delivery layer packet, D-layer 패킷)을 생성하는 단계(S940) 및 상기 패킷화된 D-layer 패킷을 전송하는 단계(S950)를 포함할 수 있다. 여기서, 상기 타이밍 정보는 제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 포함하는 것을 특징으로 할 수 있다.
여기서, 상기 제 1 샘플링 타임 정보는 1 비트이고, 상기 제 2 샘플링 타임 정보는 32 비트인 것을 특징으로 할 수 있으며, 상기 제 1 샘플링 타임 정보는 샘플링 클럭 주파수를 기반으로 하는 샘플링 타임(Sampling Time)의 33번째 비트의 값이고, 상기 제 2 샘플링 타임 정보는 상기 샘플링 타임(Sampling Time)의 하위 32 비트의 값인 것을 특징으로 할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 미디어 데이터 수신 방법의 흐름도이고, 도 11은 도 10의 샘플링 타임 및 렌더링 타임을 결정하는 단계의 상세 흐름도이다.
도 10에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 미디어 데이터 수신 방법은 먼저 전달 계층 패킷(Delivery layer packet, D-layer 패킷)을 수신한다(S1010). 그리고 상기 D-layer 패킷을 디패킷화하여 상기 E-layer 데이터를 생성한다(S1020). 이후, 상기 캡슐화 계층 데이터(Encapsulation layer data, E-layer 데이터)를 디캡슐화화여 부호화된 미디어 스트림을 생성하고 타이밍 정보를 추출할 수 있다(S1030). 여기서, 상기 타이밍 정보는 MPEG-2 시스템 및 RTP(Real Time Protocol)와 호환되는 것을 특징으로 할 수 있다. 구체적으로, 상기 타이밍 정보는 제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 포함할 수 있다. 또한, 상기 렌더링 타임 정보는 상기 미디어 스트림이 디코딩된 이후 재생 시점까지 소요되는 시간을 나타내는 것을 특징으로 할 수 있다.
이후, 상기 제 1 샘플링 타임 정보 및 제 2 샘플링 타임 정보를 기반으로 샘플링 타임(Sampling Time)을 결정하고 상기 샘플링 타임을 기반으로 미디어의 정확한 재생 시점을 나타내는 렌더링 타임을 결정할 수 있다(S1040).
도 11을 참조하여 상기 샘플링 타임 및 렌더링 타임 결정 단계(S1040)를 보다 상세히 설명하면, MMT E-layer의 데이터 헤더를 수신(S1041)하여, 제 1 샘플링 타임 정보(Sampling_Time_Ext)를 추출하고(S1042), 제 2 샘플링 타임 정보(Sampling_Time_Base)를 추출할 수 있다(S1043). 상기 제 1 샘플링 타임 정보 및 제 2 샘플링 타임 정보를 기반으로 Sampling Time을 계산하여(S1044), 디코딩 타임(Decoding Time)의 계산에 활용할 수 있다(S1046). 또한, 상기 MMT E-layer의 데이터 헤더에서 렌더링 타임 정보(Rendering_Time_Offset)를 추출하여(S1047), 상기 계산된 디코딩 타임과 상기 렌더링 타임 정보를 기반으로 렌더링 타임(Rendering Time)을 계산할 수 있다(S1047).
다시 도 10을 참조하면, 이후 상기 부호화된 미디어 스트림을 저장하고(S1050), 상기 부호화된 미디어 스트림을 디코딩(S1060)하며, 디스플레이를 위해 상기 디코딩된 미디어 데이터를 재정렬(S1070)할 수 있다.
Claims (22)
- 미디어 데이터를 전송하는 장치에 있어서,
부호화된 미디어 스트림을 캡슐화하여 타이밍 정보를 포함하는 캡슐화 계층 데이터(Encapsulation layer data, E-layer 데이터)를 생성하는 캡슐화부(Encapsulator)를 포함하되,
상기 타이밍 정보는 MPEG-2 시스템 및 RTP(Real Time Protocol)와 호환되는 것을 특징으로 하는 미디어 데이터 전송 장치.
- 제 1항에 있어서, 상기 타이밍 정보는
제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 포함하는 것을 특징으로 하는 미디어 데이터 전송 장치.
- 제 1 항에 있어서,
미디어 데이터를 인코딩하여 미디어 스트림을 생성하는 인코더;
상기 부호화된 미디어 스트림을 저장하고 있는 버퍼;
상기 E-layer 데이터를 패킷화하여 전달 계층 패킷(Delivery layer packet, D-layer 패킷)을 생성하는 패킷화부(Packetizer); 및
상기 패킷화된 D-layer 패킷을 전송하는 전송부를 더 포함하는 것을 특징으로 하는 미디어 데이터 전송 장치.
- 제 2 항에 있어서,
상기 제 1 샘플링 타임 정보는 1 비트이고,
상기 제 2 샘플링 타임 정보는 32 비트인 것을 특징으로 하는 미디어 데이터 전송 장치.
- 제 4 항에 있어서,
상기 제 1 샘플링 타임 정보는 샘플링 클럭 주파수를 기반으로 하는 샘플링 타임(Sampling Time)의 33번째 비트의 값이고,
상기 제 2 샘플링 타임 정보는 상기 샘플링 타임(Sampling Time)의 하위 32 비트의 값인 것을 특징으로 하는 미디어 데이터 전송 장치.
- 미디어 데이터를 수신하는 장치에 있어서,
캡슐화 계층 데이터(Encapsulation layer data, E-layer 데이터)를 디캡슐화화여 부호화된 미디어 스트림을 생성하고 타이밍 정보를 추출하는 디캡슐화부(Decapsulator)를 포함하되,
상기 타이밍 정보는 MPEG-2 시스템 및 RTP(Real Time Protocol)와 호환되는 것을 특징으로 하는 미디어 데이터 수신 장치.
- 제 6항에 있어서, 상기 타이밍 정보는
제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 포함하는 것을 특징으로 하는 미디어 데이터 수신 장치.
- 제 6 항에 있어서,
전달 계층 패킷(Delivery layer packet, D-layer 패킷)을 수신하는 수신부;
상기 D-layer 패킷을 디패킷화하여 상기 E-layer 데이터를 생성하는 디패킷화부(Depacketizer);
상기 부호화된 미디어 스트림을 저장하는 버퍼;
상기 부호화된 미디어 스트림을 디코딩하는 디코더; 및
디스플레이를 위해 상기 디코딩된 미디어 데이터를 재정렬하는 렌더링 버퍼(Rendering Buffer)를 더 포함하는 것을 특징으로 하는 미디어 데이터 수신 장치.
- 제 7항에 있어서,
상기 제 1 샘플링 타임 정보 및 제 2 샘플링 타임 정보를 기반으로 샘플링 타임(Sampling Time)을 결정하고 상기 샘플링 타임을 기반으로 미디어의 정확한 재생 시점을 나타내는 렌더링 타임을 결정하는 제어부를 더 포함하는 것을 특징으로 하는 미디어 데이터 수신 장치.
- 제 7항에 있어서, 상기 제어부는
상기 제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 기반으로 MPEG-2 시스템의 DTS(Decoding Time Stamp) 및 PTS(Presentation Time Stamp)를 생성하는 것을 특징으로 하는 미디어 데이터 수신 장치.
- 제 7항에 있어서, 상기 제어부는
상기 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 기반으로 RTP(Real Time Protocol)의 RTP 타임 스탬프를 생성하는 것을 특징으로 하는 미디어 데이터 수신 장치.
- 미디어 데이터를 전송하는 방법에 있어서,
부호화된 미디어 스트림을 캡슐화하여 타이밍 정보를 포함하는 캡슐화 계층 데이터(Encapsulation layer data, E-layer 데이터)를 생성하는 단계를 포함하되,
상기 타이밍 정보는 MPEG-2 시스템 및 RTP(Real Time Protocol)와 호환되는 것을 특징으로 하는 미디어 데이터 전송 방법.
- 제 12항에 있어서, 상기 타이밍 정보는
제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 포함하는 것을 특징으로 하는 미디어 데이터 전송 방법.
- 제 12 항에 있어서,
미디어 데이터를 인코딩하여 미디어 스트림을 생성하는 단계;
상기 부호화된 미디어 스트림을 저장하는 단계;
상기 E-layer 데이터를 패킷화하여 전달 계층 패킷(Delivery layer packet, D-layer 패킷)을 생성하는 단계; 및
상기 패킷화된 D-layer 패킷을 전송하는 단계를 더 포함하는 것을 특징으로 하는 미디어 데이터 전송 방법.
- 제 13 항에 있어서,
상기 제 1 샘플링 타임 정보는 1 비트이고,
상기 제 2 샘플링 타임 정보는 32 비트인 것을 특징으로 하는 미디어 데이터 전송 방법.
- 제 15 항에 있어서,
상기 제 1 샘플링 타임 정보는 샘플링 클럭 주파수를 기반으로 하는 샘플링 타임(Sampling Time)의 33번째 비트의 값이고,
상기 제 2 샘플링 타임 정보는 상기 샘플링 타임(Sampling Time)의 하위 32 비트의 값인 것을 특징으로 하는 미디어 데이터 전송 방법.
- 미디어 데이터를 수신하는 방법에 있어서,
캡슐화 계층 데이터(Encapsulation layer data, E-layer 데이터)를 디캡슐화화여 부호화된 미디어 스트림을 생성하고 타이밍 정보를 추출하는 단계를 포함하되,
상기 타이밍 정보는 MPEG-2 시스템 및 RTP(Real Time Protocol)와 호환되는 것을 특징으로 하는 미디어 데이터 수신 방법.
- 제 17항에 있어서, 상기 타이밍 정보는
제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 포함하는 것을 특징으로 하는 미디어 데이터 수신 방법.
- 제 17 항에 있어서,
전달 계층 패킷(Delivery layer packet, D-layer 패킷)을 수신하는 단계;
상기 D-layer 패킷을 디패킷화하여 상기 E-layer 데이터를 생성하는 단계;
상기 부호화된 미디어 스트림을 저장하는 단계;
상기 부호화된 미디어 스트림을 디코딩하는 단계; 및
디스플레이를 위해 상기 디코딩된 미디어 데이터를 재정렬하는 단계를 더 포함하는 것을 특징으로 하는 미디어 데이터 수신 방법.
- 제 18항에 있어서,
상기 제 1 샘플링 타임 정보 및 제 2 샘플링 타임 정보를 기반으로 샘플링 타임(Sampling Time)을 결정하고 상기 샘플링 타임을 기반으로 미디어의 정확한 재생 시점을 나타내는 렌더링 타임을 결정하는 단계를 더 포함하는 것을 특징으로 하는 미디어 데이터 수신 방법.
- 제 18항에 있어서,
상기 제 1 샘플링 타임 정보, 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 기반으로 MPEG-2 시스템의 DTS(Decoding Time Stamp) 및 PTS(Presentation Time Stamp)를 생성하는 단계를 더 포함하는 것을 특징으로 하는 미디어 데이터 수신 방법.
- 제 18항에 있어서,
상기 제 2 샘플링 타임 정보 및 렌더링 타임 정보를 기반으로 RTP(Real Time Protocol)의 RTP 타임 스탬프를 생성하는 단계를 더 포함하는 것을 특징으로 하는 미디어 데이터 수신 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2012/007617 WO2013042998A1 (ko) | 2011-09-23 | 2012-09-21 | Mmt 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20110096492 | 2011-09-23 | ||
KR1020110096492 | 2011-09-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20130032843A true KR20130032843A (ko) | 2013-04-02 |
Family
ID=48435518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120105350A KR20130032843A (ko) | 2011-09-23 | 2012-09-21 | Mmt 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20130032843A (ko) |
-
2012
- 2012-09-21 KR KR1020120105350A patent/KR20130032843A/ko not_active Application Discontinuation
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102049907B1 (ko) | Mmt 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법 | |
JP6887466B2 (ja) | マルチメディア伝送システムにおけるパケットを伝送する装置 | |
TWI668982B (zh) | 用於多媒體和檔案傳輸的傳輸介面的方法及伺服器設備、及用於記錄相關指令於其上的電腦可讀取儲存媒體 | |
US20150181003A1 (en) | Method and apparatus for transmitting and receiving packets in hybrid transmission service of mmt | |
CN108777676B (zh) | 用于在多媒体传输***中接收媒体数据的装置及方法 | |
JP6302274B2 (ja) | 送信装置及び受信装置 | |
US20130173826A1 (en) | Method of providing timing information using mmt signaling layer signaling for synchronizing mmt packet streams in mmt hybrid delivery service and method of synchronizing mmt packet streams in mmt hybrid delivery service | |
KR102026266B1 (ko) | 부호화된 미디어 데이터를 전송하는 장치에서의 네트워크 지터 추정 방법 | |
KR20130009670A (ko) | 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법 | |
CN113287323A (zh) | 用于流媒体数据的多解码器接口 | |
KR102098723B1 (ko) | Mmt 전송 패킷의 설정 방법 및 전송 방법 | |
KR20130009671A (ko) | 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법 | |
KR20130032843A (ko) | Mmt 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법 | |
KR102093408B1 (ko) | 동일 포트에 멀티플렉싱 된 다중 패킷 스트림의 패킷오류 구분을 선택적으로 수행하는 방법 및 그 장치 | |
KR101920051B1 (ko) | Mmt 복합 전달 서비스에서 mmt 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법 및 mmt 패킷 스트림 동기화 방법 | |
WO2013042998A1 (ko) | Mmt 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법 | |
CN101489122B (zh) | 实现传输流时间映射的方法、装置及*** | |
WO2013042999A1 (ko) | Mmt 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법 | |
KR20150047082A (ko) | Mmt 페이로드 헤더 구성 장치 및 방법 | |
TWI846795B (zh) | 用於經串流媒體資料之多個解碼器介面 | |
KR20130138694A (ko) | 하나 또는 그 이상의 액세스 유닛을 포함하는 mpu에서의 타이밍 정보 기술 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |