KR100826170B1 - 디지털 방송 수신기에서의 ｐｔｓ 관리 방법 - Google Patents

Abstract

디지털 방송 수신기에서 오디오/비디오 신호의 립 싱크를 위한 오디오 신호의 PTS 관리 방법에 관한 것으로서, 특히 PES 헤더에서 PTS 값을 추출하고 추출된 PTS 값과 함께 상기 PTS 값이 적용되는 ES 버퍼의 위치를 같이 저장한 후 오디오 스트림의 디코딩을 수행하는데 이때, 오디오 디코딩을 위해 ES 버퍼의 값을 읽을 때마다 그 주소를 현재의 PTS가 유효한 주소와 비교하여 PTS를 갱신하여 줌으로써, 현재에 가장 적절한 PTS 값으로 STC와 비교하여 립 싱크를 맞출 수 있게 해준다. 또 특별히 오디오 싱크를 찾지 않고도 유효한 PTS 값을 알 수 있으므로 별도의 알고리즘이 필요하지 않으며, 이로 인해 코드의 길이를 줄일 수 있다.

A/V 립 싱크, PTS 관리

Description

디지털 방송 수신기에서의 ＰＴＳ 관리 방법{Method for managing presentation time stamp in digital broadcasting receiver}

도 1은 일반적인 디지털 방송 수신 시스템의 구성 블록도

도 2는 PTS와 STC 관계에 따른 립 싱크 방식을 보인 도면

도 3은 PES 패킷에서 추출되는 PTS 값과 함께 상기 PTS 값이 적용되는 ES 버퍼의 위치를 같이 저장하는 본 발명의 예를 보인 도면

도 4는 오디오 디코딩시에 PTS 값이 유효한지를 비교하여 갱신하는 본 발명의 예를 보인 도면

도면의 주요부분에 대한 부호의 설명

101 : TP 역다중화부 102 : 비디오 디코더

103 : VDP 104 : 오디오 디코더

105 : 시스템 디코더

본 발명은 디지털 방송 수신기에 관한 것으로서, 특히 오디오/비디오 신호의 립 싱크(Lip sync)를 위해 오디오 신호의 표시 타임 스탬프(PTS)를 관리하는 방법 에 관한 것이다.

일반적으로 멀티미디어를 지원해주는 핵심 요소로는 디지털화와 더불어 화상 압축 기술이 있다. 상기 화상 압축 기술 중 MPEG(Moving Pictures Expert Group)-2는 멀티미디어 환경에 가장 핵심 기술인 디지털 동영상의 압축 부호화를 위한 국제적인 표준안이다.

이러한 MPEG-2를 채용한 디지털 방송 수신 시스템은 도 1에 도시된 바와 같이, 오디오/비디오(Audio/Video ; A/V) 다중(Multiplexed) 비트스트림이 입력되면 트랜스포트 역다중화부(101)에서 다중화(Multiplexed)되어 있는 오디오와 비디오 비트스트림을 각각 분리한다. 상기 분리된 비디오 비트스트림과 오디오 비트스트림은 디코딩을 위해 각각 비디오 디코더(102)와 오디오 디코더(104)로 출력된다. 여기서, 상기 비디오 비트스트림과 오디오 비트스트림은 패킷화된 요소 스트림(packetized elementary stream ; PES)이다.

상기 비디오 디코더(102)는 입력되는 비디오 비트스트림에서 오버헤드(각종 헤더 정보, 스타트 코드등)를 제거하고, 순수한 데이터 정보를 가변 길이 디코딩(Variable Length Decoding ; VLD)한 후 역양자화 과정, 역 이산 코사인 변환(IDCT) 과정을 거쳐 원래 화면의 픽셀 값을 복원하고, 비디오 디스플레이 프로세서(Video Display processor ; VDP)(103)는 이를 디스플레이 포맷에 맞게 변환하여 디스플레이 장치등에 출력한다.

상기 오디오 디코더(104)는 MPEG 알고리즘 또는 오디오 코딩(AC)-3 알고리즘등을 이용하여 입력되는 오디오 비트스트림을 원래의 신호로 복원한 후 이를 아날 로그 형태로 변환하여 스피커등으로 출력한다.

또한, 시스템 디코더(105)는 상기 TP 역다중화부(101)의 출력으로부터 STC(System Time Clock)를 복구하여 비디오 디코더(102)와 오디오 디코더(104)로 출력한다. 그러면, 상기 비디오 디코더(102)는 복구된 STC에 동기시켜 비디오 디코딩을 수행하고, 오디오 디코더(104)는 복구된 STC에 동기시켜 오디오 디코딩을 수행한다.

이러한 디지털 방송 수신기는 다중화된 디지털 신호를 사용하기 때문에 기존의 아날로그 시스템과는 달리 비디오와 오디오 신호의 동기를 맞추어 주는 별도의 A/V 립 싱크(Lip-Synchronization) 장치나 방법이 필요하다.

상기 A/V 립 싱크는 비디오, 오디오의 복호 재생 단위마다 주어지는 타임 스탬프(time stamp)라는 정보를 통해 구현된다. 타임 스탬프는 재생 출력 시간인 PTS(Presentation Time Stamp)와 복호 시간인 DTS(Decoding Time Stamp)로 이루어지는데 오디오의 경우 DTS는 사용되지 않는다. 이러한 타임 스탬프는 PES의 헤더에 위치하는데, PES 내에 ES(elementary stream)의 첫 부분이 포함될 경우에만 존재한다.

여기서, 상기 DTS는 각 픽쳐를 언제 디코딩할 것인지를 상기 STC를 기준으로 나타내는 디코딩 타임 스탬프이고, PTS는 복원된 데이터를 언제 디스플레이할 것인지를 상기 STC를 기준으로 나타내는 표시 타임 스탬프이다. 상기 STC는 엔코더와 록킹된 전체적인 클럭으로서, 엔코더와 디코더가 똑같은 STC를 갖고 있으며, 또한 상기 엔코더는 비디오 신호가 내부적으로 딜레이를 갖고 있기 때문에 A/V 립 싱크 와 정상적인 비디오 디코딩을 위해서 STC를 기준으로 DTS와 PTS를 발생하여 함께 전송한다.

통상, 비디오와 오디오는 별도의 립 싱크 과정을 수행하게 되고, 최종적으로 비디오와 오디오를 맞추는 시스템이 주를 이룬다.

도 2는 일반적인 PTS와 STC 관계에 따른 립 싱크 방식을 보여주는 도면으로서, 이론적으로는 STC와 PTS의 값이 동일할 때 A/V 데이터를 출력한다.

하지만 실제 적용에 있어서는 시간적인 차이가 존재하므로, PTS와 STC가 기설정된 범위(Range)를 만족하면 A/V 데이터를 출력하게 한다.

즉, 도 2와 같이 PTS와 STC 관계에 따라 4가지 상황(A,B,C,D)이 발생한다.

예컨대, (B)와 (C)의 경우처럼 STC를 기준으로 PTS가 기 설정된 특정 범위 내에 있으면 A/V 립 싱크가 맞는다고 판단하고 정상적인 디코딩을 수행하여 A/V 데이터를 출력시킨다. 하지만, (A)나 (D)의 경우처럼 STC를 기준으로 PTS가 기 설정된 특정 범위(range)를 벗어나면 디코딩을 스킵하던지, 반복이나 기다림을 통해 A/V 립 싱크를 맞춘다. 이때, (A)의 경우는 PTS 값이 STC보다 빠른 경우이므로 STC 값에 맞는 PTS를 포함한 디코딩 단위를 맞추기 위해서 현재 프레임(또는 픽쳐)의 디코딩을 수행하지 않고 다음 디코딩 단위로 바로 이동하는 스킵을 수행하고, (D)의 경우는 (A)와 반대인 경우로서, PTS 값이 STC보다 늦는 경우이므로 디코딩 단위를 반복(Repeat)하거나 기다리게(Wait) 해서 A/V 립 싱크를 맞추게 한다.

이때, 디지털 신호 프로세서(DSP)를 이용하여 오디오 신호를 디코딩하는 경 우 PES 헤더에서 PTS 값을 추출한 후 ES를 버퍼에 저장하여 디코딩을 하게 된다, 즉, PTS 값과 ES를 따로 따로 해당 버퍼에 저장한 후 디코딩을 수행한다.

그리고, 오디오 프레임을 디코딩할 때는 버퍼의 언더플로우를 방지하고 또 정확한 싱크를 찾기 위해 일정한 양의 ES 스트림을 저장한 후 디코딩을 시작하는데, 이때 여러개의 PES 패킷을 디코드하면서 여러개의 PTS가 나오게 된다.

따라서, 2개 이상의 PES 패킷을 저장한 다음 디코딩을 시작하는 경우에 저장되는 PTS값이 여러개가 되므로 현재 디코딩하고 있는 프레임의 PTS 값을 찾기가 모호하게 된다. 결국, 립싱크를 위해 STC 값과의 차이를 계산하기가 쉽지 않게 된다.

또한, 비디오 스트림과는 달리 오디오 디코딩의 경우 각 알고리즘(예, MPEG,AC-3,...)마다 프레임 길이 및 싱크가 다르고 또한, 프레임 싱크와 같은 형태의 데이터가 스트림 중에 존재하기 때문에 싱크를 찾아서 PTS와 ES를 연결하여 저장하는 방법을 사용할 경우 별도의 알고리즘을 다시 적용해야 하고, 그만큼 명령어의 수가 늘어나면서 DSP의 효율을 떨어뜨린다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 오디오 PTS 값과 함께 상기 PTS 값이 적용되는 ES 버퍼의 위치를 같이 저장함으로써, 각각의 PTS를 효율적으로 관리하는 디지털 방송 수신기에서의 오디오 PTS 관리 방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 디지털 방송 수신기의 PTS 관리 방법은, 입력되는 PES 패킷에서 검출된 PTS는 PTS 버퍼에, 오디오 스트림 은 ES 버퍼에 저장한 후 오디오 스트림을 디코딩하는 경우, 상기 PES 디코딩시 PES 패킷에서 PTS가 검출되면 검출된 PTS와 함께 상기 PTS가 유효한 주소를 상기 PTS 버퍼에 저장하는 단계와, 오디오 스트림 디코딩시 상기 ES 버퍼에서 읽어 온 오디오 스트림의 주소와 상기 단계에서 PTS 버퍼에 저장된 유효 주소를 비교하여 상기 오디오 스트림의 PTS를 결정하는 단계와, 상기 단계에서 결정된 PTS 값과 이때 검출되는 시스템 타임 클럭(STC)을 비교하여 오디오 신호의 립 싱크를 수행하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

상기 PES 디코딩 단계에서 저장되는 PTS가 유효한 주소는 해당 PTS가 검출되는 PES 패킷 내의 마지막 오디오 스트림이 저장되는 ES 버퍼의 주소인 것을 특징으로 한다.

상기 오디오 스트림 단계는, 오디오 스트림의 디코딩이 시작되면 ES 버퍼에서 읽어 온 오디오 스트림의 주소와 상기 PTS 버퍼에 저장해 놓은 PTS 값이 유효한 주소를 비교하여 현재의 PTS 값이 유효한지 판단하는 단계와, 현재의 PTS 값이 유효하지 않다면 현재의 PTS 값을 갱신하는 단계로 이루어지는 것을 특징으로 한다.

상기 갱신된 PTS 값은 다음번 립 싱크 비교시까지 유효한 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

본 발명은 DSP를 이용하여 오디오 신호를 디코딩하는 경우 PES 헤더에서 PTS 값을 추출한 후 PTS 값과 함께 상기 PTS 값이 적용되는 ES 버퍼의 위치를 같이 저장한 후 디코딩을 수행하는데 있다. 즉, 디코딩을 위해 ES 버퍼의 값을 읽을 때마다 그 주소를 현재의 PTS가 유효한 주소와 비교하여 PTS를 갱신하여 줌으로써, 현재에 가장 적절한 PTS 값으로 STC와 비교하여 립 싱크를 맞출 수 있게 해준다. 또 특별히 오디오 싱크를 찾지 않고도 유효한 PTS 값을 알 수 있으므로 별도의 알고리즘이 필요하지 않다. 이로 인해 코드의 길이를 줄이는 효과를 얻는다.

도 3은 PES 패킷에서 추출되는 PTS 값과 함께 상기 PTS 값이 적용되는 ES 버퍼의 위치를 같이 저장하는 본 발명의 예를 보인 것이다.

이를 위해 본 발명은 PTS와 PTS가 유효한 주소값(valid address)을 같이 저장하기 위한 PTS&address 버퍼를 필요로 한다.

도 3을 보면, PES를 디코드하는 단계에서 각 PES 패킷마다 PES 헤더에서 PTS(PTS1~PTSn)가 검출된다. 그러면, 상기 PTS는 PTS&address 버퍼에, ES는 ES 버퍼에 각각 저장하는데 이때, 상기 PTS&address 버퍼에는 상기 PTS와 상기 PTS가 유효한 주소가 같이 저장된다.

이때, PES 패킷의 헤더에 있는 PES 한 패킷의 길이를 참조하면 패킷의 마지막 부분을 알 수 있고, 마지막 부분이 저장되는 ES 버퍼의 주소도 알 수 있다. 따라서, 본 발명은 하나의 PES 패킷 내에서 패킷의 마지막 부분의 오디오 ES가 저장 되는 ES 버퍼의 주소를 해당 PTS와 함께 저장하는 것을 실시예로 한다. 즉, 하나의 PES 패킷 내에서 패킷의 마지막 부분의 오디오 ES가 저장되는 ES 버퍼의 주소가 해당 PTS의 유효한 주소 값이 된다.

상기된 과정으로 모든 PES 패킷에 대한 각 PTS값과 해당 PTS의 유효한 주소값이 도 3과 같이 PTS&address 버퍼에 저장되고, 각 PES 패킷의 ES는 ES 버퍼에 저장되며, 이 값은 오디오 디코딩시에 참조된다.

도 4는 오디오 디코딩시에 PTS 값이 유효한지를 비교하여 갱신하는 본 발명의 예를 보이고 있다.

즉, 오디오 디코딩이 시작되면 마지막으로 ES 버퍼에서 가져온 ES 스트림의 주소와 상기된 도 3에서 저장해 놓은 PTS 값의 유효 주소를 비교하여 현재의 PTS 값이 유효한지 판단한다. 본 발명에서는 상기 PTS가 검출되는 PES 패킷 내의 마지막 오디오 ES가 저장되는 ES 버퍼의 위치를 해당 PTS 값의 유효 주소로 저장하였으므로, 상기 ES 버퍼에서 마지막으로 읽어 온 ES 스트림의 주소와 상기 유효 주소가 같다면 PTS 값은 상기 유효 주소와 함께 저장된 PTS로 갱신된다. 만일 같지 않다면 PTS&address 버퍼에 저장된 유효 주소와의 비교가 반복 수행되어 PTS를 갱신한다.

도 4의 예를 보면, 오디오 디코딩시 ES 버퍼에서 마지막으로 읽어 온 ES 스트림의 주소가 PTS2 유효 주소라면, 상기 오디오 ES 스트림을 디코딩하는에 유효한 PTS는 PTS2로 갱신된다.

이렇게 갱신된 PTS 값은 다음번 립 싱크 비교를 위해 다시 주소를 비교할 때까지 유효하며 결정된 PTS 값을 바탕으로 STC 값과의 비교를 통하여 립 싱크가 맞 는지를 판단할 수 있고 디코딩을 계속 진행할 수 있다.

이상에서와 같이 본 발명에 따른 디지털 방송 수신기의 오디오 PTS 관리 방법에 의하면, 오디오 프레임과는 상관없이 PTS를 관리할 수 있으므로 서로 다른 알고리즘에서 서로 다른 헤더를 찾기 위한 별도의 알고리즘이 필요하지 않게 된다. 이로 인해 PES 디코딩을 간단히 할 수 있게 되고, 또한 코드 사이즈를 줄일 수 있는 효과가 있다. 그리고, 이렇게 저장된 PTS 값을 이용하여 디지털 TV의 오디오/비디오 립 싱크를 수행함으로써, A/V 립 싱크를 더욱 정확하게 맞출 수 있다. 특히, 여러개의 PES 스트림을 디코딩하여 2개 이상의 PTS가 저장되더라도 디코딩중인 오디오 프레임에서 가장 적절한 PTS 값을 찾을 수 있게 된다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims (5)

1. 입력되는 PES 패킷에서 검출된 PTS는 PTS 버퍼에, 오디오 스트림은 ES 버퍼에 저장한 후 디코딩하는 오디오 디코더를 포함하는 디지털 방송 수신기에서의 표시 타임 스탬프(PTS) 관리 방법에 있어서,

   (a) 상기 PES 디코딩시 PES 패킷에서 PTS가 검출되면 검출된 PTS와 함께 상기 PTS가 유효한 주소를 상기 PTS 버퍼에 저장하는 단계;

   (b) 오디오 스트림 디코딩시 상기 ES 버퍼에서 읽어 온 오디오 스트림의 주소와 상기 (a) 단계에서 PTS 버퍼에 저장된 유효 주소를 비교하여 상기 오디오 스트림의 PTS를 결정하는 단계; 그리고

   (c) 상기 (b) 단계에서 결정된 PTS 값과 이때 검출되는 시스템 타임 클럭(STC)을 비교하여 오디오 신호의 립 싱크를 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 디지털 방송 수신기에서의 PTS 관리 방법.
2. 제 1 항에 있어서, 상기 (a) 단계에서 저장되는 PTS가 유효한 주소는

   해당 PTS가 검출되는 PES 패킷 내의 마지막 오디오 스트림이 저장되는 ES 버퍼의 주소인 것을 특징으로 하는 디지털 방송 수신기에서의 PTS 관리 방법.
3. 제 1 항에 있어서, 상기 (b) 단계는

   오디오 스트림의 디코딩이 시작되면 ES 버퍼에서 읽어 온 오디오 스트림의 주소와 상기 PTS 버퍼에 저장해 놓은 PTS 값이 유효한 주소를 비교하여 현재의 PTS 값이 유효한지 판단하는 단계와,

   현재의 PTS 값이 유효하지 않다면 현재의 PTS 값을 갱신하는 단계로 이루어지는 것을 특징으로 하는 디지털 방송 수신기에서의 PTS 관리 방법.
4. 제 3 항에 있어서, 상기 갱신 단계는

   상기 ES 버퍼에서 읽어 온 오디오 스트림의 주소와 상기 PTS 버퍼에 저장된 유효 주소가 같다면 현재의 PTS 값은 상기 유효 주소와 함께 저장된 PTS로 갱신되는 것을 특징으로 하는 디지털 방송 수신기에서의 PTS 관리 방법.
5. 제 4 항에 있어서,

   상기 갱신된 PTS 값은 다음번 립 싱크 비교시까지 유효한 것을 특징으로 하는 디지털 방송 수신기에서의 PTS 관리 방법.

Images