KR100240331B1 - Apparatus for synchronizing a video and an audio signals for a decoder system - Google Patents

Abstract

본 발명은 영상 신호의 디코더 시스템에 관한것으로, 특히, 오디오/비디오 스트림의 동기를 맞추어 재생(representation)하기위한 장치에 관한것으로, MPEG 시스템에서 규정하는 PCR/PTS/DTS 데이타 포맷에 맞도록 유효한 값이 디코더 시스템으로 제공되는 경우에 본 발명의 장치는 트랜스포트 스트림의 PES 헤더로부터 DTS 및 PTS를 추출하는 DTS/PTS 추출기와, 상기 트랜스포트 스트림의 트랜스포트 헤더로부터 PCR을 생성하는 클럭 복구 유니트와, 상기 추출기에 의해 추출된 DTS에 기설정의 일정 지연시간을 가산하여 상기 디코더 시스템의 디코딩 시점을 지시하는 DTS 펄스를 생성하는 가산기와, 상기 추출 수단에 의해 추출된 PTS에 상기 기설정된 지연시간과 보정시간을 가산하여 상기 디코더 시스템의 재생 시점을 지시하는 PTS 펄스를 생성하는 제 2 가산기를 구비함으로써 디코더 시스템에서 오디오와 비디오의 동기가 맞도록 해 줄 수 있다.[0001] The present invention relates to a decoder system for a video signal, and more particularly to a device for synchronizing an audio / video stream, The apparatus of the present invention includes a DTS / PTS extractor for extracting a DTS and a PTS from a PES header of a transport stream, a clock recovery unit for generating a PCR from a transport header of the transport stream, An adder for adding a preset predetermined delay time to the DTS extracted by the extractor to generate a DTS pulse indicating a decoding time point of the decoder system; And a second adder for adding a time to generate a PTS pulse indicating a reproduction time point of the decoder system So that audio and video are synchronized in the decoder system.

Description

디코더 시스템의 비디오/오디오 동기화 장치{APPARATUS FOR SYNCHRONIZING A VIDEO AND AN AUDIO SIGNALS FOR A DECODER SYSTEM}[0001] APPARATUS FOR SYNCHRONIZING A VIDEO AND AN AUDIO SIGNALS FOR A DECODER SYSTEM [0002]

본 발명은 영상 신호의 디코더 시스템에 관한것으로, 특히, 오디오/비디오 스트림으로 구성되는 시스템 스트림의 동기를 맞추어 재생(representation)하기위한 동기화 장치에 관한것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a decoder system for video signals, and more particularly, to a synchronization apparatus for synchronizing and reproducing system streams composed of audio / video streams.

MPEG 시스템에 대한 종래의 기술로는 현재 국제 표준으로 정해진 MPEG2 IS(international standard) 에서 알려진 바 있다. MPEG2는 기술적으로 크게 나누어 세부분으로 구성되는데, 파트 1의 시스템, 파트 2의 비디오 그리고 파트 3의 오디오로 구분되어있다. MPEG2의 시스템 파트는 시스템 레이어 코딩에 관한 전반적인 분야에 관한 권고안이다. 여기서 시스템 레이어 코딩(이하 시스템 코딩이라함)이란 MPEG1 이나 MPEG2 의 데이타 압축방법으로 압축된 오디오/비디오 스트림 뿐아니라 필요에 따라 사용자 데이타등을 멀티플렉싱하여 전송 또는 저장에 적합하도록 포맷팅하는 기술에 관한것이다. 이와 같이 여러개의 비트 스트림을 입력받아 일련의 스트림으로 포맷팅하는 과정을 시스템 인코딩이라 하고, 포맷팅한 것을 원래의 입력된 스트림의 형태로 풀어내는 과정을 시스템 디코딩이라 한다. MPEG 시스템 IS에서는 포맷팅하는 규칙을 규정하고 있으므로 시스템 인코더에서 시스템 코딩시 이와같은 룰(rule)에 따라 시스템 비트 스트림을 만들어야 하며, 시스템 디코더에서는 이 룰에 따라 만들어진 스트림을 디코딩할 수 있도록 설계하여야 한다.A conventional technology for an MPEG system is known from MPEG2 IS (International Standard), which is currently defined as an international standard. MPEG2 is divided into three parts, technically divided into a system of Part 1, a video of Part 2, and audio of Part 3. The system part of MPEG2 is a recommendation on the overall field of system layer coding. System layer coding (hereinafter referred to as system coding) refers to a technique for multiplexing user data and the like as well as audio / video streams compressed by a data compression method of MPEG1 or MPEG2, and formatting the data so as to be suitable for transmission or storage. The process of formatting a plurality of bitstreams into a series of streams is referred to as system encoding, and a process of decoding formatted data in the form of an original input stream is referred to as system decoding. Since the MPEG system IS defines the formatting rule, the system encoder must form a system bitstream according to this rule when coding the system, and the system decoder should be designed to decode the stream created according to this rule.

시스템 인코딩 과정은 단순히 각각의 오디오/비디오 스트림을 묶어 결합시키는 기능뿐아니라 스트림을 디코딩하는 과정에서 시스템 디코더 내부의 버퍼 제어 및 각 디코딩된 스트림들의 동기를 맞추어 복호화하기 위한 몇가지의 파라미터가 삽입된다. 시스템 인코딩 방법은 트랜스포트(transport) 스트림 인코딩과 프로그램(program) 스트림 인코딩의 두가지 형태가 있다. 프로그램 스트림 인코딩은 PCR(program clock reference), PTS(presentation time stamp), DTS(decoding time stamp)을 생성하는 작업으로 이 스트림은 주로 저장을 위해 사용된다. 여기서, PCR은 디코더에서 시간의 기준을 맞추기위하여 시스템 인코더에서 전송되는 시스템 클럭의 값이며, PTS는 디코더에서 수신되는 스트림의 재생시간을 알려주는 값이며, DTS는 디코더에서 수신되는 스트림에 대하여 디코딩 작업을 지시하는 값으로 사용된다.The system encoding process includes not only a function of simply bundling and combining the respective audio / video streams, but also some parameters for buffer control within the system decoder and for decoding and decoding each of the decoded streams in the course of decoding the stream. There are two types of system encoding methods: transport stream encoding and program stream encoding. Program stream encoding is a process of generating a program clock reference (PCR), a presentation time stamp (PTS), and a decoding time stamp (DTS), which are mainly used for storage. Here, the PCR is a value of the system clock transmitted from the system encoder to match the time reference in the decoder, the PTS is a value indicating the reproduction time of the stream received by the decoder, and the DTS is a decoding operation As shown in FIG.

인코더에서 인코딩된 데이타를 엘리멘터리 스트림(elementary stream)이라 하는데 이 엘리멘터리 스트림들은 일차적으로 각각의 패킷타이저(packetizer)를 통하여 패킷화된다. 이 과정을 거친 데이타를 PES(packetized elementary stream) 패킷이라한다. PES 패킷을 만드는 패킷타이저를 PES 패킷타이저라 지칭한다. 오디오/비디오 패킷타이저를 거친 각각의 PES 패킷인 오디오 PES 패킷, 비디오 PES 패킷은 프로그램 스트림 멀티플렉서 혹은 트랜스포트 스트림 멀티플렉서 단에 입력되고 이 부분에서는 프로그램 스트림, 트랜스포트 스트림을 만들게된다.Encoded data in an encoder is called an elementary stream, and these elementary streams are first packetized through a respective packetizer. The data passed through this process is called a packetized elementary stream (PES) packet. A packetizer for creating a PES packet is referred to as a PES packetizer. The audio PES packet and the video PES packet, which are PES packets that have passed through the audio / video packetizer, are input to the program stream multiplexer or the transport stream multiplexer, and the program stream and the transport stream are generated in this portion.

인코더에서 복수개의 엘리멘터리 스트림을 입력받아 각각의 PTS 를 만드는 방법으로는 여러가지가 있을 수 있으므로 MPEG에서는 이 부분에 대하여 구체적인 언급은 없다.There are various methods for generating a plurality of elementary streams from an encoder and creating each PTS, so there is no specific description about this part in MPEG.

이와같이 MPEG2 시스템 권고안에서는 디코딩을 위한 데이타 포맷을 규정하는 스펙이므로 특별히 인코딩하는 과정을 따로 규정하지않고 있으며 때에 따라 발생할 수 있는 응용 시스템에 대한 별도의 규정이 없는것이다. 따라서, 인코딩 시스템에서는 출력되는 스트림이 MPEG2 시스템 국제표준에서 규정한 디코더 스펙에 맞는 유효한(valid)한 스트림을 제공해주면 되는것인데 이러한 인코딩 과정에서의 인코더를 구성하는 방법과 효율적인 디코더를 만드는 기술등은 표준화가 되지 않았고 또한 다른 연구단체에서도 아직까지는 자세히 공개되지 않았다. 또한, 시스템 디코더의 구성방법이나 MPEG 시스템 스트림 포맷을 효율적인 복호화 방법은 사용자의 재량에 맏기고 있으므로 이에 관한 기술등은 현재 세계적으로 활발히 연구되고 있다.Since the MPEG2 system recommendation specifies the data format for decoding, there is no special encoding process, and there is no specific rule for the application system that may occur at times. Therefore, in the encoding system, the output stream can provide a valid stream conforming to the decoder specification defined in the MPEG2 system international standard. The method of constructing the encoder in the encoding process and the technique of making an efficient decoder are standardized And has not yet been disclosed in detail by other research groups. In addition, since the system decoder configuration method and the MPEG system stream format are efficiently deciphered at the user's discretion, technologies related thereto are being actively studied all over the world.

그러므로, 본 발명은 오디오/비디오 스트림으로 구성되는 시스템 스트림의 동기를 맞추어 재생(representation)하기위한 장치를 제공하는것을 그 목적으로한다.Therefore, it is an object of the present invention to provide an apparatus for synchronizing and reproducing system streams composed of audio / video streams.

상술한 목적을 달성하기위한 본 발명의 비디오 및 오디오 스트림간의 동기화 장치는 트랜스포트 스트림의 PES 헤더로부터 DTS 및 PTS를 추출하는 수단; 상기 트랜스포트 스트림의 트랜스포트 헤더로부터 PCR을 생성하는 수단; 상기 추출 수단에 의해 추출된 DTS에 기설정된 지연시간을 가산하여 상기 엘리멘터리 스트림의 디코딩 시점을 지시하는 디코딩 펄스를 생성하는 가산기; 상기 추출 수단에 의해 추출된 PTS에 상기 기설정된 지연시간과 보정시간을 가산하여 상기 트랜스포트 스트림의 재생 시점을 지시하는 재생(PTS) 펄스를 생성하는 제 2 가산기를 구비하며; 상기 기설정된 지연시간은 한 프레임 인터벌의 시간이고, 상기 보정 시간은 ((최대 재생 지연시간 - 엘리멘터리 스트림의 재생 지연 시간) + 최대 프레임 인터벌))인것을 특징으로 한다.According to an aspect of the present invention, there is provided a synchronization apparatus for video and audio streams, comprising: means for extracting a DTS and a PTS from a PES header of a transport stream; Means for generating a PCR from a transport header of the transport stream; An adder for adding a predetermined delay time to the DTS extracted by the extracting means to generate a decoding pulse indicating a decoding time point of the elementary stream; And a second adder for generating a reproduction (PTS) pulse indicating the reproduction time point of the transport stream by adding the predetermined delay time and the correction time to the PTS extracted by the extraction means; The predetermined delay time is a time of one frame interval, and the correction time is ((maximum reproduction delay time - elementary stream reproduction delay time) + maximum frame interval)).

도 1은 트랜스포트 스트림을 설명하는 도면,1 is a view for explaining a transport stream,

도 2a 및 도 2b는 각기 비디오 및 오디오 디코더 시스템을 개략적으로 도시하는 블록도,Figures 2a and 2b are block diagrams schematically illustrating a video and audio decoder system, respectively;

도 3은 도 2에 도시된 디코더 시스템에 사용하기위한 본 발명에 따른 동기화 장치의 블록도.3 is a block diagram of a synchronization device according to the invention for use in the decoder system shown in Fig.

＜도면의 주요부분에 대한 부호의 설명＞Description of the Related Art

10, 20 : 비디오, 오디오 스트림 버퍼10, 20: Video, audio stream buffer

12, 22 : 비디오, 오디오 디코더12, 22: video, audio decoder

18, 28 : 모니터, 스피커 30 : PTS/DTS 추출기18, 28: Monitor, Speaker 30: PTS / DTS extractor

32 : 클럭 복구 블록 34, 36 : 제 1, 제 2 가산기32: clock recovery block 34, 36: first and second adders

38, 40 : 제 1, 제 2 비교기38, 40: First and second comparators

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1을 참조하면, 인코더 시스템으로부터 전송되는 비디오 및 오디오 스트림으로 구성된 트랜스포트 스트림이 개략적으로 도시된다. 이 트랜스포트 스트림은 디코더 시스템으로 수신되어 비디오 및 오디오로 복호화되어 재생된다.Referring to Figure 1, a transport stream composed of video and audio streams transmitted from an encoder system is schematically illustrated. This transport stream is received by the decoder system and decoded into video and audio for reproduction.

트랜스포트 스트림은 일련의 트랜스포트 패킷으로 구성되는데 이 트랜스포트 패킷들은 각기 188 바이트의 일정한 길이를 갖는다. 각각의 일정 길이의 트랜스포트 패킷은 트랜스포트 헤더, PES 헤더 및 패이로드(payload)로 구성된다. 트랜스포트 헤더에는 유용한 정보, 예를 들면, PCR과 같은 시간 정보가 포함된다. PES 헤더와 패이로드는 비디오 및 오디오 PES 스트림을 구성하며 PES 헤더는 DTS 및 PTS 와같은 정보가 포함되어있다. 또한, 패이로드에는 엘리멘터리 스트림이 일정한 길이로 잘려진 데이타 스트림이 삽입되어있다.The transport stream consists of a series of transport packets, each of which has a constant length of 188 bytes. Each transport packet of a certain length is composed of a transport header, a PES header, and a payload. The transport header includes useful information, for example, time information such as PCR. The PES header and payload constitute a video and audio PES stream, and the PES header contains information such as DTS and PTS. In addition, a data stream in which the elementary stream is cut to a certain length is inserted in the payload.

트랜스포트 스트림은 디코더 시스템에서의 디멀티플렉서(도시안됨)에의해 엘리멘터리 스트림과 비디오/오디오 PES 헤더와 트랜스포트 헤더로 분리된다. 엘리멘터리 스트림은 도 2a 및 도 2b에 각기 도시된 비디오 및 오디오 디코더 시스템으로 각기 제공되며, 비디오/오디오 PES 헤더 및 트랜스포트 헤더는 도 3에 도시된 동기 장치로 인가된다.The transport stream is separated into an elementary stream and a video / audio PES header and a transport header by a demultiplexer (not shown) in the decoder system. An elementary stream is provided for each of the video and audio decoder systems shown separately in FIGS. 2A and 2B, and the video / audio PES header and transport header are applied to the synchronization apparatus shown in FIG.

도 2a 및 도 2b를 참조하면, 비디오 및 오디오 디코더 시스템은 인코더 시스템으로부터 엘리먼터리 스트림을 수신하는것으로 도시된다.Referring to Figures 2A and 2B, a video and audio decoder system is shown as receiving an elementary stream from an encoder system.

도시된 바와같이, 비디오 디코더 시스템은 비디오 스트림 버퍼(10), 비디오 디코더(12), 프레임 메모리(14), 디지탈/아날로그 변환기(16) 및 모니터(18)를 포함한다. 한편, 오디오 디코더 시스템은 오디오 스트림 버퍼(20), 오디오 디코더(22), 프레임 메모리(24), 디지탈/아날로그(D/A) 변환기(26) 및 스피커(28)를 포함한다. 본 발명에 대한 설명의 편의를 위하여, 비디오 및 오디오 디코더 시스템은 유사한 구성과 동작으로 구현되기 때문에 도 2a에 도시된 비디오 디코더 시스템에 대하여만 설명될것이다.As shown, the video decoder system includes a video stream buffer 10, a video decoder 12, a frame memory 14, a digital / analog converter 16, and a monitor 18. Meanwhile, the audio decoder system includes an audio stream buffer 20, an audio decoder 22, a frame memory 24, a digital / analog (D / A) converter 26 and a speaker 28. For ease of description of the present invention, the video and audio decoder system will be described only for the video decoder system shown in FIG. 2A because it is implemented in similar configurations and operations.

비디오 스트림 버퍼(10)는 엘리먼트리 스트림을 순차적으로 저장하고 저장된 데이타를 비디오 디코더(12)로 제공한다. 비디오 디코더(12)는 스트림 버퍼(10)로부터 제공되는 데이타에 대하여 디코딩을 시작하라는 펄스신호인 라인(42)상의 DTS 펄스(DTS_pulse_v)에 따라 디코딩을 수행하여 디코드된 픽처 데이타 스트림을 출력한다. 이 디코드된 데이타 스트림은 프레임 메모리(14)로 제공된다.The video stream buffer 10 sequentially stores the elementary streams and provides the stored data to the video decoder 12. [ The video decoder 12 decodes the data provided from the stream buffer 10 according to the DTS pulse (DTS_pulse_v) on the line 42, which is a pulse signal to start decoding, and outputs the decoded picture data stream. This decoded data stream is provided to the frame memory 14. [

프레임 메모리(14)는 비디오 디코더(12)로부터 제공된 픽처 데이타를 순차적으로 저장하고 저장된 데이타를 다음단의 D/A 변환기(16)로 제공한다.The frame memory 14 sequentially stores the picture data provided from the video decoder 12 and provides the stored data to the next stage D / A converter 16. [

D/A 변환기(16)는 입력되는 데이타에 대하여 재생을 수행하라는 펄스인 라인(46)상의 PTS 펄스(PTS_pulse_v)에 따라 디지탈 데이타를 아날로그 신호로 변환하여 변환된 신호를 재생 툴의 하나인 모니터(18)로 출력함으로써 원하는 영상을 디스플레이한다.The D / A converter 16 converts the digital data into an analog signal according to the PTS pulse (PTS_pulse_v) on the line 46, which is a pulse for performing reproduction with respect to the input data, and outputs the converted signal to a monitor 18 to display a desired image.

상술한 디코더 시스템에 있어서, 클럭 시스템(타이밍)이 복구되고 DTS에 의해 디코딩이된다면 이후의 과정은 디코딩된 스트림을 디스플레이하는것이다. 이때 디스플레이하는 시점은 PTS에 의해 지정되는 시간으로 디코더 PCR 의 값이 이 PTS의 값에 도달하였을 때이다. 이 과정에서 각 엘리멘터리 스트림간의 동기는 PES 헤더에 있는 PTS에 맞게 디스플레이또는 재생되므로 각 엘리멘터리간의 동기는 원칙적으로 이 PTS에 의하여 맞추게 되는것이다. 여기서 동기가 맞는다는것은 오디오/비디오 엘리먼트리 스트림으로 구성된 프로그램을 디스플레이 또는 재생할때 립 싱크(lip sync)가 맞는다는 의미이다.In the decoder system described above, if the clock system (timing) is recovered and decoded by the DTS, the subsequent process is to display the decoded stream. At this time, the display time is the time designated by the PTS, and the value of the decoder PCR reaches the value of this PTS. In this process, the synchronization between the elementary streams is displayed or reproduced in accordance with the PTS in the PES header, so that the synchronization between the respective elements is in principle adjusted by the PTS. Synchronization means that a lip sync is correct when displaying or reproducing a program composed of an audio / video elementary stream.

그러나, 실질적으로, 디코더 시스템에서는 도시된바와같은 디코딩 지연과 재생 지연이 발생할 수 있다. 디코딩 지연은 트랜스포트 스트림이 디멀티플렉서를 거친 다음 각각의 엘리멘터리 스트림이 비디오 스트림 버퍼(10)내에 기록된후 DTS 펄스에 따라 디코더의 출력이 나오기까지의 소요 시간을 의미한다. DTS의 값에 따라 디코더(12)에서 디코딩 펄스를 준다 하여도 이 디코딩 지연 시간이 지나야 디코더(12)에서 디코딩된 데이타 스트림이 출력될것이다. 마찬가지로 디코딩된 데이타가 프레임 메모리(14)에 저장되기시작한 후 PTS 펄스의 값에 따라 재생 펄스를 준다하여도 실제의 재생 툴인 모니터(18)에 출력되기까지는 재생 재연의 시간이 소요되어야 할것이다.However, practically, in the decoder system, decoding delay and reproduction delay as shown can occur. The decoding delay means a time required for the transport stream to pass through the demultiplexer and then to record the elementary stream in the video stream buffer 10 and then output the decoder according to the DTS pulse. Even if the decoder 12 gives a decoding pulse according to the value of the DTS, the decoded data stream will be output by the decoder 12 only after the decoding delay time has elapsed. Similarly, even if the decoded data is stored in the frame memory 14 and a reproduction pulse is given in accordance with the value of the PTS pulse, it is necessary to take time to reproduce the data until it is output to the monitor 18 as an actual reproduction tool.

이 부분에서 명백한 사실은 MPEG 권고안에 따른 시스템 타겟 디코더 모델은 디코딩 지연 및 재생 지연을 모두 제로("0")로 가정하였기 때문에 엘리멘터리 스트림 버퍼(10)에 있는 엘리멘터리 스트림 데이타로부터 DTS 와 PTS의 값이 동일한 경우 DTS 펄스가 주어지면 즉시 재생된다는 가정이므로 실제의 디코더와는 다르다는 것이다. 따라서 비디오의 B-픽처 혹은 오디오 프레임 데이타는 PTS 와 DTS의 값이 동일한 경우인데 이때 수신되는 PTS에 따라 재생 펄스 및 디코딩 펄스를 인가하며 실제로 재생되는 시점은 빨라야 DTS 펄스를 인가한후 (디코딩 지연 + 재생 지연) 의 시간이 지난 뒤인것이다. 그런데 이 지연시간은 픽처에 따라 가변적인 부분이 있는가 하면 픽처와 무관한것이 있을 수 있는데 D/A 변환 지연, 모니터 구동 시간, 스피커 동작 시간등일것이고 픽처에 관련된 시간은 픽처가 복잡하여 몇 단계의 디코딩 로직을 더 거쳐야 하는 경우에 해당될것이다. 따라서 이와같은 지연 시간은 가변적일 수 있으므로 최대한의 지연 시간에 맞추어 일정한 지연 시간을 정해 놓을 필요가 있다. 이는 각각의 엘리멘터리 스트림 디코더의 가변적인 요소를 일정하게 하여 재생시 각 스트림간의 동기를 좀 더 정확히 맞추기 위함이다.It is clear from this part that the system target decoder model according to the MPEG Recommendation assumes both the decoding delay and the reproduction delay to be zero ("0"), so that from the elementary stream data in the elementary stream buffer 10, If the PTS value is the same, it is assumed that the DTS pulse is immediately reproduced when the DTS pulse is given, which is different from the actual decoder. Therefore, the B-picture or audio frame data of the video has the same value of the PTS and the DTS. In this case, the reproduction pulse and the decoding pulse are applied according to the received PTS, and the DTS pulse is applied (decoding delay + Playback delay) has elapsed. However, the delay time may be variable depending on the picture, and may be independent of the picture. The delay time may be a D / A conversion delay, a monitor driving time, a speaker operation time, This may be the case if you need to go through more logic. Therefore, such a delay time may be variable, so it is necessary to set a constant delay time in accordance with the maximum delay time. This is to keep the variable elements of each elementary stream decoder constant so as to more precisely match the synchronization between the streams during reproduction.

이 문제를 해결하기위한 한가지 방법으로는 디코딩 펄스에 한 프레임 인터벌의 시간을 가산한 값으로 재생 펄스를 만들어 주면 되는데, 이것은 모든 엘리멘터리 스트림 디코더는 각각의 한 프레임의 시간이 지나면 한 프레임의 모든 디코딩된 데이타가 프레임 메모리에 저장되어있을 것이므로 디코딩 지연의 값을 한 프레임 인터벌로 고정해두는 것이다. 일단 디코딩 지연을 고정하면 재생 지연만을 고려하면 되는데, 재생 지연은 프레임 메모리에 있는 데이타가 디스플레이되기까지의 소요 시간이므로 이는 각각의 엘리멘터리 스트림마다는 당연히 다르겠지만 한 엘리멘터리 스트림내에서는 항상 동일한 값을 가질 수 있도록 시스템을 설계할 것이므로 각 재생 지연 시간은 이미 알수있는 값이 될수있다. 이것을 종합적으로 정리해보면 다음과같이 규정된다.One way to solve this problem is to make a reproduction pulse by adding the time of one frame interval to the decoding pulse. This means that all the elementary stream decoders are able to reproduce all of the one frame Since the decoded data will be stored in the frame memory, the value of the decoding delay is fixed to one frame interval. Once the decoding delay is fixed, only the reproduction delay is taken into consideration. Since the reproduction delay is the time required until the data in the frame memory is displayed, this is different for each elementary stream, but is always the same within one elementary stream We will design the system to have a value so that each playback delay time can be a known value. This can be summarized as follows.

디코딩 펄스 = (DTS 값 + 일정 지연시간)Decoding pulse = (DTS value + constant delay time)

재생 펄스 = (PTS 값 + 일정 지연시간 + 보정값)Playback pulse = (PTS value + constant delay time + correction value)

보정값 = ((최대 재생 지연시간 - 재생 지연시간) + 최대 프레임 인터벌))Correction value = ((maximum reproduction delay time - reproduction delay time) + maximum frame interval))

여기서 디코딩 펄스 및 재생 펄스는 각기 본 발명에 따라서 생성된 동기 펄스이며, 최대 프레임 인터벌은 프로그램을 구성하는 엘리멘터리 스트림중 한 프레임 인터벌이 제일 큰것에 해당하는 값이며, 최대 재생 지연시간은 각 엘리멘터리 스트림에 대한 재생 지연 시간중 제일 큰 지연 시간에 해당하는 값이며, DTS 값 및 PTS 값은 각기 트랜스포트 스트림으로부터 분리된 DTS 및 PTS의 값이다. 또한, 일정 지연 시간은 DTS 와 PTS 값에 더해지는 값으로 이 값은 인코더 시스템에서 생성될때 시스템 타겟 디코더에서 입력되는 시간을 고려하여 만들게 되므로 디코더 시스템에서는 DTS/PTS의 데이타를 디코딩하는데 소요되는 시간을 보정하기위한 값이다. 일반적으로 이 일정 지연값은 제로의 값으로 간주될수도있다.Here, the decoding pulse and the reproduction pulse are sync pulses generated according to the present invention, and the maximum frame interval is a value corresponding to the largest one frame interval among the elementary streams constituting the program, And the DTS value and the PTS value are the values of DTS and PTS separated from the transport stream, respectively. Also, since the predetermined delay time is a value added to the DTS and the PTS value, and this value is generated in consideration of the time input from the system target decoder when it is generated in the encoder system, the decoder system corrects the time required for decoding the data of the DTS / . In general, this constant delay value may be regarded as a value of zero.

이제, 도 3을 참조하면, 상술한 디코딩 및 재생 펄스를 발생하는 본 발명에 따른 오디오/비디오 스트림의 동기 구현을 위한 장치의 블록도가 도시된다. 본 발명의 동기화 장치는 DTS/PTS 추출기(30), 클록 복구 블록(32), 제 1 및 제 2 가산기(34) 및 (36), 제 1 및 제 2 비교기(38)및 (40)을 구비한다.Referring now to FIG. 3, a block diagram of an apparatus for synchronous implementation of an audio / video stream in accordance with the present invention for generating the above-described decoding and reproduction pulses is shown. The synchronizer of the present invention includes a DTS / PTS extractor 30, a clock recovery block 32, first and second adders 34 and 36, first and second comparators 38 and 40, do.

DTS/PTS 추출기(30)는 PES 헤더로부터 DTS 및 PTS 정보를 분리한다. DTS 정보는 제 1 가산기(34)로 제공되고, PTS 정보는 제 2 가산기(36)로 제공된다. 한편, 클럭 복구 블록(32)는 트랜스포트 헤더로부터 PCR 정보를 분리하여 분리된 PCR 정보를 제 1 및 제 2 선택기(38),(40)로 각기 제공된다.The DTS / PTS extractor 30 separates DTS and PTS information from the PES header. The DTS information is provided to the first adder 34 and the PTS information is provided to the second adder 36. [ On the other hand, the clock recovery block 32 separates the PCR information from the transport header and provides the separated PCR information to the first and second selectors 38 and 40, respectively.

제 1 가산기(34)는 DTS 값에 일정 지연시간을 가산하여 가산된 값을 제 1 비교기(38)로 출력한다.The first adder 34 adds a predetermined delay time to the DTS value and outputs the added value to the first comparator 38.

제 2 가산기(36)는 수신되는 PTS 값에 일정 지연시간과 보정값을 가산하여 가산된 값을 제 2 비교기(40)로 출력한다.The second adder 36 adds a predetermined delay time and a correction value to the received PTS value and outputs the added value to the second comparator 40.

제 1 비교기(38)는 클럭 복구 블록(32)으로부터의 PCR 정보가 나타내는 시간과 제 1 가산기(34)로부터의 가산된 DTS 값을 비교하여 PCR 의 값이 가산된 PTS 값에 도달하였을때 비디오 디코더(12)로하여금 디코딩을 시작하라는 디코딩 펄스(DTS_pulse_v)를 출력한다.The first comparator 38 compares the time indicated by the PCR information from the clock recovery block 32 with the added DTS value from the first adder 34 and when the PCR value reaches the added PTS value, (12) to output a decoding pulse (DTS_pulse_v) to start decoding.

마찬가지로, 제 2 비교기(40)는 클럭 복구 블록(32)으로부터의 PCR 정보가 나타내는 시간과 제 2 가산기(34)로부터의 가산된 PTS 값을 비교하여 PCR 의 값이 가산된 PTS 값에 도달하였을때 D/A 변환기(16)로 재생 펄스(PTS_pulse_v)를 출력함으로서, 디코더(12)에의해 디코드된 데이타 스트림을 모니터(18)에 디스플레이 되게한다.Similarly, the second comparator 40 compares the time indicated by the PCR information from the clock recovery block 32 with the added PTS value from the second adder 34, and when the value of the PCR reaches the PTS value added Outputting the reproduction pulse (PTS_pulse_v) to the D / A converter 16 causes the monitor 18 to display the decoded data stream by the decoder 12.

따라서, 시스템 타겟 디코더 모델과 실제의 디코더와의 다른 부분을 보상하여 지연을 동일하도록 한것이므로 디코더 시스템에서 동기를 맞출 수 있다.Therefore, the system target decoder model and the actual decoder are compensated for the same delay so that the decoder system can synchronize with each other.

상술한 본 발명의 동기화 장치를 이용하는 도 2a 및 도 2b에 도시된 비디오 및 오디오 디코더 시스템에 대하여 예를 들면, 비디오 및 오디오 디코더 시스템으로 제공되는 트랜스포트 스트림이 오디오/비디오의 두개의 스트림으로 구성된 경우, 오디오 프레임 재생 지연이 30msec, 비디오 재생 지연은 40msec, 오디오 프레임 인터벌은 24msec, 비디오 프레임 인터벌은 33.33msec 이라고 가정하면, 최대 프레임 인터벌은 33.33msec이고, 최대 재생 지연시간은 40msec 이므로 비디오 스트림에 대한 보정값은 33.33msec ((40msec - 40msec) + 33.33msec)) 가 되며, 오디오 스트림에 대한 보정값은 43.33msec ((40msec - 30msec) + 33.33msec))가 된다.With respect to the video and audio decoder system shown in Figs. 2A and 2B using the above-described synchronizing apparatus of the present invention, for example, when the transport stream provided by the video and audio decoder system is composed of two streams of audio / video , The audio frame reproduction delay is 30 msec, the video reproduction delay is 40 msec, the audio frame interval is 24 msec, and the video frame interval is 33.33 msec, the maximum frame interval is 33.33 msec and the maximum reproduction delay time is 40 msec. (40 msec-40 msec) + 33.33 msec), and the correction value for the audio stream is 43.33 msec ((40 msec-30 msec) + 33.33 msec).

따라서 비디오 스트림에 대하여 재생 펄스(PTS_pulse_v)는 수신되는 재생 PTS의 값(PTS_v)에 33.33msec의 값이 더해진 값으로 생성될 것이며, 오디오 신호에 대하여 재생 펄스(PTS_pulse_a)는 수신되는 오디오 PTS의 값(PTS_a)에 43.33msec의 값이 더해진 값으로 생성되므로 이 만큼에 해당하는 추가의 프레임 메모리가 필요할것이다. 그결과, 각각의 재생 펄스(PTS_pulse_v) 또는 (PTS_pulse_a)가 인가된후 재생 지연으로 인하여 비디오 신호는 40msec 뒤에 재생될 것이고, 오디오 신호는 30msec 뒤에 재생되기 때문에, 결국 처음에 수신되는 PTS 값인 PTS_v 와 PTS_a 의 값이 같았다면 이로부터 73.33 msec뒤에 오디오 및 비디오 신호가 동시에 재생될 것이다. 이것은 모든 엘리먼터리 스트림의 수신되는 PTS 값에 대하여 디코더 시스템의 각 엘리먼터리 스트림 디코더, 재생의 실제 지연 요소를 동일하게 하여 줌으로써 엘리먼터리 스트림간의 동기가 맞도록 재생할 수 있을것이다.Therefore, the reproduction pulse (PTS_pulse_v) for the video stream will be generated by adding a value of 33.33 msec to the value (PTS_v) of the received reproduction PTS, and the reproduction pulse (PTS_pulse_a) PTS_a) is added to the value of 43.33 msec. Therefore, an additional frame memory corresponding to this value will be needed. As a result, the video signal will be reproduced 40 msec later due to the reproduction delay after each reproduction pulse (PTS_pulse_v) or (PTS_pulse_a) is applied, and the audio signal is reproduced 30 msec later so that PTS_v and PTS_a The audio and video signals will be played back at the same time after 73.33 msec. This can be achieved by synchronizing the elementary streams with each other by making the actual delay elements of the respective elementary stream decoders and playback of the decoder system equal to the received PTS values of all the elementary streams.

이상 설명한 바와같이, MPEG 시스템에서 규정하는 PCR/PTS/DTS 데이타 포맷에 맞도록 유효한 값이 디코더 시스템으로 제공되는 경우에 이 값을 이용하여 디코더 시스템에서 오디오와 비디오의 동기가 맞도록 복호화하는 장치가 구현될수있다.As described above, when a valid value is provided to the decoder system in conformity with the PCR / PTS / DTS data format defined by the MPEG system, a device for decoding the audio and video data in the decoder system using this value Can be implemented.

Claims (3)

일련의 트랜스포트 패킷으로 구성된 트랜스포트 스트림을 디코딩하고 디코딩된 비디오 및 오디오 엘리멘터리 스트림을 재생하는 디코더 시스템에서 사용하기위한 비디오 및 오디오 스트림간의 동기화 장치에 있어서,A synchronization apparatus for a video and audio stream for use in a decoder system for decoding a transport stream composed of a series of transport packets and for reproducing a decoded video and audio elementary stream, 상기 트랜스포트 스트림의 PES 헤더로부터 DTS 및 PTS를 추출하는 수단;Means for extracting a DTS and a PTS from a PES header of the transport stream; 상기 트랜스포트 스트림의 트랜스포트 헤더로부터 PCR을 생성하는 수단;Means for generating a PCR from a transport header of the transport stream; 상기 추출 수단에 의해 추출된 DTS에 기설정된 지연시간을 가산하여상기 엘리멘터리 스트림의 디코딩 시점을 지시하는 디코딩 펄스를 생성하는 가산기;An adder for adding a predetermined delay time to the DTS extracted by the extracting means to generate a decoding pulse indicating a decoding time point of the elementary stream; 상기 추출 수단에 의해 추출된 PTS에 상기 기설정된 지연시간과 보정시간을 가산하여 상기 트랜스포트 스트림의 재생 시점을 지시하는 재생(PTS) 펄스를 생성하는 제 2 가산기를 구비하며;And a second adder for generating a reproduction (PTS) pulse indicating the reproduction time point of the transport stream by adding the predetermined delay time and the correction time to the PTS extracted by the extraction means; 상기 기설정된 지연시간은 한 프레임 인터벌의 시간이고, 상기 보정 시간은 ((최대 재생 지연시간 - 엘리멘터리 스트림의 재생 지연 시간) + 최대 프레임 인터벌))인것을 특징으로하는 디코더 시스템의 비디오/오디오 동기화 장치.Wherein the predetermined delay time is a time of one frame interval and the correction time is ((maximum reproduction delay time - elementary stream reproduction delay time) + maximum frame interval)). Synchronization device. 제 1 항에 있어서, 상기 장치는:2. The apparatus of claim 1, wherein the apparatus comprises: 상기 PCR가 나타내는 시간과 상기 제 1 가산기에 의해 가산된 DTS 값을 비교하여 PCR 의 값이 상기 가산된 DTS 값에 도달하였을때 상기 디코더 시스템으로 상기 디코딩 펄스를 출력하는 제 1 비교기;A first comparator for comparing the time indicated by the PCR with the DTS value added by the first adder and outputting the decoding pulse to the decoder system when the PCR value reaches the added DTS value; 상기 PCR 가 나타내는 시간과 상기 제 2 가산기에 의해 가산된 PTS 값을 비교하여 상기 PCR 의 값이 상기 가산된 PTS 값에 도달하였을때 상기 디코더 시스템으로 상기 재생 펄스를 출력하는 제 2 비교기를 더 구비하는 것을 특징으로 하는 디코더 시스템의 비디오/오디오 동기화 장치.And a second comparator for comparing the time indicated by the PCR with the PTS value added by the second adder and outputting the reproduction pulse to the decoder system when the value of the PCR reaches the added PTS value Wherein the video / audio synchronizer of the decoder system is a video / audio synchronizer of a decoder system. 제 1 항에 있어서, 상기 기설정된 지연시간은 상기 디코더 시스템에서 상기 DTS 및 PTS를 디코딩하는데 소요되는 시간을 보상하기위한 값인 것을 특징으로 하는 디코더 시스템의 비디오/오디오 동기화 장치.The apparatus of claim 1, wherein the predetermined delay time is a value for compensating a time required for decoding the DTS and the PTS in the decoder system.