KR20050000596A - 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법 - Google Patents

비디오 트랜스포트 스트림 동기화 제어 장치 및 방법 Download PDF

Info

Publication number
KR20050000596A
KR20050000596A KR1020030041054A KR20030041054A KR20050000596A KR 20050000596 A KR20050000596 A KR 20050000596A KR 1020030041054 A KR1020030041054 A KR 1020030041054A KR 20030041054 A KR20030041054 A KR 20030041054A KR 20050000596 A KR20050000596 A KR 20050000596A
Authority
KR
South Korea
Prior art keywords
frame
display
display time
value
video
Prior art date
Application number
KR1020030041054A
Other languages
English (en)
Other versions
KR100619007B1 (ko
Inventor
정춘식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020030041054A priority Critical patent/KR100619007B1/ko
Priority to US10/874,548 priority patent/US20040264577A1/en
Publication of KR20050000596A publication Critical patent/KR20050000596A/ko
Application granted granted Critical
Publication of KR100619007B1 publication Critical patent/KR100619007B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/42615—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific demultiplexing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 트랜스포트 스트림 복호화 시스템 및 방법에 관한 것으로, 본 발명에 따른 비디오 트랜스포트 스트림 동기화 제어 장치는 소정의 프레임에 대한 특성값인 프레임 특성값과 프레임 특성값 측면에서의 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 1 임계값을 비교하는 프레임 특성값/제 1 임계값 비교부; 및 프레임 특성값/제 1 임계값 비교부에서 비교된 결과, 프레임 특성값이 제 1 임계값보다 작으면, 프레임을 부호화한 부호화 시스템의 기준 클록을 기준으로 동기된 클록인 시스템 타임 클록으로부터 프레임을 표시하는 기준 시각인 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 프레임에 대한 표시 스킵 명령 또는 이 프레임에 대한 표시 반복 명령을 전송하는 프레임 표시 제어부를 포함하며, 부호화된 비디오 데이터의 입력 비율과 디스플레이 장치에 의한 복호화된 비디오 데이터의 출력 비율이 다른 경우 또는 시스템 클록 지터가 발생하는 경우에도, 움직임이 적은 연속 프레임에 대해서만 프레임의 스킵/반복을 수행함으로서, 자연스러운 영상이 표시된다는 효과가 있다.

Description

비디오 트랜스포트 스트림 동기화 제어 장치 및 방법 {Apparatus and method for controlling synchronization of video transport stream}
본 발명은 비디오 트랜스포트 스트림 복호화 시스템 및 방법에 관한 것이다.
도 1은 종래의 비디오 트랜스포트 스트림 복호화 시스템의 구성도이다.
도 1을 참조하면, 종래의 비디오 트랜스포트 스트림 복호화 시스템은 역다중화기(11), 시스템 타임 클록 생성기(12), 제 1 비교기(13), 제 2 비교기(14), 비디오 복호화기 버퍼(15), 비디오 복호화기(16), 프레임 버퍼(17), 및 비디오 표시기(18)로 구성된다.
역다중화기(11)는 트랜스포트 스트림(TS, Transport Stream)을 수신하고, 수신된 트랜스포트 스트림을 복수개의 프로그램으로 분리하고, 비디오 동기화 파라미터를 추출한다. 시스템 타임 클록 생성기(12)는 비디오 동기화 파라미터 중 하나인 PCR(Program Clock Reference)를 사용하여 시스템 타임 클록(STC, System Time Clock)을 생성한다. 제 1 비교기(13)는 시스템 타임 클록과 비디오 동기화 파라미터 중 하나인 복호화 타임 스탬프(DTS, Decoding Time Stamp)를 비교하여 복호화를 제어하는 신호를 전송한다. 제 2 비교기(14)는 시스템 타임 클록과 비디오 동기화 파라미터 중 하나인 표시 타임 스탬프(PTS, Presentation Time Stamp)를 비교하여 표시를 제어하는 신호를 전송한다. 비디오 복호화기 버퍼(15)는 부호화된 비디오 데이터를 저장한다. 비디오 복호화기(16)는 비디오 복호화기 버퍼(15)에 저장된 데이터를 입력받아 복호화하여 프레임 영상을 생성해낸다. 프레임 버퍼(17)는 복호화된 프레임 데이터를 저장한다. 비디오 표시기(18)는 프레임 버퍼(17)에 저장된 데이터를 표시한다.
종래 기술에 의하면, 입력되는 비디오 프레임의 복호화 타임 스탬프 및 표시 타임 스탬프라는 정보를 이용하여 오디오 등에 대한 비디오 동기화를 수행하였다.또한, 종래 기술에 의하면, 부호화된 비디오 데이터의 입력 비율과 디스플레이 장치에 의한 복호화된 비디오 데이터의 출력 비율이 다른 경우 또는 시스템 클록 지터(jitter)가 발생하는 경우, 비디오 프레임의 동기를 맞추기 위해서 일정한 시간 간격마다 프레임의 스킵/반복을 수행하였다. 이때, 단순히 시스템 타임 클록과 표시 타임 스탬프의 차이값만을 기초로 하여 프레임을 스킵/반복하므로, 움직임이 심한 연속된 프레임의 경우, 자연스러운 영상이 표시되기 위해서는 모든 프레임이 일정 시간 간격마다 표시되어야 하는데, 일부 프레임이 스킵되거나, 일부 프레임이 일정 시간 이상 반복됨으로서, 부자연스러운 영상이 표시된다는 문제점이 있었다.
본 발명이 이루고자 하는 기술적 과제는 부호화된 비디오 데이터의 입력 비율과 디스플레이 장치에 의한 복호화된 비디오 데이터의 출력 비율이 다른 경우 또는 시스템 클록 지터가 발생하는 경우에도 자연스러운 영상이 표시되도록 하는 장치 및 방법을 제공하고, 이러한 장치에 사용되는 비디오 동기화 제어 장치 및 방법을 제공하는데 있다.
도 1은 종래의 비디오 트랜스포트 스트림 복호화 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 트랜스포트 스트림 복호화 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 비디오 트랜스포트 스트림 동기화 제어 장치의 구성도이다.
도 4는 도 3에 도시된 프레임 표시 제어부의 상세 구성도이다.
도 5는 본 발명의 일 실시예에 따른 비디오 트랜스포트 스트림 복호화 방법의 흐름도이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 비디오 트랜스포트 스트림 동기화 제어 방법의 흐름도이다.
도 7은 도 6에 도시된 616 단계의 상세 흐름도이다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 비디오 트랜스포트 스트림 동기화 제어 장치는 소정의 프레임에 대한 특성값인 프레임 특성값과 상기 프레임 특성값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 1 임계값을 비교하는 프레임 특성값/제 1 임계값 비교부; 및 상기 프레임 특성값/제 1 임계값 비교부에서 비교된 결과, 상기 프레임 특성값이 상기 제 1 임계값보다작으면, 상기 프레임을 부호화한 부호화 시스템의 기준 클록을 기준으로 동기된 클록인 시스템 타임 클록으로부터 상기 프레임을 표시하는 기준 시각인 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 상기 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복 명령을 전송하는 프레임 표시 제어부를 포함한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 비디오 트랜스포트 스트림 복호화 시스템은 소정의 프레임에 대한 데이터 스트림이 포함된 트랜스포트 스트림을 수신하고, 상기 수신된 트랜스포트 스트림으로부터 비디오 트랜스포트 스트림을 분리하고, 상기 분리된 비디오 트랜스포트 스트림을 전송하는 역다중화기; 상기 역다중화기에서 전송된 비디오 트랜스포트 스트림을 수신하고, 상기 수신된 비디오 트랜스포트 스트림으로부터 상기 프레임을 표시하는 기준 시각인 표시 타임 스탬프 및 상기 프레임에 대한 부호화 값인 비디오 기본 스트림을 추출하고, 상기 프레임에 대한 특성값인 프레임 특성값과 상기 프레임 특성값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 1 임계값을 비교하고, 상기 비교된 결과, 상기 프레임 특성값이 상기 제 1 임계값보다 작으면, 상기 프레임을 부호화한 부호화 시스템의 기준 클록을 기준으로 동기된 클록인 시스템 타임 클록으로부터 상기 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 상기 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복 명령을 전송하는 비디오 트랜스포트 스트림 동기화 제어 장치; 및 상기 비디오 트랜스포트 스트림 동기화 제어 장치에서 전송된 표시 스킵 명령 또는 표시 반복 명령에 따라 상기 비디오 기본 스트림을 복호화하는 비디오 복호화기를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 비디오 트랜스포트 스트림 동기화 제어 방법은 (a) 소정의 프레임에 대한 특성값인 프레임 특성값과 상기 프레임 특성값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 1 임계값을 비교하는 단계; 및 (b) 상기 (a) 단계에서 비교된 결과, 상기 프레임 특성값이 상기 제 1 임계값보다 작으면, 상기 프레임을 부호화한 부호화 시스템의 기준 클록을 기준으로 동기된 클록인 시스템 타임 클록으로부터 상기 프레임을 표시하는 기준 시각인 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 상기 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복 명령을 전송하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 비디오 트랜스포트 스트림 복호화 방법은 (a) 소정의 프레임에 대한 데이터 스트림이 포함된 트랜스포트 스트림을 수신하고, 상기 수신된 트랜스포트 스트림으로부터 비디오 트랜스포트 스트림을 분리하고, 상기 분리된 비디오 트랜스포트 스트림을 전송하는 단계; (b) 상기 (a) 단계에서 전송된 비디오 트랜스포트 스트림을 수신하고, 상기 수신된 비디오 트랜스포트 스트림으로부터 상기 프레임을 표시하는 기준 시각인 표시 타임 스탬프 및 상기 프레임에 대한 부호화 값인 비디오 기본 스트림을 추출하고, 상기 프레임에 대한 특성값인 프레임 특성값과 상기 프레임 특성값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 1 임계값을 비교하고, 상기 비교된 결과, 상기 프레임 특성값이 상기 제 1 임계값보다 작으면, 상기 프레임을 부호화한 부호화 시스템의 기준 클록을 기준으로 동기된 클록인 시스템 타임 클록으로부터 상기 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 상기 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복 명령을 전송하는 단계; 및 (c) 상기 (b) 단계에서 전송된 표시 스킵 명령 또는 표시 반복 명령에 따라 상기 비디오 기본 스트림을 복호화하는 단계를 포함한다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.
도 1은 종래의 비디오 트랜스포트 스트림 복호화 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 트랜스포트 스트림 복호화 시스템의 구성도이다.
도 2를 참조하면, 비디오 트랜스포트 스트림 복호화 시스템은 역다중화기(21), 비디오 트랜스포트 스트림 동기화 제어 장치(22), 시스템 타임 클록 생성기(23), 비디오 복호화기 버퍼(24), 비디오 복호화기(25), 프레임 버퍼(26), 및 비디오 표시기(27)로 구성된다.
역다중화기(21)는 소정의 프레임에 대한 데이터 스트림이 포함된 트랜스포트 스트림(TS, Transport Stream)을 수신하고, 수신된 트랜스포트 스트림으로부터 비디오 트랜스포트 스트림을 분리하고, 분리된 비디오 트랜스포트 스트림을 전송한다. MPEG(Motion Picture Experts Group) 2 표준에 따르면, 데이터 스트림에는 하나의 프로그램으로 구성된 프로그램 스트림(PS, Program Stream)과 복수의 프로그램으로 구성된 트랜스포트 스트림이 있다. 트랜스포트 스트림은 비디오 데이터, 오디오 데이터 등이 패킷화된 기본 스트림(PES, Packetized Elementary Stream)을 다중화(multiplexing)한 것이다. 부호화 시스템은 트랜스포트 스트림으로 다중화(multiplexing)되기 전에, PES에 각 프로그램의 식별 정보와 복호화 시스템과의 동기 시간 정보를 포함시킨다. MPEG 2 표준에 따르면, 상기된 각 프로그램의 식별 정보를 PID(Packet Identifier)라 하며, 이것은 한 프로그램의 기본 스트림마다 고유한 정수 값을 갖는다. 역다중화기(21)는 PES에 포함된 PID를 이용하여, 트랜스포트 스트림으로부터 비디오 트랜스포트 스트림만을 분리해낸다.
또한, 비디오 트랜스포트 스트림 동기화 제어 장치(22)는 수신된 비디오 트랜스포트 스트림으로부터 부호화 시스템의 기준 클록을 추출하고, 추출된 부호화 시스템의 기준 클록을 전송한다. MPEG 표준에 따르면, 부호화 시스템의 기준 클록을 PCR(Program Clock Reference)로 명명하고 있으며, 이것은 복호화 시스템의 클록을 부호화 시스템에서 의도한 값으로 설정하기 위한 정보이다.
시스템 타임 클록 생성기(23)는 비디오 트랜스포트 스트림 동기화 제어 장치(22)에서 전송된 부호화 시스템의 기준 클록을 수신하고, 수신된 부호화 시스템의 기준 클록을 기준으로 비디오 트랜스포트 스트림 복호화 시스템의 클록을 동기화하여, 시스템 타임 클록(STC, System Time Clock)을 생성한다.
비디오 트랜스포트 스트림 동기화 제어 장치(22)는 역다중화기(21)에서 전송된 비디오 트랜스포트 스트림을 수신하고, 수신된 비디오 트랜스포트 스트림으로부터 프레임을 표시하는 기준 시각인 표시 타임 스탬프(PTS, Presentation Time Stamp) 및 프레임에 대한 부호화 값인 비디오 기본 스트림(ES, Elementary Stream)을 추출한다. 표시 타임 스탬프는 복호화 시스템과의 동기 시간 정보의 일종으로서, 프레임 표시 과정에서의 시각 관리 정보이고, 기본 스트림은 부호화된 비디오, 부호화된 오디오, 또는 다른 종류의 부호화된 비트 스트림 중 어느 하나를 말한다. 비디오 신호의 경우, 부호화 및 복호화에 소요되는 시간이 오디오 신호에 비해 매우 크다. 따라서, 복호화 시스템에서 비디오와 오디오가 일치하지 않는 현상, 즉 립싱크(lip sync) 불일치 현상이 발생하는데, 이것을 해결하기 위해 비디오 신호, 오디오 신호를 복호화한 후 표시할 시각을 지정해 주는 정보인 표시 타임 스탬프가 필요하다. 복호화 시스템은 시스템 타임 클록 생성기(23)에서 생성된 시스템 타임 클록과 표시 타임 스탬프가 일치할 때, 프레임을 표시한다. 복호화 시스템과의 동기 시간 정보로서 복호 타임 스탬프(DTS, Decoding Time Stamp)가 있는데, 이것은 MPEG의 경우 비디오의 부호화 비트 스트림의 송출 순서가 특별하기 때문에 필요하다. 즉, I 픽처와 P 픽처가 B 픽처보다 선행해서 송출되어야 하기 때문에 복호 순서와 표시 순서가 다를 수 있는데, 표시 타임 스탬프와 복호 타임 스탬프가 다른 경우에는 둘을 연이어서 송출하고, 같은 경우에는 표시 타임 스탬프만을 송출한다.
또한, 비디오 트랜스포트 스트림 동기화 제어 장치(22)는 프레임에 대한 특성값인 프레임 특성값과 프레임 특성값 측면에서의 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 1 임계값을 비교하고, 비교된 결과, 프레임 특성값이 제 1 임계값보다 작으면, 프레임을 부호화한 부호화 시스템의 기준 클록을 기준으로 동기된 클록인 시스템 타임 클록으로부터 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복명령을 전송한다. 특성값의 일례로 어떤 프레임의 직전 프레임을 기준으로 한 이 프레임의 움직임 크기값을 들 수 있다. 이러한 움직임 크기값은 프레임의 각 매크로블록에 대한 움직임 벡터의 합이 될 수도 있고, 프레임의 인트라 부호화(intra coding)된 매크로블록의 수가 될 수도 있고, 프레임의 각 매크로블록에 대한 움직임 벡터의 합과 프레임의 인트라 부호화된 매크로블록의 수의 합이 될 수도 있다. 움직임 벡터는 두 프레임간의 대응 매크로블록에서의 동일 물체의 움직임 크기 및 방향을 나타내는 값이므로, 프레임의 각 매크로블록에 대한 움직임 벡터의 합은 프레임간의 움직임의 척도가 될 수 있다. 움직임 벡터 등을 사용하여 두 프레임간의 대응 매크로블록의 변화된 부분만을 부호화하는 인터 부호화(inter coding)와는 달리, 인트라 부호화는 두 프레임간의 대응 매크로블록의 움직임이 매우 커, 매크로블록 전체를 부호화하고 복호화하는 것이 효율적인 경우에 행해지는 부호화 방식이다. 따라서, 프레임의 인트라 부호화된 매크로블록의 수는 프레임간의 움직임의 척도가 될 수 있다. 프레임의 각 매크로블록에 대한 움직임 벡터의 합과 프레임의 인트라 부호화된 매크로블록의 수의 합은 더욱 정확한 프레임간의 움직임 정도를 알 수 있다.
제 1 임계값은 프레임 특성값 측면에서의 프레임에 대한 표시 스킵 및 표시 반복의 임계값을 말하는데, 이것은 프레임 특성값에 대한 정의 방식에 따라 결정된다. 일반적으로 프레임의 각 매크로블록에 대한 움직임 벡터의 합이 프레임의 인트라 부호화된 매크로블록의 수보다 크므로, 프레임 특성값을 프레임의 인트라 부호화된 매크로블록의 수로 한 경우보다 프레임의 각 매크로블록에 대한 움직임 벡터의 합으로 한 경우가 제 1 임계값의 크기를 더 크게 설정하여야 할 것이다. 프레임 특성값을 양자의 합으로 한 경우에 제 1 임계값의 크기를 가장 크게 설정하여야 할 것이다.
프레임 특성값이 제 1 임계값보다 작지 않으면, 해당 프레임이 직전 프레임에 비해 움직임이 너무 크기 때문에 해당 프레임을 스킵하거나, 해당 프레임을 반복할 경우, 부자연스런 동영상이 표시되게 된다. 따라서, 프레임 특성값이 제 1 임계값보다 작지 않으면, 해당 프레임에 대한 표시 스킵 및 표시 반복을 생략하는 것이 자연스런 동영상을 표시하는 데에 적절하다. 제 1 임계값은 복호화 시스템 설계자가 프레임 특성값에 대한 정의 방식, 디스플레이 장치의 특성 등을 고려하여 적당한 값으로 설정하여야 할 것이다. 프레임 특성값이 제 1 임계값보다 작으면, 비로소 해당 프레임에 대한 표시 스킵 및 표시 반복을 수행하게 된다.
어떠한 경우에 표시 스킵 명령이 전송되는지, 또는 표시 반복 명령이 전송되는지에 관하여 보다 상세히 설명하면 다음과 같다. 비디오 트랜스포트 스트림 동기화 제어 장치(22)는 프레임 특성값이 제 1 임계값보다 작으면, 시스템 타임 클록으로부터 표시 타임 스탬프를 감산하여, 표시 시각 차이값을 산출한다. 상기한 바에 의하면, 표시 타임 스탬프와 시스템 타임 클록이 일치할 때, 즉 표시 시각 차이값이 0 일 때 해당 프레임을 표시한다.
또한, 비디오 트랜스포트 스트림 동기화 제어 장치(22)는 산출된 표시 시각 차이값과 표시 시각 차이값 측면에서의 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 2 임계 값을 비교하고, 비교된 결과, 표시 시각 차이값이 제 2 임계값보다 크면, 프레임에 대한 표시 스킵 명령을 전송하고, 표시 시각 차이값이 제 2 임계값의 음의 값보다 작으면, 프레임에 대한 표시 반복 명령을 전송한다. 제 2 임계값은 비디오 동기화의 정확도에 따라 결정된다. 즉, 비디오 동기화의 정확도가 높은 경우에는 보다 정밀하게 동기화가 이루어져야 하는 경우이므로 제 2 임계값은 작게 설정되어야 하고, 비디오 동기화의 정확도가 낮은 경우에는 덜 정밀하게 동기화가 이루어져도 무관한 경우이므로 제 2 임계값은 크게 설정되어야 한다.
표시 시각 차이값이 제 2 임계값보다 큰 경우는 비디오보다 오디오가 앞서 재생되는 경우이므로, 프레임에 대한 표시 스킵 명령을 전송하여 새로운 프레임이 빨리 표시될 수 있도록 하고, 표시 시각 차이값이 제 2 임계값의 음의 값보다 작은 경우는 오디오보다 비디오가 앞서 재생되는 경우이므로, 프레임에 대한 표시 반복 명령을 전송하여 새로운 프레임에 대한 표시를 지연시킨다.
비디오 복호화기(25)는 비디오 트랜스포트 스트림 동기화 제어 장치(22)에서 전송된 표시 스킵 명령 또는 표시 반복 명령에 따라 비디오 기본 스트림을 복호화한다. 즉, 비디오 복호화기(25)는 비디오 트랜스포트 스트림 동기화 제어 장치(22)에서 전송된 표시 스킵 명령 또는 표시 반복 명령을 수신하고, 표시 스킵 명령을 수신한 경우에는 프레임에 대한 복호를 스킵하고, 표시 반복 명령을 수신한 경우에는 프레임에 대한 복호를 반복한다. 표시 스킵 명령을 수신한 경우는 해당 프레임을 표시할 필요가 없는 경우, 즉 비디오보다 오디오가 앞서 재생되는 경우이므로 해당 프레임에 대한 비디오 기본 스트림을 복호화하지 않고, 바로 새로운 프레임에 대한 비디오 기본 스트림을 복호화하여 표시 시각 차이값을 줄인다. 표시 반복 명령을 수신한 경우는 해당 프레임을 계속 표시하는 경우이므로, 즉 오디오가 비디오보다 앞서 재생되는 경우이므로 해당 프레임을 복호화하고, 이후 새로운 프레임에 대한 비디오 기본 스트림을 복호화하지 않고, 표시 시각 차이값이 제 2 임계값의 음의 값보다 작지 않을 때까지 그 상태를 유지한다.
비디오 트랜스포트 스트림 동기화 제어 장치(22)는 추출된 비디오 기본 스트림을 전송하고, 비디오 복호화기 버퍼(24)는 비디오 트랜스포트 스트림 동기화 제어 장치(22)에서 전송된 비디오 기본 스트림을 저장한다. 비디오 복호화기 버퍼(24)는 비디오 복호화기(25)에서 원활한 복호화가 진행될 수 있도록 하기 위해서 미리 비디오 기본 스트림을 저장해놓는다. 비디오 복호화기(25)는 필요할 때마다 비디오 복호화기 버퍼(24)로부터 비디오 기본 스트림을 독출하여 복호화한다.
비디오 복호화기(25)는 비디오 복호화기 버퍼(24)에 저장된 비디오 기본 스트림을 프레임으로 복호화하고, 복호화된 프레임으로부터 프레임 특성값을 추출하고, 추출된 프레임 특성값을 전송한다. 비디오 트랜스포트 스트림 동기화 제어 장치(22)는 비디오 복호화기(25)에서 전송된 프레임 특성값과 제 1 임계값을 비교한다. 프레임 버퍼(26)는 비디오 복호화기에서 복호화된 프레임을 저장한다. 비디오 표시기(27)는 프레임 버퍼(26)에 저장된 프레임을 표시한다.
도 3은 본 발명의 일 실시예에 따른 비디오 트랜스포트 스트림 동기화 제어 장치의 구성도이다.
도 3을 참조하면, 비디오 트랜스포트 스트림 수신부(301), 프레임 데이터 추출부(302), 표시 타임 스탬프/기록 포인터 전송부(303), 복호화 시작 신호수신부(304), 기록 포인터/독출 포인터 수신부(305), 기록 포인터/독출 포인터 비교부(306), 표시 타임 스탬프/복호화 프레임 포인터 수신부(307), 표시 타임 스탬프 전송부(308), 표시 시작 신호 수신부(309), 표시 프레임 포인터/프레임 특성값 수신부(310), 프레임 특성값/제 1 임계값 비교부(311), 및 프레임 표시 제어부(312)로 구성된다.
비디오 트랜스포트 스트림 수신부(301)는 트랜스포트 스트림으로부터 상기 비디오 트랜스포트 스트림을 분리하는 역다중화기(21)로부터 비디오 트랜스포트 스트림을 수신한다. 프레임 데이터 추출부(302)는 비디오 트랜스포트 스트림 수신부(301)에 수신된 비디오 트랜스포트 스트림으로부터 표시 타임 스탬프 및 프레임에 대한 부호화 값인 비디오 기본 스트림을 추출한다.
표시 타임 스탬프/기록 포인터 전송부(303)는 프레임 데이터 추출부(302)에서 추출된 표시 타임 스탬프를 표시 타임 스탬프 버퍼(31)의 제 1 기억 장소로 전송하고, 프레임 데이터 추출부(302)에서 추출된 비디오 기본 스트림을 비디오 복호화기 버퍼(24)의 제 1 기억 장소로 전송하고, 비디오 복호화기 버퍼(24)의 제 1 기억 장소의 위치를 지시하는 기록 포인터(write pointer)를 표시 타임 스탬프 버퍼(31)의 제 1 기억 장소와 서로 대응되는 표시 타임 스탬프 버퍼(31)의 제 2 기억 장소로 전송한다. 일반적으로, 복호화 시스템은 복호화기 전단에 버퍼를 두고 있다. 이러한 복호화기 버퍼는 복호화기가 데이터를 복호화할 때, 복호화될 데이터가 부족(underflow) 또는 과도(overflow)하게 되는 현상을 방지하는 역할을 한다. MPEG 2의 경우, TV 방송, 유무선 통신 등 광범위한 분야에 적용되기 때문에 트랜스포트 스트림의 전송률이 일정하지 않을 수 있다. 따라서, 일정치 않은 전송률을 보상하기 위해서 복호화기 전단에 버퍼를 둔다. 복호화될 데이터의 부족 또는 과도 현상을 방지하기 위해서, 본 발명에서는 비디오 복호화기 버퍼(24)에 기록된 장소를 지시하는 기록 포인터와 비디오 복호화기 버퍼(24)로부터 독출될 장소를 지시하는 독출 포인터(read pointer)를 도입한다. 비디오 복호화기 버퍼(24)에 프레임은 입력된 순서대로 기록되고, 이후 기록된 순서대로 독출되므로, 기록 포인터를 독출 포인터 이하로 맞추게 되면, 복호화될 데이터의 부족 또는 과도 현상에 대응할 수 있게 된다. 표시 타임 스탬프 버퍼(31)는 어떤 프레임에 대한 표시 타임 스탬프와 이 프레임이 저장된 장소의 위치를 지시하는 기록 포인터를 일시적으로 저장하는 버퍼의 일종이다. 표시 타임 스탬프 버퍼(31)는 독출 포인터에 비교될 기록 포인터를 저장하고, 이 기록 포인터에 해당하는 표시 타임 스탬프를 저장하는 역할을 한다.
복호화 시작 신호 수신부(304)는 비디오 복호화기(25)로부터 어떤 프레임에 대한 복호화 시작을 알리는 신호인 복호화 시작 신호(deciding start signal)를 수신한다. 일반적으로, 이 복호화 시작 신호는 복호화기가 이전 프레임의 복호화를 처리한 경우, 다음 프레임의 복호화를 시작하겠다는 의미로서 인터럽트로서 보낸다.
기록 포인터/독출 포인터 수신부(305)는 복호화 시작 신호 수신부(304)에 복호화 시작 신호가 수신되면, 표시 타임 스탬프 버퍼(31)의 제 3 기억 장소로부터 비디오 복호화기 버퍼(24)의 제 2 기억 장소의 위치를 지시하는 기록 포인터를 수신하고, 비디오 복호화기 버퍼(24)로부터 복호화 시작 신호가 수신된 시점의 독출 기억 장소인 비디오 복호화기 버퍼의 제 1 기억 장소의 위치를 지시하는 독출 포인터를 수신한다. 즉, 기록 포인터/독출 포인터 수신부(305)는 복호화 시작 신호 수신부(304)에 복호화 시작 신호가 수신되면, 그 순간에 표시 타임 스탬프 버퍼(31)에 저장된 프레임이 저장된 장소의 위치를 지시하는 기록 포인터와 그 순간에 표시 타임 스탬프 버퍼(31)로부터 독출될 장소의 위치를 지시하는 독출 포인터를 수신한다.
기록 포인터/독출 포인터 비교부(306)는 기록 포인터/독출 포인터 수신부(035)에 수신된 기록 포인터와 독출 포인터를 비교한다.
표시 타임 스탬프/복호화 프레임 포인터 수신부(307)는 기록 포인터/독출 포인터 비교부(306)에서 비교된 결과, 기록 포인터가 독출 포인터 이하인 경우, 표시 타임 스탬프/기록 포인터 전송부(303)에서 전송된 표시 타임 스탬프가 기록된 표시 타임 스탬프 버퍼(31)의 제 1 기억 장소로부터 표시 타임 스탬프를 수신한다. 이때 수신된 표시 타임 스탬프는 데이터의 전송률을 고려하여 복호화하기로 결정된 프레임의 표시 타임 스탬프이다. 또한, 표시 타임 스탬프/복호화 프레임 포인터 수신부(307)는 비디오 복호화기(25)로부터 표시 타임 스탬프 레지스터(32)의 제 1 기억 장소의 위치를 지시하는 복호화 프레임 포인터(decoding frame pointer)를 수신한다. 표시 타임 스탬프 레지스터(32)는 복호화될 프레임의 표시 타임 스탬프 및 표시될 프레임의 표시 타임 스탬프를 저장하고 있다. 이것은 복호화 과정과 표시 과정이 원활하게 진행될 수 있도록, 복호화기의 출력과 표시기의 입력을 조절하는역할을 한다. 또한, 이것은 I 피처, P 픽처, B 픽처에 따라 프레임의 순서를 재배열하는 역할을 한다. 표시 타임 스탬프 레지스터(32)의 기억 장소의 위치를 지시하는 포인터로서, 복호화 프레임 포인터와 표시 프레임 포인터(display frame pointer)가 있는데, 복호화 프레임 포인터는 복호화될 프레임의 기억 장소의 위치를 지시하고, 표시 프레임 포인터는 표시될 프레임의 기억 장소의 위치를 지시한다.
표시 타임 스탬프 전송부(308)는 표시 타임 스탬프/복호화 프레임 포인터 수신부(309)에 수신된 표시 타임 스탬프를 표시 타임 스탬프/복호화 프레임 포인터 수신부(309)에 수신된 복호화 프레임 포인터가 지시하는 표시 타임 스탬프 레지스터(32)의 제 1 기억 장소로 전송한다. 표시 타임 스탬프 레지스터(32)는 전송된 표시 타임 스탬프를 수신하고, 수신된 표시 타임 스탬프를 복호화 프레임 포인터가 지시하는 제 1 기억 장소에 저장한다.
표시 시작 신호 수신부(309)는 비디오 복호화기(25)로부터 프레임에 대한 표시 시작을 알리는 표시 시작 신호를 수신한다.
표시 프레임 포인터/프레임 특성값 수신부(310)는 표시 시작 신호 수신부(309)에 표시 시작 신호가 수신되면, 비디오 복호화기(25)로부터 표시 타임 스탬프 레지스터의 제 1 기억 장소의 위치를 지시하는 표시 프레임 포인터를 수신하고, 비디오 복호화기(25)로부터 수신된 표시 프레임 포인터가 지시하는 표시 타임 스탬프 레지스터(32)의 제 1 기억 장소에 저장된 표시 타임 스탬프를 갖는 프레임에 대한 프레임 특성값을 수신한다. 도시된 바에 의하면, 표시 타임 스탬프 레지스터(32)는 세 개의 기억 장소를 가지고 있고, 복호화 프레임 포인터는 상단의 기억 장소를 가리키고 있고, 표시 프레임 포인터는 하단의 기억 장소를 가리키고 있다. 어떤 프레임을 복호화하여 표시한 경우, 표시된 프레임의 표시 타임 스탬프는 삭제되고, 아직 복호화되지 않은 프레임의 표시 타임 스탬프가 새롭게 저장된다. 따라서, 표시 타임 스탬프 레지스터(32)의 제 1 기억 장소에 저장된, 어떤 프레임의 표시 타임 스탬프는 다른 프레임의 복호화 및 표시 처리에 따라 복호화 대상에서 표시 대상으로 변동되게 된다. 또한, 도시된 바에 의하면, 복호화 과정과 표시 과정간에 여유 있게 진행되도록 하기 위하여, 복호화 프레임 포인터와 표시 프레임 포인터간에 세 프레임 차이가 나면, 표시 프레임 포인터가 지시하는 위치에 저장된 표시 타임 스탬프를 이용하여 해당 프레임을 표시하도록 하였다. 상기한 바에 따르면, 복호화 프레임 포인터와 표시 프레임 포인터는 모두 제 1 기억 장소를 지시하나, 복호화 단계와 표시 단계를 구별되도록 하기 위해, 가상적으로 다른 기억 장소를 지시하는 것으로 도시하였다. 즉, 복호화 단계에서는 상단은 제 1 기억 장소이고, 하단은 다른 기억 장소인 반면, 표시 단계에서는 하단은 제 1 기억 장소이고, 상단은 다른 기억 장소이다.
프레임 특성값/제 1 임계값 비교부(311)는 표시 프레임 포인터/프레임 특성값 수신부(310)에 수신된 프레임에 대한 특성값인 프레임 특성값과 프레임 특성값 측면에서의 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 1 임계값을 비교한다. 상기한 바와 같이, 특성값의 일례로 어떤 프레임의 직전 프레임을 기준으로 한 이 프레임의 움직임 크기값을 들 수 있다. 이러한 움직임 크기값은 프레임의 각매크로블록에 대한 움직임 벡터의 합이 될 수도 있고, 프레임의 인트라 부호화(intra coding)된 매크로블록의 수가 될 수도 있고, 프레임의 각 매크로블록에 대한 움직임 벡터의 합과 프레임의 인트라 부호화된 매크로블록의 수의 합이 될 수도 있다.
제 1 임계값은 프레임 특성값 측면에서의 프레임에 대한 표시 스킵 및 표시 반복의 임계값을 말하는데, 이것은 프레임 특성값에 대한 정의 방식에 따라 결정된다. 일반적으로 프레임의 각 매크로블록에 대한 움직임 벡터의 합이 프레임의 인트라 부호화된 매크로블록의 수보다 크므로, 프레임 특성값을 프레임의 인트라 부호화된 매크로블록의 수로 한 경우보다 프레임의 각 매크로블록에 대한 움직임 벡터의 합으로 한 경우가 제 1 임계값의 크기를 더 크게 설정하여야 할 것이다. 프레임 특성값을 양자의 합으로 한 경우에 제 1 임계값의 크기를 가장 크게 설정하여야 할 것이다.
프레임 표시 제어부(312)는 표시 프레임 포인터/프레임 특성값 수신부(310)에 수신된 표시 프레임 포인터가 지시하는 표시 타임 스탬프 레지스터의 제 1 기억 장소에 저장된 표시 타임 스탬프를 수신한다. 이때 표시 타임 스탬프는 표시될 프레임의 표시 타임 스탬프이다. 또한, 프레임 표시 제어부(312)는 프레임 특성값/제 1 임계값 비교부(311)에서 비교된 결과, 프레임 특성값이 제 1 임계값보다 작으면, 프레임을 부호화한 부호화 시스템의 기준 클록을 기준으로 동기된 클록인 시스템 타임 클록으로부터 프레임을 표시하는 기준 시각인 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 프레임에 대한 표시 스킵 명령 또는 프레임에 대한 표시 반복 명령을 전송한다.
도 4는 도 3에 도시된 프레임 표시 제어부의 상세 구성도이다.
도 4를 참조하면, 프레임 표시 제어부(312)는 표시 시각 차이값 산출부(41), 표시 시각 차이값/제 2 임계값 비교부(42), 프레임 표시 스킵 명령 전송부(43), 및 프레임 표시 반복 명령 전송부(44)로 구성된다.
표시 시각 차이값 산출부(41)는 프레임 특성값/제 1 임계값 비교부(311)에서 비교된 결과, 프레임 특성값이 제 1 임계값보다 작으면, 시스템 타임 클록으로부터 표시 타임 스탬프를 감산하여 표시 시각 차이값을 산출한다. 프레임 특성값이 제 1 임계값보다 작지 않으면, 해당 프레임이 직전 프레임에 비해 움직임이 너무 크기 때문에 해당 프레임을 스킵하거나, 해당 프레임을 반복할 경우, 부자연스런 동영상이 표시되게 된다. 따라서, 프레임 특성값이 제 1 임계값보다 작지 않으면, 해당 프레임에 대한 표시 스킵 및 표시 반복을 생략하는 것이 자연스런 동영상을 표시하는 데에 적절하다. 제 1 임계값은 복호화 시스템 설계자가 프레임 특성값에 대한 정의 방식, 디스플레이 장치의 특성 등을 고려하여 적당한 값으로 설정하여야 할 것이다. 프레임 특성값이 제 1 임계값보다 작으면, 비로소 해당 프레임에 대한 표시 스킵 및 표시 반복을 수행하게 된다.
표시 시각 차이값/제 2 임계값 비교부(42)는 표시 시각 차이값 산출부(41)에서 산출된 표시 시각 차이값과 표시 시각 차이값 측면에서의 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 2 임계 값을 비교한다. 여기에서, 제 2 임계값은 비디오 동기화의 정확도에 따라 결정된다. 즉, 비디오 동기화의 정확도가 높은 경우에는 보다 정밀하게 동기화가 이루어져야 하는 경우이므로 제 2 임계값은 작게 설정되어야 하고, 비디오 동기화의 정확도가 낮은 경우에는 덜 정밀하게 동기화가 이루어져도 무관한 경우이므로 제 2 임계값은 크게 설정되어야 한다.
프레임 표시 스킵 명령 전송부(43)는 표시 시각 차이값/제 2 임계값 비교부(42)에서 비교된 결과, 표시 시각 차이값이 제 2 임계값보다 크면, 프레임에 대한 표시 스킵 명령을 전송한다. 표시 시각 차이값이 제 2 임계값보다 큰 경우는 비디오보다 오디오가 앞서 재생되는 경우이므로, 프레임에 대한 표시 스킵 명령을 전송하여 새로운 프레임이 빨리 표시될 수 있도록 한다.
프레임 표시 반복 명령 전송부(44)는 표시 시각 차이값/제 2 임계값 비교부(42)에서 비교된 결과, 표시 시각 차이값이 제 2 임계값의 음의 값보다 작으면, 프레임에 대한 표시 반복 명령을 전송한다. 표시 시각 차이값이 제 2 임계값의 음의 값보다 작은 경우는 오디오보다 비디오가 앞서 재생되는 경우이므로, 프레임에 대한 표시 반복 명령을 전송하여 새로운 프레임에 대한 표시를 지연시킨다.
도 5는 본 발명의 일 실시예에 따른 비디오 트랜스포트 스트림 복호화 방법의 흐름도이다.
도 5를 참조하면, 비디오 트랜스포트 스트림 복호화 방법은 다음과 같은 단계로 구성된다.
소정의 프레임에 대한 데이터 스트림이 포함된 트랜스포트 스트림을 수신하고, 수신된 트랜스포트 스트림으로부터 비디오 트랜스포트 스트림을 분리하고, 분리된 비디오 트랜스포트 스트림을 전송한다(51). 이어서, 전송된 비디오 트랜스포트 스트림을 수신하고, 수신된 비디오 트랜스포트 스트림으로부터 상기 프레임을 표시하는 기준 시각인 표시 타임 스탬프 및 상기 프레임에 대한 부호화 값인 비디오 기본 스트림을 추출하고(52), 또한, 수신된 비디오 트랜스포트 스트림으로부터 부호화 시스템의 기준 클록을 추출하고, 추출된 부호화 시스템의 기준 클록을 전송하고, 전송된 부호화 시스템의 기준 클록을 수신하고, 수신된 부호화 시스템의 기준 클록을 기준으로 비디오 트랜스포트 스트림 복호화 시스템의 클록을 동기화하여, 시스템 타임 클록을 생성한다(53).
이어서, 상기 프레임에 대한 특성값인 프레임 특성값과 프레임 특성값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 1 임계값을 비교하고(54), 비교된 결과, 프레임 특성값이 제 1 임계값보다 작으면(55), 상기 프레임을 부호화한 부호화 시스템의 기준 클록을 기준으로 동기된 클록인 시스템 타임 클록으로부터 상기 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 프레임에 대한 표시 스킵 명령 또는 프레임에 대한 표시 반복 명령을 전송한다(56). 보다 상세히 설명하면, 프레임 특성값이 제 1 임계값보다 작으면, 시스템 타임 클록으로부터 표시 타임 스탬프를 감산하여, 표시 시각 차이값을 산출하고, 산출된 표시 시각 차이값과 표시 시각 차이값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 2 임계 값을 비교하고, 비교된 결과, 표시 시각 차이값이 제 2 임계값보다 크면, 상기 프레임에 대한 표시 스킵 명령을 전송하고, 표시 시각 차이값이 제 2 임계값의 음의 값보다 작으면, 상기 프레임에 대한 표시 반복 명령을 전송한다. 여기에서, 특성값은 상기 프레임의 직전 프레임을기준으로 상기 프레임의 움직임 크기값이고, 움직임 크기값은 상기 프레임의 각 매크로블록에 대한 움직임 벡터의 합, 상기 프레임의 인트라 부호화된 매크로블록의 수, 또는 상기 프레임의 각 매크로블록에 대한 움직임 벡터의 합과 상기 프레임의 인트라 부호화된 매크로블록의 수의 합이 된다.
이어서, 전송된 표시 스킵 명령 또는 표시 반복 명령에 따라 비디오 기본 스트림을 복호화한다(57). 보다 상세히 설명하면, 전송된 표시 스킵 명령 또는 표시 반복 명령을 수신하고, 표시 스킵 명령을 수신한 경우에는 상기 프레임에 대한 복호를 스킵하고, 표시 반복 명령을 수신한 경우에는 상기 프레임에 대한 복호를 반복한다.
복호화가 원활하게 진행되도록 하는 부가적 단계로서, 52 단계에서 추출된 비디오 기본 스트림을 전송한 경우, 전송된 비디오 기본 스트림을 저장한다는 단계가 54 단계 이전에 삽입될 수 있다.
또한, 표시가 원활하게 진행되도록 하는 부가적 단계로서, 54 단계에서 저장된 비디오 기본 스트림을 상기 프레임으로 복호화하고, 상기 복호화된 프레임으로부터 프레임 특성값을 추출하고, 추출된 프레임 특성값을 전송하고, 55 단계에서 전송된 프레임 특성값과 제 1 임계값을 비교한 경우, 복호화된 프레임을 저장하는 단계(57)가 삽입될 수 있다. 이어서, 저장된 프레임을 표시한다(58).
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 비디오 트랜스포트 스트림 동기화 제어 방법의 흐름도이다.
도 6a 및 도 6b를 참조하면, 비디오 트랜스포트 스트림 동기화 제어 방법은다음과 같은 단계로 구성된다.
트랜스포트 스트림으로부터 비디오 트랜스포트 스트림을 분리하는 역다중화기로부터 비디오 트랜스포트 스트림을 수신한다(601). 이어서, 수신된 비디오 트랜스포트 스트림으로부터 프레임을 표시하는 기준 시각인 표시 타임 스탬프 및 상기 프레임에 대한 부호화 값인 비디오 기본 스트림을 추출한다(602). 이어서, 추출된 표시 타임 스탬프를 표시 타임 스탬프 버퍼의 제 1 기억 장소로 전송하고, 추출된 비디오 기본 스트림을 비디오 복호화기 버퍼의 제 1 기억 장소로 전송하고, 비디오 복호화기 버퍼의 제 1 기억 장소의 위치를 지시하는 기록 포인터를 표시 타임 스탬프 버퍼의 제 1 기억 장소와 서로 대응되는 표시 타임 스탬프 버퍼의 제 2 기억 장소로 전송한다(603).
이어서, 비디오 복호화기로부터 프레임에 대한 복호화 시작을 알리는 신호인 복호화 시작 신호를 수신한다(604). 만일, 복호화 시작 신호가 수신되면(605), 이어서 표시 타임 스탬프 버퍼의 제 3 기억 장소로부터 비디오 복호화기 버퍼의 제 2 기억 장소의 위치를 지시하는 기록 포인터를 수신하고, 비디오 복호화기 버퍼로부터 복호화 시작 신호가 수신된 시점의 독출 기억 장소인 비디오 복호화기 버퍼의 제 1 기억 장소의 위치를 지시하는 독출 포인터를 수신한다(606). 이어서, 수신된 기록 포인터와 독출 포인터를 비교한다(607). 비교된 결과, 만일, 기록 포인터가 독출 포인터 이하인 경우라면(608), 이어서, 전송된 표시 타임 스탬프가 기록된 표시 타임 스탬프 버퍼의 제 1 기억 장소로부터 표시 타임 스탬프를 수신하고, 비디오 복호화기로부터 표시 타임 스탬프 레지스터의 제 1 기억 장소의 위치를 지시하는 복호화 프레임 포인터를 수신한다(609). 이어서, 수신된 표시 타임 스탬프를 수신된 복호화 프레임 포인터가 지시하는 표시 타임 스탬프 레지스터의 제 1 기억 장소로 전송한다(610).
이어서, 비디오 복호화기로부터 상기 프레임에 대한 표시 시작을 알리는 표시 시작 신호를 수신한다(611). 만일, 표시 시작 신호가 수신되면(612), 비디오 복호화기로부터 표시 타임 스탬프 레지스터의 제 1 기억 장소의 위치를 지시하는 표시 프레임 포인터를 수신하고, 비디오 복호화기로부터 수신된 표시 프레임 포인터가 지시하는 표시 타임 스탬프 레지스터의 제 1 기억 장소에 저장된 표시 타임 스탬프를 갖는 프레임에 대한 프레임 특성값을 수신한다(613). 여기에서, 특성값은 상기 프레임의 직전 프레임을 기준으로 한 상기 프레임의 움직임 크기값이고, 움직임 크기값은 상기 프레임의 각 매크로블록에 대한 움직임 벡터의 합, 상기 프레임의 인트라 부호화된 매크로블록의 수, 또는 상기 프레임의 각 매크로블록에 대한 움직임 벡터의 합과 상기 프레임의 인트라 부호화된 매크로블록의 수의 합이다.
이어서, 수신된 프레임 특성값과 프레임 특성값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 1 임계값을 비교한다(614). 비교된 결과, 만일, 프레임 특성값이 상기 제 1 임계값보다 작으면(615), 이어서 수신된 표시 프레임 포인터가 지시하는 표시 타임 스탬프 레지스터의 제 1 기억 장소에 저장된 표시 타임 스탬프를 수신하고, 상기 프레임을 부호화한 부호화 시스템의 기준 클록을 기준으로 동기된 클록인 시스템 타임 클록으로부터 수신된 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 상기 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복 명령을 전송한다(616).
도 7은 도 6에 도시된 616 단계의 상세 흐름도이다.
도 7을 참조하면, 도 6에 도시된 616 단계는 다음과 같은 단계로 구성된다.
비교된 결과, 만일 프레임 특성값이 제 1 임계값보다 작으면, 시스템 타임 클록으로부터 표시 타임 스탬프를 감산하여, 표시 시각 차이값을 산출한다(71). 이어서, 산출된 표시 시각 차이값과 표시 시각 차이값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 2 임계 값을 비교한다(72). 이어서, 비교된 결과, 만일 표시 시각 차이값이 제 2 임계값보다 크면(73), 프레임에 대한 표시 스킵 명령을 전송한다(74). 비교된 결과, 만일 표시 시각 차이값이 제 2 임계값의 음의 값보다 작으면(75), 프레임에 대한 표시 반복 명령을 전송한다(76).
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지, 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수있을 것이다. 그러므로, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라, 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 따르면, 부호화된 비디오 데이터의 입력 비율과 디스플레이 장치에 의한 복호화된 비디오 데이터의 출력 비율이 다른 경우 또는 시스템 클록 지터가 발생하는 경우에도, 움직임이 적은 연속 프레임에 대해서만 프레임의 스킵/반복을 수행함으로서, 자연스러운 영상이 표시된다는 효과가 있다. 또한, 본 발명에 따르면, 표시 타임 스탬프 버퍼를 이용하여 복호화함으로서, 복호화기 버퍼의 과도/부족(overflow/underflow)을 방지할 수 있다는 효과가 있다. 또한, 본 발명에 따르면, 표시 타임 스탬프 레지스터를 이용하여 복호화기의 출력과 표시기의 입력을 조절함으로서, 복호화 과정과 표시 과정이 원활하게 진행될 수 있도록 하고, I 피처, P 픽처, B 픽처에 따라 프레임의 순서를 재배열하는 할 수 있다는 효과가 있다.

Claims (35)

  1. 소정의 프레임에 대한 특성값인 프레임 특성값과 상기 프레임 특성값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 1 임계값을 비교하는 프레임 특성값/제 1 임계값 비교부; 및
    상기 프레임 특성값/제 1 임계값 비교부에서 비교된 결과, 상기 프레임 특성값이 상기 제 1 임계값보다 작으면, 상기 프레임을 부호화한 부호화 시스템의 기준 클록을 기준으로 동기된 클록인 시스템 타임 클록으로부터 상기 프레임을 표시하는 기준 시각인 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 상기 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복 명령을 전송하는 프레임 표시 제어부를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 장치.
  2. 제 1 항에 있어서, 상기 특성값은 상기 프레임의 직전 프레임을 기준으로 한 상기 프레임의 움직임 크기값인 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 장치.
  3. 제 2 항에 있어서, 상기 움직임 크기값은 상기 프레임의 각 매크로블록에 대한 움직임 벡터의 합, 상기 프레임의 인트라 부호화된 매크로블록의 수, 또는 상기 프레임의 각 매크로블록에 대한 움직임 벡터의 합과 상기 프레임의 인트라 부호화된 매크로블록의 수의 합인 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 장치.
  4. 제 1 항에 있어서, 상기 프레임 표시 제어부는
    상기 프레임 특성값/제 1 임계값 비교부에서 비교된 결과, 상기 프레임 특성값이 상기 제 1 임계값보다 작으면, 상기 시스템 타임 클록으로부터 상기 표시 타임 스탬프를 감산하여, 상기 표시 시각 차이값을 산출하는 표시 시각 차이값 산출부;
    상기 표시 시각 차이값 산출부에서 산출된 표시 시각 차이값과 상기 표시 시각 차이값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 2 임계 값을 비교하는 표시 시각 차이값/제 2 임계값 비교부;
    상기 표시 시각 차이값/제 2 임계값 비교부에서 비교된 결과, 상기 표시 시각 차이값이 상기 제 2 임계값보다 크면, 상기 프레임에 대한 표시 스킵 명령을 전송하는 프레임 표시 스킵 명령 전송부; 및
    상기 표시 시각 차이값/제 2 임계값 비교부에서 비교된 결과, 상기 표시 시각 차이값이 상기 제 2 임계값의 음의 값보다 작으면, 상기 프레임에 대한 표시 반복 명령을 전송하는 프레임 표시 반복 명령 전송부를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 장치.
  5. 제 1 항에 있어서,
    트랜스포트 스트림으로부터 상기 비디오 트랜스포트 스트림을 분리하는 역다중화기로부터 비디오 트랜스포트 스트림을 수신하는 비디오 트랜스포트 스트림 수신부; 및
    상기 비디오 트랜스포트 스트림 수신부에 수신된 비디오 트랜스포트 스트림으로부터 상기 표시 타임 스탬프 및 상기 프레임에 대한 부호화 값인 비디오 기본 스트림을 추출하는 프레임 데이터 추출부를 포함하는 것을 특징으로 하는 비디오트랜스포트 스트림 동기화 제어 장치.
  6. 제 5 항에 있어서,
    상기 프레임 데이터 추출부에서 추출된 표시 타임 스탬프를 표시 타임 스탬프 버퍼의 제 1 기억 장소로 전송하고, 상기 프레임 데이터 추출부에서 추출된 비디오 기본 스트림을 비디오 복호화기 버퍼의 제 1 기억 장소로 전송하고, 상기 비디오 복호화기 버퍼의 제 1 기억 장소의 위치를 지시하는 기록 포인터를 상기 표시 타임 스탬프 버퍼의 제 1 기억 장소와 서로 대응되는 표시 타임 스탬프 버퍼의 제 2 기억 장소로 전송하는 표시 타임 스탬프/기록 포인터 전송부;
    비디오 복호화기로부터 상기 프레임에 대한 복호화 시작을 알리는 신호인 복호화 시작 신호를 수신하는 복호화 시작 신호 수신부;
    상기 복호화 시작 신호 수신부에 복호화 시작 신호가 수신되면, 상기 표시 타임 스탬프 버퍼의 제 3 기억 장소로부터 상기 비디오 복호화기 버퍼의 제 2 기억 장소의 위치를 지시하는 기록 포인터를 수신하고, 상기 비디오 복호화기 버퍼로부터 상기 복호화 시작 신호가 수신된 시점의 독출 기억 장소인 비디오 복호화기 버퍼의 제 1 기억 장소의 위치를 지시하는 독출 포인터를 수신하는 기록 포인터/독출 포인터 수신부;
    상기 기록 포인터/독출 포인터 수신부에 수신된 기록 포인터와 독출 포인터를 비교하는 기록 포인터/독출 포인터 비교부; 및
    상기 기록 포인터/독출 포인터 비교부에서 비교된 결과, 상기 기록 포인터가상기 독출 포인터 이하인 경우, 상기 표시 타임 스탬프/기록 포인터 전송부에서 전송된 표시 타임 스탬프가 기록된 표시 타임 스탬프 버퍼의 제 1 기억 장소로부터 상기 표시 타임 스탬프를 수신하고, 상기 비디오 복호화기로부터 표시 타임 스탬프 레지스터의 제 1 기억 장소의 위치를 지시하는 복호화 프레임 포인터를 수신하는 표시 타임 스탬프/복호화 프레임 포인터 수신부를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 장치.
  7. 제 6 항에 있어서,
    상기 표시 타임 스탬프/복호화 프레임 포인터 수신부에 수신된 표시 타임 스탬프를 상기 표시 타임 스탬프/복호화 프레임 포인터 수신부에 수신된 복호화 프레임 포인터가 지시하는 표시 타임 스탬프 레지스터의 제 1 기억 장소로 전송하는 표시 타임 스탬프 전송부;
    상기 비디오 복호화기로부터 상기 프레임에 대한 표시 시작을 알리는 표시 시작 신호를 수신하는 표시 시작 신호 수신부; 및
    상기 표시 시작 신호 수신부에 표시 시작 신호가 수신되면, 상기 비디오 복호화기로부터 상기 표시 타임 스탬프 레지스터의 제 1 기억 장소의 위치를 지시하는 표시 프레임 포인터를 수신하고, 상기 비디오 복호화기로부터 상기 수신된 표시 프레임 포인터가 지시하는 표시 타임 스탬프 레지스터의 제 1 기억 장소에 저장된 표시 타임 스탬프를 갖는 프레임에 대한 프레임 특성값을 수신하는 표시 프레임 포인터/프레임 특성값 수신부를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 장치.
  8. 제 7 항에 있어서,
    상기 프레임 특성값/제 1 임계값 비교부는 상기 표시 프레임 포인터/프레임 특성값 수신부에 수신된 프레임 특성값과 제 1 임계값을 비교하고,
    상기 프레임 표시 제어부는 상기 표시 프레임 포인터/프레임 특성값 수신부에 수신된 표시 프레임 포인터가 지시하는 표시 타임 스탬프 레지스터의 제 1 기억 장소에 저장된 표시 타임 스탬프를 수신하고, 상기 시스템 타임 클록으로부터 상기 수신된 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 상기 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복 명령을 전송하는 것을 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 장치.
  9. 소정의 프레임에 대한 데이터 스트림이 포함된 트랜스포트 스트림을 수신하고, 상기 수신된 트랜스포트 스트림으로부터 비디오 트랜스포트 스트림을 분리하고, 상기 분리된 비디오 트랜스포트 스트림을 전송하는 역다중화기;
    상기 역다중화기에서 전송된 비디오 트랜스포트 스트림을 수신하고, 상기 수신된 비디오 트랜스포트 스트림으로부터 상기 프레임을 표시하는 기준 시각인 표시 타임 스탬프 및 상기 프레임에 대한 부호화 값인 비디오 기본 스트림을 추출하고, 상기 프레임에 대한 특성값인 프레임 특성값과 상기 프레임 특성값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 1 임계값을 비교하고, 상기 비교된 결과, 상기 프레임 특성값이 상기 제 1 임계값보다 작으면, 상기 프레임을 부호화한 부호화 시스템의 기준 클록을 기준으로 동기된 클록인 시스템 타임 클록으로부터 상기 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 상기 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복 명령을 전송하는 비디오 트랜스포트 스트림 동기화 제어 장치; 및
    상기 비디오 트랜스포트 스트림 동기화 제어 장치에서 전송된 표시 스킵 명령 또는 표시 반복 명령에 따라 상기 비디오 기본 스트림을 복호화하는 비디오 복호화기를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 시스템.
  10. 제 9 항에 있어서, 상기 특성값은 상기 프레임의 직전 프레임을 기준으로 한 상기 프레임의 움직임 크기값인 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 시스템.
  11. 제 10 항에 있어서, 상기 움직임 크기값은 상기 프레임의 각 매크로블록에 대한 움직임 벡터의 합, 상기 프레임의 인트라 부호화된 매크로블록의 수, 또는 상기 프레임의 각 매크로블록에 대한 움직임 벡터의 합과 상기 프레임의 인트라 부호화된 매크로블록의 수의 합인 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 시스템.
  12. 제 9 항에 있어서, 상기 비디오 트랜스포트 스트림 동기화 제어 장치는 상기프레임 특성값이 상기 제 1 임계값보다 작으면, 상기 시스템 타임 클록으로부터 상기 표시 타임 스탬프를 감산하여, 상기 표시 시각 차이값을 산출하고, 상기 산출된 표시 시각 차이값과 상기 표시 시각 차이값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 2 임계 값을 비교하고, 상기 비교된 결과, 상기 표시 시각 차이값이 상기 제 2 임계값보다 크면, 상기 프레임에 대한 표시 스킵 명령을 전송하고, 상기 표시 시각 차이값이 상기 제 2 임계값의 음의 값보다 작으면, 상기 프레임에 대한 표시 반복 명령을 전송하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 시스템.
  13. 제 9 항에 있어서, 상기 비디오 복호화기는 상기 비디오 트랜스포트 스트림 동기화 제어 장치에서 전송된 표시 스킵 명령 또는 표시 반복 명령을 수신하고, 상기 표시 스킵 명령을 수신한 경우에는 상기 프레임에 대한 복호를 스킵하고, 상기 표시 반복 명령을 수신한 경우에는 상기 프레임에 대한 복호를 반복하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 시스템.
  14. 제 9 항에 있어서,
    상기 비디오 트랜스포트 스트림 동기화 제어 장치는 상기 수신된 비디오 트랜스포트 스트림으로부터 상기 부호화 시스템의 기준 클록을 추출하고, 상기 추출된 부호화 시스템의 기준 클록을 전송하고,
    상기 비디오 트랜스포트 스트림 동기화 제어 장치에서 전송된 부호화 시스템의 기준 클록을 수신하고, 수신된 부호화 시스템의 기준 클록을 기준으로 상기 비디오 트랜스포트 스트림 복호화 시스템의 클록을 동기화하여, 상기 시스템 타임 클록을 생성하는 시스템 타임 클록 생성기를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 시스템.
  15. 제 14 항에 있어서, 상기 비디오 트랜스포트 스트림 동기화 제어 장치는 상기 시스템 타임 클록 생성기에서 생성된 시스템 타임 클록으로부터 상기 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 상기 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복 명령을 전송하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 시스템.
  16. 제 9 항에 있어서,
    상기 비디오 트랜스포트 스트림 동기화 제어 장치는 상기 추출된 비디오 기본 스트림을 전송하고,
    상기 비디오 트랜스포트 스트림 동기화 제어 장치에서 전송된 비디오 기본 스트림을 저장하는 비디오 복호화기 버퍼를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 시스템.
  17. 제 16 항에 있어서,
    상기 비디오 복호화기는 상기 비디오 복호화기 버퍼에 저장된 비디오 기본스트림을 상기 프레임으로 복호화하고, 상기 복호화된 프레임으로부터 상기 프레임 특성값을 추출하고, 상기 추출된 프레임 특성값을 전송하고,
    상기 비디오 트랜스포트 스트림 동기화 제어 장치는 상기 비디오 복호화기에서 전송된 프레임 특성값과 상기 제 1 임계값을 비교하고,
    상기 비디오 복호화기에서 복호화된 프레임을 저장하는 프레임 버퍼; 및
    상기 프레임 버퍼에 저장된 프레임을 표시하는 비디오 표시기를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 시스템.
  18. (a) 소정의 프레임에 대한 특성값인 프레임 특성값과 상기 프레임 특성값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 1 임계값을 비교하는 단계; 및
    (b) 상기 (a) 단계에서 비교된 결과, 상기 프레임 특성값이 상기 제 1 임계값보다 작으면, 상기 프레임을 부호화한 부호화 시스템의 기준 클록을 기준으로 동기된 클록인 시스템 타임 클록으로부터 상기 프레임을 표시하는 기준 시각인 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 상기 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복 명령을 전송하는 단계를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 방법.
  19. 제 18 항에 있어서, 상기 특성값은 상기 프레임의 직전 프레임을 기준으로 한 상기 프레임의 움직임 크기값인 것을 특징으로 하는 비디오 트랜스포트 스트림동기화 제어 방법.
  20. 제 19 항에 있어서, 상기 움직임 크기값은 상기 프레임의 각 매크로블록에 대한 움직임 벡터의 합, 상기 프레임의 인트라 부호화된 매크로블록의 수, 또는 상기 프레임의 각 매크로블록에 대한 움직임 벡터의 합과 상기 프레임의 인트라 부호화된 매크로블록의 수의 합인 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 방법.
  21. 제 18 항에 있어서, 상기 (b) 단계는
    (b1) 상기 (a) 단계에서 비교된 결과, 상기 프레임 특성값이 상기 제 1 임계값보다 작으면, 상기 시스템 타임 클록으로부터 상기 표시 타임 스탬프를 감산하여, 상기 표시 시각 차이값을 산출하는 단계;
    (b2) 상기 (b1) 단계에서 산출된 표시 시각 차이값과 상기 표시 시각 차이값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 2 임계 값을 비교하는 단계;
    (b3) 상기 (b2) 단계에서 비교된 결과, 상기 표시 시각 차이값이 상기 제 2 임계값보다 크면, 상기 프레임에 대한 표시 스킵 명령을 전송하는 단계; 및
    (b4) 상기 (b2) 단계에서 비교된 결과, 상기 표시 시각 차이값이 상기 제 2 임계값의 음의 값보다 작으면, 상기 프레임에 대한 표시 반복 명령을 전송하는 단계를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 방법.
  22. 제 18 항에 있어서,
    (a-10) 트랜스포트 스트림으로부터 상기 비디오 트랜스포트 스트림을 분리하는 역다중화기로부터 비디오 트랜스포트 스트림을 수신하는 단계; 및
    (a-9) 상기 (a-10) 단계에서 수신된 비디오 트랜스포트 스트림으로부터 상기 표시 타임 스탬프 및 상기 프레임에 대한 부호화 값인 비디오 기본 스트림을 추출하는 단계를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 방법.
  23. 제 22 항에 있어서,
    (a-8) 상기 (a-9) 단계에서 추출된 표시 타임 스탬프를 표시 타임 스탬프 버퍼의 제 1 기억 장소로 전송하고, 상기 (a-9) 단계에서 추출된 비디오 기본 스트림을 비디오 복호화기 버퍼의 제 1 기억 장소로 전송하고, 상기 비디오 복호화기 버퍼의 제 1 기억 장소의 위치를 지시하는 기록 포인터를 상기 표시 타임 스탬프 버퍼의 제 1 기억 장소와 서로 대응되는 표시 타임 스탬프 버퍼의 제 2 기억 장소로 전송하는 단계;
    (a-7) 비디오 복호화기로부터 상기 프레임에 대한 복호화 시작을 알리는 신호인 복호화 시작 신호를 수신하는 단계;
    (a-6) 상기 (a-7) 단계에서 복호화 시작 신호가 수신되면, 상기 표시 타임 스탬프 버퍼의 제 3 기억 장소로부터 상기 비디오 복호화기 버퍼의 제 2 기억 장소의 위치를 지시하는 기록 포인터를 수신하고, 상기 비디오 복호화기 버퍼로부터 상기 복호화 시작 신호가 수신된 시점의 독출 기억 장소인 비디오 복호화기 버퍼의 제 1 기억 장소의 위치를 지시하는 독출 포인터를 수신하는 단계;
    (a-5) 상기 (a-6) 단계에서 수신된 기록 포인터와 독출 포인터를 비교하는 기록 포인터/독출 포인터 비교부; 및
    (a-4) 상기 (a-5) 단계에서 비교된 결과, 상기 기록 포인터가 상기 독출 포인터 이하인 경우, 상기 (a-8) 단계에서 전송된 표시 타임 스탬프가 기록된 표시 타임 스탬프 버퍼의 제 1 기억 장소로부터 상기 표시 타임 스탬프를 수신하고, 상기 비디오 복호화기로부터 표시 타임 스탬프 레지스터의 제 1 기억 장소의 위치를 지시하는 복호화 프레임 포인터를 수신하는 단계를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 방법.
  24. 제 23 항에 있어서,
    (a-3) 상기 (a-4) 단계에서 수신된 표시 타임 스탬프를 상기 (a-4) 단계에서 수신된 복호화 프레임 포인터가 지시하는 표시 타임 스탬프 레지스터의 제 1 기억 장소로 전송하는 단계;
    (a-2) 상기 비디오 복호화기로부터 상기 프레임에 대한 표시 시작을 알리는 표시 시작 신호를 수신하는 단계; 및
    (a-1) 상기 (a-2) 단계에서 표시 시작 신호가 수신되면, 상기 비디오 복호화기로부터 상기 표시 타임 스탬프 레지스터의 제 1 기억 장소의 위치를 지시하는 표시 프레임 포인터를 수신하고, 상기 비디오 복호화기로부터 상기 수신된 표시 프레임 포인터가 지시하는 표시 타임 스탬프 레지스터의 제 1 기억 장소에 저장된 표시 타임 스탬프를 갖는 프레임에 대한 프레임 특성값을 수신하는 단계를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 방법.
  25. 제 24 항에 있어서,
    상기 (a) 단계는 상기 (a-1) 단계에서 수신된 프레임 특성값과 제 1 임계값을 비교하고,
    상기 (b) 단계는 상기 (a-2) 단계에서 수신된 표시 프레임 포인터가 지시하는 표시 타임 스탬프 레지스터의 제 1 기억 장소에 저장된 표시 타임 스탬프를 수신하고, 상기 시스템 타임 클록으로부터 상기 수신된 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 상기 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복 명령을 전송하는 것을 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 동기화 제어 방법.
  26. (a) 소정의 프레임에 대한 데이터 스트림이 포함된 트랜스포트 스트림을 수신하고, 상기 수신된 트랜스포트 스트림으로부터 비디오 트랜스포트 스트림을 분리하고, 상기 분리된 비디오 트랜스포트 스트림을 전송하는 단계;
    (b) 상기 (a) 단계에서 전송된 비디오 트랜스포트 스트림을 수신하고, 상기 수신된 비디오 트랜스포트 스트림으로부터 상기 프레임을 표시하는 기준 시각인 표시 타임 스탬프 및 상기 프레임에 대한 부호화 값인 비디오 기본 스트림을 추출하고, 상기 프레임에 대한 특성값인 프레임 특성값과 상기 프레임 특성값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 1 임계값을 비교하고, 상기 비교된 결과, 상기 프레임 특성값이 상기 제 1 임계값보다 작으면, 상기 프레임을 부호화한 부호화 시스템의 기준 클록을 기준으로 동기된 클록인 시스템 타임 클록으로부터 상기 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 상기 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복 명령을 전송하는 단계; 및
    (c) 상기 (b) 단계에서 전송된 표시 스킵 명령 또는 표시 반복 명령에 따라 상기 비디오 기본 스트림을 복호화하는 단계를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 방법.
  27. 제 26 항에 있어서, 상기 특성값은 상기 프레임의 직전 프레임을 기준으로 한 상기 프레임의 움직임 크기값인 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 방법.
  28. 제 27 항에 있어서, 상기 움직임 크기값은 상기 프레임의 각 매크로블록에 대한 움직임 벡터의 합, 상기 프레임의 인트라 부호화된 매크로블록의 수, 또는 상기 프레임의 각 매크로블록에 대한 움직임 벡터의 합과 상기 프레임의 인트라 부호화된 매크로블록의 수의 합인 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 방법.
  29. 제 26 항에 있어서, 상기 (b) 단계는 상기 프레임 특성값이 상기 제 1 임계값보다 작으면, 상기 시스템 타임 클록으로부터 상기 표시 타임 스탬프를 감산하여, 상기 표시 시각 차이값을 산출하고, 상기 산출된 표시 시각 차이값과 상기 표시 시각 차이값 측면에서의 상기 프레임에 대한 표시 스킵 및 표시 반복의 임계값인 제 2 임계 값을 비교하고, 상기 비교된 결과, 상기 표시 시각 차이값이 상기 제 2 임계값보다 크면, 상기 프레임에 대한 표시 스킵 명령을 전송하고, 상기 표시 시각 차이값이 상기 제 2 임계값의 음의 값보다 작으면, 상기 프레임에 대한 표시 반복 명령을 전송하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 방법.
  30. 제 26 항에 있어서, 상기 (c) 단계는 상기 (b) 단계에서 전송된 표시 스킵 명령 또는 표시 반복 명령을 수신하고, 상기 표시 스킵 명령을 수신한 경우에는 상기 프레임에 대한 복호를 스킵하고, 상기 표시 반복 명령을 수신한 경우에는 상기 프레임에 대한 복호를 반복하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 방법.
  31. 제 26 항에 있어서,
    상기 (b) 단계는 상기 수신된 비디오 트랜스포트 스트림으로부터 상기 부호화 시스템의 기준 클록을 추출하고, 상기 추출된 부호화 시스템의 기준 클록을 전송하고,
    (d) 상기 (b) 단계에서 전송된 부호화 시스템의 기준 클록을 수신하고, 수신된 부호화 시스템의 기준 클록을 기준으로 상기 비디오 트랜스포트 스트림 복호화 시스템의 클록을 동기화하여, 상기 시스템 타임 클록을 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 방법.
  32. 제 31 항에 있어서, 상기 (b) 단계는 상기 (d) 단계에서 생성된 시스템 타임 클록으로부터 상기 표시 타임 스탬프를 감산한 값인 표시 시각 차이값에 따라 상기 프레임에 대한 표시 스킵 명령 또는 상기 프레임에 대한 표시 반복 명령을 전송하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 방법.
  33. 제 26 항에 있어서,
    상기 (b) 단계는 상기 추출된 비디오 기본 스트림을 전송하고,
    (c-1) 상기 (b) 단계에서 전송된 비디오 기본 스트림을 저장하는 단계를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 방법.
  34. 제 33 항에 있어서,
    상기 (c) 단계는 상기 (c-1) 단계에 저장된 비디오 기본 스트림을 상기 프레임으로 복호화하고, 상기 복호화된 프레임으로부터 상기 프레임 특성값을 추출하고, 상기 추출된 프레임 특성값을 전송하고,
    상기 (b) 단계는 상기 (c) 단계에서 전송된 프레임 특성값과 상기 제 1 임계값을 비교하고,
    (e) 상기 (c) 단계에서 복호화된 프레임을 저장하는 단계; 및
    (f) 상기 (e) 단계에서 저장된 프레임을 표시하는 단계를 포함하는 것을 특징으로 하는 비디오 트랜스포트 스트림 복호화 방법.
  35. 제 18 항 내지 제 34 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020030041054A 2003-06-24 2003-06-24 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법 KR100619007B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020030041054A KR100619007B1 (ko) 2003-06-24 2003-06-24 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법
US10/874,548 US20040264577A1 (en) 2003-06-24 2004-06-24 Apparatus and method for controlling the synchronization of a video transport stream

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030041054A KR100619007B1 (ko) 2003-06-24 2003-06-24 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20050000596A true KR20050000596A (ko) 2005-01-06
KR100619007B1 KR100619007B1 (ko) 2006-08-31

Family

ID=33536198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030041054A KR100619007B1 (ko) 2003-06-24 2003-06-24 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법

Country Status (2)

Country Link
US (1) US20040264577A1 (ko)
KR (1) KR100619007B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100735228B1 (ko) * 2005-05-13 2007-07-03 삼성전자주식회사 멀티미디어 플레이어를 위한 시스템 동기화 장치 및 방법
KR100770704B1 (ko) * 2005-08-04 2007-10-29 삼성전자주식회사 픽쳐 스킵 방법 및 장치
KR20220119912A (ko) * 2021-02-22 2022-08-30 주식회사 케이티 콘텐츠 출력 장치 및 콘텐츠 출력 방법
CN115499707A (zh) * 2022-09-22 2022-12-20 北京百度网讯科技有限公司 视频相似度的确定方法和装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005278152A (ja) * 2004-02-25 2005-10-06 Matsushita Electric Ind Co Ltd 映像音声再生装置及び映像音声再生方法
WO2005117445A1 (en) * 2004-05-27 2005-12-08 Vividas Technologies Pty Ltd Adaptive decoding of video data
US8189679B2 (en) * 2004-09-02 2012-05-29 Sony Corporation Content receiving apparatus, method of controlling video-audio output timing and content providing system
US7339958B2 (en) * 2005-01-03 2008-03-04 Mediatek, Inc. System and method for performing signal synchronization of data streams
JPWO2007000836A1 (ja) * 2005-06-29 2009-01-22 株式会社ディーアンドエムホールディングス 再生装置
US8897371B2 (en) * 2006-04-04 2014-11-25 Qualcomm Incorporated Video decoding in a receiver
KR100755789B1 (ko) 2006-07-31 2007-09-05 삼성전자주식회사 휴대용 단말기에서 화상통화 방법 및 장치
JP4703522B2 (ja) * 2006-09-08 2011-06-15 株式会社東芝 動画像復号装置
TWI478584B (zh) * 2007-03-08 2015-03-21 Realtek Semiconductor Corp 一種視訊編解碼的方法及其裝置
CN101431643B (zh) * 2007-11-06 2010-12-01 瑞昱半导体股份有限公司 降低视频数据输出速度的装置及方法
US9565426B2 (en) 2010-11-12 2017-02-07 At&T Intellectual Property I, L.P. Lip sync error detection and correction
JP5812808B2 (ja) * 2011-01-05 2015-11-17 キヤノン株式会社 画像処理装置及び画像処理方法
US20120281704A1 (en) 2011-05-02 2012-11-08 Butterworth Ashley I Methods and apparatus for isochronous data delivery within a network
US20120294594A1 (en) * 2011-05-17 2012-11-22 Jer-Min Hsiao Audio-video synchronization method and audio-video synchronization module for performing audio-video synchronization by referring to indication information indicative of motion magnitude of current video frame
US8514329B2 (en) 2011-05-31 2013-08-20 Motorola Mobility Llc Jitter estimation for MPEG receivers
CN105338281B (zh) 2014-06-27 2018-07-31 阿里巴巴集团控股有限公司 一种视频显示方法和装置
CN104394450B (zh) * 2014-11-14 2017-12-29 青岛海信宽带多媒体技术有限公司 一种多媒体帧的处理方法及装置
US10021438B2 (en) 2015-12-09 2018-07-10 Comcast Cable Communications, Llc Synchronizing playback of segmented video content across multiple video playback devices
CN107359959B (zh) * 2016-05-09 2019-12-24 上海复旦微电子集团股份有限公司 数据帧的起始位置检测方法及接收机

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0723323A (ja) * 1993-06-22 1995-01-24 Canon Inc 映像再生装置
JPH07203455A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd フレームレート検出変換装置
US5598352A (en) * 1994-09-30 1997-01-28 Cirrus Logic, Inc. Method and apparatus for audio and video synchronizing in MPEG playback systems
US5771075A (en) * 1994-12-08 1998-06-23 Lg Electronics Inc. Audio/video synchronizer
JPH10262208A (ja) * 1997-03-19 1998-09-29 Sony Corp 同期ずれ制御装置及び方法
KR100224099B1 (ko) * 1997-05-30 1999-10-15 윤종용 오디오/비디오 신호의 동기장치 및 방법
US6275527B1 (en) * 1998-01-14 2001-08-14 Conexant Systems, Inc. Pre-quantization in motion compensated video coding
JP4006553B2 (ja) * 1998-06-05 2007-11-14 ソニー株式会社 記録再生装置および方法
JP4656680B2 (ja) * 1998-11-30 2011-03-23 シャープ株式会社 画像検索情報記録装置及び画像検索装置
US6192080B1 (en) * 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
JP3623679B2 (ja) * 1999-01-06 2005-02-23 日本電気株式会社 動画像符号化装置
US6529638B1 (en) * 1999-02-01 2003-03-04 Sharp Laboratories Of America, Inc. Block boundary artifact reduction for block-based image compression
JP2000350212A (ja) * 1999-06-04 2000-12-15 Matsushita Electric Ind Co Ltd 映像信号復号装置並びに映像信号表示システム
JP2001309202A (ja) * 2000-04-19 2001-11-02 Matsushita Electric Ind Co Ltd フレームシンクロナイザ
KR100359111B1 (ko) * 2000-07-21 2002-11-04 삼성전자 주식회사 필드 및/또는 프레임 레이트 변환방법 및 장치
JP2002232739A (ja) * 2001-02-07 2002-08-16 Nec Corp フレームシンクロナイザー
US6959042B1 (en) * 2001-10-01 2005-10-25 Cisco Technology, Inc. Methods and apparatus for measuring compressed video signals and applications to statistical remultiplexing

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100735228B1 (ko) * 2005-05-13 2007-07-03 삼성전자주식회사 멀티미디어 플레이어를 위한 시스템 동기화 장치 및 방법
KR100770704B1 (ko) * 2005-08-04 2007-10-29 삼성전자주식회사 픽쳐 스킵 방법 및 장치
KR20220119912A (ko) * 2021-02-22 2022-08-30 주식회사 케이티 콘텐츠 출력 장치 및 콘텐츠 출력 방법
CN115499707A (zh) * 2022-09-22 2022-12-20 北京百度网讯科技有限公司 视频相似度的确定方法和装置

Also Published As

Publication number Publication date
US20040264577A1 (en) 2004-12-30
KR100619007B1 (ko) 2006-08-31

Similar Documents

Publication Publication Date Title
KR100619007B1 (ko) 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법
US6034731A (en) MPEG frame processing method and apparatus
KR100538135B1 (ko) 정보 스트림 프레임 동기 방법 및 장치
US7656948B2 (en) Transcoding system and method for maintaining timing parameters before and after performing transcoding process
KR101967818B1 (ko) 수신 장치 및 그 수신 방법
GB2328099A (en) Processing coded video particularly MPEG format video
KR100203262B1 (ko) 픽춰단위 동기화를 위한 비디오디코더의 인터페이스장치
US8144791B2 (en) Apparatus, method, and medium for video synchronization
KR20130121058A (ko) 3dtv를 위한 영상 재생 장치 및 상기 장치가 수행하는 방법
JP2001094943A (ja) Ｍｐｅｇ復号器の同期方法及び同期装置
KR20060099687A (ko) 타임스탬프를 이용한 비디오 동기화 장치 및 방법
US8359413B2 (en) Data stream buffer control using reference time and decoding time
KR20080076329A (ko) 디지털 방송 재생 방법 및 장치
KR100864009B1 (ko) 오디오／비디오 동기화 방법
EP1753235A2 (en) Apparatus and method for displaying a secondary video signal with a primary video signal
JP4689231B2 (ja) トランスポートストリーム切換装置
KR100233937B1 (ko) 타임스탬프 보상을 이용한 비디오와 오디오 동기 방법 및 이를 이용한 엠펙-2(mpeg-2) 인코더 장치
US20090193454A1 (en) Restamping transport streams to avoid vertical rolls
JP2823806B2 (ja) 画像復号装置
CN111988641B (zh) 传输流复用音视频时间同步方法
JPH099215A (ja) データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置
JP3671969B2 (ja) データ多重方法及び多重データ復号方法
JPH11196077A (ja) フレーム同期方法及び復号装置
US20170171598A1 (en) Broadcast receiving apparatus and controlling method thereof
JP2007259195A (ja) 多重化ストリーム変換装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140730

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee