KR100526905B1 - 다중표준출력신호를제공하는mpeg디코더 - Google Patents

다중표준출력신호를제공하는mpeg디코더 Download PDF

Info

Publication number
KR100526905B1
KR100526905B1 KR1019980709106A KR19980709106A KR100526905B1 KR 100526905 B1 KR100526905 B1 KR 100526905B1 KR 1019980709106 A KR1019980709106 A KR 1019980709106A KR 19980709106 A KR19980709106 A KR 19980709106A KR 100526905 B1 KR100526905 B1 KR 100526905B1
Authority
KR
South Korea
Prior art keywords
video signal
video
display
signal
decoder
Prior art date
Application number
KR1019980709106A
Other languages
English (en)
Other versions
KR20000010957A (ko
Inventor
리챠드 시타
사이프러서드 네임팰리
레리 필립스
에드윈 로버트 메이어
희용 김
로버트 티 라이언
갠셤 데이브
에드워드 브로츠
제렐드 피어슨
Original Assignee
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마쯔시다덴기산교 가부시키가이샤 filed Critical 마쯔시다덴기산교 가부시키가이샤
Priority to KR1019980709106A priority Critical patent/KR100526905B1/ko
Publication of KR20000010957A publication Critical patent/KR20000010957A/ko
Application granted granted Critical
Publication of KR100526905B1 publication Critical patent/KR100526905B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

차세대 텔레비전 시스템 표준(ATSC)을 따르는 비디오 디코더는, 상기 디코더가 제 1 모드에서 동작될 때, 주 프로파일, 고 레벨 (MP@HL) 영상을 디코딩하여 고해상도 비디오 출력 신호를 제공하고, 주 프로파일, 주 레벨 (MP@ML) 영상을 디코딩하여 표준 해상도 비디오 신호를 제공하는 회로를 포함한다. 또한, 상기 디코더가 제 2 모드에서 동작될 때, 상기 회로는 상기 MP@HL 신호로부터 표준 해상도 영상을 생성한다. 상기 비디오 디코더는 주파수 영역 필터를 포함하여, 상기 디코더가 상기 제 2 모드에서 동작될 때, 상기 MP@HL 신호의 해상도를 감소시킨다.

Description

다중 표준 출력 신호를 제공하는 ＭＰＥＧ 디코더
본 특허 출원은 1997년 3월 12일에 출원된 미국 특허 출원(No. 60/040,517)에 근거한 우선권 주장을 포함한다.
상기 미국 특허 출원(No. 60/040,517)의 전문은 본 출원에 관한 참고 자료로서 제시된다.
본 발명은 MPEG-2 인코딩 비디오 신호와 같은 주파수 영역 인코딩 신호를 수신하고, 상기 신호를 디코딩하며, 상기 신호를 표준 출력 비디오 신호로 변환하는 디코더에 관한 것으로서, 보다 구체적으로는, 인코딩된 고해상도 비디오 신호(encoded high resolution video signal)를 디코딩된 저해상도 출력 비디오 신호(decoded low resolution video signal)로 포맷하는 디코더에 관한 것이다.
미국의 표준에서, 차세대 텔레비전 시스템 위원회(Advanced Television System Committee(ATSC))의 표준은 고해상 텔레비전(HDTV) 신호의 디지털 인코딩을 정의한다. 필연적으로, 상기 표준의 일부는 표준화를 위한 국제 기구(International Orgarnization for Standardization(ISO))의 동화상 전문가 그룹(Moving Picture Experts Group(MPEG))에 의해 제안된 MPEG-2 표준과 동일하다. 상기 표준은 국제 표준(IS) 출판물 "Information Technology - Generic Coding of Moving Pictures and Associated Audio, Recommendation H.626"(ISO/IEC 13818-2, IS, 11/94)에 기재되어 있으며, 이는 ISO로부터 구할 수 있고, 본 출원의 MPEG-2 디지털 비디오 코딩 표준에 관한 참고 자료로 이용되어 있다.
실제로, MPEG-2 표준은 서로 다른 수 개의 표준들이다. MPEG-2에서는, 인코딩된 영상의 복합성의 서로 다른 레벨에 각각 대응하는, 수 개의 서로 다른 프로파일들이 규정된다. 각 프로파일에 대해, 서로 다른 영상 해상도에 각각 대응하는 서로 다른 레벨들이 규정된다. 주 프로파일(Main Profile), 주 레벨(Main Level)로 알려진 MPEG-2 표준들 중 한 표준은 비디오 신호가 기존의 텔레비전 표준들(즉, NTSC 및 PAL)에 일치하게 코딩되도록 의도되었다. 주 프로파일, 고 레벨로 알려진 또 다른 표준은 고해상 텔레비전 영상을 코딩하도록 의도되었다. 상기 주 프로파일, 고 레벨 표준에 따라 인코딩된 영상에는 영상 프레임당 1,152개의 액티브 라인(active line)들이 있고, 라인당 1,920개의 화소들이 있다.
한편, 주 프로파일, 주 레벨 표준은 라인당 720개의 화소들을 가지고, 프레임당 567개의 라인들을 가진 최대 화상 크기를 규정한다. 분당 30 프레임의 프레임 전송 속도(frame rate)에서, 상기 표준에 따라 인코딩된 신호들은 분당 720*567*30 또는 12,247,200개의 화소들의 데이터 전송 속도를 가진다. 반면, 상기 주 프로파일, 고 레벨 표준에 따라 인코딩된 영상들의 최대 데이터 전송 속도는 분당 1,152*1,920*30 또는 66,355,200개의 화소들이다. 상기 데이터 전송 속도는 상기 주 프로파일, 주 레벨 표준에 따라 인코딩된 영상 데이터의 데이터 전송 속도의 5배를 넘는다. HDTV 인코딩을 위한 미국내의 표준은 상기 표준의 서브 세트로서, 프레임당 1,080개의 라인들과 라인당 1,920개의 화소들을 가지며, 상기 프레임 크기에서, 분당 30 프레임의 최대 프레임 전송 속도를 가진다. 여전히, 상기 표준에 대한 최대 데이터 전송 속도는 상기 주 프로파일, 주 레벨 표준에 대한 최대 데이터 전송 속도보다 매우 크다.
MPEG-2 표준은 데이터 및 제어 정보의 혼합체를 포함하는 복합 신택스(complex syntax)를 규정한다. 상기 제어 정보의 일부는 수 개의 서로 다른 포맷들을 가진 신호들이 상기 표준에 포괄되도록 하는데 사용된다. 상기 포맷들은 서로 다른 라인당 화상 요소(화소)의 수와, 서로 다른 프레임 또는 필드당 라인의 수와, 서로 다른 분당 프레임 또는 필드의 수를 가지는 영상들을 규정한다. 또한, MPEG-2 주 프로파일의 기본 신택스는 시퀀스층, 화상층의 그룹, 화상층, 슬라이스층 및 매크로블록층의 5개의 층들로된 영상들의 시퀀스를 나타내는 압축된 MPEG-2 비트 스트림을 규정한다. 상기 층들 각각은 제어 정보로 시작된다. 결국, 부 정보(side information)로도 알려진 다른 제어 정보(예컨데, 프레임 타입, 매크로블록 패턴, 영상 모션 벡터, 계수 지그재그 패턴 및 감량 정보)는 코딩된 비트 스트림에 분산된다.
인코딩 고해상도 주 프로파일, 고 레벨 화상들을 저해상도 주 프로파일, 고 레벨 화상들; 주 프로파일, 주 레벨 화상들 또는 다른 저해상도 화상 포맷들로 포맷 변환(format conversion)함으로써, a) 다수의 기존 비디오 포맷들과 함께 사용되는 단일 디코더를 제공하고, b) 주 프로파일, 고 레벨 신호들과 퍼스널 컴퓨터 모니터들 또는 기존의 소비자 텔레비전 수신기들간의 인터페이스를 제공하고, c) HDTV의 수행 비용을 감소시킨다. 예컨데, 변환은 주 프로파일, 고 레벨 인코딩 화상들과 함께 사용되는 고가의 고해상도 모니터로서 낮은 화상 해상도를 가진 저가의 기존의 모니터를 대체하여, NTSC 또는 525 차세대 모니터와 같은 주 프로파일, 주 레벨 인코딩 화상들을 지지할 수 있다. 다운 변환(down conversion)은 고해상도 입력 화상을 저해상도 화상으로 변환하여 저해상도 모니터상에 디스플레이한다.
디지털 영상을 효과적으로 수신하도록, 디코더는 비디오 신호 정보를 신속하게 처리해야 한다. 가장 효율적이 되도록, 상기 디코딩 시스템은 비교적 저가이어야 하며, 상기 디지털 신호를 실시간내에 디코딩하도록 여전히 충분한 출력을 가져야 한다. 결국, 다중 포맷들로의 변환을 지지하는 디코더는 반드시 프로세서 메모리를 최소화해야 한다.
본 발명의 상기 특성들과 장점들은 첨부된 도면들과 후술한 기재 내용들로부터 명백히 이해될 것이다.
도 1A는 본 발명의 양호한 실시예에 따른 비디오 디코딩 및 포맷 변환 시스템의 고 레벨 블록도.
도 1B는 본 발명의 양호한 실시예에 채용된 외부 메모리에 대한 인터페이스를 포함하는 ATV 비디오 디코더의 기능적 블록들을 도시한 고 레벨 블록도.
도 2A는 본 발명의 양호한 실시예에 의해 채용되는 비디오 디코더의 고 레벨 블록도.
도 2B는 본 발명의 양호한 실시예에 채용된 다운 변환 시스템의 고 레벨 블록도.
도 2C는 750P 포맷으로 비디오 신호를 디코딩하는 도 2A에 도시된 디코더의 배치를 도시한 블록도.
도 2D는 3 인자(factor) 만큼의 다운 변환을 포함하는 1125I 포맷의 비디오 신호를 525P/525I 포맷으로 디코딩하는데 사용되는 도 2B에 도시된 디코더의 배치를 도시한 블록도.
도 2E는 2 인자만큼의 다운 변환을 포함하는 750P 포맷의 비디오 신호를 525P/525I 포맷으로 디코딩하는데 사용되는 도 2B에 도시된 디코더의 배치를 도시한 블록도.
도 3A는 본 발명의 양호한 실시예에 따른 서브 화소의 위치들과 3:1 및 2:1에 대응하는 예측된 화소들을 도시한 화소 차트.
도 3B는 본 발명의 양호한 실시예에 따라 입력 매크로블록의 각 행에 대해 수행되는 업샘플링 프로세스(upsampling process)의 흐름도.
도 4는 블록 미러 필터의 양호한 실시예의 제 1 및 제 2 출력 화소값들에 대한 곱셈 켤레(multiplication pairs)를 도시한 화소 차트.
도 5는 캐스케이드 1 차원 IDCT(cascaded one-dimentional IDCT)로 수행되는 수평 및 수직 성분들을 처리하는 2 차원 시스템의 다운 변환을 위한 필터의 양호한 수행을 도시한 블록도.
도 6A는 3:1 데시메이션(decimation)을 사용하는 4:2:0 비디오 신호에 대한 입력 및 데시메이트(decimate)된 출력 화소들을 도시한 매크로블록도.
도 6B는 2:1 데시메이션을 사용하는 4:2:0 비디오 신호에 대한 입력 및 데시메이트된 출력 화소를 도시한 화소 블록도.
도 6C는 2 만큼 수평 다운 변환되어 메모리내에 저장되도록 2개의 매크로블록들을 1개의 매크로블록으로 병합하는 프로세스를 도시한 매크로블록도.
도 6D는 3 만큼 수평 다운 변환되어 메모리내에 저장되도록 3개의 매크로블록들을 1개의 매크로블록으로 병합하는 프로세스를 도시한 매크로블록도.
도 7A는 본 발명의 일 실시예의 수직 프로그램 가능한 필터(vertical programmable filter)의 블록도.
도 7B는 수직 필터 계수들과 도 7A의 수직 프로그램 가능한 필터의 라인들의 화소 샘플 공간(pixel sample space)간의 공간 관계를 도시한 화소도.
도 8A는 본 발명의 일 실시예의 수평 프로그램 가능한 필터를 도시한 블록도.
도 8B는 본 발명의 양호한 실시예의 수평 필터 계수들과 화소 표본값들 간의 공간 관계를 도시한 화소도.
도 9A는 본 발명의 양호한 실시예의 리샘플링비 프로파일(resampling ratio profile)을 도시하는 리샘플링비 대 화소수의 그래프.
도 9B는 4:3 화상을 16:9 디스플레이에 맵핑하는 제 1 비율 프로파일을 도시한 그래프.
도 9C는 4:3 화상을 16:9 디스플레이에 맵핑하는 제 2 비율 프로파일을 도시한 그래프.
도 9D는 16:9 화상을 4:3 디스플레이에 맵핑하는 제 1 비율 프로파일을 도시한 그래프.
도 9E는 16:9 화상을 4:3 디스플레이에 맵핑하는 제 2 비율 프로파일을 도시한 그래프.
도 10은 본 발명의 양호한 실시예에 따른 리샘플링비 프로파일의 사용의 효과를 도시한 영상 다이어그램의 차트.
도 11A는 본 발명의 양호한 실시예의 ATV 비디오 디코더의 디스플레이 섹션의 고 레벨 블록도.
도 11B는 본 발명의 양호한 실시예의 27 MHz 이중 출력 모드(Dual output mode)를 도시한 블록도로서, 비디오 데이터는 525P 또는 525I이고, 제 1 프로세싱 체인은 NTSC 인코더(NTSC encoder) 및 27 MHz DAC로 비디오 데이터를 제공한다.
도 11C는, 본 발명의 양호한 실시예의 27 MHz 단일 출력 모드에서, 오직 525I 비디오 신호만이 NTSC 인코더로 제공되는 것을 도시한 블록도.
도 11D는 본 발명의 양호한 실시예의 74 MHz/27 MHz 모드를 도시한 블록도로서, 출력 포맷은 입력 포맷과 일치하고, 비디오 데이터는 상기 입력 포맷에 따라 27 MHz DAC 또는 74 MHz DAC로 제공된다.
도 12는 오직 주 프로파일, 주 레벨 ATSC 비디오 신호만을 디코딩하도록 본 발명의 양호한 실시예에 의해 채용된 고대역폭 메모리(high bandwidth memory)를 구비한 비디오 디코더의 고 레벨 블록도.
도 13A는 입력 비디오가 필드 포맷으로 될 때 화상 정보의 판독, 저장 및 디스플레이에 관련된 흐름 시간 및 프로세스를 도시한 타이밍도의 상반부.
도 13B는 입력 비디오가 필드 포맷으로 될 때 화상 정보의 판독, 저장 및 디스플레이에 관련된 흐름 시간 및 프로세스를 도시한 타이밍도의 하반부.
도 14A는 입력 비디오가 프레임 포맷으로 될 때 화상 정보의 판독, 저장 및 디스플레이에 관련된 흐름 시간 및 프로세스를 도시한 타이밍도의 상반부.
도 14B는 입력 비디오가 프레임 포맷으로 될 때 화상 정보의 판독, 저장 및 디스플레이에 관련된 흐름 시간 및 프로세스를 도시한 타이밍도의 하반부.
도 15A는 입력 비디오가 프로그래시브 시퀀스로 되고 디스플레이가 인터레이싱 시퀀스로 될 때 화상 정보의 판독, 저장 및 디스플레이에 관련된 흐름 시간 및 프로세스를 도시한 타이밍도의 상반부.
도 15B는 입력 비디오가 프로그래시브 시퀀스로 되고 디스플레이가 인터레이싱 시퀀스로 될 때 화상 정보의 판독, 저장 및 디스플레이에 관련된 흐름 시간 및 프로세스를 도시한 타이밍도의 하반부.
도 16A는 입력 비디오가 프로그래시브 시퀀스가 되고 디스플레이가 프로그래시브 시퀀스가 될 때 화상 정보의 판독, 저장 및 디스플레이에 관련된 흐름 시간 및 프로세스를 도시한 타이밍도의 상반부.
도 16B는 입력 비디오가 프로그래시브 시퀀스가 되고 디스플레이가 프로그래시브 시퀀스가 될 때 화상 정보의 판독, 저장 및 디스플레이에 관련된 흐름 시간 및 프로세스를 도시한 타이밍도의 하반부.
도 17A는 고해상도 비디오 신호를 제공하도록 디코더가 배열될 때 메모리는 어떻게 활용되는가를 도시한 메모리 맵 다이어그램.
도 17B는 한 타입의 영상이 디코딩될 때 영상 매크로블록들의 행이 어떻게 메모리 행에 맵핑되는가를 도시한 메모리 맵 다이어그램.
도 18A는 표준 해상도 비디오 신호를 제공하도록 디코더가 배열될 때 메모리는 어떻게 활용되는가를 도시한 메모리 맵 다이어그램.
도 18B는 또 다른 타입의 영상이 디코딩될 때 영상 매크로블록들의 행이 어떻게 메모리 행에 맵핑되는가를 도시한 메모리 맵 다이어그램.
도 19A는 고해상도 비디오 신호를 제공하도록 디코더가 배열될 때 저감된 메모리는 어떻게 활용되는가를 도시한 메모리 맵 다이어그램.
도 19B는 또 다른 타입의 영상이 디코딩될 때 영상 매크로블록들의 행이 어떻게 메모리 행에 맵핑되는가를 도시한 메모리 맵 다이어그램.
본 발명은 제 1 및 제 2 모드에서 동작하는 비디오 디코더로 구현된다. 상기 비디오 디코더는 단자에서 인코딩된 비디오 신호를 수신하며, 1) 상기 수신된 인코딩된 비디오 신호를 디코딩하여 제 1 공간 해상도를 가진 디코딩된 비디오 신호를 제공하는 제 1 모드와, 2) 상기 제 1 공간 해상도보다 낮은 제 2 공간 해상도를 가진 디코딩된 비디오 신호를 제공하는 제 2 모드에서 동작하는 디코딩 회로를 포함한다. 상기 비디오 디코더는, 디코딩 회로가 제 2 모드에서 동작할 때, 상기 디코딩된 비디오 신호를 처리하여 상기 디코딩된 비디오 신호의 공간 해상도를 변화시켜, 제 1 및 제 2 공간 해상도와 다른, 각각의 디스플레이 공간 해상도를 가진 적어도 하나의 디스플레이 비디오 신호를 생성하도록 포맷팅 제어 신호에 응답하는 공간 필터와, 상기 디코더를 제 1 및 제 2 모드들 간에 스위칭하고, 상기 포맷팅 제어 신호를 포맷팅 회로에 제공하는 제어기를 더 포함한다.
시스템 개요(System Overview)
본 발명의 양호한 실시예는 MPEG-2 표준(특히, 주 프로파일 고 레벨(MP@HL) 및 주 프로파일 주 레벨(MP@ML) 표준)에 따라 인코딩된 종래의 HDTV 신호를 디코딩하고, 상기 디코딩된 신호를 수신된 HDTV 신호의 해상도에 비해 낮은 해상도를 가지고 다수의 포맷들 중의 선택된 것들을 가진 비디오 신호로서 제공한다.
MPEG-2 주 프로파일 표준은 영상들의 시퀀스를 5 레벨로 규정한다: 시퀀스 레벨, 화소 레벨들의 그룹, 화소 레벨, 슬라이스 레벨 및 매크로블록 레벨. 상기 레벨들 각각은 데이터 스트림내에 기록될 수 있으며, 뒤에 열거된 레벨들은 앞에 열거된 레벨들내의 서브 레벨로서 생성된다. 각 레벨에 대한 레코드는 그 서브 레코드의 디코딩에 사용되는 데이터를 수용하는 헤더 섹션을 포함한다.
인코딩된 HDTV 신호의 각 매크로블록은 6개의 블록들을 포함하며, 각 블록은 HDTV 영상내의 64개의 화상 요소들(화소들)의 이산 코사인 변환(DCT; Discrete Cosine Transform) 표시의 64개의 개별 계수값들을 표시한다.
인코딩 프로세스에서, 상기 이산 코사인 변환에 선행하여 모션 보상 미분 코딩(motion compensated differential coding)에 종속될 수 있으며, 변환된 계수들의 블록들은 런-길이 및 변수 길이 인코딩 테크닉에 의해 더 인코딩된다. 데이터 스트림으로부터 영상 시퀀스를 복구하는 디코더는 인코딩 프로세스를 반대로한다. 상기 디코더는 엔트로피 디코더(entropy decoder)(예컨데, 변수 길이 디코더), 인버스 이산 코사인 변환 프로세서(inverse discrete cosine transform processor), 모션 보상 프로세서(motion compensation processor) 및 보간 필터(interpolation filter)를 채용한다.
본 발명의 비디오 디코더는 다수의 서로 다른 화상 포맷들을 지원하도록 고안되었으며, 고해상도 인코딩 화상 포맷들을 다운 변환하는 최소한의 디코딩 메모리를 요구한다. 예컨데, 상기 메모리는 48 Mb의 병행 램버스 동적 임의 접근 메모리(Concurrent RDRAM; Rambus dynamic random access memory)가 될 수 있다.
도 1A에는 MP@HL 또는 MP@ML에서 인코딩된 비디오 정보를 수신 및 디코딩하고, 상기 디코딩된 정보를 사용자 선택 출력 비디오 포맷(비디오 및 오디오 정보를 모두 포함)으로 포맷하는 본 발명의 양호한 실시예와, 상기 포맷된 비디오 출력 신호를 디스플레이 장치로 제공하는 인터페이스를 채용하는 시스템이 도시되어 있다. 본 발명의 양호한 실시예는 모든 ATSC 비디오 포맷을 지지하도록 고안되었다. 그리고, 다운 변환(DC) 모드에서 본 발명은 임의의 MPEG 주 프로파일 비디오 비트스트림(FCC 표준에 의해 강제됨)을 수신하고 525P, 525I 또는 NTSC 포맷 화상을 제공한다.
도 1A의 양호한 시스템은 프런트 엔드 인터페이스(front end interface)(100), 비디오 디코더 섹션(120) 및 디코더 메모리(130), 주 비디오 출력 인터페이스(140), 오디오 디코더 섹션(160), 광 컴퓨터 인터페이스(110) 및 선택적 NTSC 비디오 처리 섹션(150)을 포함한다.
도 1A를 참조하면, 양호한 시스템은 트랜스포트 디코더(transport decoder)(102)와 메모리(103)를 구비한 프로세서를 가지는 프런트 엔드 인터페이스(100)를 포함한다. 또한, 프런트 엔드 인터페이스(100)는, 예컨데, IEEE 1394 링크층 프로토콜(IEEE 1394 link layer protocol)로 수신된 제어 정보와 컴퓨터 인터페이스(110)로부터의 컴퓨터 생성된 영상을 선택하고 디지털 텔레비전 튜너(도시되지 않음)로부터의 인코딩된 트랜스포트 스트림을 복구하는 선택적 멀티플렉서(101)를 포함한다. 트랜스포트 디코더(102)는 통신 채널 비트스트림으로부터 수신된 압축 데이터 비트스트림을 압축 비디오 데이터로 변환한다. 예컨데, 이는 MPEG-2 표준에 따른 패킷화 기본 스트림(packetized elementary streams)(PES) 패킷이 될 수 있다. 상기 트랜스포트 디코더는 PES 패킷들 모두를 제공하거나 상기 PES 패킷들을 1 이상의 기본 스트림으로 변환한다.
비디오 디코더 섹션은 ATV 비디오 디코더(121) 및 위상 잠금 루프(PLL)(122)를 포함한다. ATV 비디오 디코더(121)는 프런트 엔드 인터페이스(100)로부터 기본 스트림 또는 비디오(PES) 패킷을 수신하고, 상기 패킷을 요소 스트림으로 변환한다. 그 후, ATV 비디오 디코더(121)의 전처리 화상 프로세서는 사용된 인코딩 방법에 따라 상기 기본 스트림을 디코딩하여, 각 영상 화상에 대한 휘도 및 색차 화소 정보를 제공한다. PLL(122)은 도 1A에 도시된 시스템에 의해 수행되는 오디오 및 비디오 프로세스에 동기화한다.
ATV 비디오 디코더(121)는 영상 화상 정보를 제공하는 외부 메모리를 사용한 디코딩 동작을 제어하는 메모리 서브-시스템과, 디코딩된 화상 정보를 소정의 화상 포맷으로 처리하는 디스플레이 섹션을 더 포함한다. ATV 비디오 디코더(121)는 디코더 메모리(130)를 채용하여 인코딩된 비디오 신호를 처리한다. DPLL(122)은 ATV 디코더(120)와 디코더 메모리(130)간의 동기화된 프로세싱 동작을 위해 타이밍 신호를 생성하는데 사용된다. 디코더 메모리(130)는 메모리 유닛들(131, 132, 133, 134, 135, 136)을 포함하는데, 상기 유닛들 각각은 16 Mb RDRAM 메모리가 될 수 있다. 본 발명의 양호한 실시예들은 비디오 디코더 섹션(120) 및 디코더 메모리(130)에 관하여 기술된다.
주 비디오 출력 인터페이스(140)는, 필터(142)에 앞서고 74 MHz에서 동작하는 제 1 디지털-아날로그(D/A) 변환기(DAC)(141)(휘도 신호와 CR 및 CB 색차 신호들을 위한 3개의 D/A 유닛들을 구비함)를 포함한다. 상기 인터페이스는 1125I 또는 750P 포맷의 아날로그 비디오 신호를 생성한다. 또한, 인터페이스(140)는, 525I 또는 525P를 가지는 비디오 신호들에 위해, 필터(142)에 앞서고 27 MHz에서 동작할 수 있는 제 2 D/A 변환기(DAC)(143)을 포함한다. 주 비디오 출력 인터페이스(140)는 소정의 포맷을 가진 디지털 인코딩된 비디오 신호를 변환하고, D/A 변환기를 사용하여 소정의 포맷을 가진 색차 및 휘도 성분들을 가지는 아날로그 비디오 신호를 생성하며, 상기 아날로그 비디오 신호를 필터링하여 상기 D/A 변환 프로세스의 샘플링 아티팩트(sampling artifact)를 제거한다.
오디오 디코더 섹션(160)은 출력 포트들(163, 164)에 오디오 신호를 제공하는 AC3 오디오 디코더(162)와, 출력 포트(165)에 2 채널 오디오 신호들을 제공하는 선택적 6-2 채널 다운 믹싱 프로세서(6-2 channel down mixing processor)(161)를 포함한다. MP@HL MPEG-2 표준 오디오 신호 성분들을 인코딩 디지털 정보로부터 출력 포트들(163, 164, 165)의 아날로그 출력으로 변환하는 오디오 프로세스는 당해 기술 분야에서 주지되어 있고, 디코더(160)로 사용되기에 적합한 오디오 디코더는 캘리포니아주 산타클라라의 조란 주식회사(Zoran Corporation)의 제품 ZR38500 6 채널 돌비 디지털 서라운드 프로세서(ZR38500 Six Channel Dolby Digital Surround Processor)이다.
선택적 컴퓨터 인터페이스(110)는, 예컨데, IEEE 1394 표준에 따른 컴퓨터 영상 신호를 송수신한다. 컴퓨터 인터페이스(110)는 물리 층 프로세서(physical layer processor)(111) 및 링크 층 프로세스(link layer processor)(112)를 포함한다. 물리 층 프로세서(111)는 출력 포트(113)로부터의 전기적 신호를 컴퓨터 생성된 영상 정보 또는 제어 신호로 변환하고, 링크 층 프로세서(112)에 의해 IEEE 1394 포맷된 데이터로 디코딩되도록 상기 신호들을 제공한다. 또한, 물리 층 프로세서(111)는 트랜스포트 디코더(102)로부터 기원하여 링크 층 프로세서(112)에 의해 인코딩되는 수신된 제어 신호를 IEEE 1394 표준에 따른 전기적 출력 신호로 변환한다.
NTSC 비디오 프로세싱 섹션(150)은 필터(142)에 의해 제공된 아날로그 HDTV 신호를 525 I 신호로 변환하는 선택적 ATV-NTSC 다운 변환 프로세서(151)를 포함한다. 표준들 사이의 상기 변환은 당해 기술 분야에서 주지되어 있고, 예컨데, 본원에서 기준으로 제시된 Hau 등의 미국 특허(No. 5,613,084), "위상 양자화를 이용한 샘플 레이트를 변환하는 보간 필터 선택 회로(INTERPOLATION FILTER SELECTION CIRCUIT FOR SAMPLE RATE CONVERSION USING PHASE QUANTIZATION)"에 기재된 공간 필터링 테크닉의 사용에 의해 성취될 수 있다. 본 발명의 양호한 실시예에서, 상기 프로세싱 섹션은 상기 디코더가 1080I 또는 1125I 신호를 프로세스할 때에만 사용된다.
NTSC 인코더(152)는 프로세서(151) 또는 디코더(120)으로부터 525I 아날로그 신호를 수신하고, 출력 포트들(153(S-비디오), 154(복합 비디오))에서 상기 신호를 NTSC 포맷된 비디오 신호로 변환한다.
디코더 메모리를 구비한 비디오 디코더 섹션
도 1B는 본 발명의 양호한 실시예에 채용된 외부 메모리(130)로의 인터페이스를 포함하는 ATV 비디오 디코더(121)의 기능 블록들을 도시한 고 레벨 블록도이다. ATV 비디오 디코더(121)는 화상 프로세서(171), 매크로블록 디코더(172), 디스플레이 섹션(173) 및 메모리 서브-시스템(174)을 포함한다. 화상 프로세서(171)는 인입하는 MPEG-2 비디오 비트스트림을 수신, 저장 및 부분적으로 디코딩하고, 상기 인코딩된 비트스트림, 온 스크린 디스플레이 데이터 및 모션 벡터를 제공하며, 이들은 메모리 시스템(174)의 제어에 따라 메모리(130)에 저장될 수 있다. 매크로블록 디코더(172)는 예측 인코딩(predictive encoding)이 사용되는 경우에 상기 인코딩된 비트스트림, 모션 벡터 및 모션 보상 기준 영상 데이터를 수신하고, 상기 인코딩된 비디오 영상의 디코딩된 매크로블록을 메모리 서브-시스템(174)에 제공한다. 디스플레이 섹션(173)은 메모리 서브-시스템(174)으로부터의 디코딩된 매크로블록들을 검색하고, 이들을 디스플레이용 비디오 영상 화상로 포맷한다. 상기 섹션들의 동작은 상세히 후기한다.
a) 화상 처리를 위한 주 프로파일 포맷 지원
본 발명의 ATV 비디오 디코더(121)는 모든 ATSC 비디오 포맷들을 지원하도록 고안되었다. 즉, ATV 디코더(121)의 동작은 ATV 비디오 디코더(121)는 표 1에 도시된 임의의 MPEG 주 프로파일 비디오 비트스트림을 수신하고 525P, 525I 또는 NTSC 포맷 비디오 신호를 제공하는 다운 변환(Down Conversion(DC)) 모드와, MPEG 주 프로파일 비트스트림으로부터의 고해상도 1080I/1125I 또는 750P 포맷 화상을 제공하는 전 명세(Full Specification)(FS) 모드로 구분된다. 도 1A의 양호한 비디오 디코더에 대해, FS 모드에서, 임의의 HDTV 또는 SDTV 신호는 디코딩되고 하나의 포트에서 제공된 출력 신호를 인코딩에 사용되는 포맷과 동일한 포맷으로 디스플레이한다. DC 모드에서, 임의의 HDTV 또는 SDTV 신호는 디코딩되고 2 포트들(포트 1은 프로그래시브 또는 인터레이싱 영상을 제공하고, 포트 2는 인터레이싱 영상을 제공함)에서 제공된 출력 신호를 디스플레이한다.
FS 모드에서, 화상 정보는 헤더에 수용되며(시퀀스 또는 화상), MPEG 표준은 프로그래시브 화상이 인터레이싱 화상로서 디스플레이되게 한다. 더욱이, 30 Hz/60 Hz로부터 29.97 Hz/59.94 Hz로의 프레임 전송 속도 Hz 변환을 지원하도록, 상기 디코더는 수신된 매 1001개의 화상 프레임들 중 하나의 화상을 드롭(drop)할 수 있다. 표 2는 표 1의 각각의 입력 비트스트림에 대한 지원된 FS 모드 출력 화상 포맷들을 제공한다.
DC 모드에서, 주 레벨 화상의 고주파 성분들의 저역 통과 필터링은 고해상도 화상을 저해상도가 가진 포맷에 적응되도록 디코딩 프로세스의 일부로서 생성한다. 상기 동작은 고해상도 화상의 수평 및 수직 필터링을 포함한다. DC 모드에서, 상기 디스플레이 포맷 변환은 4 × 3 디스플레이상에 16×9 종횡비 소스를 디스플레이 할 수 있으며, 그 역도 가능하다. 상기 프로세스는 비디오 디코더 섹션(120)의 디스플레이 섹션에 관해 계속하여 기술된다. 표 2는 표 1의 각각의 입력 비트스트림에 대한 제 1 및 제 2 출력 화상 포맷을 제공한다:
b)디코딩, 다운 변환 및 다운샘플링
1) 개요
도 2A는 MPEG-2 인코딩된 화상을 처리하는 종래 기술의 전형적인 비디오 디코딩 시스템의 고 레벨 블록도이다. 후속 처리, 다운 변환 또는 포맷 변환을 이용하지 않고 MPEG-2 인코딩된 화상을 디코딩하는 일반적인 방법은, MPEG-2 표준에 의해 특정된다. 상기 비디오 디코딩 시스템은 파져(parser)(209)를 포함할 수 있는 엔트로피 디코더(ED)(110)와, 가변 길이 디코더(variable length decoder(VLD))(210)와, 실행 길이 디코더(run length decoder)(212)를 포함한다. 상기 시스템은 또한 역 양자화기(inverse quantizer)(214) 및 반전 이산 코사인 변환(IDCT) 프로세서(218)를 포함한다. 제어기(207)는 ED(110)에 의해 입력 비트스트림으로부터 검색된 제어 정보에 응답하여 디코딩 시스템의 다양한 성분들을 제어한다. 예측 영상들의 처리를 위해, 상기 시스템은 기준 프레임 메모리(222)와, 합산 네트워크(230)와, 모션 벡터 프로세서(221) 및 절반 화소 발생기(half-pixel generator)(228)를 가질 수 있는 모션 보상 프로세서(206a)를 더 포함한다.
ED(110)는 인코딩된 비디오 영상 신호를 수신하고, 상기 인코딩 프로세스를 반전하여 현재 디코딩되고 있는 예측된 화상의 매크로블록에 대응한 선행 디코딩된 영상내의 정합 매크로블록의 상대적 변위를 기술하는 모션 벡터를 포함하는 제어 정보 및 양자화된 주파수 영역(DCT) 계수들의 매크로블록들을 생성한다. 반전 쿼타이져(214)는 양자화된 DCT 변환 계수들을 수신하고 특정 매크로블록에 대한 양자화된 DCT 계수들을 재구성한다. 특정 블록을 위해 사용되는 양자화 행렬은 ED(110)로부터 수신된다.
IDCT 프로세서(218)는 상기 재구성된 DCT 계수를 공간 영역(매크로블록의 휘도 및 색차 성분들을 나타내는 8 × 8 매트릭스 값들의 각 블록과, 예측된 매크로블록의 차동 휘도 또는 차동 색차 성분들을 나타내는 8 × 8 매트릭스 값들의 각 블록에 대해)내의 화소값으로 변환한다.
만약 현재 매크로블록이 예측적으로 인코딩되지 않는다면, IDCT 프로세서(218)에 의해 제공되는 출력 매트릭스 값들은 현재 비디오 영상의 대응 매크로블록의 화소값들이다. 만약 매크로블록이 프레임간 인코딩된다면, 선행 비디오 화상 프레임의 대응 매크로블록은 모션 보상 프로세서(206)에 의해 사용되도록 메모리(199)에 저장된다. 모션 보상 프로세서(206)는 상기 모션 벡터에 응답하여 메모리(199)로부터 선행 디코딩된 매크로블록을 수신하고, 그 후, 상기 선행 매크로블록을 합산 네트워크(230)내의 현재 IDCT 매크로블록(현재 예측적으로 인코딩된 프레임의 잔류 성분에 대응)에 가산하여 현재 비디오 영상에 대한 화소들의 대응 매크로블록을 제공하며, 이는 기준 프레임 메모리(222)에 저장된다.
도 2A의 제 1 양호한 실시예의 시스템은 또한 수직 필터(292) 및 수평 필터(294)를 구비한 디스플레이 포맷 블록(290)을 포함한다. 디스플레이 포맷 블록(290)은 디코딩된 고해상도(FS) 영상들을 특정 디스플레이 유닛상에 디스플레이되는 영상으로 포맷한다.
상술한 바와 같이, 도 2A는 다운 변환 없이 인코딩된 화상의 디코딩을 도시한다. 만약 다운 변환이 저해상도 화상의 제공에 이용된다면, DCT 필터는 IDCT 동작 전에 가산될 것이다.
도 2B는 DCT 필터링 동작을 채용하는 본 발명의 양호한 실시예의 다운 변환 시스템의 고 레벨 블록도로서, 상기 동작은 DC 모드에서 본 발명의 양호한 실시예에 의해 채용될 수 있다. 도 2B에 도시된 바와 같이, 다운 변환 시스템은 가변 길이 디코더(VLD)(210), 실행 길이(R/L) 디코더(212), 역 양자화기(214) 및 반전 이산 코사인 변환(IDCT) 프로세서(218)를 포함한다. 또한, 상기 다운 변환 시스템은 인코딩된 화상을 필터링하는 다운 변환 필터(216)와 다운샘플링 프로세서(232)를 포함한다. 후술하는 바는 MP@HL 인코딩 입력에 대한 양호한 실시예에 관한 것이지만, 본 발명은 유사한 임의의 인코딩 고해상도 영상 비트스트림에도 적용된다.
상기 다운 변환 시스템은 또한 모션 벡터(MV) 번역기(MV Translator)(220)를 구비한 모션 보상 프로세서(206b)와, 업샘플링 프로세서(226)를 구비한 모션 블록 발생기(224)와, 절반 화소 발생기(228)와, 기준 플레임 메모리(222)를 포함한다.
도 2B의 제 1 양호한 실시예의 시스템은 또한 수직 프로그램 가능 필터(VPF)(282) 및 수평 프로그램 가능 필터(HZPF)(284)를 구비한 디스플레이 변환 블록(Display Conversion Block)(280)을 포함한다. 디스플레이 변환 블록(280)은 다운샘플링된 영상을 원래 영상보다 낮은 해상도를 가진 특정 디스플레이 장치상에 디스플레이되는 영상으로 변환하며, 이에 대해서는, 디스플레이 변환의 섹션 d)(2)에서 상세히 후술한다.
다운 변환 필터(216)는 주파수 영역에서 고해상도(예컨데, 주 프로파일, 고 레벨 DCT) 계수의 저역 통과 필터링을 수행한다. 다운샘플링 프로세스(232)는 필터링된 주 프로파일, 고 레벨 화상의 데시메이션에 의해 공간 화소들을 제거함으로써 MP@HL 화상의 디스플레이에 요구되는 것보다 낮은 해상도를 가진 모니터상에서 디스플레이될 수 있는 한 세트의 화소값들을 생성한다. 양호한 기준 프레임 메모리(222)는 상기 다운샘플링된 화상에 대응한 해상도를 가진 최소한 하나의 선행 디코딩된 기준 프레임에 대응하는 공간 화소값들을 저장한다. 프레임간 인코딩에 대해, MV 번역기(220)는 해상도의 감소와 일치하는 수신된 화상의 각 블록에 대한 모션 벡터를 스케일(scale)하며, 고해상도 모션 블록 발생기(224)는 기준 프레임 메모리(222)에 의해 제공되는 저해상도 모션 블록을 수신하고, 상기 모션 블록들을 업샘플링하고, 디코딩 및 필터링된 차동 화소 블록들에 대응한 화소 위치들을 가진 모션 블록들을 제공하는데 필요한 절반 화소 보간(half-pixel interpolation)을 수행한다.
도 1B의 다운 변환 시스템에서, 다운샘플링된 영상은 고선명 영상과는 다르게 저장되므로, 기준 영상의 저장에 필요한 메모리는 상당히 감소된다.
이제, 프레임내 인코딩(infra-frame encoding)을 위한 본 발명의 다운 변환 시스템의 양호한 실시예의 동작을 기술한다. 상기 MP@HL 비트스트림은 VLD(210)에 의해 수신 및 디코딩된다. HDTV 시스템에 사용되는 헤더 정보에 부가하여, VLD(210)는 각 블록 및 매크로블록에 대한 DCT 계수와 모션 벡터 정보를 제공한다. 상기 DCT 계수는 R/L 디코더(212)에서 실행 길이 인코딩되고, 역 양자화기(214)에 의해 반전 양자화된다.
상기 DCT 계수들에 의해 표시되는 수신된 비디오 영상이 고해상도 화상이므로, 본 발명의 양호한 실시예는 고해상도 비디오 영상이 데시메이트되기 전에 각 블록의 DCT 계수들의 저역 필터링을 채용한다. 역 양자화기(214)는 상기 DCT 계수들을 IDCT 프로세서(218)로 제공하기 전에 소정의 필터 계수들과 비교하여 주파수 영역의 저역 통과 필터링을 수행하는 DCT 필터(216)에 DCT 계수들을 제공한다. 본 발명의 양호한 실시예에서, 상기 필터 동작은 블록마다 수행된다.
IDCT 프로세서(218)는 필터링된 DCT 계수들의 반전 이산 코사인 변환을 수행하여 공간 화소 샘플 값들을 제공한다. 다운샘플링 프로세서(232)는 소정의 데시메이션비(decimation ratio)에 따라 공간 화소 샘플 값들을 제거하여 화상 샘플 크기를 감소시킨다. 따라서, 저해상도 화상의 저장은 고해상도 MP@HL 화상의 저장에 필요한 프레임 메모리에 비해 작은 프레임 메모리를 사용한다.
이제, 인코딩 표준의 예측된 프레임에 대한 본 발명의 다운 변환 시스템의 양호한 실시예의 동작을 기술한다. 이 경우, 현재 수신된 영상 DCT 계수들은 예측된 영상 매크로블록의 잔류 성분들의 DCT 계수들을 나타나는데, 편의를 위해, 이는 예측된 프레임(P 프레임)이라 불리운다. 상기 양호한 실시예에서, 메모리에 저장된 선행 프레임들의 저해상도 기준 화상들이 고해상도 예측된 프레임(MP@HL)과 동일한 수의 화소들을 가지지 않기 때문에, 예측된 프레임에 대한 모션 벡터의 수평 성분은 스케일된다.
도 2B를 참조하면, VLD(210)에 의해 제공되는 MP@HL 비트스트림의 모션 벡터는 MV 번역기(220)에 제공되며, 각 모션 벡터는 메모리(199)의 기준 프레임 메모리(222)내에 저장된 선행 영상의 기준 프레임의 적절한 예측 블록을 인용하도록 MV 번역기(220)에 의해 스케일된다. 상기 검색 블록내의 크기(화소값들의 수)는 IDCT 프로세서(218)에 의해 제공된 블록보다 작다; 따라서, 상기 검색 블록은 상기 블록들이 합산 네트워크(230)에 의해 결합되기 전에 IDCT 프로세서(218)에 의해 제공된 잔여 블록과 동일한 수의 화소들을 가지는 예측 블록을 형성하도록 업샘플링된다.
예측 블록은 MV 번역기(220)로부터의 제어 신호에 응답하여 업샘플링 프로세서(226)에 의해 업샘플링됨으로써, 원 고해상도 화소 블록에 대응한 블록을 생성하고, 그 후, 예측 블록의 적절한 공간 정렬(spatial alignment)을 보증하도록 (만약 절반 화소 발생기(228)내의 업샘플링된 예측 블록에 대한 모션 벡터에 의해 생성된다면) 절반 화소 값들이 생성된다. 상기 업샘플링 및 정렬된 예측 블록은 합산 네트워크(230)내에서 현재 필터링된 블록에 가산되는데, 예컨데, 이는 상기 예측 블록으로부터의 저감 해상도 잔여 성분이다. 모든 처리는 매크로블록마다 행해진다. 현재 고해상도 매크로블록에 대한 모션 보상 프로세스가 종료된 후, 재구성된 매크로블록은 다운샘플링 프로세서(232)에 의해 데시메이트된다. 상기 프로세스는 영상의 해상도를 감소시키지 않고, 단순히 저해상 필터링된 영상으로부터 여분의 화소들을 제거한다.
영상에 대한 다운샘플링된 매크로블록이 이용 가능하면, 디스플레이 변환 블록(280)은 VPF(282) 및 HZPF(284)내의 다운샘플링된 영상의 수직 및 수평 성분들을 각각 필터링하여 저해상도 텔레비전 디스플레이 유닛상에 디스플레이되도록 영상을 조절한다.
이제, 도 1A 및 도 1B의 ATV 비디오 디코더(121)의 기능 블록들간의 관계를 기술한다. 도 1B의 화상 프로세서(171)는 비디오 화상 정보 비트스트림을 수신한다. 매크로블록 디코더(172)는 VLD(210), 역 양자화기(214), DCT 필터(216), IDCT(218), 합산 네트워크(230) 및 모션 보상 예측기들(motion compensated predictors)(206a, 206b)을 포함한다. 화상 프로세서(171)는 VLD(210)를 구비할 수 있다. 외부 메모리(130)는 메모리(199)에 대응하며, 기준 프레임 메모리(222)를 수용하는 16 Mb RDRAM(131 내지 136)을 구비한다.
FS모드에 대해, 750P 포맷의 MPEG 2 스트림의 디코딩은 효과적인 메모리 이용을 위해 96 Mb RDRAM 또는 48 Mb RDRAM을 사용하는 프로세스로 기준 프레임을 저장함으로써 수행된다. FS 모드에서, 1125I/1125P/750P 포맷들의 MPEG 2 스트림의 디코딩은 도 1의 메모리(130)의 전 96 Mb 메모리를 채용한다. 도 2C는 도 1A 및 1B에 도시된 시스템의 배치를 도시하는데, FS 모드에서, 750P 포맷을 가진 MPEG 2 스트림의 디코딩은 도 1의 메모리(130)의 48 Mb 메모리를 채용하여 수행된다. 도 2C에 도시된 바와 같이, 750P 비트스트림은 메모리에 저장된 1280H 화소들 및 720V 라인들과 함께 도 2A에 개시된 것과 같이 디코딩된다. 본 예에 대해, DCT 필터(216)는 존재하나 전역 통과 필터(all-pass filter)로서만 기능하거나, 단순히 동작 정지된다.
도 2D는 DC 모드에서 상기 시스템의 동작을 도시한 도면으로서, 여기서 1125I 신호는 525P/525I 포맷으로 변환된다. 본 시나리오에서, 도 2B를 참조하여 상술한 바와 같이 DCT 필터(216)에 의해 저역 통과 필터링된 후, 상기 시스템은 고해상도 신호를 3 인자만큼 다운샘플링하고, 640H 및 1080V의 48 Mb 메모리내에 화상들을 저장한다. 상기 시스템에 대해, 상기 모션 보상 프로세스는 모션 예보 디코딩(motion-predictive decoding)의 달성 전에 (상기 수신된 모션 벡터들의 병진은 물론) 상기 저장된 화상들을 3 인자만큼 업샘플링한다. 또한, 상기 화상은 디스플레이 변환을 위해 수평 및 수직 필터링된다.
도 2E에는 750P로부터 525P/525I 포맷까지의 DC 모드 포맷 다운 변환간의 관계가 도시되어 있다. 상기 변환은 메모리 저장을 위한 다운샘플링을 제외하고는 1125I-525P/525I 변환과 마찬가지로 동작한다.
2) 다운 변환을 위한 매크로블록 예측
양호한 다운 변환 프로세스에 대해, 선행 영상들의 기준 프레임들의 크기가 수평 방향으로 소형화되므로, 상기 프레임을 지시하는 수신된 모션 벡터는 변환비에 따라 병진된다. 이하에는 휘도 블록에 대한 수평 방향의 병진이 기술된다. 당업자는 필요하다면 수직 방향의 모션 병진도 용이하게 실시할 수 있다. 원 영상 프레임내의 현재 매크로블록 어드레스가 x 및 y로 표시될 때, Dx는 수평 데시메이션 인자(horizontal decimation factor)이고, mvx는 원 영상 프레임내의 절반 화소 수평 모션 벡터(half pixel horizontal motion vector)이면, 원 영상 프레임내의 모션 블록의 탑 레프트 화소(top left pixel)의 어드레스는 절반 화소 유닛내의 XH로 표시되며, 그 관계식은 식 (1)으로 주어진다:
상기 모션 볼록에 대응하는 화소는 다운샘플링된 영상으로 개시하고, 식 (2)에 의해 결정되는 x* 및 y*로 표시되는 어드레스를 가진다.
식 (2)의 값은 트렁케이션(truncation)으로 된 정수값이다.
양호한 필터(216) 및 다운샘플링 프로세서(232)가 영상의 수평 성분들만을 감소시키므로, 모션 벡터의 수직 성분은 영향을 받지 않는다. 색차 데이터에 대해, 모션 벡터는 원 화상내의 휘도 모션 벡터의 1/2이 된다. 따라서, 색차 모션 벡터의 병진에 대한 규정도 두 개의 식 (1) 및 (2)를 사용한다.
모션 예측은 2 단계 프로세스에 의해 수행된다: 먼저, 원 영상 프레임내의 화소 정확도 모션 평가(pixel accuracy motion estimation)는 도 2A 및 2B의 업샘플링 프로세서(226)내의 다운샘플링된 영상 프레임의 업샘플링에 의해 성취되며, 그 후, 절반 화소 발생기(228)는 근사 화소 값들을 평균하여 절반 화소 보간을 수행한다.
기준 영상 데이터는 IDCT 프로세서(218)에 의해 제공되는 출력 데이터에 가산된다. 합산 네트워크(230)의 출력값들이 고해상도 포맷과 일치하는 다수의 화소들을 가진 영상에 대응하므로, 상기 값들은 저해상도를 가지 디스플레이상의 디스플레이를 위해 다운샘플링될 수 있다. 다운샘플링 프로세서(232)내의 다운샘플링은 영상 프레임의 서브 샘플링과 실질적으로 균등하지만, 조정(adjustment)은 변환비에 기초하여 수행된다. 예컨데, 3:1 다운샘플링에서, 수평 다운샘플링된 화소들의 수는 각 입력 매크로블록에 대해 6 또는 5가 되며, 제 1 다운샘플링된 화소들은 항상 상기 입력 매크로블록내의 제 1 화소가 되지는 않는다.
다운샘플링된 영상으로부터의 정정 모션 예측 블록을 얻은 후, 업샘플링은 고해상도 화상내의 대응 예측 블록을 얻는데 사용된다. 따라서, 모션 블록 예측의 서브 화소 정확도(subpixel accuracy)는 다운샘플링된 화상에서 바람직하다. 예컨데, 3:1 데시메이션을 사용하면, 적절한 모션 예측에 대한 다운 변환된 화상에는 1/3(또는 1/6) 서브 화소 정확도를 가지는 것이 바람직하다. 다운샘플링된 모션 블록에 부가하여, 모션 벡터에 의해 얻어지는 제 1 화소인 상기 서브 화소가 결정된다. 그 후, 후속 서브 화소 위치들은 후기하는 모듈로 연산의 사용에 의해 결정된다. 상기 서브 화소 위치들은 xs로 표시되며, 식 (3)에 의해 주어진다:
여기서, "%"는 모듈로 제법을 표시한다.
예컨데, xs의 범위는 3:1 업샘플링에 대해 0, 1, 2이고, 2:1 업샘플링에 대해 0, 1이다. 도 3A에는 서브 화소 위치들과 상기 3:1 및 2:1의 경우에 대응한 17개의 예측된 화소들이 도시되어 있으며, 표 4에는 도 3A에 대한 범례가 나타난다.
상술한 바와 같이, 업샘플링 필터들은 업샘플링 다상 필터들(upsampling polyphase filters)이 될 수 있으며, 표 5에는 상기 업샘플링 다상 보간 필터들(upsampling polyphase interpolation filters)의 특성들이 제공되어 있다.
이하의 표 6 및 표 7에는 양호한 3:1 및 2:1 업샘플링 다상 필터들에 대한 다상 필터 계수들이 개시되어 있다.
고정점 표시에서, 표 6 및 표 7의 괄호안의 숫자들은 좌측의 이중 세차 숫자들에 대응하는 9 비트내 2의 보조 표시이다. 상기 다운샘플링된 기준 영상 프레임 내의 모션 예측 블록의 서브 화소에 따라, 상기 다상 보간 필터의 대응 위상이 사용된다. 또한, 양호한 실시예에 대해, 좌측 및 우측의 부가 화소들은 17개의 수평 화소들을 원 영상 프레임에 내삽하는데 사용된다. 예컨데, 3:1 데시메이션의 경우, 최대 6개의 수평 다운샘플링된 화소들은 각 입력 매크로블록에 대해 제공된다. 그러나, 업샘플링시, 업샘플링 필터는 필터의 동작을 위해 경계의 외측에 보다 많은 좌측 및 우측 화소들을 요구하기 때문에, 9개의 수평 화소들은 대응 모션 예측 블록 값들을 제공하는데 사용된다. 양호한 실시예는 절반 화소 모션 평가(half pixel motion estimation)를 채용하므로, 약 2개의 화소 샘플들의 평균값들인 16개의 절반 화소들을 얻도록 17개의 화소들이 필요하다. 절반 화소 보간 회로(half pixel interpolator)는 보간 동작을 수행하여 절반 화소 해상도의 화소들의 블록을 제공한다. 표 8A는 서브 화소 위치들과 다상 필터 소자들간의 양호한 맵핑을 도시하고, 업샘플링 프로세스를 위해 업샘플링된 블록내의 화소들에 부가해 필요한 다수의 좌측 화소들을 도시한 도면이다.
도 3B는 입력 매크로블록의 각 행에 대해 수행되는 업샘플링 프로세스를 요약한다. 먼저, 단계 310에서, 처리되는 영상 프레임의 블록에 대한 모션 벡터는 수신된다. 단계 312에서, 상기 모션 벡터는 메모리내의 다운샘플링된 기준 프레임에 대응하도록 병진된다. 단계 314에서, 스케일된 모션 벡터는 메모리(130)에 저장된 소정의 기준 영상 반 매크로블록의 좌표를 계산하는데 사용된다. 단계 316에서 반 매크로블록에 대한 서브 화소 점이 결정되고, 그 후, 단계 318에서 업샘플링에 대한 초기 다상 필터 값들이 결정된다. 그 후, 단계 320에서는 저장된 다운샘플링된 기준 프레임의 기준 반 매크로블록에 대한 식별된 화소들이 메모리(130)로부터 검색된다.
필터링 단계(filtering step) 324의 제 1 통과(pass) 전에, 필터의 레지스터는 단계 322에서 초기화되는데, 여기서, 양호한 실시예는 초기의 3 또는 5 화소 값들로 레지스터를 로딩하는 단계를 포함한다. 그 후, 상기 필터링 단계 324가 끝나면, 단계 326에서 프로세스는 모든 화소들(양호한 실시예에서 17개의 화소들)이 처리되었는지 여부를 판정한다. 만약 모든 화소들이 처리되었다면, 상기 업샘플링된 블록은 완료된다. 양호한 실시예에서, 17 × 9 화소 반 매크로블록은 복귀된다. 상기 시스템은 상측 또는 하측 반 매크로블록들을 복귀하여 프로그래시브 주사 및 인터레이싱 주사 영상들 모두의 모션 예측 디코딩을 허용한다. 만약 모든 화소들이 처리되지 않았다면, 위상은 단계 328에서 갱신되고, 상기 위상이 0 값을 가지는지 여부가 검색된다. 만약 상기 위상이 0이라면, 레지스터는 화소 값들의 후속 세트에 대해 갱신된다. 단계 328에서 상기 위상의 갱신은 3:1 업샘플링의 경우 필터 루프 주기에 대해 위상값을 0, 1 및 2로 갱신하고, 2:1 업샘플링의 경우 필터 루프 주기에 대해 위상값을 0 및 1로 갱신한다. 최좌측 화소가 영상 화상의 경계의 외측에 있으면, 영상 화상내의 제 1 화소값은 반복된다.
양호한 실시예에 대해, 업샘플 필터링 동작은 이하의 가이드라인을 따라 수행될 수 있다. 먼저, 몇 개의 인자들이 사용된다: 1) 절반 화소 모션 예측 동작은 2개의 완비된 화소들을 평균하고, 대응한 필터 계수들도 평균화되어 절반 화소 필터 계수를 제공하고; 2) 필터 탭들(filter taps)의 수와 동등할 수 있는 필터 계수들의 고정된 수(예컨데, 5)는 특정한 다운 변환에 무관하게 채용될 수 있고; 3) 하나의 출력 화소를 제공하도록 대응 필터 계수들과 결합되는 각 기준 블록에 대한 각 클록 천이(clock transition)를 위한 5개의 입력 화소들(LWR(0)-LWR(4))과 함께, 5개의 평행 입력 포트들(parallel input ports)은 각 정방향 및 역방향 하측 및 상측 블록에 대한 업샘플링 블록에 제공될 수 있고; 4) 각각의 화소들(LWR(0)-LWR(4))과 결합된 필터 계수들(h(0)-h(4))의 합은 샘플링 블록의 출력 화소를 제공한다.
곱셈 명령이 필터 계수들의 정상 명령과 상반되므로, 필터 계수들은 반전되는 것이 바람직하고, 일부 계수들은 0인 것이 바람직하다. 표 7B는 3:1 업샘플링 필터에 대한 양호한 계수들을 개시하고 있으며, 표 7C는 2:1 업샘플링 필터에 대한 양호한 계수들을 개시하고 있다:
표 8B 및 8C에서, x*는 식 (1) 및 (2)에서 규정된 다운샘플링된 화소 위치이고, 서브 화소 위치 xs는 식 (3')과 같은 식 (3)에 의해 재규정된다.
양호한 수행의 색차 값들에 대해, XH는 2로 스케일되고, 식 (1), (2), (3')이 적용된다. 일 실시예에서, 위상 및 절반 화소 정보(각각 2 비트 및 1 비트로 코딩됨)는 도 2B의 모션 보상 프로세서(220) 및 절반 화소 발생기(228)에 의해 사용된다. 예컨데, 기준 블록 화소들은 먼저 U 화소들로 제공되고, 다음 V 화소들로 제공되며, 최종적으로 Y 화소들로 제공된다. U 및 V 화소들은 40 사이클로 클록되고, Y 화소들은 144 사이클로 클록된다. 기준 블록들은 5개의 제 1 화소들을 제공하고, 2회 반복하고, 데이터를 1 만큼 천이하고, 행이 종결될 때까지 반복함으로써 3:1 데시메이션에 대해 제공될 수 있다. 동일한 방법이 2:1 데시메이션에도 사용될 수 있는데, 다만, 여기서는 2회 반복되지 않고 1회 반복된다는 점이 다르다. 데시메이션이 모션 보상으로부터의 출력과 잔여값의 절반 화소 생성의 합에 따르므로, 입력 화소들은 반복된다. 따라서, 3:1 데시메이션에 대해, 3개의 화소들 중의 2개는 삭제되며, 상기 화소값들에 대한 더미 화소들(dummy pixels)은 중요하지 않다.
3) DCT 계수들의 가중치를 채용하는 DCT 영역 필터링
본 발명의 양호한 실시예는 주파수 영역에서 DCT 계수들을 처리하는 도 2A의 DCT 필터(216)를 포함하는데, 상기 필터는 공간 영역의 저역 통과 필터를 대체한다. DCT 인코딩된 화상들에 대한 공간 영역 필터링에 대신하는 DCT 영역 필터링에는 몇가지 장점이 있으며, 이는 MPEG 또는 JPEG 표준들에 의해 고려되었다. DCT 영역 필터는 검퓨터를 사용함에 있어 보다 효율적이며, 공간 화소 샘플 값들에 적용된 공간 영역 필터에 비해 더욱 작은 하드웨어를 요구한다. 예컨데, N개의 탭을 가진 공간 필터링은 각 공간 화소 샘플 값에 대한 N개의 부가적 곱셈 및 덧셈 만큼 많이 사용된다. 이는 DCT 영역 필터의 오직 하나의 부가적 곱셈을 비교한다.
종래 기술의 가장 단순한 DCT 영역 필터는 고주파 DCT 계수들의 타절(truncation)이다. 그러나, 고주파 DCT 계수들의 타절은 매끄러운 필터로 귀착되지 않으며, 디코딩된 화상의 에지 근방의 "링잉(ringing)"과 같은 결점들을 가진다. 본 발명의 양호한 실시예의 DCT 영역 저역 통과 필터는 공간 영역의 블록 미러 필터로부터 유도된다. 상기 블록 미러 필터에 대한 필터 계수값들은, 예컨데, 공간 영역내의 수치 분석에 의해 활용될 수 있으며, 그 후, 상기 값들은 DCT 영역 필터의 계수들로 변환된다.
비록 상기 양호한 실시예는 오직 수평 방향의 DCT 영역 필터링만을 개시하였으나, DCT 영역 필터링은 수평 또는 수직 방향 중의 일 방향이나 수평 및 수직 필터들의 결합에 의해 수행될 수 있다.
4) DCT 영역 필터 계수들의 유도
본 발명의 양호한 필터는 2개의 제한 조건으로부터 유도된다:
첫째, 화상의 선행 블록으로부터의 정보를 사용하지 않고 상기 영상의 각 블록에 대한 블록당 기초에 영상 데이터를 처리하는 것이며, 둘째, 필터가 경계 화소값들을 처리할 때 생성하는 블록 경계의 가시도(visibility)를 감소하는 것이다.
제 1 제한 조건에 따르면, MPEG 영상 시퀀스의 압축에 기초한 DCT에서, 예컨데, N×N DCT 계수들은 N×N 공간 화소 값들을 제공한다. 따라서, 본 발명의 양호한 실시예는 수신된 화상의 현재 블록만을 처리하는 DCT 영역 필터를 수행한다.
제 2 제한 조건에 따르면, 만약 상기 필터가 단순히 공간 주파수 계수들의 블록에 제공된다면, 경계를 넘어서는 불충분한 수의 공간 화소 값들에 의해 야기되는 블록 경계에서의 필터링 동작의 천이가 생성되어 상기 필터의 잔여부를 채운다. 즉, N-탭 필터가 오직 N/2 탭들에 대한 값들만을 가지므로, 블록의 에지에서의 계수값들은 적절히 필터링될 수 없다. 빠진 화소 값들을 공급하는 몇가지 방법들이 존재한다: 1) 경계를 넘어서는 소정의 일정 화소값을 반복하고; 2) 경계 화소값과 동일한 화소값을 반복하고; 3) 상기 블록의 화소값을 반사하여 처리된 블록에 인접한 화소값들의 선행 및 후속 블록들을 시뮬레이션한다. 상기 선행 및 후속 블록의 내용에 관한 사전 정보 없이, 반복 화소값들의 반사 방법(mirroring method)은 양호한 방법으로 간주된다. 따라서, 본 발명의 일 실시예는 상기 필터에 대한 반사 방법을 채용하며, 이는 "블록 미러 필터(block mirror filter)"로 불리운다.
이하는 양호한 실시예에 관한 기재로서, 이는 수평 블록 미러 필터로 하여금 저역 통과 필터(8)가 블록의 공간 화소 샘플값을 입력하게 한다. 만약 입력 블록의 크기가 화소 샘플 값들의 8 × 8 블록 행렬이라면, 수평 필터링은 블록 미러 필터를 8개의 화소 샘플 값들의 각 행에 적용함으로써 수행될 수 있다. 필터 계수들을 상기 블록 행렬에 인가함으로써 필터링 프로세스가 수행된다는 사실과, 다차원 필터링(multidimentional filtering)가 상기 블록 행렬의 열(row)을 필터링한 후에 상기 행령의 행(column)을 필터링함으로써 성취될 수 있다는 사실은 본 기술 분야의 당업자에게 명백하다.
도 4에는, 입력 화소 값들 x0 내지 x7(그룹 X0)와, h0 내지 h14로 표시되는 탭 값들을 가진 15개의 탭 공간 필터를 채용하는 8개의 입력 화소들의 양호한 거울 필터에 대한 필터 탭들간의 양호한 대응이 도시되어 있다. 입력 화소들은 그룹 X0의 좌측으로 반사되고(그룹 X1), 그룹 X0의 우측으로 반사된다(그룹 X2). 상기 필터의 출력 화소 값은 상기 필터 탭 계수값들과 대응 화소 샘플 값들간의 15개의 곱들의 합이다. 도 4에는 제 1 및 제 2 출력 화소 값들에 대한 곱셈 켤레들이 도시되어 있다.
이하는 공간 영역에서의 블록 미러 필터가 DCT 영역 필터와 등가임을 보여준다. 거울 필터링은 2N(N = 8)개의 점들의 원형 컨볼류션(circular convolution)과 관련이 있다.
벡터 x'를 식 (4)로 보여준다.
본 경우, N = 8,
x' = (x0, x1, x2, x3, x4, x5, x6, x7, x7, x6, x5, x4, x3, x2, x1, x0)
상기 필터 탭 값들 h0 내지 h14를 재배열하고, 상기 재배열된 값들을 h'로 표시한다.
h' = (h7, h8, h9, h10, h11, h12, h13, h14, 0, h0, h1, h2, h3, h4, h5, h6)
따라서, 거울 필터링된 출력 y(n)은 x'(n)와 h'(n)의 원형 컨볼류션이며, 이는 식 (5)로 주어진다.
이 식은 식 (6)과 동일하다.
여기서, x'[n-k]는 x'(n)의 원형 모듈로(circular modulo)이고,
x'[n] = x'(n); n ≥ 0
x'[n] = x'(n+2N); n ＜ 0.
식 (5)로 표시되는 공간 영역내의 원형 컨볼류션은 이산 푸리에 변환(DFT) 영역내의 스칼라 곱과 동일하다. y(n)의 DFT를 Y(k)라고 하면, 식 (5)는 DFT 영역에서 식 (7)이 된다.
여기서, X'(k) 및 H'(k)는 각각 x'(n) 및 y'(n)의 DFT들이다.
식 (4) 내지 (7)은 2N 보다 작은 수의 탭들을 가진 필터에 대해 유효하다. 또한, 필터는 홀수의 탭들을 가진 대칭형 필터로 되면, H'(k)가 실수가 된다. 따라서, x'(n)의 DFT인 X'(k)는, 필터링 동작의 수행을 위한 공간 영역내의 2N 곱셈 및 2N 덧셈 동작 대신, DFT 주파수 영역내의 실수 H'(k)로 가중될 수 있다. X'(k)의 값들은 원 N-포인트 x(n)의 DCT 계수들과 매우 밀접하게 관련되는데, 이는 x(n)의 N-포인트 DCT가 x(n) 및 이의 거울인 x(2N-1-n)으로 구성된 결합 시퀀스인 x'(n)의 2N-포인트 DFT에 의해 얻어지기 때문이다.
이하에는, 홀수의 탭들 2N-1을 가지는 대칭형 필터를 가정함으로써, 공간 필터의 DFT 계수들의 도함수(derivation)인 H'(k)를 기술한다(h(n) = h(2N-2-n), h'(n) = h'(2N-n), h'(N) = 0). 식 (8)에서 H'(k)를 규정한다.
여기서, ; 그리고, H'(k) = H'(2N-k).
본 발명자는 x'(n)의 2N-포인트 DFT인 X'(k)를 결정하였고, 이는 식 (9)와 같이 그 DCT 계수들에 의해 표현될 수 있다.
한편, x(n), C(k)의 DCT 계수는 식 (10)에 의해 주어진다.
그리고, 여타의 경우는 C(k) = 0.
x'(n)의 DFT 계수들인 X'(k)의 값들은 x'(n)의 DCT 계수들인 C(k)로 표현될 수 있으며, 이는 식 (11)에 나타난다.
원 공간 화소 샘플 값들인 x(n)은 IDCT(역 이산 코사인 변형(Inverse Discrete Cosine Transformation))에 의해 얻어질 수도 있으며, 이는 식 (12)에 나타난다.
여기서, k = 0에 대해 α(k) = 1/2이고, 다른 경우에는 1이다.
0 ≤ n ≤ N-1에 대한 y(n)의 값들은 X'(k)H'(k)의 IDFT에 의해 얻어지며, 이는 식 (13)에 나타난다:
식 (13)의 값들 y(n)은 C(k)H'(k)의 IDCT의 공간 값들이다. 따라서, 상기 공간 필터링은 영상 블록을 표시하는 입력 주파수 영역 계수들의 DCT 가중(DCT weighting)에 의해 H'(k)로 대체될 수 있고, 그 후, 가중된 값들의 IDCT를 수행하여 공간 영역내의 필터링된 화소 값들을 재구성한다.
본 발명의 양호한 블록 미러 필터링의 일 실시예는 다음 단계들에 의해 유도된다. 1) 일차원 저역 통과 대칭형 필터가 2N개의 탭들 보다 수가 적은 홀수의 탭들과 함께 선택되고; 2) 필터 계수들이 0들의 패딩(padding)에 의해 2N까지 증가되고; 3) 필터 계수들이 좌측 원형 천이에 의해 원 중간 계수가 0번째 위치로 가도록 재배열되고; 4) 상기 재배열된 필터 계수들이 DFT 계수들은 결정되고; 5) DCT 계수들이 필터의 실수 DFT 계수들에 곱해지고; 6) 필터링된 DCT 계수들의 역 이산 코사인 변환(IDCT)이 수행되어 데시메이션을 위해 마련된 저역 통과 필터링된 화소들의 블록을 제공한다.
저역 통과 필터의 컷오프 주파수(cutoff frequency)는 감소비에 의해 결정된다. 양호한 실시예에 대해, 상기 컷오프 주파수는 3:1 감소에 대해 π/3이고, 2:1 감소에 대해 π/2인데, 여기서 π는 샘플링 주파수의 1/2에 대응한다.
MPEG 및 JPEG 디코더의 DCT 영역 필터는 메모리 장비의 감소를 허용하는데, 이는 역 양자화기와 블록들의 IDCT가 이미 종래 기술의 디코더내에 존재하며, 단지 DCT 영역 필터에 의한 DCT 계수들의 추가 스칼라 곱이 필요하기 때문이다. 따라서, 단독 DCT 영역 필터 블록 곱은 특정 수행에 있어 물리적으로 요구되지 않는다; 본 발명의 또 다른 실시예는 단순히 DCT 영역 필터 계수들을 IDCT 프로세싱 계수들과 결합하고, 상기 결합된 계수들을 IDCT 동작에 인가한다.
본 발명의 양호한 다운 변환 시스템에 대해, DCT 계수들의 데시메이션들 및 수평 필터링이 고려된다; 그리고, 이하는 두 개의 양호한 수행들이다:
1. 1920H 대 1080V 인터레이스(interlace)에서 640 대 1080 인터레이스 변환(수평 3:1 데시메이션)
2. 1280H 대 720V 프로그래시브에서 640 대 720 프로그래시브 변환(수평 3:1 데시메이션)
표 9에는 DCT 블록 미러 필터 (가중) 계수들이 도시되어 있다; 표 9에서 괄호내의 숫자들은 10 비트 2의 보조 표시이다. 표 9의 "*"는 10 비트 2의 보조 표시에 대한 속박값(bound value)을 넘어섬을 표시한다. 왜냐하면, 상기 값은 1을 초과하기 때문이다; 그러나, *에 의해 표시된 값에 블록의 컴럼 계수들을 곱하는 것은 필터값의 분수값(잔여부)을 곱한 계수에 상기 계수값의 부가에 의해 용이하게 수행될 수 있다는 것은 당해 기술 분야의 당업자에게 알려져 있다.
상기 수평 DCT 필터 계수들은 인코딩된 비디오 영상의 DCT 계수들의 8 × 8 블록내의 각 칼럼을 가중한다. 예컨데, 칼럼 0의 DCT 계수들은 H[0]에 의해 가중되고, 제 1 칼럼의 DCT 계수들은 H[1]에 의해 가중된다.
상술한 내용은 1 차원 DCT들을 사용하는 수평 필터 수행을 기술하였다. 디지털 신호 처리 기술 분야에 알려진 것처럼, 상기 처리는 2 차원 시스템에도 적용될 수 있다. 식 (12)에는 1 차원에 대한 IDCT가 기술되어 있으며, 따라서, 식 (12')에는 보다 일반적인 2 차원 IDCT가 기술되어 있다:
여기서 는 또는 1(여타의 경우)이다.
여기서, f(x,y)는 공간 영역 표시이며, x 및 y는 샘플 영역내의 공간 좌표이고, u 및 v는 변환 영역내의 좌표들이다. 계수들 C(u), C(v)가 코사인 항들의 값으로서 알려졌으므로, 상기 처리 알고리듬에는 오직 변환 영역 계수들만이 제공되어야 한다.
2 차원 시스템에 대해, 입력 시퀀스는 변환 영역의 개별적 좌표를 표시하는 값들의 행렬로 표시되며, 상기 행렬은 주기 M의 열 시퀀스(column sequence)와 주기 N의 행 시퀀스(row sequence)로 된(M, N은 정수) 주기적 시퀀스를 가질 수 있다. 2 차원 DCT는 입력 시퀀스의 열에서 수행되는 1 차원 DCT로서 수행될 수 있으며, 그 후, 제 2의 1 차원 DCT는 입력 시퀀스 처리된 DCT의 행에서 수행될 수 있다. 또한, 당해 기술 분야에서 공지된 바와 같이, 2 차원 IDCT는 단일 프로세스로서 수행될 수 있다.
도 5에는 캐스케이드된 1 차원 IDCT로서 수행되는 수평 및 수직 성분들을 처리하는 2 차원 시스템에 대한 다운 변환용 필터의 양호한 수행이 도시되어 있다. 도 5에 도시된 바와 같이, 도 2의 DCT 필터 마스크(DCT Filter Mask)(216) 및 IDCT(218)는 수직 DCT 필터(530) 및 수직 IDCT(540)을 포함하는 수직 프로세서(Vertical Processor)(510)와, 수직 성분들을 위해 수행되는 것과 동일한 수평 IDCT 및 수평 DCT 필터를 포함하는 수평 프로세서(Horizontal Processor)(520)에 의해 수행된다. 상기 필터링 및 IDCT 프로세스는 선형적이므로, 상기 프로세스를 수행하는 순서는 재배열될 수 있다(예컨데, 수평 및 수직 DCT 필터링이 먼저이고 수평 및 수직 IDCT가 나중이 되거나, 그 역순이 되거나, 수직 프로세서(520)가 먼저이고 수평 프로세서(510)이 나중이 된다).
도 5에 도시된 특정한 수행에서, 수직 프로세서(510)는 블록 이항 연산자(block Transpose Operator)(550)에 선행하며, 수직 프로세서에 의해 제공된 수직 처리된 값들의 블록의 행 및 열을 교환한다. 상기 동작은 수평 프로세서(520)에 의한 처리를 위해 블록을 마련함으로써 계산의 효율성을 제고하도록 사용된다.
예컨데, 행렬 값들의 8 × 8 블록과 같은 인코딩된 비디오 블록은 수직 DCT 필터(530)에 의해 수신되며, 이는 소정의 수직 데시메이션에 대응한 DCT 필터 값들에 의해 블록의 각 행 엔트리를 가중한다. 그 후, 수직 IDCT(540)는 상기 블록의 수직 성분들에 대해 역 DCT를 수행한다. 상술한 바와 같이, 양 프로세스는 단순히 행렬 곱셈 및 덧셈을 수행하므로, DCT LPF 계수들은 행렬 곱셈 및 덧셈 조작을 위해 상기 수직 DCT 계수들과 결합될 수 있다. 그 후, 수직 프로세서(510)는 수직 처리된 블록들을 이항 연산자(550)에 제공하며, 이는 수직 처리된 값들의 이항된 블록을 수평 프로세서(520)에 제공한다. IDCT 동작이 행 또는 열에 의해서만 수행되는 경우가 아니면, 이항 연산자(550)는 필수적인 것은 아니다. 수평 프로세서(520)는 소정의 수평 필터링에 대응한 DCT 필터 값들에 의해 상기 블록의 각 열 엔트리의 가중을 수행하고, 그 후, 상기 블록의 수평 성분에 대해 역 DCT를 수행한다.
식 (12')를 참조하여 상술한 바와 같이, 오직 변환 영역내의 계수들만이 상기 프로세싱 알고리듬에 제공되고; 상기 동작들은 선형적이므로 상기 계수들에 대해서만 수학적 조작을 허용한다. 식 (12')로부터 명백하듯이, 상기 IDCT에 대한 조작은 적들(products)의 합산을 형성한다. 따라서, 하드웨어 도입은, ROM(도시되지 않음)과 같은 메모리내에 저장될 공지의 계수들과, 입력 변환 좌표들로부터의 선택된 계수들은 물론 ROM으로부터의 상기 계수들을 받아들이는 곱셈 및 덧셈 회로들의 그룹을 요구한다. 보다 진보된 시스템에 대해, ROM 어큐뮬레이터 방법은 수학적 연산의 순서가 분배된 산술에 따라 변형되는 경우에 사용되어 적들의 합산 도입으로부터 비트-직렬(bit-serial) 도입으로 변환시킬 수 있다. 예컨데, 상기 테크닉은 스탠리 에이 화이트(Stanley A. White)의 논문(Application of Distributed Arithmetic to Digital Signal Processing: A Tutorial Review, IEEE ASSP Magazine, July, 1989)에 기재되어 있으며, 이는 계산내의 대칭성을 이용하여 적들의 합산 도입의 총 게이트 총수를 감소시킨다.
본 발명의 선택적 실시예에서, DCT 필터 동작은 역 DCT(IDCT) 동작과 결합될 수 있다. 상기 실시예에 대해, 필터링 및 역 변환 동작들이 선형이므로, 상기 필터 계수들은 IDCT의 계수들과 결합하여 변형된 IDCT를 형성할 수 있다. 당해 기술 분야에 공지된 바와 같이, 상기 변형된 IDCT, 상기 결합된 IDCT 및 DCT 다운 변형 필터링은 단순한 IDCT 동작의 도입과 유사한 하드웨어 도입을 통해 수행될 수 있다.
c) 메모리 서브 시스템(Memory Subsystem)
1) 화상 데이터 및 비트스트림의 저장 및 메모리 접근
도 1B에 도시된 바와 같이, 본 발명의 양호한 실시예는 메모리(130)으로부터 정보를 판독하거나 메모리(130)에 정보를 저장하는 것을 제어하는 메모리 서브 시스템(174)을 구비한 ATV 비디오 디코더(121)를 채용한다. 메모리 서브 시스템(174)은 비디오 디코딩 동작을 위해 화상 데이터 및 비트스트림 데이터를 메모리(130)에 제공하며, 양호한 실시예에서는, 적어도 2개의 화상들(또는 프레임들)이 MPEG-2 인코딩된 비디오 데이터의 적절한 디코딩에 사용된다. 메모리(130)내의 선택적 온 스크린 디스플레이(OSD) 섹션은 OSD 데이터를 지원하는데 이용될 수 있다. 메모리 서브 시스템(174)과 메모리(130)간의 인터페이스는 500 Mbps 채널을 제공하는 동시 RDRAM 인터페이스가 될 수 있고, 3개의 RAMBUS 채널은 필요한 대역폭(bandwidth)을 지원하는데 사용될 수 있다. 외부 메모리(130)과 함께 동작하는 화상 프로세서(171), 매크로블록 디코더(172) 및 메모리 서브 시스템(174)을 구비한 본 발명의 실시예는 본 출원에 기준로서 제시된 미국 특허(No. 5,623,311, N.V.Philips, "MPEG VIDEO DECODER HAVING A HIGH BANDWIDTH MEMORY")에 기재된 시스템을 채용할 수 있다. 도 12는 MP@ML MPEG-2 화상을 디코딩하도록 본 발명의 양호한 실시예에 의해 채용된 고 대역폭 메모리를 가진 비디오 디코더의 상기 시스템의 고 레벨 블록도이다.
요약하면, 도 1A 및 도 1B에 기재된 바와 같이, 미국 특허(No. 5,623,311)는 단일 메모리 포트를 구비한 단일한 고 대역폭 메모리를 기술한다. 메모리(130)는 입력 비트스트림과, 모션 보상 프로세스에 사용되는 제 1 및 제 2 기준 프레임과, 현재 디코딩되고 있는 필드(field)를 표시하는 영상 데이터를 지지한다. 상기 디코더는 1) 비트스트림 데이터를 저장 및 추출하는 회로(화상 프로세서(171))와, 2) 블록 포맷내의 현재 디코딩된 필드를 위해 기준 프레임 데이터를 추출하고 영상 데이터를 저장하며(매크로블록 디코더(172)), 인터레이싱 주사 포맷으로의 변환을 위해 상기 영상 데이터를 추출하는(디스플레이 섹션(173)) 회로를 포함한다. 메모리 동작은 규정된 메모리 접근 시간 주기(제어 동작을 위한 매크로블록 시간(MblkT))와 함께 단일 공통 메모리 포트를 사용하여 멀티플렉스된 시분할(time division)이다. 디지털 위상 잠금 루프(DPLL)(122)는 MPEG-2 표준에서 규정된 27 MHz 시스템 클록 신호의 펄스들을 셈하여 셈값을 생성한다.
표 10에는 다중 포맷을 지원하는 FS 및 DC 배치에 필요한 화상 저장 장비가 요약되어 있다:
DC 모드에 대해, 1920 × 720 화상들이 3 인자만큼 수평 감소하여 640 × 1080 화상을 제공하고; 1280 × 720 화상들이 2 인자만큼 수평 감소하여 640× 720 화상을 제공한다. 704 × 480 및 640 × 480 화상들은 DC 모드에서 감소될 필요가 없다.
비트스트림 데이터에 대해, MPEG-2 표준에 따르면, 필요한 최소한의 버퍼 용량(즉, VBV 버퍼 크기) 및 메모리 저장 용량은 7,995,392 비트이다. 본 발명의 양호한 실시예에서, 비트스트림 저장 용량은 동기화 및 인터페이스 프로세싱 기능을 위해 10,737,258까지 증가될 수 있다.
선택적 OSD 기능은 저해상도를 위해 화소당 4 비트, 화소당 2 비트를 사용하거나, 고해상도를 위해 2 화소당 32 비트를 사용하여 수행된다. 전 스크린 OSD에 대해, 표 11은 양호한 저장 요건들을 제공한다.
미국 특허(No. 5,623,311)에 기재된 바와 같이, 상술한 메모리 저장 용량 요건들은 FS 포맷을 위한 부가적인 3개의 16 Mb RDRAM들(131, 132, 133)과 함께 팽창하는 DC 포맷들에 대한 3개의 RAMBUS 채널상 16 Mb RDRAM들(134, 135, 136)(도 1A)을 가진 가팽창 배치(expadable configuration)을 사용하여 수행될 수 있다.
메모리(130)내에 복수의 DC 화상들을 수용하는 것은 대응하는 화상 디스플레이 타이밍에 따라 각각의 디코딩 동작을 지원하는 것을 요구한다. 예컨데, 프로그래시브 화상들은 인터레이싱 화상들의 속도의 2배로 생성하고(60 또는 59.94 Hz 프로그래시브 대 30 또는 29.97 Hz 인터레이싱), 따라서, 프로그래시브 화상들은 인터레이싱 화상보다 빠르다(분당 60 또는 59.94 프레임 프로그래시브 대 분당 30 또는 29.97 프레임 인터레이싱). 따라서, 디코딩 속도는 포맷에 대한 디스플레이 속도에 의해 제한되며, 만약 분당 60 또는 30 프레임이 아닌 보다 덜 엄격한 분당 59.97 또는 29.97 프레임의 디코딩 속도가 사용된다면, 매 1001 프레임들 중 한 프레임은 변환으로부터 누락된다. 즉, 포맷을 위한 디코딩 동작은 매크로블록에 대한 모든 디코딩 동작이 완료되는 시간 주기로 규정된 "매크로블록 시간(MblkT)"의 단위로 측정될 수 있다. 식 14에 규정된 것처럼, 상기 시간 주기를 이용하여 제어 신호 및 메모리 접근 동작은 MblkT 시간 주기가 규칙적으로 생성하는 동안 규정될 수 있다.
MblkT(클록 사이클/매크로블록) = 시스템 클록 속도(클록 사이클/초) / 프레임 속도(프레임/초) / 화상 크기(매크로블록/프레임) (14)
또한, 블랭킹 간격(blanking interval)은 인터레이싱 화상들의 화상 디코딩에 사용되지 않을 수 있고, 상기 시간 주기에 대한 8-라인 마진(8-line margine)은 8개의 라인들(인터레이싱)을 동시에 디코딩하고 16개의 라인들(프로그래시브)을 동시에 디코딩하기 위해 부가된다. 따라서, 식 (15) 및 (16)에 주어진 바와 같이, 조정 인자(AjaFact)는 상기 MblkT에 부가될 수 있다.
AdjFact(인터레이싱)=(총 라인들-수직 블랭크 라인들-8)/총 라인들 (15)
AdjFact(프로그래시브)=(총 라인들-16)/총 라인들 (16)
표 12에는 지원된 포맷들 각각에 대한 MblkT가 열거되어 있다:
본 발명의 양호한 실시예에서, 241 클록들의 MblkT는 작은 마진을 포함하는 가장 빠른 디코딩 시간의 요건에 맞도록 모든 포맷들을 위해 채용된다. 상기 선택된 MblkT 시간 주기에 대해, 느린 포맷 디코딩은 디코딩 활동이 없는 시간 주기를 포함한다; 따라서, 선택된 MblkT 시간 주기에서 디코딩을 중지하도록 생성되는 기능 정지(stall)와 함께 선형 디코딩을 반사하도록 채용될 수 있다.
도 1B를 참조하면, 메모리 시스템(174)은 내부 화상 데이터 인터페이스를 매크로블록 디코더(172) 및 디스플레이 섹션(173)에 제공할 수 있다. 디코딩된 매크로블록 인터페이스는 디코딩된 매크로블록 데이터를 허용하고, 주어진 포맷에 대해 규정된 메모리 맵(memory map)에 따라 메모리(130)의 정확한 메모리 어드레스 위치로 상기 디코딩된 매크로블록 데이터를 저장한다. 메모리 어드레스는 매크로블록 번호(macroblock number) 및 화상 번호(picture number)로부터 유도된다. 매크로블록들은 3개의 채널상의 매크로블록 행으로서 수신될 수 있는데, 시스템 클록 속도에서는 16 Mb 메모리 장치당 하나의 채널이다(도 1a의 131 내지 136). 각 메모리 장치는 각 화상에 대해 두 개의 구획(partition)을 가질 수 있으며, 각 구획은 상부 및 하부 어드레스를 이용한다. 인터레이싱 화상에 대해, 한 구획은 필드 0 데이터(Field 0 data)를 반송하고 다른 구획은 필드 1 데이터(Field 1 data)를 반송하며, 프로그래시브 화상에 대해, 상부 및 하부 구획들 모두는 단일 구획으로 취급되고 전체 프레임에 대해 데이터를 반송한다. 매 매크로블록은 매 화상에 대해 디코딩 및 저장되는데, 디코딩이 전체 필드 시간 주기 동안 일시 정지되는 3:2 풀 다운 모드(3:2 pulldown mode)는 예외이다. 3:2 풀 다운 모드에서, 초당 24 프레임의 프레임 속도를 가진 신호는 하나의 프레임을 두 번 디스플레이하고 후속 프레임을 세 번 디스플레이함으로써 분당 60 프레임(또는 필드)에서 디스플레이된다.
기준 매크로블록 인터페이스는 모션 보상을 위해 저장 및 선행 디코딩된 화상 데이터를 매크로블록 디코더(172)에 공급한다. 상기 인터페이스는 양방향 예측(B) 인코딩, 일방향 예측(P) 인코딩 또는 내부(I) 인코딩에 대응하여 2개, 1개 또는 0개의 매크로블록을 공급한다. 각 기준 블록은 두 개의 채널의 사용에 의해 공급되며, 각 채널은 매크로블록의 반을 포함한다. 2 인자 데시메이션을 채용하는 DC 모드에 대해, 각 검색된 반 매크로블록 14 × 9(Y), 10 × 5(CR) 및 10 × 5(CB)는 업샘플링 및 절반 화소 해상도를 허용하도록 제공된다.
디스플레이 인터페이스는 검색된 화소 데이터를 디스플레이 섹션(173)에 제공하고, Y, CR 및 CB 화소 데이터를 단일 채널로 멀티플렉스(multiplex)한다. 두 개의 디스플레이 채널들이 제공되어 프로그래시브 포맷들로부터 인터레이싱 포맷들로의 변환이나 인터레이싱 포맷들로부터 프로그래시브 포맷들로의 변환을 지원한다. DC 모드에서, 제 1 채널은 4 라인 까지의 인터레이싱 또는 프로그래시브 데이터를 동시에 제공할 수 있고, 제 2 채널은 4 라인 까지의 인터레이싱 데이터를 제공할 수 있다.
상술한 바와 같이, MPEG-2 인코딩된 비디오 화상은 메모리내에 저장된 3개까지의 화상들을 채용함으로써 디코딩될 수 있으며, 이는 화상 정보가 상기 화상 정보의 1 필드를 지지하는 각 영역을 가진 6개의 영역들에 저장되게 한다. 도 13A 및 13B는 입력 비디오가 필드 포맷내에 있을 때 화상 정보의 판독, 저장 및 디스플레이에 관련된 프로세스 및 흐름 시간을 도시한 도면이다. 도 14A 및 14B는 입력 비디오가 프레임 포맷(frame format)으로 될 때 화상 정보의 판독, 저장 및 디스플레이에 관련된 흐름 시간(flow time) 및 프로세스를 도시한 도면이다. 도 15A 및 15B는 입력 비디오가 프로그래시브 시퀀스로 되고 디스플레이가 인터레이싱 시퀀스로 될 때 화상 정보의 판독, 저장 및 디스플레이에 관련된 흐름 시간(flow time) 및 프로세스를 도시한 도면이다. 도 16A 및 16B는 입력 비디오가 프로그래시브 시퀀스가 되고 디스플레이가 프로그래시브 시퀀스가 될 때 화상 정보의 판독, 저장 및 디스플레이에 관련된 흐름 시간(flow time) 및 프로세스를 도시한 도면이다. 도 14A 및 14B와 도 15A 및 15B에서, 라벨 "A"는 수직 블랭킹(vertical blanking) 동안 정지될 때 간격(interval)을 표시한다.
2) 지원된 포맷들을 위한 메모리 맵 배치
상술한 바와 같이, MPEG-2 인코딩된 비디오는 도 1A의 메모리(130)내에 저장된 3개의 화상들을 사용하여 디코딩될 수 있으나, 화상 포맷과 채용된 다운 변환에 따라 다양한 메모리 용량이 사용될 수 있다. 따라서, 외부 메모리 매핑이 채용되어 기준 매크로블록 접근(reference macroblock access)에 관해 가용 저장을 효율적으로 활용한다. 또한, 상술한 바와 같이, 본 발명의 양호한 실시예에 대해, DC 모드를 위한 메모리 용량은 48 Mbits이고, FS 모드를 위해 96 Mbits까지 확장 가능하다. 더욱이, 상기 외부 메모리 매핑은 2K 또는 1K 페이지 크기로 RDRAM들을 수용할 수 있다.
본 발명의 양호한 실시예에 대해, 메모리 서브 시스템(174)는 메모리 매핑을 채용하며, 이는 미국 특허(No. 5,623,311)에 특정되어 있다. 도 17A는 비트스트림(1730) 및 영상 데이터 필드들(1710, 1712, 1714, 1716, 1718, 1720)이 FS 모드내의 RDRAM 메모리에 저장되는 방식을 도시한 메모리 맵 다이어그램이다. 도 17B는 양호한 타입의 1920 × 1088 FS 영상이 2K 페이지 크기를 가진 96 Mbits RDRAM을 이용하여 디코딩될 때 영상 매크로블록의 행이 어떻게 메모리 행에 맵핑하는 지를 도시한 메모리 맵 다이어그램이다.
FS 모드에서, 상기 RDRAM은 96 Mb의 메모리를 포함한다. 비트스트림(1730)은 메모리의 상부 어드레스 구역(upper address range)의 메모리 영역에 MP@HL 영상을 위한 최대 VBV 버퍼 크기로 할당된다. 각각의 영상 데이터 필드는 도시된 것처럼 할당되는데, 여기서, X 및 Y 값들은 디코딩되고 있는 특정 MP@HL 영상내의 필드당 라인들의 수 및 라인당 화소들의 수에 의존한다. 상기 값들은 1920I 영상에 대해 표 13에 제공되며; 작은 영상들에 대해, 각 필드 버퍼 구획(field buffer partition)은 모두 활용된 값보다 작을 것이다.
도 18A는 48 Mbits RDRAM 메모리를 채용한 DC 포맷을 위한 일반 메모리(general memory)를 도시한 도면이다. 도 18B는 양호한 타입의 1920 × 1088 DC 영상이 48 Mbits RDRAM 및 2K 페이지 크기를 이용하여 3만큼 수평 데시메이션으로 디코딩될 때 영상 매크로블록들의 행이 어떻게 메모리 행으로 맵팽하는지를 도시한 메모리 맵 다이어그램이다. 도 18A의 메모리 맵은 매개 변수들로 기술되며, 이들은 525I 및 525P 영상에 대해 표 14A에 주어진다.
1280 × 720 영상의 경우에 대해, 상기 영상은 48 Mbits의 RDRAM과 함께 FS 모드로 저장된다. 그러나, FS 모드에서, 메모리 저장 프로세스는 2K 페이지 크기를 이용하여 저장된 화상이 48 Mbits의 RDRAM에 적합하도록 변조될 수 있다. 도 19A는 본 경우에 대해 48 Mbits RDRAM 메모리를 채용하는 FS 포맷을 위한 일반 메모리 맵을 도시하고, 도 19B는 본 경우에 대해 한 쌍의 반 매크로블록 행들의 레이아웃(layout)을 도시한다. 표 14B는 본 경우에 대한 매개 변수들을 제공한다.
미국 특허(No. 5,623,311)에 기재된 메모리는 매크로블록 행당 고정된 4 RDRAM 행들을 채용하여 MP@HL 디코딩된 화상들을 저장한다. 그러나, 양호한 실시예는, 중첩 요구(overapping request)가 다른 장치에 대해서만 생성할 수 있는 베이스 RDRAM(base RDRAM)과는 달리, 2 뱅크(bank)들이 동일 장치내의 중첩 요구를 가질 수 있는 동시 RDRAM(Concurrent RDRAM)에 기초할 수 있다. 양호한 실시예에 대해, 뱅크들은 동일 매크로블록 행내의 동일 필드 버퍼내에 삽입될 수 있다. 예컨데, 화상을 저장하도록 채용된 RDRAM 행들의 수는 1K/2K 페이지 크기 및 수평 화소들의 수에 따라 변할 수 있다. 큰 그림 및 작은 그림을 위한 메모리를 배열하는 하나의 방법은 상기 메모리 공간을 전부 사용하지 않고 배열내에 수용될 수 있다.
양호한 실시예는 또한 MP@HL 디코딩된 화상들을 저장하도록 매크로블록 행당 3개의 RDRAM 행들을 이용할 수 있다; 상기 매핑은 도 19A 및 19B에 도시된다. 그러나, 본 발명은 MP@HL 및 MP@ML 화상들을 저장하도록 매크로블록당 가변수의 RDRAM을 채용하는 메모리 매핑을 채용할 수 있다. 도시된 바와 같이, 상기 매핑은 뱅크 A와 뱅크 B의 메모리 행들간에 매크로블륵 행을 삽입한다. 기준으로서 제시된 특허에 기재된 바와 같이, 이는 중첩 요구를 메모리(130)의 서로 다른 메모리 뱅크들로 발하는 메모리 서브 시스템(174)에 의해 신속히 접근될 둘 혹은 그 이상의 메모리 행들을 연결하는 매크로블록을 허용한다. 상기 매모리 매핑은 FS 모드에 대해 적용된다. 사용할 때, 메모리(130)의 매핑은 메모리 매핑 프로세스에 대한 변형과 함께 오직 48 Mbit RDRAM을 사용하여 1280 × 720 비디오 신호의 전 명세 디코딩(full specification decoding)을 지원한다. 상기 변형은 3개의 RDRAM 행들을 사용하여 하나의 매크로블록 행을 지지한다. 본 발명의 양호한 실시예에서, 뱅크 삽입 또는 디스플레이 개시 라인 계수기(display start line counter)는 재설정되어 매크로블록당 3개의 RDRAM 행들을 지원한다.
다운 변환에 대해, 다운샘플링된 매크로블록들은 저장을 위한 단일 매크로블록으로 병합된다. DC 모드의 다운샘플링 프로세스는 도 6A 및 도 6B를 참조하여 후술된다. 도 6C에는 2 인자 수평 다운 변환하여 메모리(130)내에 저장하기 위해 두 개의 매크로블록들을 한 개의 매크로블록으로 병합하는 프로세스가 도시되어 있다. 도 6D에는 3 인자 수평 다운 변환하여 메모리(130)내에 저장하기 위해 세 개의 매크로블록들을 한 개의 매크로블록으로 병합하는 프로세스가 도시되어 있다.
d) 디스플레이 섹션의 다운샘플링 및 디스플레이 변환
1) 저해상도 포맷을 위한 다운샘플링
다운샘플링은 도 2B의 다운샘플링 프로세스(232)에 의해 성취되어 다운 변환된 영상내의 화소들의 수를 감소시킨다. 도 6A는 3:1 데시메이션의 4:2:0 신호 포맷을 위한 입력 및 데시메이트된 출력 화소들을 도시한다. 도 6B는 2:1 데시메이션의 4:2:0 색차 타입의 입력 및 데시메이트된 출력 화소들을 도시한다. 표 16은 도 6A 및 도 6B의 휘도 및 색차 화소들에 대한 범례를 제공한다. 도 6A 및 도 6B의 다운 변환 전후의 화소 위치들은 각각 인터레이싱(3:1 데시메이션) 및 프로그래시브(2:1 데시메이션) 예들이다.
1920 × 1080 화소 영상으로부터 640 × 1080 화소 수평 압축 영상까지의 변환일 수 있는 인터레이싱 영상의 다운샘플링에 대해, 매 3개의 화소들 중의 2개는 수평축상 데시메이트된다. 양호한 3:1 데시메이션에 대해, 다운 변환 프로세스후에는 3개의 서로 다른 매크로블록 타입들이 있다. 도 6A에서, 원 매크로블록들은 MB0, MB1, MB2로 표시된다. MB0의 다운샘플링된 휘도 화소들은 상기 원 매크로블록의 제 1 화소에서 출발하나, MB1 및 MB2에서는 상기 다운샘플링된 화소들은 제 3 및 제 2 화소에서 출발한다. MB0에서, 6개의 수평의 다운샘플링된 화소들이 있으나, MB1 및 MB2에서는 5개의 화소들이 있다. 상기 3개의 MB 타입들은 반복하고, 따라서, 모듈로 3 산술(Module 3 arithmetic)이 적용된다. 표 11은 각 입력 매크로블록 MB0, MB1, MB2에 대한 다운샘플링 화소들 및 오프세트의 수를 요약한다.
[표 12]
프로그래시브 포맷 영상의 다운샘플링에 대해, 휘도 신호는 매 분마다 샘플에 대해 수평 서브 샘플링된다. 색차 신호에 대해, 다운샘플링된 화소는 원 영상 내의 화소 위치에 비해 절반 화소 위치 만큼 낮은 공간 위치를 가진다.
2) 디스플레이 변환
도 1B의 AVT 디코더(121)의 디스플레이 섹션(173)은 특정 디스플레이 포맷을 위해 저장된 화상 정보(디코딩된 화상 정보)의 포맷에 사용된다. 도 11A는 본 발명의 양호한 실시예에 대한 ATV 비디오 디코더(121)의 디스플레이 섹션을 도시한 고 레벨 블록도이다.
도 11A를 참조하면, 두 개의 출력 비디오 신호들이 지원되는데, 이들은 임의의 선택된 비디오 포맷을 지원하는 제 1 출력 신호 VIDout1과, 525I(CCIR-601)만을 지원하는 제 2 출력 신호 VIDout2이다. 각 출력 신호는 각각 디스플레이 프로세싱 소자(1101, 1102)의 독립된 세트에 의해 처리되는데, 이는 수평 및 수직 업샘플링/다운샘플링을 수행한다. 상기 배치는 디스플레이 종횡비(aspect ratio)가 입력 화상의 종횡비와 일치하지 않을 때 바람직하다. 선택적 온 스크린 디스플레이(OSD) 섹션(1104)이 포함되어, 디스플레이 신호들(Vout1 및 Vout2)를 형성하도록 온 스크린 정보를 지원된 출력 신호들(VIDout1 및 VIDout2) 중 한 출력 신호에 제공한다. 모든 프로세싱은 내부 클록 속도(internal clock rate)로 수행되나, 출력 제어기(1126, 1128)에서의 출력 신호들(Vout1 및 Vout2)의 제어는 예외이며, 이는 화소 클록 속도(pixel clock rate)로 수행된다. 양호한 실시예에 대해, 상기 화소 클록 속도는 휘도 화소 속도(luminance pixel rate)가 되거나 상기 휘도 화소 속도의 두배가 될 수 있다.
프로세싱 소자들(1101, 1102)의 디스플레이 세트들이 유사하게 동작하므로, 오직 디스플레이 프로세싱 세트(1101)의 동작만이 기술된다. 디스플레이 프로세싱 세트(1101)를 참조하면, 4 라인의 화소 데이터가 레스터(raster) 크기로 메모리(130)(도 1A에 도시됨)로부터 수직 프로세싱 블록(282)(도 2B에 도시됨)으로 제공된다. 각 라인은 동시에 CR, Y, CB, Y 데이터 32 비트를 공급한다. 그 후, 수직 프로세싱 블록(282)은 상기 4 라인을 1 라인으로 필터링하고, 상기 필터링된 데이터를 32 비트 CRYCBY 포맷으로 수평 프로세싱 블록(284)(도 2B에 도시됨)에 제공한다. 수평 프로세싱 블록(284)은 포맷된 화소 데이터로서 선택된 래스터 포맷에 대한 정확한 수의 화소들을 제공한다. 따라서, 수평 프로세싱 블록(284)을 입력하는 필터링된 데이터 속도는 출력 데이터 속도와 동일할 필요가 없다. 업샘플링 경우에서, 입력 데이터 속도는 출력 데이터 속도 보다 낮을 것이다. 다운샘플링 경우에서, 입력 데이터 속도는 출력 데이터 속도 보다 높을 것이다. 포맷된 화소 데이터는 선택적 배경 프로세싱 블록(background processing block)(1110)에 의해 삽입된 배경 정보를 가질 수 있다.
당해 기술 분야의 통상의 지식을 가진 자가 알고 있듯이, 디스플레이 섹션(173)의 소자들은 제어기(1150)에 의해 제어되며, 이는 마이크로 프로세서 인터페이스로부터 판독되거나 상기 인터페이스에 기록되는 매개 변수들에 의해 설정된다. 상기 제어기는 신호(CNTRL)를 생성하고, 상기 제어는 적절한 회로 동작과, 화소들의 로딩 및 전이와, 신호 프로세싱에 영향을 미치고 이들을 조정하는데 필요하다.
수평 프로세싱 블록(284)로부터의 데이터와, 제 2 수평 프로세싱 블록(284a)으로부터의 데이터와, HD 바이패스(HD Bypass)(1122)상의 HD(비프로그래시브) 비디오 데이터는 멀티플렉서(Multiplexer)(118)에 제공되며, 상기 멀티플렉서는 프로세서 제어(도시되지 않음)에 따라 하나의 비디오 데이터 스트림을 선택함으로써 비디오 데이터와 OSD 프로세서(1104)로부터의 선택적 OSD 데이터를 결합하여 복합 출력 비디오 데이터를 형성하도록 믹서(mixer)(116)에 제공한다. 그 후, 상기 복합 비디오 출력 데이터는 MUX들(1120, 1124)로 제공된다.
프로세싱 소자들의 제 1 세트(1101)에 대해, MUX(1120)는 복합 출력 비디오 데이터나, HD 바이패스(1122)상에 제공되는 HD 데이터나, 배경 삽입 블록(1110)으로부터의 데이터를 선택할 수 있다. 상기 선택된 데이터는 화소 클록도 수신하는 출력 제어 프로세서(1126)에 제공된다. 그 후, 출력 제어 프로세서(1126)는 소정의 출력 모드에 따라 내부 프로세싱 영역으로부터의 데이터 클록 속도를 화소 클록 속도로 변화시킨다.
제 2 프로세싱 소자들(1102)에 대해, MUX(1124)는 복합 출력 비디오 데이터나, 배경 삽입 블록(1110a)으로부터의 데이터를 선택할 수 있다. 상기 선택된 데이터는 화소 클록도 수신하는 출력 제어 프로세서(1128)에 제공된다. 그 후, 출력 제어 프로세서(1128)는 소정의 출력 모드를 따라 내부 프로세싱 영역으로부터의 데이터 클록 속도를 화소 클록 속도로 변화시킨다. MUX(1132)는 MUX(1124)의 수신된 선택된 데이터(601 데이터 아웃)나 OSD 프로세서(1104)로부터의 선택적 OSD 데이터를 제공한다.
래스터 발생 및 제어 프로세서(1130)는 화소 클록도 수신하며, 래스터 공간을 생성하는 계수기(counter)(도시되지 않음)들을 포함하고, 제어 명령을 라인마다 디스플레이 제어 프로세서(1140)에 전송한다. 디스플레이 제어 프로세서(1140)는 외부 메모리(130)와 함께 타이밍을 조정하고, 래스터 라인들에 동기화되어 라인마다 각 프로세싱 사슬(1101, 1102)에 대한 프로세싱을 개시한다.
도 11B 내지 11D는 비디오 디코더(121)의 도 11A에 도시된 디스플레이 섹션(173)에 의해 제공된 출력 모드들을 도 1A의 활성 블록들에 연관시킨다. 도 11B는, 비디오 데이터가 525P 또는 525I이면, 제 1 프로세서(1101)(도 11A에 도시됨)가 525I 데이터(601 데이터 아웃)를 NTSC 인코더(152)에 제공함은 물론 525P 비디오 데이터를 27 MHz DAC(143)에 제공하는 27 MHz 쌍 출력 모드(Dual output mode)를 도시한 도면이다. 도 11C는 27 MHz 단일 출력 모드에서는 오직 525I 데이터(601 데이터 아웃)만이 NTSC 인코더(152)에 제공되는 것을 도시한 도면이다. 도 11D는 출력 모드가 입력 모드와 일치하고 출력 포맷에 따라 비디오 데이터가 27 MHz DAC(143)이나 74 MHz DAC(141)에 제공되는 74 MHz/27 MHz 모드를 도시한 도면이다. 상기 74 MHz DAC는 1920 × 1088 및 1280 × 720 화상들에 사용되며; 상기 27 MHz DAC는 여타 모든 출력 포맷들에 사용된다.
다운샘플링된 영상 플레임의 디스플레이 변환은 영상을 특정한 포맷으로 디스플레이하는데 이용된다. 상술한 바와 같이, 도 2B에 도시된 디스플레이 변환 블록(280)은 저해상도 스크린상에 디스플레이되도록 다운 변환 및 다운샘플링된 영상을 조정하는 수직 프로세싱 블록(VPF)(282)과 수평 프로세싱 블록(HZPF)(284)을 포함한다.
양호한 실시예에 대해, VPF(282)는 프로그램 가능한 다상 수직 필터로서 수행되는 수직 라인 보간 프로세서이고, 양호한 실시예에 대해, HZPF(284)는 프로그램 가능한 다상 수평 필터로서 수행되는 수평 라인 보간 프로세서이다. 필터들은 프로그램 가능하며, 이는 다수의 디스플레이 포맷들에 대한 디스플레이 변환을 수용하기 위한 디자인 선택이다.
도 2B에 도시된 바와 같이, 4 라인의 다운샘플링된 화소 데이터는 래스터 크기로 VPF(282)로 입력된다. 양호한 실시예에서, 상기 데이터는 VPF(282) 32 비트로 동시에 입력되는 휘도(Y) 및 색차(CR 및 CB) 화소 켤레를 포함한다. VPF(282)는 4 라인의 데이터를 1 라인으로 필터링하고, 상기 라인을 YCRYCB 내의 휘도 및 색차 데이터를 각각 포함하는 32 비트 값들로서 HZPF(284)에 전송하고, 그 후, HZPF(284)는 정확한 수의 화소들을 생성하여 소정의 래스터 포맷에 일치시킨다.
도 7A는 본 발명의 양호한 실시예의 VPF(282)로서 사용하기 적합한 양호한 필터를 도시한 고 레벨 블록도이다. 이하에서, VPF(282)는 출력 화소들의 켤레를 생성하도록 입력 화소들(각 켤레는 두 개의 휘도 화소들(Y 화소 및 휘도(CR 및 CB) 화소)의 켤레를 처리한다. 이는 4:2:0 포맷의 프로세싱을 촉진하는데, 왜냐하면, 컬러 화소들은 그들의 대응 휘도 화소들과 용이하게 연합될 수 있기 때문이다. 그러나, 당해 기술 분야의 당업자는 오직 휘도 화소만이나 오직 색차 화소만이 상기 방식으로 처리될 수 있다는 것을 알 것이다.
도 7A를 참조하면, VPF(282)는 VPF 제어기(702)와; 휘도 화소 MUX들(LP MUX들)(706, 708, 710, 712) 및 색차 화소 MUX들(CP MUX들)(714, 716, 718, 720)을 포함하는 제 1 멀티플렉서 네트워크와; 휘도 필터 MUX들(LF MUX들)(726, 728, 730, 732) 및 색차 필터 MUX들(CF MUX들)(734, 736, 738, 740)을 포함하는 제 2 멀티플렉서 네트워크와; 휘도 계수 RAM(704)과; 색차 계수 RAM(724)과; 휘도 계수 곱셈기(742, 744, 746, 748)와; 색차 계수 곱셈기(750, 752, 754, 756)와; 휘도 덧셈기(760, 762, 764)와; 색차 덧셈기(766, 768, 770)와; 라운드 및 클립 프로세서(Round and Clip processor)(772, 776)와; 디멀티플렉서(Demux)/레지스터(Register)(774, 778)와; 출력 레지스터(780)를 포함한다.
이제, VPF(282)의 동작을 기술한다. 수직 재 샘플링은 2개의 4-탭 다상 필터들을 이용하여 성취되는데, 하나는 휘도 화소들을 위한 것이며, 하나는 색차 화소들을 위한 것이다. 이하에는 휘도 화소들을 위한 필터의 동작만이 기술되는데, 왜냐하면, 색차 화소들을 위한 동작도 이와 유사하기 때문이다. 그러나, 이들이 생성되는 경로상의 차이는 있다는 점을 지적한다. 양호한 실시예에서, 휘도 화소들의 수직 필터링은 4-탭 다상 필터내의 8 위상까지 사용할 수 있고, 색차 화소들의 필터링은 상기 4-탭 다상 필터내의 16 위상까지 사용할 수 있다. 필드 또는 프레임의 개시부에서, VPF 제어기(702)는 수직 다상 필터를 설정하고, 제어 타이밍을 제 1 및 제 2 멀티플렉서 네트워크에 제공하고, 다상 필터 위상들을 위한 휘도 계수 RAM(704) 및 색차 계수 RAM(724)로부터 계수 세트를 선택하고, 프로세싱되는 필드 또는 프레임의 각 라인을 셈하는 계수기를 포함한다.
MUX 및 다상 필터의 네트워크의 동작을 조정함에 부가하여, VPF 제어기(702)는 디코딩된 화상의 수직 위치의 정수 및 분수 부분의 트랙킹에 의해 디스플레이 라인의 트랙을 유지한다. 상기 정수 부분은 어떤 라인이 접근되어야 하는가를 표시하고, 상기 분수 부분은 어떤 필터가 사용되어야 하는가를 표시한다. 더욱이, 분수 부분이 16 미만의 위상들을 허용할 때 모듈로 N 산술의 사용은 9에서 5까지와 같은 정확한 다운샘플링 비에 효과적일 수 있다. 상기 분수부는 언제나 사용되고 있는 모듈로 N 위상들 중 한 N 위상을 트렁케이션(truncation)할 수 있다.
도 7A에 도시된 바와 같이, 4개의 영상 라인들로부터의 휘도 및 색차 화소 켤레들은 색차 경로 및 휘도 경로로 분리된다. 휘도 경로내의 16 비트 화소 켤레 데이터는 LP MUX들(706, 708, 710, 712)에 의해 8 비트 짝수(Y 짝수) 및 8 비트 홀수(Y 홀수) 포맷으로 더 멀티플렉스되고, 색차 경로내의 16 비트 화소 켤레는 CP MUX들(714, 716, 718, 720)에 의해 8 비트 CR 및 8 비트 CB 포맷으로 된다. 휘도 필터 MUX들(706, 708, 710, 712)은 필터 화소 경계가 다상 필터 동작에 중첩하도록 디코딩된 영상의 경계의 수부(top) 및 기부(bottom)에서 라인의 화소 값들을 반복한다.
그 후, 휘도 화소 정보 및 색차 화소 정보에 대응한 4 라인에 대한 화소 켤레는 각각의 다상 필터들을 통과한다. 필터 위상을 위한 화소들의 가중을 위해 곱셈기들(742, 744, 746, 748)에 의해 이용되는 계수들은 프로그램된 업 또는 다운샘플링 인자에 기초하여 VPF 제어기(702)에 의해 선택된다. 덧셈기들(760, 762, 764)내에서 가중된 휘도 화소 정보를 결합한 후, 상기 값은 8 비트 값들을 제공하는 라운드 및 클립 프로세서(772)에 인가된다(왜냐하면, 계수 곱셈은 높은 정확도를 가지고 생성하기 때문이다). DEMUX 레지스터(774)는 보간된 8 비트 짝수(Y 짝수) 휘도 값에 대응한 제 1의 8 비트 값과 보간된 8 비트 홀수(Y 홀수) 값에 대응한 제 2의 8 비트 값을 수신하고, 16 비트로된 수직 필터링된 휘도 화소 켤레를 제공한다. 레지스터(780)는 수직 필터링된 화소를 휘도 및 색차 경로로 제공하고, 그들을 휘도 및 색차 화소 켤레를 수용하는 수직 필터링된 32 비트 값들로서 제공한다.
도 7B는 라인들의 화소 샘플 공간 및 계수들간의 공간 관계를 도시한 도면이다. 휘도 및 색차 다상 필터 경로에 대한 계수들 각각은 각 계수 세트에 할당된 40 비트를 가지며, 각 위상에 대한 하나의 계수 세트가 있다. 상기 계수들은 512의 분모를 가진 분수들로 해석된다. 상기 계수들은 40 비트 워드로 좌에서 우로 위치된다(C0에서 C3까지). C0 및 C3은 사인된 10 비트 2의 보조값들이고, C1 및 C2는 주어진 범위(예컨데, -256에서 767까지)를 가지는 10 비트인데, 이들 각각은 11 비트 2의 보조값들까지 잇달아 변환된다.
도 7A는 선택적 휘도 계수 조정(782) 및 색차 계수 조정(784)을 포함한다. 상기 계수 조정(782, 784)은 C1 및 C2에 대한 11 비트 2의 보조수를 유도하는데 사용된다. 만약 비트 8 및 9(최상위 비트)가 모두 1이라면, 11 비트 수의 사인은 1 (음(negative))이고, 다른 경우에 상기 값은 양이다.
도 8A는 본 발명의 일 실시예의 HZPF(284)로서 사용되기에 적합한 양호한 필터를 도시한 고 레벨 블록도이다. HZPF(284)는 VPD(282)로부터 (32 비트 데이터가 될 수 있는) 휘도 및 색차 화소 정보 켤레를 수신한다. HZPF(284)는 HZPF 제어기(802)와; CR 래치(804)와; CB 래치(806)와; Y 래치(808)와; 선택 MUX(810)와; 수평 필터 계수 RAM(812)과; 곱셈 네트워크(814)와; 덧셈 네트워크(816)와; 라운드 및 클립 프로세서(818), DEMUX 레지스터(820) 및 출력 레지스터(822)를 포함한다.
수평 재 샘플링은 8 탭, 8 위상 다상 필터를 채용함으로써 성취된다. 디스플레이 화소들의 생성은 디코딩 및 다운샘플링된 화상내의 수평 위치의 정수 및 분수부를 트랙킹함으로써 HZPF 제어기(802)에 의해 조정된다. 상기 정수부는 어떤 정수부가 접근될지를 표시하고, 상기 분수부는 어떤 필터 위상이 사용되어야 할지를 표시한다. 상기 분수부를 계산할 때 모듈로 N 산술을 사용하면 8 미만의 위상들이 사용되도록 할 수 있다. 예컨데, 만약 9에서 5까지와 같은 정확한 다운샘플링 비가 사용된다면 상기 산술의 사용은 유용할 수 있다. 만약 상기 다운샘플링 비가 단순 분수로 표시될 수 없다면, 상기 분수부는 N 위상들 중 한 N 위상으로 트렁케이션된다. 본 발명의 양호한 실시예의 HZPF(284)는 화소 켤레들을 필터링하고, 짝수 화소 경계상 정열을 이용하여 4:2:0 포맷된 화상의 프로세싱을 촉진하고 CR 및 CB 화소들(컬러 화소들)과 함께 대응 Y 화소들의 유지를 촉진한다.
도 8A를 참조하여 HZPF(284)의 동작을 기술한다. 수평 라인의 개시부에서, HZPF 제어기(802)는 수평 다상 필터를 리셋하고, 제어 타이밍을 제 1 및 제 2 멀티플렉서 네트워크에 제공하고, 각각의 다상 필터 위상을 위한 CR, CB 및 Y 필터 계수들에 대한 수평 계수 RAM(812)으로부터 계수 세트들을 선택하고, 프로세싱을 위해 CR, CB 및 Y 값들의 각 세트를 선택한다. 또한, 수평 위치가 라인의 좌측 또는 우측 근방에 있을 때, HZPF 제어기(802)는 8 탭 다상 필터에 의해 사용되도록 에지 화소 값들이 반복되거나 0으로 설정되게 한다. 상기 단순화에 의해 야기되는 영상내의 임의의 왜곡은 디스플레이된 영상의 오버스캔부(overscan portion)에 잠복되는 것이 보통이다.
VPF(282)로부터 수신된 화소 데이터는 Y, CR 및 CB 값들로 분리되고, 상기 값들은 필터링을 위해 CR 래치(804), CB 래치(806) 및 Y 래치(808)로 개별적으로 래치된다. 그 후, HZPF 제어기(802)는 선택 MUX(810)으로의 적절한 신호에 의해 Y, CR 및 CB 값들을 선택한다. 양호한 실시예에서, CR 또는 CB 보다 많은 Y 값들이 있어, 필터는 Y 휘도 래치(808)내의 추가적 래치들을 사용한다. 동시에, HZPF 제어기(802)는, 수평 필터 계수 RAM(812)로의 제어 신호에 의해 프로그램된 업샘플링 또는 다운샘플링 값에 기초하여, 필터 위상과 CR 또는 CB 또는 Y 값들을 위한 적절한 필터 계수들을 선택한다.
그 후, 수평 필터 계수 RAM(812)은 입력 화소 값들과의 곱셈을 위한 곱셈 네트워크(814)의 각각의 소자들로 상기 계수들을 출력하여, 가중된 화소 값들을 생성하고, 상기 가중된 화소 값들은 덧셈 네트워크(816)에서 결합되어 수평 필터링된 CR, CB 또는 Y 값을 제공한다.
덧셈 네트워크(816)에서 상기 가중된 화소들을 결합한 후, 수평 필터링된 화소 값은 8 비트 값들을 제공하는 라운드 및 클립 프로세서에 인가된다(왜냐하면, 계수 곱셈은 고주파수에서 생성하기 때문이다). DEMUX 레지스터(820)는 CR 값에 대응한 일련의 8 비트 값들과, 8 비트 짝수(Y 짝수) Y 값과, 8 비트 CB 값과, 8 비트 홀수(Y 홀수) Y 값에 대응한 8 비트 값을 수신하고; DEMUX 레지스터(820)는 상기 값들을 32 비트 값(Y 짝수, CR, CB 또는 Y 홀수)을 가진 수평 필터링된 휘도 및 색차 화소 켤레로 멀티플렉스한다. 레지스터(822)는 상기 화소 켤레를 수직 및 수평 필터링된 32 비트 화소 휘도 및 색차 화소 켤레로서 제공한다.
도 8B는 수평 필터 계수 RAM(812)에 저장되고 수평 라인을 위한 다운샘플링된 영상의 화소 샘플 값들과 다상 필터에서 사용되는 계수들간의 공간 관계를 도시한 도면이다. 양호한 실시예에 대한 계수들은 64 비트 워드로 좌에서 우까지(C0에서 C7까지) 위치된다. 계수들(C0, C1, C6 및 C7)은 사인된 7 비트 2의 보조값들이고, C2 및 C5는 사인된 8 비트 2의 보조이고, C3 및 C4는 사인된 10 비트 2의 보조 값들이며, -256에서 767까지의 범위를 표시한다. C3 및 C4는 11 비트 2의 보조값들을 유도하도록 조정된다. 만약 비트 8 및 비트 9(최상위 비트)가 1이라면, 상기 11 비트 값의 사인은 1(음)이고, 여타의 경우에 상기 값은 0(양)이다. 모든 계수들은 512의 분모를 가진 분수들로 해석될 수 있다.
표 12는 표시된 포맷 변환을 수행하는 본 발명의 양호한 실시예를 위한 VPF(282) 및 HZPF(284)에 대한 계수를 열거한다.
[표 12]
750I에서 525P 또는 750P에서 525I를 위한 계수들
4 탭 및 2 다상 휘도 수직 필터
750I에서 525P 또는 750P에서 525I를 위한 계수들
4 탭 및 4 다상 색차 수직 필터
750P에서 525I를 위한 계수들
4 탭 및 2 다상 휘도 수직 필터
750P에서 525I를 위한 계수들
4 탭 및 4 다상 색차 수직 필터
1125I에서 525P를 위한 계수들
4 탭 및 8 다상 휘도 수직 필터
1125I에서 525P를 위한 계수들
4 탭 및 16 다상 색차 수직 필터
디스플레이 변환 시스템의 양호한 실시예에서, 수평 변환은 도 2B의 DCT 영역 필터(216)와 다운샘플링 프로세서(232)에 의해 일부 수행된다. 이로써, 상기 변환이 1125I 또는 750P에 따라 동일한 수의 수평 화소들을 제공한다. 따라서, HZPF(284)는 상기 신호들을 업샘플링하여 라인당 720개의 활성 화소들을 제공하고 525P 또는 525I 신호들을 비변조 통과시키는데, 상기 신호들은 표 1 및 2에 개시된 바와 같이 라인당 720개의 활성 화소들을 가지며, 수평 필터의 계수의 값들은 480P/480I/525P/525I로의 변환에 대해 변화되지 않는다. 상기 수평 필터 계수들은 표 13에 주어졌다.
[표 13]
더욱이, HZPF(284)의 프로그램 가능 능력은 비선형 수평 주사를 허용한다. 도 9A는 본 발명에 채용될 수 있는 리샘플링비 프로파일을 도시한 도면이다. 도시된 바와 같이, HZPF(284)의 리샘플링비는 수평 주사라인을 따라 변할 수 있고, 선형적으로 변할 수 있다. 도 9A의 양호한 실시예를 참조하면, 상기 주사라인의 시작부에서, 상기 리샘플링비는 상기 주사라인의 제 1 점까지 선형적으로 증가(또는 감소)하며, 상기 리샘플링비는 제 2 점에 도달할 때까지 일정하게 유지되며, 상기 제 2 점에서부터 상기 리샘플링비는 선형적으로 감소(또는 증가)한다. 도 9A를 참조하면, h_initial_resampling ratio는 화상에 대한 초기 리샘플링비이며, h_resampling_ratio_change는 리샘플링비의 제 1 화소당 변화이며, -h_resampling_ratio_change는 리샘플링비의 제 2 화소당 변화이며, h_resampling-ratio-hold column 및 h-resampling_ratio_reverse_column은 리샘플링비가 일정하게 유지되는 디스플레이 열 화소 점들이다. value display_width는 화소 선의 마지막 화소(열)이다.
도 9B 및 9C는 4:3 화상을 16:9 디스플레이에 맵핑하는 비율 프로파일들을 도시한다. 상기 비율들은 입력값 대 출력값으로 규정되며, 따라서, 4/3는 4를 3으로 다운샘플링한 것이고, 1/3은 1을 3으로 업샘플링한 것이다. 도 9B 및 9C에 도시된 비율 프로파일은 720개의 활성 화소들을 가진 입력 화상 영상을 720개의 활성 화상들을 가진 디스플레이에 맵핑한다. 예컨데, 도 9B에서 4:3 종횡비 디스플레이의 16 × 9 종횡비 디스플레이에의 맵핑은 4/3 다운샘플링을 이용하나, 상기 디스플레이의 모든 샘플들을 채우려면 수평 라인상 1/1 평균이 필요하다. 따라서, 도 9B의 프로파일은 디스플레이 화소들 240 및 480간의 중심내에 정확한 종횡비를 가지며, 측면의 값들은 업샘플되어 상기 디스플레이를 채운다. 도 9D 및 9E는 16 × 9 디스플레이 영상으로부터 4:3 디스플레이로의 크기 변경에 사용되는 프로파일을 도시하며, 이는 도 9B 및 9C에 도시된 프로파일의 역이다.
본 발명의 양호한 실시예에 따른 리샘플링비 프로파일들을 사용한 효과는 도 10에 도시되어 있다. 16 × 9 또는 4 × 3 종횡비를 가진 비디오 전송 포맷은 16 × 9 또는 4 × 3으로 디스플레이될 수 있으나, 원 비디오 화상은 상기 디스플레이 영역에 맞도록 적응될 수 있다. 따라서, 상기 원 비디오 화상은 전부(full), 줌(zoom), 스퀴즈(squeeze) 또는 가변(variable) 팽창(expand)/수축(shrink)이 될 수 있다.
본 발명의 양호한 실시예가 상술되고 도시되었지만, 상기 실시예들은 단지 예시로서 제공되었다는 것을 알아야 한다. 당해 기술 분야의 통상의 지식을 가진자는 본 발명의 정신으로부터 벗어남 없이 수많은 변형례들, 대체례들, 치환례들을 고안할 수 있다. 따라서, 본원의 청구항들은 상기 모든 변형례들이 본 발명의 범위에 포함되도록 기재되어 있다.

Claims (29)

  1. 디지털 비디오 디코더에 있어서:
    제 1 및 제 2 차원들에서 제 1 공간 해상도를 가진 비디오 영상을 나타내는 인코딩된 비디오 신호를 수신하는 단자와;
    상기 수신된 인코딩된 비디오 신호를 디코딩하여, 상기 제 1 및 제 2 차원들에서 상기 제 1 공간 해상도를 가진 디코딩된 비디오 신호를 제공하도록 제 1 모드에서 동작하고, 상기 1 및 제 2 차원들 중 한 차원에서 상기 제 1 공간 해상도보다 낮은 제 2 공간 해상도를 갖고, 상기 제 1 및 제 2 차원들 중 다른 차원에서 상기 제 1 공간 해상도를 가진 상기 디코딩된 비디오 신호를 제공하도록 제 2 모드에서 동작하는 디코딩 회로와;
    상기 디코딩된 비디오 신호를 저장하는 메모리와;
    상기 디코딩 회로가 상기 제 2 모드에서 동작할 때, 상기 제 1 및 제 2 차원들 중 다른 하나의 차원에서 상기 저장된 디코딩된 비디오 신호를 처리하여 상기 디코딩된 비디오 신호의 상기 공간 해상도를 변화시킴으로써, 상기 제 1 및 제 2 차원들에서 동등한 공간 해상도들을 가진 적어도 하나의 디스플레이 비디오 신호를 생성하도록 포맷팅 제어 신호에 응답하는 공간 필터를 포함하는 포맷팅 회로와;
    상기 디코더를 상기 제 1 및 제 2 모드들 간에 스위칭하고, 상기 포맷팅 제어 신호를 상기 포맷팅 회로에 제공하는 제어 수단을 포함하는, 디지털 비디오 디코더.
  2. 제 1 항에 있어서,
    상기 인코딩된 비디오 신호는 주파수 영역 변환을 이용하여 인코딩되고, 상기 디코딩 회로는 상기 주파수 영역 변환된 비디오 신호를 필터링하는 회로와, 상기 인코딩된 비디오 신호를 역 주파수 영역 변환에 따라 디코딩하는 회로를 포함하는, 디지털 비디오 디코더.
  3. 제 1 항에 있어서,
    상기 비디오 디코더에 인가되는 상기 인코딩된 비디오 신호는, 각각의 주사신호 타입을 각각 갖는 고해상도 비디오 타입과 표준 해상도 비디오 타입 중 하나이고, 상기 주사 신호 타입은 프로그래시브 포맷 및 인터레이싱 포맷으로 구성된 그룹으로부터 선택되며,
    상기 인코딩된 비디오 신호에 응답하여, 상기 인코딩된 비디오 신호의 상기 각각의 주사 신호 타입을 판정하는 수단과;
    각각의 주사 신호 타입을 가진 프로그램된 주사 신호를 수신하는 수단과;
    1) 상기 비디오 디코더가 상기 제 1 모드에서 동작될 때, 상기 인코딩된 비디오 신호의 상기 주사 신호 타입과, 2) 상기 비디오 디코더가 상기 제 2 모드에서 동작될 때, 상기 프로그램된 주사 신호의 상기 주사 신호 타입을 갖는 상기 디스플레이 비디오 신호를 제공하도록, 각 디스플레이 비디오 신호의 상기 각각의 디스플레이 공간 해상도를 변경하는 수단을 더 포함하는, 디지털 비디오 디코더.
  4. 제 3 항에 있어서,
    각각의 주사 신호 타입은 각각의 디스플레이 포맷을 더 포함하고,
    상기 포맷팅 수단은:
    상기 인코딩된 비디오 신호에 응답하여, 상기 주사 신호 타입의 원 디스플레이 포맷을 판정하는 수단과;
    프로그램된 디스플레이 포맷을 수신하는 수단을 더 포함하며,
    상기 각각의 디스플레이 공간 해상도를 변경하는 수단은, 1) 상기 비디오 디코더가 상기 제 1 모드에서 동작될 때, 상기 인코딩된 비디오 신호의 상기 원 디스플레이 포맷과, 2) 상기 비디오 디코더가 상기 제 2 모드에서 동작될 때, 상기 프로그램된 디스플레이 포맷을 갖는 상기 디스플레이 비디오 신호를 더 제공하는, 디지털 비디오 디코더.
  5. 제 4 항에 있어서,
    상기 원 및 상기 프로그램된 디스플레이 포맷은 각각 각각의 종횡비를 포함하고, 상기 비디오 신호는 상기 원 디스플레이 포맷에 의해 규정된 복수의 화소 그룹들에 의해 나타내지고, 상기 각각의 디스플레이 공간 해상도를 변경하는 수단은, 상기 제 2 모드에서 동작될 때, 리샘플링 프로파일(resampling profile)을 상기 복수의 화소 그룹들 중의 선택된 것들에 적용함으로써, 상기 원 디스플레이 포맷을 상기 프로그램된 디스플레이 포맷으로 변경하는, 디지털 비디오 디코더.
  6. 제 5 항에 있어서,
    상기 리샘플링 프로파일은 적어도 제 1 및 제 2 섹션을 포함하며, 각 프로파일 섹션은 상기 원 디스플레이 포맷의 종횡비와 상기 프로그램된 디스플레이 포맷의 종횡비간 변하는 리샘플링비를 갖는, 디지털 비디오 디코더.
  7. 제 4 항에 있어서,
    상기 비디오 신호는 상기 원 디스플레이 포맷에 의해 규정된 복수의 화소 그룹들에 의해 나타내지는 영상이며,
    상기 각각의 디스플레이 공간 해상도를 변경하는 수단은, 상기 제 2 모드에서 동작될 때, 리샘플링 프로파일을 상기 복수의 화소 그룹들 중의 선택된 것들에 적용함으로써, 상기 영상의 원 디스플레이 포맷의 각각의 종횡비를 상기 프로그램된 디스플레이 포맷의 종횡비로 변환시키는 변환 수단을 포함하는, 디지털 비디오 디코더.
  8. 제 7 항에 있어서,
    상기 변환 수단에 의해 적용된 상기 리샘플링 프로파일은 적어도 제 1 및 제 2 섹션을 포함하고, 각 프로파일 섹션은 상기 원 디스플레이 포맷의 종횡비와 상기 프로그램된 디스플레이 포맷의 종횡비간 변하는 리샘플링비를 가지며, 상기 변환 수단은 상기 복수의 화소 그룹들 중의 각각 하나를 상기 리샘플링 프로파일에 따라 리샘플링함으로써, 상기 원 디스플레이 포맷의 종횡비를 가진 상기 복수의 화소 그룹들에 의해 나타내지는 상기 영상을, 상기 프로그램된 디스플레이 포맷의 종횡비를 가진 새로운 영상으로 변환시키는, 디지털 비디오 디코더.
  9. 제 7 항에 있어서,
    상기 변환 수단에 의해 적용된 상기 리샘플링 프로파일은 적어도 제 1 및 제 2 섹션을 포함하고, 각 프로파일 섹션은 상기 원 디스플레이 포맷의 종횡비와 상기 프로그램된 디스플레이 포맷의 종횡비간 변하는 리샘플링비를 가지며, 상기 변환 수단은, 상기 복수의 화소 그룹들 중의 나머지 것들을 블랭킹하는 동안 상기 복수의 화소 그룹들 중의 선택된 것들을 리샘플링함으로써, 상기 원 디스플레이 포맷의 종횡비를 가진 상기 복수의 화소 그룹들에 의해 나타내지는 상기 영상을, 상기 프로그램된 디스플레이 포맷의 종횡비를 가진 새로운 영상으로 변환시키는, 디지털 비디오 디코더.
  10. 제 7 항에 있어서,
    상기 변환 수단은 상기 각각의 종횡비를, 1) 16 × 9 비를 가진 상기 원 디스플레이 포맷의 종횡비와, 4 × 3 비를 가진 상기 프로그램된 디스플레이 포맷의 종횡비 간에 변환시키고, 2) 4 × 3 비를 가진 상기 원 디스플레이 포맷의 종횡비와, 16 × 9 비를 가진 상기 프로그램된 디스플레이 포맷의 종횡비 간에 변환시키는, 디지털 비디오 디코더.
  11. 제 1 항에 있어서,
    SDTV, S-비디오, HDTV 및 컴퓨터 모니터로 구성된 그룹으로부터 선택된 디스플레이 타입에 대응하는 디스플레이 타입 신호를 수신하는 사용자 인터페이스 수단을 더 포함하며, 상기 제어 수단은, 상기 포맷팅 회로가 상기 디스플레이 비디오 신호를 상기 대응하는 디스플레이 타입으로 포맷팅하도록, 상기 디스플레이 타입 신호의 각각의 디스플레이 타입을 가진 상기 포맷팅 제어 신호를 더 제공하는, 디지털 비디오 디코더.
  12. 제 1 항에 있어서,
    상기 디코딩 회로는 메모리를 포함하고, 상기 메모리는 제 1 및 제 2 섹션을 가지며, 상기 디코딩 회로는, 상기 비디오 디코더가 상기 제 1 모드에서 동작될 때, 상기 메모리의 상기 제 1 및 상기 제 2 섹션 모두를 채용하고, 상기 비디오 디코더가 상기 제 2 모드에서 동작될 때, 상기 메모리의 상기 제 1 및 상기 제 2 섹션 중 한 섹션을 채용하는, 디지털 비디오 디코더.
  13. 제 1 항에 있어서,
    상기 디지털 비디오 디코더는 인코딩된 비디오 신호를 수신 및 디코딩하고, 제 1 및 제 2 모드 중 한 모드에서 동작하며, 상기 비디오 디코더는 상기 비디오 신호를 각각의 디스플레이 해상도 및 각각의 디스플레이 포맷을 가진 디스플레이 비디오 신호로서 제공하는, 디지털 비디오 디코더.
  14. 제 13 항에 있어서,
    상기 제 2 모드에서, 상기 비디오 디코더는 비디오 영상을 나타내는 상기 인코딩된 비디오 신호로부터 상기 각각의 디스플레이 공간 해상도를 가진 상기 디스플레이 비디오 신호를 형성하고, 상기 인코딩된 비디오 신호는 주파수 영역 변환된 고해상도 비디오 신호이며,
    디코딩 수단은:
    상기 인코딩된 비디오 신호를 복수의 고해상도 주파수 영역 비디오 계수값들로서 수신 및 제공하는 수단과;
    한 세트의 필터링된 주파수 영역 비디오 계수들을 형성하도록 상기 복수의 고해상도 주파수 영역 비디오 계수값들 중의 선택된 것들을 수신 및 가중하는 다운 변환 수단과;
    상기 필터링된 주파수 영역 비디오 계수들을 한 세트의 필터링된 화소 샘플값들로 변환하는 역변환 수단을 포함하며,
    상기 공간 필터는 상기 각각의 디스플레이 공간 해상도를 가진 상기 디스플레이 비디오 신호를 제공하도록 상기 세트의 필터링된 화소 샘플 값들 중의 선택된 것들을 삭제하는 데시메이팅 수단(decimating means)을 포함하는, 디지털 비디오 디코더.
  15. 제 14 항에 있어서,
    상기 주파수 영역 변환된 비디오 신호는 각각의 상기 복수의 고해상도 주파수 영역 값들을 각각의 이산 코사인 변환(DCT) 계수로서 제공하도록, DCT 동작에 의해 변환되고, 상기 다운 변환 필터 수단은 각 선택된 하나의 DCT 계수를 가중하고, 상기 역변환 수단은 역 이산 코사인 변환(IDCT) 동작에 의해 상기 주파수 영역 비디오 계수들을 변환하는, 디지털 비디오 디코더.
  16. 제 14 항에 있어서,
    상기 다운 변환 필터 수단은 데시메이션비(decimation ratio)에 의해 분할된 상기 인코딩된 비디오 신호의 샘플링 주파수에 의해 결정되는 컷오프 주파수를 가진 저역 통과 필터인, 디지털 비디오 디코더.
  17. 제 14 항에 있어서,
    상기 다운 변환 필터 수단은 미리 결정된 수의 탭들을 가진 저역 통과 블록 미러 필터의 복수의 주파수 영역 계수들을 포함하는, 디지털 비디오 디코더.
  18. 제 14 항에 있어서,
    상기 다운 변환 필터 수단은 한 세트의 주파수 영역 필터 계수들에 의해 나타내지는 저역 통과 필터이고, 상기 다운 변환 수단은 상기 세트의 주파수 영역 필터 계수들과 상기 복수의 고해상도 주파수 영역 비디오 계수값들을 곱함으로써, 상기 복수의 고해상도 주파수 영역 비디오 계수값들 중의 선택된 것들을 가중하는, 디지털 비디오 디코더.
  19. 제 14 항에 있어서,
    상기 데시메이팅 수단은 데시메이션비에 따라 상기 세트의 필터링된 화소 샘플 값들을 다운샘플링하는, 디지털 비디오 디코더.
  20. 제 13 항에 있어서,
    상기 제 2 모드에서, 상기 비디오 디코더는 비디오 영상을 나타내는 상기 인코딩된 비디오 신호로부터 상기 각각의 디스플레이 공간 해상도를 가진 상기 디스플레이 비디오 신호를 형성하고, 상기 인코딩된 비디오 신호는 주파수 영역 변환된 고해상도 비디오 신호이며,
    상기 디코딩 수단은:
    상기 인코딩된 비디오 신호를 복수의 주파수 영역 비디오 계수값들로서 제공하는 수단과;
    한 세트의 필터링된 화소 샘플 값들을 생성하도록 상기 복수의 주파수 영역 비디오 계수값들과 한 세트의 필터링 역변환 계수들을 결합하는 결합 수단으로서, 상기 필터링 역변환 계수들은 다운 변환을 위한 한 세트의 가중 계수들과 상기 주파수 영역으로부터 상기 공간 영역으로의 변환을 위한 한 세트의 역변환 계수들의 결합인, 상기 결합 수단을 포함하며,
    상기 공간 필터는 한 세트의 데시메이팅된 화소 샘플 값들을 생성하도록 상기 세트의 필터링된 화소 샘플 값들 중의 선택된 것들을 삭제하는 데시메이팅 수단을 포함하며,
    상기 비디오 디코더는 상기 세트의 데시메이팅된 필터링된 화소 샘플 값들을 저장하고, 상기 저장된 세트의 데시메이팅된 필터링된 화소 샘플 값들을 상기 각각의 디스플레이 공간 해상도를 가진 상기 디스플레이 비디오 신호로서 제공하는 수단을 포함하는, 디지털 비디오 디코더.
  21. 제 1 항에 있어서,
    상기 디지털 비디오 디코더는 인코딩된 비디오 부분과 인코딩된 오디오 부분을 가진 인코딩된 비디오 신호를 수신하고,
    상기 인코딩된 비디오 신호를 수신하도록 접속되어, 상기 인코딩된 비디오 신호를 상기 인코딩된 비디오 부분과 상기 인코딩된 오디오 부분으로 분리하는 트랜스포트 디코더와;
    비디오 디코더로서:
    제 1 및 제 2 섹션을 가진 상기 메모리와;
    각각의 해상도를 가진 상기 비디오 신호의 비디오 부분을 제공하도록 상기 수신된 인코딩된 비디오 부분을 디코딩하는 상기 디코딩 회로와;
    상기 디코딩 회로에 접속되어, 상기 디코더가 상기 제 2 모드에서 동작될 때, 각각의 해상도를 가진 필터링된 비디오 부분을 제공하도록 상기 수신된 인코딩된 비디오 부분을 디지털식으로 필터링하는 디지털 필터링 회로로서, 상기 필터링된 비디오 부분의 해상도는 상기 비디오 신호의 비디오 부분의 해상도보다 더 높지않고, 상기 디코딩 회로는, 상기 비디오 디코더가 상기 제 1 모드에서 동작될 때, 상기 인코딩된 비디오 부분을 디코딩하도록 상기 메모리의 상기 제 1 및 상기 제 2 섹션을 채용하고, 상기 디지털 필터링 회로가 인에이블링되고 상기 비디오 디코더가 상기 제 1 모드에서 동작될 때, 상기 인코딩된 비디오 부분을 디코딩하도록 상기 제 1 섹션을 채용하는, 상기 디지털 필터링 회로와;
    적어도 하나의 수신된 디스플레이 포맷에 따라 상기 비디오 신호의 상기 비디오 부분을 포맷팅하는 상기 포맷팅 회로로서,
    적어도 하나의 디스플레이 비디오 신호로서 각각의 출력 포트에서 각각의 디스플레이 포맷으로 상기 비디오 부분을 제공하는 수단으로서, 상기 적어도 하나의 디스플레이 비디오 신호는, 상기 비디오 디코더가 제 1 모드에서 동작될 때, 상기 비디오 신호의 상기 비디오 부분의 해상도를 가진, 상기 비디오 부분을 제공하는 수단과,
    적어도 하나의 디스플레이 비디오 신호로서 각각의 출력 포트에서 각각의 디스플레이 포맷으로 상기 필터링된 비디오 부분을 제공하는 수단으로서, 상기 적어도 하나의 디스플레이 비디오 신호는, 상기 비디오 디코더가 제 2 모드에서 동작될 때, 상기 비디오 신호의 상기 필터링된 비디오 부분의 대응하는 해상도를 가진, 상기 필터링된 비디오 부분을 제공하는 수단을 더 포함하는, 상기 포맷팅 회로를 포함하는, 상기 비디오 디코더와;
    상기 오디오 부분을 디코딩하고, 상기 오디오 부분을 각 대응하는 디스플레이 비디오 신호에 제공하는 오디오 디코더를 포함하는, 디지털 비디오 디코더.
  22. 제 21 항에 있어서,
    상기 각각의 출력 포트에서의 상기 적어도 하나의 디스플레이 비디오 신호는 디지털 신호이며, 상기 디지털 신호는 상기 디지털 신호를 아날로그 신호로 변환하도록 디지털-아날로그 변환기에 제공되고, 상기 아날로그 신호는 후속하여 필터에 제공되며, 그에 의해 아티팩트들이 각 디스플레이 비디오 신호로부터 필터링되는, 디지털 비디오 디코더.
  23. 제 21 항에 있어서,
    상기 하나의 디스플레이 비디오 신호를 NTSC 해상도를 가진 신호로 다운 변환하는 변환 수단과,
    상기 변환된 하나의 디스플레이 비디오 신호를 NTSC 포맷된 비디오 신호로서 인코딩하는 인코딩 수단을 더 포함하는, 디지털 비디오 디코더.
  24. 제 21 항에 있어서,
    상기 비디오 신호는 고해상도 비디오 영상과 컴퓨터 발생의 영상 중의 적어도 하나인 비디오 영상을 나타내고, 주파수 영역 인코딩된 후 트랜스포트 인코딩되며, 상기 비디오 트랜스포트 디코더는 상기 주파수 영역 인코딩된 비디오 영상을 상기 인코딩된 비디오 신호로서 상기 비디오 디코더에 제공하도록 상기 트랜스포트 인코딩된 비디오 영상을 수신 및 디코딩하는 통신 인터페이스를 포함하는, 디지털 비디오 디코더.
  25. 디지털 비디오 디코더에 있어서:
    인코딩된 비디오 신호를 수신하는 단자와;
    제 1 공간 해상도보다 낮은 제 2 공간 해상도를 가진 디코딩된 비디오 신호를 제공하도록 상기 제 1 공간 해상도를 가진 상기 수신된 인코딩된 비디오 신호를 디코딩하는 디코딩 회로와;
    상기 디코딩된 비디오 신호를 처리하여 상기 디코딩된 비디오 신호의 상기 공간 해상도를 변화시킴으로써 상기 제 1 및 제 2 공간 해상도들과 다른 각각의 디스플레이 공간 해상도를 가진 적어도 하나의 디스플레이 비디오 신호를 생성하도록 공간 필터를 포함하는 포맷팅 회로를 포함하는, 디지털 비디오 디코더.
  26. 제 15 항에 있어서,
    상기 인코딩된 비디오 신호는 주파수 영역 변환을 사용하여 인코딩되고, 상기 디코딩 회로는 상기 주파수 영역 변환된 비디오 신호를 필터링하는 회로와, 상기 인코딩된 비디오 신호를 역 주파수 영역 변환에 따라 디코딩하는 회로를 포함하는, 디지털 비디오 디코더.
  27. 제 1 및 제 2 차원들에서 제 1 공간 해상도를 가진 비디오 영상을 나타내는 인코딩된 비디오 신호를 디지털 비디오 디코더로 디코딩하는 방법에 있어서:
    a) i) 상기 디지털 비디오 디코더가 제 1 모드에서 동작될 때, 상기 제 1 및 제 2 차원들에서 제 1 공간 해상도를 가진 디코딩된 비디오 신호와, ii) 상기 디지털 비디오 디코더가 제 2 모드에서 동작될 때, 상기 제 1 및 제 2 차원들 중 한 차원에서 상기 제 1 공간 해상도보다 낮은 제 2 공간 해상도를 갖고, 상기 제 1 및 제 2 차원 중 다른 차원에서 상기 제 1 공간 해상도를 가진 상기 디코딩된 비디오 신호를 제공하도록 상기 수신된 인코딩된 비디오 신호를 디코딩하는 단계와;
    b) 상기 디코딩된 비디오 신호를 메모리에 저장하는 단계와;
    c) 제어기에 의해 포맷팅 제어 신호를 제공하는 단계와;
    d) 상기 디지털 비디오 디코더가 상기 제 2 모드에서 동작될 때, 상기 디코딩된 비디오 신호의 공간 해상도를 변화시키도록, 상기 포맷팅 제어 신호에 따라, 적어도 상기 제 1 및 제 2 차원들 중 다른 차원에서 상기 저장된 디코딩된 비디오 신호를 필터링하는 단계로서, 상기 필터링된 디코딩된 비디오 신호는 상기 제 1 및 제 2 차원들에서 동등한 공간 해상도들을 가진, 상기 저장된 디코딩된 비디오 신호를 필터링하는 단계와;
    e) 1) 상기 디지털 비디오 디코더가 상기 제 1 모드에서 동작될 때, 상기 제 1 및 제 2 차원에서 상기 제 1 공간 해상도를 가진 상기 디코딩된 비디오 신호와, 2) 상기 디지털 비디오 디코더가 상기 제 2 모드에서 동작될 때, 상기 제 1 및 제 2 차원들에서 동등한 공간 해상도들을 가진 상기 필터링된 디코딩된 비디오 신호로부터 적어도 하나의 디스플레이 비디오 신호를 생성하는 단계를 포함하는, 인코딩된 비디오 신호 디코딩 방법.
  28. 제 27 항에 있어서,
    상기 인코딩된 비디오 신호가 주파수 영역 변환된 고해상도 비디오 신호이며,
    상기 인코딩된 비디오 신호를 복수의 고해상도 주파수 영역 비디오 계수값들로서 제공하는 단계와;
    한 세트의 필터링된 주파수 영역 비디오 계수들을 형성하도록 상기 복수의 고해상도 주파수 영역 비디오 계수값들 중의 선택된 것들을 가중하는 단계와;
    상기 필터링된 주파수 영역 비디오 계수들을 한 세트의 필터링된 화소 샘플 값들로 변환하는 단계와;
    상기 각각의 디스플레이 공간 해상도를 가진 상기 디스플레이 비디오 신호를 제공하도록 상기 세트의 필터링된 화소 샘플 값들 중의 선택된 것들을 삭제하는 단계를 더 포함하는, 인코딩된 비디오 신호 디코딩 방법.
  29. 디지털 비디오 디코더에 의해 인코딩된 비디오 신호를 디코딩하는 방법으로서, 상기 인코딩된 비디오 신호는 주파수 영역 변환을 이용하여 인코딩되는, 상기 인코딩된 비디오 신호 디코딩 방법에 있어서:
    a) 상기 주파수 영역 변환된 비디오 신호를 제공하도록 제 1 공간 해상도를 가진 상기 수신된 인코딩된 비디오 신호를 디코딩하는 단계와;
    b) 상기 제 1 공간 해상도보다 낮은 제 2 공간 해상도를 가진 상기 디코딩된 비디오 신호를 제공하도록 상기 주파수 영역 변환된 비디오 신호를 상기 주파수 영역에서 필터링하고 역변환하는 단계와;
    c) 상기 디코딩된 비디오 신호의 상기 공간 해상도를 변화시켜 상기 제 1 및 제 2 공간 해상도들과 다른 각각의 디스플레이 공간 해상도를 가진 적어도 하나의 디스플레이 비디오 신호를 생성하도록, 상기 디코딩된 비디오 신호를 공간 필터링하는 단계를 포함하는, 인코딩된 비디오 신호 디코딩 방법.
KR1019980709106A 1997-03-12 1998-03-11 다중표준출력신호를제공하는mpeg디코더 KR100526905B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980709106A KR100526905B1 (ko) 1997-03-12 1998-03-11 다중표준출력신호를제공하는mpeg디코더

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US60/040,517 1997-03-12
KR1019980709106A KR100526905B1 (ko) 1997-03-12 1998-03-11 다중표준출력신호를제공하는mpeg디코더

Publications (2)

Publication Number Publication Date
KR20000010957A KR20000010957A (ko) 2000-02-25
KR100526905B1 true KR100526905B1 (ko) 2006-06-15

Family

ID=41739923

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980709106A KR100526905B1 (ko) 1997-03-12 1998-03-11 다중표준출력신호를제공하는mpeg디코더

Country Status (1)

Country Link
KR (1) KR100526905B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308613A (ja) * 1992-04-30 1993-11-19 Sony Corp ディジタル特殊効果発生装置
EP0707426A2 (en) * 1994-10-11 1996-04-17 Hitachi, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308613A (ja) * 1992-04-30 1993-11-19 Sony Corp ディジタル特殊効果発生装置
EP0707426A2 (en) * 1994-10-11 1996-04-17 Hitachi, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals

Also Published As

Publication number Publication date
KR20000010957A (ko) 2000-02-25

Similar Documents

Publication Publication Date Title
EP0901734B1 (en) Mpeg decoder providing multiple standard output signals
US6539120B1 (en) MPEG decoder providing multiple standard output signals
US6788347B1 (en) HDTV downconversion system
US6175592B1 (en) Frequency domain filtering for down conversion of a DCT encoded picture
WO1998041012A9 (en) Mpeg decoder providing multiple standard output signals
WO1998041011A9 (en) Hdtv downconversion system
US6249549B1 (en) Down conversion system using a pre-decimation filter
US6487249B2 (en) Efficient down conversion system for 2:1 decimation
KR100370076B1 (ko) 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법
US6618443B1 (en) Upsampling filter for a down conversion system
US5777679A (en) Video decoder including polyphase fir horizontal filter
US6493391B1 (en) Picture decoding method and apparatus
KR100526905B1 (ko) 다중표준출력신호를제공하는mpeg디코더
KR100518477B1 (ko) Hdtv다운변환시스템
JP4051799B2 (ja) 画像復号装置及び画像復号方法
KR100563015B1 (ko) Hdtv다운컨버젼시스템을위한업샘플링필터와하프-픽셀발생기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121019

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20131018

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20141022

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20151016

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee