KR100700515B1 - 디코더 루프에서 메모리 감소를 통한 ｍｐｅｇ 엔코딩고화질 시퀀스의 저해상도로의 다운 변환 방법 및 장치 - Google Patents

디코더 루프에서 메모리 감소를 통한 ｍｐｅｇ 엔코딩고화질 시퀀스의 저해상도로의 다운 변환 방법 및 장치 Download PDF

Info

Publication number
KR100700515B1
KR100700515B1 KR1020000077013A KR20000077013A KR100700515B1 KR 100700515 B1 KR100700515 B1 KR 100700515B1 KR 1020000077013 A KR1020000077013 A KR 1020000077013A KR 20000077013 A KR20000077013 A KR 20000077013A KR 100700515 B1 KR100700515 B1 KR 100700515B1
Authority
KR
South Korea
Prior art keywords
field
dct
block
operator
filter
Prior art date
Application number
KR1020000077013A
Other languages
English (en)
Other versions
KR20010067382A (ko
Inventor
피모프마크
김진에이치
로프로세토스코트엠.
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/460,645 external-priority patent/US6628714B1/en
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20010067382A publication Critical patent/KR20010067382A/ko
Application granted granted Critical
Publication of KR100700515B1 publication Critical patent/KR100700515B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

MPEG 엔코딩 인터레이스 고화질 비디오 스트림이 기준 화상 메모리량이 감소된 MPEG 디코더에 의해 디코딩 및 저해상도로 변환된다. 수신 프레임 및 필드 DCT 코딩 블록은 먼저 수신 프레임 DCT 코딩 블록을 변환 필드 DCT 코딩 블록으로의 변환을 통해 재구성된 픽셀 필드 블록으로 다운 변환된다. 이어서, 수직 IDCT 및 수평 IDCT가 수신 필드 DCT 코딩 블록과 변환 필드 DCT 코딩 블록에서 수행되어, 적절한 잉여 및 픽셀 필드 블록이 생성된다. 수직 IDCT는 N 포인트 수평 IDCT이고, 수평 IDCT는 M 포인트 수평 IDCT이며, 여기서 N은 원래의 블록 크기에 대응하고 N>M이다. 잉여 및 픽셀 필드 블록은 공간적으로 필터링되고 수직으로 다운 샘플링된다. IDCT, 필터링 및 다운 샘플링 동작이 단일 선형 오퍼레이터에 의해 효과적으로 결합된다. 다운 샘플링 필드 잉여 블록에 가산될 필드 예측을 형성하도록 서로 다른 수평 및 수직 최소 드리프트 예측 필터들이 사용된다.
MPEG, 저해상도, 프레임, 픽셀, 예측 필터, 잉여, IDCT, 예측, 다운 샘플링

Description

디코더 루프에서 메모리 감소를 통한 ＭＰＥＧ 엔코딩 고화질 시퀀스의 저해상도로의 다운 변환방법 및 장치 {DOWN CONVERTING MPEG ENCODED HIGH DEFINITION SEQUENCES TO LOWER RESOLUTION WITH REDUCED MEMORY IN DECODER LOOP}
도 1은 공지된 MPEG-2 엔코터의 개략 블록선도.
도 2는 공지된 MPEG-2 디코터의 개략 블록선도.
도 3은 HDTV 응용을 위한 공지된 다운변환 디코더의 블록선도.
도 4는 본 발명의 배경을 기술하는데 유용한 예시적인 픽셀 데이터 세트를 보인 도면.
도 5는 본 발명에 따른 다운 변환 디코더의 블록선도.
도 6은 도 5의 IDCT 모듈의 실시예도.
도 7내지 도9는 본 발명을 기술하는데 유용한 예시적인 픽셀 데이터 세트를 보인 도면.
도 10은 도 5의 모션 보상기의 블록선도에 대한 상세도.
도 11내지 도12는 본 발명을 기술하는데 유용한 추가적인 픽셀 데이터 세트를 보인 도면.
본 출원은 1988년 12월 18일 출원된 미국 가출원번호 60/112,795호를 우선권으로서 주장하는 것이다.
본 출원은 1998년 6월 29일 출원된 미국 특허출원번호 09/106,367호의 요지와 유사한 요지에 대해 권리를 주장하는 것이다.
본 발명은 저 해상도의 수상기로 고 해상도 엔코딩 비디오를 다운 변환 및 디코딩하는 다운 변환 디코더에 관한 것이다.
"동화상 및 관련 오디오정보: 비디오의 포괄 코드화" 및 ATSC 디지털 텔레비젼 표준의 이용 안내" 라는 표제의 국제표준 ISO/IEC 13818-2는 디지털 비디오 데이터를 엔코딩 및 디코딩하는 MPEG-2로 알려진 시스템을 기술하고 있다. 이 표준은 일반적으로 HDTV로 알려진 고해상도를 포함하는 광범위한 해상도로 비디오를 엔코딩 할 수 있게 한다. 이 표준에 따르면, 디지털 비디오 데이터는 복잡한 방식으로 일련의 코드워드로 엔코딩 되는데, 이는 예컨대 각 픽셀이 8 비트 값으로 코드화 되는 경유에 있을 수 있는 것보다 코드워드의 평균 길이가 더욱 짧게 되게 한다. 이와 같은 유형의 엔코딩은 또한 데이터 압축으로 알려져 있다.
상기한 시스템에서, 엔코딩 화상들은 픽셀로 구성된다. 각각의 8x8 픽셀 어레이는 블록으로, 그리고 이들 8x8 블록의 2x2 어레이는 매크로 블록으로 호칭된다. 공지된 예측기법((인코더에서는 모션산정(motion estimation), 디코더에서는 모션 보상(motion compensation)), 8x8 픽셀 블록에서 수행되는 2차원 디스크리트 코싸인 변환(DCT), DCT 계수의 양자화와 그리고 호프만 및 실행/레벨을 이용하여 압축이 이루어진다. 그러나, 예측이 모든 화상에 대하여 이용되는것은 아니다. 따라서, 비록 P 화상이 이전의 화상으로부터의 예측으로 엔코딩 되고 그리고 B 화상이 이전 또는 이후의 화상으로부터의 예측을 이용하여 엔코딩되지만은, I 화상은 예측없이 엔코딩 된다.
도 1에 MPEG-2 엔코더가 개략적으로 도시되어있다. 픽셀의 매크로 블록을 나타내는 데이터가 감산기(12) 및 모션 산정기(14)에 입력된다. P 화상 및 B화상의 경우에서, 모션 산정기(14)는 엔코딩될 각각의 새로운 매크로 블록을 기준 화상 메모리(16)에 사전 저장된 기준 화상의 매크로 블록과 비교한다. 모션 산정기(14)는 그 저장된 기준 화상에서 새로운 매크로 블록에 가장 밀접하게 매칭되는 매크로 블록을 찾는다.
모션 산정기(14)는 기준 화상 메모리(16)로부터 이와같은 매칭 매크로 블록(예측 매크로 블록으로 알려짐)을 판독하여 이를 감산기(12)에 전송하며, 이 감산기(12)는 픽셀 별(pixel by pixel) 방식으로 MPEG-2 엔코더(10)에 기입되는 새로운 매크로 블록으로부터 상기 매칭 매크로 블록을 감산한다. 감산기(12)의 출력은 예측된 매크로 블록과 엔코딩 되는 새로운 매크로 블록간의 차이를 나타내는 에러 즉, 잉여(또는 잔차)(residual)이다. 이 잉여는 종종 매우 적다. 이 잉여는 2차원 DCT(18)에 의해 공간 도메인으로부터 변형된다. 그 다음, 2차원 DCT(18)로부터 나오는 DCT 계수들은 각 계수를 나타내는데 필요한 비트수를 감소시키는 프로세스에서 양자화 블록(20)에 의해 양자화 된다. 보통, 많은 계수들이 제로(0)로 효과적으로 양자화된다. 양자화된 DCT 계수는 코더(22)에 의해 호프만 및 실행/레벨로 코딩되며, 이 코더(22)는 또한 계수당 평균 비트수를 감소시킨다.
모션 산정기(14)는 또한 엔코딩 되는 현재의 화상에 있는 새로운 매크로 블록의 위치로부터 기준 화상에 있는 예측된 매크로 블록의 수평 및 수직 변위를 나타내는 모션 벡터(mv)를 계산한다. 모션벡터들은 인접 픽셀들간의 선형 보간에 의해 얻어지는 1/2픽셀 해상도를 가질수 있음을 주목 해야한다. 코더(22)에 의해 엔코딩된 데이터는 모션 산정기(14)로부터의 모션 벡터데이터 및 (그 화상이 I, P또는 B 화상인지에 대한 표시와 같은) 다른 정보와 결합되며, 이 결합된 데이터는 MPEG-2 디코더(30) (도 2에 도시하였으며, 하기에 설명됨)를 포함하는 수신기에 전송된다.
P화상에 관하여, 양자화블록(20)으로부터의 양자화된 DCT 계수가 또한 MPEG-2 디코더(30)의 동작 부분을 나타내는 내부 디코더 루프에 공급된다. 이 내부 루프 내에서, 양자화 블록(20)으로 부터의 잉여는 역(inverse)양자화 블록(24)에 의해 역 양자화 되며, 역 디스크리트 코싸인 변환(IDCT) 블록(26)에 의해 역 DCT 변환된다. 기준 화상 메모리(16)로부터 판독되어 감산기(12)에 공급되는 예측된 매크로 블록은 또한 픽셀별 방식으로 가산기(28)에 의해 IDCT 블록(26)의 출력에 다시 가산되며, 그 결과는 후속 화상들을 예측하기 위한 기준 화상의 매크로 블록으로서 역할을 하도록 기준 화상 메모리(16)내로 다시 저장된다. 이 내부 루프의 블록은 MPEG-2 엔코더(10)의 기준 화상 메모리(16)에 있는 데이터가 MPEG-2 디코더(30)의 기준 화상 메모리에 있는 데이터와 매칭 되도록 하는 것이다. B 화상은 기준 화상으로서 저장되지 않는다.
I 화상의 경우에, 어떠한 모션 산정도 발생하지 않으며, 감산기(12)로의 네가티브(-) 입력이 제로로 되도록 강요된다. 이 경우에, 2차원 DCT(18)에 의해 제공된 양자화 된 DCT 계수는 P 및 B 화상의 경우에서와 같이 잉여값을 나타내는 것이 아니라 변환된 픽셀값을 나타낸다.
도 2에 보인 MPEG-2 디코더(30)는 MPEG-2 디코더를 개략적으로 보인 것이다. MPEG-2에 의해 실행되는 디코딩 프로세서는 MPEG-2 엔코더(10)에 의해 실행되는 엔코딩 프로세스와 반대인 호프만 및 실행/레벨 디코더(32)에 의해 호프만 및 실행/레벨로 디코딩된다.
모션 벡터 및 다른 정보가 호프만 및 실행/레벨 검출기(32)를 통해 흐르는 데이터 스트림으로부터 구분 분석 된다. 모션 벡터는 모션 보상기(34)로 피드된다. 호프만 및 실행/레벨 디코더(32)의 출력에서 양자화 된 DCT는 역 양자화 블록(36)으로 피드된 다음, IDCT 블록(38)으로 피드되며, IDCT 블록(38)은 역 양자화된 DCT 계수를 공간 도메인에 다시 전송한다.
P 및 B 화상의 경우, 각 모션 벡터는 모션 보상기(34)에 의해 메모리 어드레스로 번역되어, 사전 저장된 기준 화상을 포함하고 있는 기준 화상 메모리(42)로부터 특정 매크로블록(예측 매크로블록)을 판독하게 된다. 가산기(44)가 이 예측 매크로블록을 IDCT 블록(38)에 의해 제공되는 잉여값에 가산하여 재구성된 픽셀 데이터를 형성하게 된다.
I 화상의 경우, 예측이 없어 가산기(44)에 제공된 예측이 제로(0)로 된다. I 및 P 화상의 경우, 가산기(44)의 출력이 기준 화상 메모리(42)에 디시 피드되어 앞으로의 예측을 위한 기준 화상으로서 저장되게 된다.
MPEG 엔코더(10)가 점진적이거나 또는 인터레이스된 화상의 시퀀스를 엔코딩할 수 있다. 인터레이스 화상의 시퀀스에 있어, 화상은 필드화상 또는 프레임 화상으로서 엔코딩된다. 필드 화상의 경우, 한 화상이 라스터의 기수 라인(odd line)을 포함하며 다음 화상은 라스터의 우수 라인(even line)을 포함한다. 모든 엔코더 및 디코더 처리가 필드에서 행해진다. 따라서, 모두 기수 또는 모두 우수 라인을 포함하는 8x8 블록에서 DCT 변형이 수행된다. 이들 블록은 필드 DCT 코딩 블록으로서 호칭된다.
다른 한편으로, 프레임 화상의 경우, 각 화상은 라스터의 기수 및 우수 번호의 라인들을 포함한다. 프레임 화상의 매크로 블록은 엔코딩 매크로 블록이 기수 및 우수라인을 포함하는 관점에서 프레임으로서 엔코딩된다. 그러나, 프레임 화상의 각 매크로 블록 내의 4개의 블록에서 수행되는 DCT는 두 개의 서로 다른 방식으로 행해질 수 있다.
매크로 블록에서 4개의 DCT 변환 블록 각각은 기수 및 우수라인(프레임 DCT 코딩 블록)을 포함할 수 있거나, 택일적으로 그 4개의 DCT 블록들중 2개는 매크로 블록의 기수 라인만을 그리고 다른 2개의 블록은 매크로 블록의 우수 라인(필드 DCT 코딩블록)만을 포함할 수 있다. ISO/IEL 13818-2, 섹션6. 1. 3 도면 6-13 및 6-14를 참조바람. 화상을 어떠한 방식으로 엔코딩할지의 코딩 결정이 효과적인 데이터 압축이 이루어지게 하는 방법에 근거하여 MPEG-2 엔코더(10)에 의해 적응적으로 이루 어진다.
필드 화상에서의 잉여 매크로 블록은 필드 DCT 코딩되며, 기준 필드로부터 예측된다. 프레임 화상에서의 잉여 매크로 블록은 프레임 DCT 코딩되며 기준 프레임으로부터 예측된다. 필드 DCT 코딩되는 프레임 화상에서의 매크로 블록은 하나의 기준 필드로부터 예측되는 두 개의 블록과 그리고 상기 또는 다른 기준 필드로부터 예측되는 두 개의 블록을 갖는다.
점진적인 화상들의 시퀀스들에 대해, 모든 화상들은 프레임 DCT 코딩 및 프레임 예측을 갖는 프레임 화상이다.
전술한 바와 같이, MPEG-2는 고해상도(HDTV)로의 비디오의 엔코딩 및 디코딩을 포함한다. 사람들이 HDTV로 전송된 프로그램을 시청하는데 있어 그들의 기존 NTSC 텔레비젼을 이용할 수 있도록 하기위해서는 고해상도의 MPEG-2 엔코딩 데이터를 기존 NTSC 텔레비젼에 디스플레이 하기위해 감소된 해상도의 비디오 데이터로 디코딩하는 디코더를 제공하는 것이 바람직하다(텔레비젼 신호들의 해상도를 감소시키는 것은 종종 다운 디코딩이라 일컬어진다). 따라서, 그러한 다운 변환 디코더는 시청자들이 값비싼 HDTV 디스 플레이 장치를 구입하지 않고도 HDTV 신호들을 시청할수 있게 해준다.
회로를 적게 필요로 하며, 그러므로써 완전한 HDTV 해상도를 출력하는 디코더보다 값이 저렴한 다운변환 디코더를 제작하는 방법들이 공지되어 있다. 이들 방법중 하나가 미국 특허 제 5,262,854 호에 개시되어 있다. 이 특허에 개시된 다운 변환 기술은 도 3에 보인 다운 변환기(50)와 관계하여 설명된다. 다운 변환기(50)는 호프 만 및 실행/레벨 디코더(52)와 역 양자화 블록(54)을 포함하며, 이들은 도 2의 호프만 및 실행 /레벨 디코더(32)와 역 양자화 블록(36)과 관계하여 전술한 바와 같이 동작한다. 그러나, 다운 컨버터(50)는 도 2에 보인 8x8 IDCT 블록(38)을 이용하지 않고 다운 샘플러(56)를 사용하고 있는데, 이 다운 샘플러(56)는 8x8 블록의 48의 높은 순위의 DCT 계수를 폐기(discard)하고 DCT 계수의 나머지 4x4 IDCT를 수행한다. 이 프로세스는 일반적으로 DCT 도메인 다운 샘플링이라 호칭된다. 이 다운 샘플링의 결과는 (P 또는 B 화상에 대해)필터링 및 다운 샘플링된 4x4 블록의 잉여 샘플이 되거나 또는 I 화상에 대한 픽셀이 된다.
잉여 샘플에 대해, 디코딩된 해상도가 감소된 4x4 블록의 픽셀을 생성하도록, 예측이 가산기(58)에 의해 다운 샘플러(56)로부터의 잉여 샘플에 가산된다. 이 블록은 후속 예측을 위해 기준 화상 메모리(60)에 저장된다. 따라서, 예측은 감소된 해상도 기준으로부터 만들어지는데, 엔코더 내의 디코더 루프에서 만들어진 예측은 완전 해상도의 기준 화상에서 만들어진다. 이 차이는 감소된 해상도 기준으로부터 유도된 예측은 엔코더에 의해 만들어진 대응 예측과 어느 정도 달라짐으로써 가산기(50)에 의해 제공되는 잉여 ＋ 예측 합에 에러가 발생함을 의미한다 (이 에러는 이후부터 예측 에러로 언급한다).예측 에러는 기준이 다음 I 화상에 의해 리프레쉬 될 때까지 예측하에서 예측이 만들어 질 때 증가한다.
모션 보상기(62)는 비록 기준 화상이 낮은 해상도에 있을지라도 완전 해상도 모션 벡터를 이용함으로써 이 예측 에러를 감소시키고자 한다. 먼저, 예측 블록을 포함하는 기준 화상 부분은 기준 화상 메모리(60)로부터 판독된다. 이 부분은 최하위 비트를 제외한 모션 벡터의 모든 비트에 기초하여 선택된다. 이 예측 블록은 2x2 예측 업 샘플링 필터(64)에 의해 완전 해상도로 다시 보간된다. 완전 해상도 모션 벡터(1/2 픽셀 해상도를 포함 할 수 있음)를 이용하여, 예측되는 완전 해상도 매크로 블록이 모션 벡터의 모든 비트에 기초하여 업 샘플링 부분으로부터 추출된다. 이어서, 다운 샘플러(66)는 추출된 완전 해상도 매크로 블록에서 2x2 다운 샘플링을 수행하여 다운 샘플러(56)의 4x4 IDCT 출력의 해상도와 매칭되도록 한다. 이러한 방식으로, 기준 화상 메모리(60)로부터의 예측은 완전 해상도의 잉여 픽셀 구조에 매칭되도록 업 샘플링됨으로써 완전 해상도의 모션 벡터를 이용할 수 있게 한다. 이어서, 완전 해상도의 기준 화상은 가산기(58)에 의한 가산에 앞서 다운 샘플링되어 다운 샘플러(56)로 부터의 다운 샘플링 된 잉여의 해상도와 매칭 되게 된다.
4x4 IDCT로 다운 샘플링 된 기준 화상을 업 샘플링 함으로써 야기되는 예측 에러를 최소화 하기 위한 여러 가지 양호한 예측 업 샘플링/다운 샘플링 방법이 공지되어 있다.
이들 방법은 전형적으로 기준 화상에서 가장 가까운 매크로 블록 경계들과 관계하는 예측 매크로 블록에 대한 모션 벡터 값과 예측 블록 내에서 보간되는 현재 픽셀의 위치에 따라 변화하는 탭 값과 그리고 5 내지 8개의 탭을 갖는 2차원 필터를 이용하고 있다. 그러한 필터는 감소된 해상도 기준을 완전 해상도로 업 샘플링하고 이어서 단일 동작에서 다운 샘플링 할뿐만 아니라 (기수값의 모션 벡터로 인하여 요구될 때) 1/2 픽셀 보간을 포함한다. (1994년 8월 IEE Transactions on Circuits and Systems for Video Technology 에 게재된 Mokry 및 Anastassiou 의 논문 "Minimal Error Drift in Frequency Scalability for Motion Compensated DCT coding" 및 1993년 9월 오스트레일리아 멜버른에서 있었던 IEEE Workshop on Visual Signal Processing and Communication 에서 Johnson 및 Princen 에 의해 발표된 논문 "Drift Minimization in Frequency Scaleable Coders Using Block Based Filtering"을 참조 바란다).
다운 샘플링 필터에 기초한 블록의 Moore-Penrose 역을 이용한 최소 드리프트 예측 필터의 보다 일반적인 유도가 1998년 8월 IEEE Transactions on consumer Electronics에 게재된 Vetro, Sun, Da Graca 및 Poon 의 논문 "Minium Drift Architectures for 3-Layer Scalable DTV Decoding" 에 기술되어 있다.
다음 예는 Mokry 및 Johnson의 논문에 기술된 예측 업 샘플링/다운 샘플링 필터를 나타낸다. 이 예는 1차원의 예이지만은 2차원으로 쉽게 확장된다. 도 4에 보인바와 같은 픽셀 y1 및 픽셀 y2가 다운 샘플링된 기준 화상에서 두 개의 인접 블록을 나타내고 그리고 원하는 예측 블록이 그 두 불록 간의 경계에 걸쳐(straddle)있는 것으로 가정해보자. 픽셀 y1은 8개의 계산된 픽셀 p1 에 대해 서로 다른 세트의 탭 값을 갖는 4탭 필터를 이용하여 픽셀 p1으로 업 샘플링 된다. 마찬가지로, 픽셀 y1는 동일한 4탭 필터를 이용하여 픽셀 p1로 업 샘플링 된다(만일 모션 벡터가 1/2 픽셀 보간을 필요로 하면, 이 보간은 픽셀 p1 과 p2에 기초하여 픽셀 값들 사이에서 계산을 행하기 위한 선형 보간을 이용하여 행해진다). 이들 16개의 픽셀 p1 및 픽셀 p2로부터, 8개의 픽셀 q 로 구성되는 업 샘플링 예측이 완전한 모션 벡터를 이용하 여 판독될 수 있다. 이어서, 픽셀 q는 필터링 되고, 4개의 픽셀 q＇ 각각에 대한 서로 다른 세트의 탭 값을 갖는 8탭 필터에 의해 픽셀 q＇로 다운 샘플링 된다. Johnson의 논문은 기준 화상이 4포인트 IDCT에 의해 다운 샘플링되는 경우, 이들 필터에 대한 최적 값이 된다. Johnson과 Mocry 논문은 또한 업 샘플링, 선형 보간 및 다운 샘플링 필터들이 기준 화상의 가장 가까운 매크로 블록 경계와 관계하는 모션 벡터값에 의존하고 그리고 계산되는 특정 픽셀 q＇에 의존하는 탭 값들을 갖는 단일의 8탭 필터로 결합될 수 있음을 보여주고 있다. 따라서, 이 단일 8탭 필터는 4개의 픽셀 q＇이 8개의 픽셀 y1 및 y2로부터 직접 계산될 수 있게 한다.
4 포인트 IDCT가 아닌 다운 샘플링 방법에 대해서, Vetro의 논문은 업 샘플링 필터에 대한 최적의 탭 값들을 결정하는 방법을 기술하고 있다. 이 업 샘플링은 또한 단일 예측 필터를 형성하기 위해 선형 보간 및 다운 샘플링 동작과 결합된다.
프레임 DCT 코딩 블록을 갖는 점진적인 화상에 일반적으로 충분한 다운 디코더(50)는 인터레이스 된 화상의 시퀀스를 혼합된 프레임 및 필드 DCT 코딩 블록으로 다운 변환하고자 할 때 야기되는 문제들을 해결하지 못한다. 이들 문제들은 수직 다운 샘플링 및 수직 예측 필터링과 관계하여 야기된다.
수평다운 샘플링이 4포인트 수평 IDCT를 이용하여 DCT 도메인에서 수행되는 것으로 가정해보자. 수직다운 샘플링은 또한 4 포인트 IDCT 또는 일부 다른 방법을 이용할 수 있다. 필드 화상의 경우에, 수직다운 샘플링 동작이 인입(incoming) 필드 코딩 블록에서 수행된다. 프레임 화상의 경우에, 수직 다운 샘플링 동작이 혼합된 필드 및 프레임 코딩블록에서 수행된다. 따라서, 기준 화상은 필드 기반, 프레임 기반 및 이들의 혼합 기반에서 다운 샘플링 될 수 있다. 전술한 바와 같이, 낮은 드리프트 예측 필터링은 다운 샘플링 필터로부터 유도된다. 만일 서로 다른 기준 화상들이 서로 다르게 다운 샘플링되면, 이들은 서로 다른 매칭 예측 필터들을 필요로 하게 된다.
혼합된 필드 및 프레임 다운 샘플링 블록을 포함하는 기준 화상의 경우에 더 큰 문제를 갖는다. 소정의 요구된 예측은 블록 유형들을 오버랩 할 수 있다. 이 문제는 모든 인입 블록들을 다운 샘플링에 앞서 프레임 또는 필드로 변환함으로써 해결 될 수 있다. 이 변환의 결과, 기준 화상들에 대한 일관된 수직 구조가 형성되어 동일한 예측 필터를 항상 이용할 수 있게된다.
모든 인입 화상들을 수직 다운 샘플링에 앞서 프레임으로 변환하는 것이 제안 되었다(ICIP '97에서 Vetro, Sun, Bao 및 Poon 에 의해 발표된 논문 "Frequency Domain Down Conversion of HDTV Using Adaptive Motion Compensation"을 참조바람). 수직 다운 샘플링 전에 프레임으로의 변환 결과, 필드 기반 다운 샘플링의 경우보다 양호한 수직 해상도가 얻어지게 될 것이다. 그러나, 프레임 기반 다운 샘플링은 디코더에서 추가의 메모리를 필요로 하는데, 그 이유는 제 1필드는 제 2필드가 도착할 수 있게 하여 프레임 블록을 형성하도록, 수신시 저장되어야만 하기 때문이다. 또한, 모션 시퀀스에서 심한 블록킹 결함이 발생할 수 있다(1998년 8월 Journal of Imaging Science and Technology 에서 Vetro 및 Sun에 의해 발표된 논문 "Frequency Domain Down Conversion of HDTV Using an Optical Motion Compensation Scheme"를 참조바람).
이들 문제를 해소할 수 있고 후자의 논문에서 제안된 대안책은 모든 인입 화상들을 수직 다운 샘플링에 앞서 변환하는 것이다. 그러므로, 여기에 기술된 본 발명은 항상 프레임 코딩되는 인입 블록들이 먼저 수직 다운 샘플링에 앞서 필드로 변환되도록 하는 필드 기반 처리를 이용한다.
또한, 4 포인트 ICDT 다운 샘플링은 가시적인 결함을 야기하는 것으로 알려져 있다. 점진적인 화상들의 경우에, 그 가시성(visibility)의 정도는 일반적으로 수평 및 수직 처리에 있어 허용될 수 있다. 그러나, 필드 기반 수직 다운 샘플링을 이용하는 인터레이스 화상들의 경우, 이들 결함은 보다 더 가시적이다. 따라서, 본 발명은 그의 필드 기반 수직 다운 샘플링에 대해 4포인트 IDCT와는 다른 기법을 도입하고 있다(수평 다운 샘플링에 대해서는 여전히 4 포인트 IDCT를 이용한다).
본 발명의 한 양상에 따르면, 수신된 프레임 및 필드 DCT 코딩 블록 각각은 NxN값들을 포함한다. 본 방법은 a)수신된 프레임 DCT코딩 블록들을 변환된 필드DCT코딩블록들로 변환하는 단계와; b) 적절한 잉여 및 픽셀 필드 블록들을 생성하기 위해, 수신된 필드 DCT 코딩 블록들과 변환된 필드 DCT 코딩 블록들에 대해 수평 M 포인트 IDCT, 수직 N 포인트 IDCT, 수직 공간 필터링 및 다운 샘플링을 수행하는 단계와, 여기서 적어도 상기 수직공간 필터링 및 다운 샘플링은 N개 이상의 포인트를 포함하고 그리고 N>M이며; 그리고 c)재구성된 픽셀 필드 블록들을 형성하기 위해, 예측 기준 픽셀들을 적절히 상기 잉여 필드 블록들에 추가하는 단계를 포함한다.
본 발명의 다른 양상에 따르면, 수신된 제 1 DCT 계수 블록을 재구성된 필드 픽셀 블록으로 디코딩하는 방법이 제공되는데, 이 방법은 a) 중간 잉여 또는 필셀값 들을 생성하기 위해, 수직 오퍼레이터 및 수평 오퍼레이터를 제 1 DCT 계수 블록에 인가하는 단계와, 여기서 상기 수직 오퍼레이터는 상기 제 1 DCT 계수 블록과 제 2 및 제 3 DCT 계수 블록의 계수들에 동시에 인가되고, 상기 제 2 DCT 계수블록은 상기 제 1 DCT 계수 블록 위에 있고, 상기 제 3 DCT 계수 블록은 상기 제 1 DCT 계수 블록 아래에 있고, 상기 수평 오퍼레이터는 상기 제 1 DCT 계수 블록과 그리고 비동시적으로 상기 제 2 및 제 3 DCT 계수 블록에 인가되며; 그리고 b) 재구성된 픽셀들을 형성하기 위해 예측 기준 픽셀들을 상기 중간 잉여값에 적절히 가산하는 단계를 포함한다.
본 발명의 또 다른 양상에 따르면, 프레임 DCT 코딩 블록을 갖는 수신된 제 1 DCT 계수 매크로 블록을 재 구성된 필드 픽셀 블록들로 디코딩하는 방법이 제공되는데, 이 방법은 a) 중간 잉여 또는 픽셀값 들을 생성하기 위해, 수직 오퍼레이터 및 수평 오퍼레이터를 제 1DCT 계수 매크로 블록에 인가하는 단계와, 여기서 상기 수직 오퍼레이터는 상기 제 1DCT 계수 매크로 블록과 제 2 및 제 3 DCT 계수 매크로 블록의 계수들에 동시에 인가되고, 상기 제 2 DCT 계수 매크로 블록은 상기 제 1 DCT 계수 매크로 블록위에 있고, 상기 제 3 DCT 계수 매크로 블록은 상기 제 1 DCT 계수 매크로 블록 아래에 있고, 상기 수평 오퍼레이터는 상기 제 1DCT 계수 매크로 블록과 그리고 비동시적으로 상기 제 2 및 제 3 DCT 계수 매크로 블록에 인가되며; 그리고 b) 재구성된 픽셀들을 형성하기 위해, 예측 기준 픽셀들을 상기 중간 잉여값에 적절히 가산하는 단계를 포함한다.
본 발명의 또다른 양상에 따르면, 타겟 DCT 계수 매크로 블록으로부터 픽셀들을 재구성하도록 배열된 장치가 제공되는데, 이 장치는 수직 오퍼레이터, 수평 오퍼레이터 및 가산기를 포함한다. 수직 오퍼레이터는 타겟 DCT 계수 매크로 블록 및 인접 DCT계수 매크로 블록에 동시에 인가되도록 충분한 사이즈를 갖는다. 수평 오퍼레이터는 수직 필터와 연계하여 중간 픽셀값들을 생성하기 위해 타겟 DCT 계수 매크로 블록을 수평으로 필터링하도록 배열된다. 재구성된 픽셀들을 형성하기위해, 가산기가 예측 기준 픽셀값들을 중간 픽셀 값들에 가산하도록 배열된다.
본 발명의 이들 및 기타 특징 및 장점들이 도면을 참조로 한 본 발명의 상세한 설명으로부터 보다 더 명확해질 것이다.
I. 다운변환
본 발명의 실시예에 따른 다운 변환 디코더(100)가 도 5에 나타나 있다. 수직 처리의 경우, 다운 변환 디코더(100)는 DCT 도메인 프레임-필드 변환, 필드기반 수직 8 포인트 DCT 도메인 프레임-필드 변환, 필드 기반 수직 8 포인트 IDCT, 수직공간 인터블록 필터링 및 다운 샘플링 및 상보 수직 최소 드리프트 예측 필터링을 수행한다. 수평 처리의 경우, 다운 변환 디코더(100)는 필터링 및 다운 샘플링을 위한 수평 4 포인트 IDCT 및 상보 수평 최소 드리프트 예측 필터링을 수행한다.
다운 변환 디코딩(100)의 필터링 및 다운 샘플링 모듈(102)은 도 3의 역 양자화기로부터 그의 입력을 수신한다. 필터링 및 다운 샘플링 모듈(102)에 의해 수행되는 수직 처리에 대해 상세히 설명한다. 수직 필터링은 1988년 Siggraph에 게재된 Mitchell과 Netravali의 논문 "Reconstruction Filters in Computer Graphics"의 식(8)에서 B=C=1/3일 때 유도되는 큐빅 필터인 8 탭 로우 패스 시메트릭 FIR 필터로 구성된다. 따라서 이 필터의 탭 값들은 다음식으로 주어진다.
Figure 112000026821317-pat00001
이 8포인트 수직 필터는 연속적인 인터블록 필드 기반 수직 필터링 동작을 실행하는데 효과적으로 이용되는데, 필터 [f]8은 수신된 잉여 및 I 필드 픽셀 블록에서 동작한다.
필터링 및 다운 샘플링 모듈(102)에 의해 수행되는 수직 필터링 및 다운 샘플링은 다음식으로 주어지며, 시간에 (540픽셀의) 한 칼럼에서 행해진 전체 필드에서 수직 공간 도메인 동작으로서 보여질 수 있다.
Figure 112007001895969-pat00185
여기서 [x]는 필터링 및 다운 샘플링될 픽셀들의 필드로부터의 픽셀들의 칼럼이고, [x']는 결과적인 수직 필터링 및 다운 샘플링 된 픽셀들의 칼럼이며, [d]는 다음의 순환 매트릭스로 주어지는 다운 샘플링 오퍼 레이터이다.
Figure 112007001895969-pat00186
(여기에서 사용되는 술어(nomenclature)에 따르면, 대문자는 DCT 도메인을 표시하는데 사용되고, 소문자는 공간 도메인을 표시하는데 사용된다). [d]의 각 로우는 필터의 8개 요소 [f]8의 경우를 제외하고는 모두 제로(0)을 포함한다. 또한, 로우에서의 필터의 8개 요소 [f]8은 이전의 로우에 관하여 두 장소로 우측으로 시프트된다.
디코더에서, 오퍼레이터[d]270x540가 전체 필드의 모든 칼럼에서 동작하는 것은 특별히 실용적이지 않다. 그러므로, 본 발명에 따라서 그리고 후술하는 방식으로, 필터 [f]8는 이들이 도착할 때 잉여 및 I 블록들에서 수직으로 동작한다. 이 인터블록 수직 필터링 및 다운 샘플링은 효율적인 방식으로 인터블록 수직 8 포인트 IDCT와 결합될 수 있다.
IA1. 필드화상(모두 매크로블록 필드DCT코딩됨): 수직처리
특별한 8포인트 블록 칼럼을 수직으로 필터링 하기 위해, 그 블록 칼럼 및 그 위 및 아래에 있는 블록 칼럼에 대한 DCT 계수는 수신 및 저장되어야 한다.
4개의 필터링 및 다운 샘플링 된 픽셀 [xb']4x1을 생성하도록, 8포인트 계수블록 칼 럼이 수직으로 필터링 및 다운 샘플링 된다고 가정해보자. 그리고 나서, [Xa]8x1 및 [Xc]8x1이 [Xb]위 및 아래의 블록 칼럼이 된다고 하자.
매트릭스 [FT]8x8은 잉여 및 픽셀값을 DCT 계수로 변환하기 위해 도 1의 2 차원 DCT(18)에 의해 사용되는 8포인트 순방향 DCT 변형 매트릭스이다. 그러므로 [FT]8x8의 로우는 공지된 8 포인트 DCT 기반 벡터로 구성된다. [FT]8x8의 전치 매트릭스는 8 포인트 IDCT 변형 매트릭스를 제공한다. 따라서 [IT]8x8 = [FT]T 이며,
Figure 112007001895969-pat00187
가 된다.
매트릭스 [IT3 mid]4x24는 상부 5개의 로우 및 하부 5개의 로우가 [IT3 ]로부터 제거되도록, [IT3]의 중간 14개의 로우로서 정의된다. 매트릭스 [IT3 mid]14x24 는 다음식에 따라 [Xb]8x1 및 블록칼럼 [Xa]8x1에 인가된다.
Figure 112007001895969-pat00188
여기서, [X]14×1은 블록 b (즉, 블록[Xb]4×1)에 의해 4개의 다운 샘플링 픽셀을 계산하기 위해 다운 샘플링 필터를 위한 입력으로서 필요로 되는 14개의 완전 해상도 픽셀이다. 만일 [d]4×14가 다음식
Figure 112007001895969-pat00189
에 의해 주어지는 다운 샘플링 필터이면, 이 다운 샘플링 필터 [d]를 14개의 픽셀 [x]14x1에 인가함으로써 원하는 다운 샘플링 [x'b]4x1 (즉, [d][x]14x1 =[x'b]4x1)이 산출된다.
IDCT 및 다운 샘플링 동작은 다음식에 따라 블록 칼럼당 단일 단계로 결합될 수 있다.
Figure 112007001895969-pat00190
이 IDCT/다운 샘플링 필터 [Qdit]4x24를 3개의 블록칼럼 [Xa], [Xb ] 및 [Xc]의 24개 픽셀에 인가함으로써 다음식에 따라 원하는 다운 샘플링 픽셀 [Xb']4x1이 산출된다.
Figure 112007001895969-pat00191
IA2. - 필드 화상 : 2 차원 처리
상기 설명은 전술한 바와같이 [Qdit]를 이용한 각 칼럼에서의 수직 처리와 그리고 4포인트 수평 IDCA를 이용한 각 로우에서의 수평 처리로 2차원 8x8 필드 DCT코딩 블록에 쉽게 확장될 수 있다. 따라서, Xb는 8x8 DCT 코딩 블록에 쉽게 확장 될 수 있다. 각각 8x8 DCT 계수블록 Xb 위 및 아래에서 8x8 DCT 계수 블록이 되도록 재정의 된다.
본 발명의 다운 샘플링 필터를 2차원 8x8 필드 DCT 코딩 블록으로 확장하는데 있어서의 제1 단계로써 블록 Xa, Xb, Xc의 각각의 높은 순위의 수평 계수들이 폐기되는 바, 그럼으로써 각각은 8x8 어레이가 되고 (즉, 각 블록의 좌측 절반이 유지됨) [Za]8x4는 [Xa]8x8의 좌측 절반이 되며, [Zb]8x4 와 [Zc]8x4는 유사하게 정의되게 된다. 이들 매트릭스는 스택 (stack)되어 다음식에 따라 정의된다.
Figure 112007001895969-pat00192
이어서, 다음식에 따라 픽셀 [Z]24x4의 수직 필터링 및 다운 샘플링이 수행될 수 있게 된다.
Figure 112007001895969-pat00193
여기서, [Qdit]4x24는 식(7)에 의해 주어지는 IDCT/다운 샘플링 필터이다. 이어서 수평 IDCT 도메인 필터링 및 다운 샘플링이 다음식에 따라 식 (10)의 결과치[Gb]4x4에 인가될 수 있다.
Figure 112007001895969-pat00194
여기서, [T4]는 공지된 4 포인트 기반 벡터를 포함하는 4 포인트 DCT기반 벡터 매트릭스이다.
IB1. - 프레임 화상 : 수직처리 : 모든 매크로 블록이 프레임 DCT 코딩되는 것으로 가정한다
모든 매크로 블록이 프레임 DCT 코딩되는 화상의 경우에, 단일의 효율적인 단계로 프레임-필드 기반 수직 8 포인트 IDCT, 필드기반 수직 인터블록 필터링 및 다운 샘플링을 행하는 것이 바람직하다.
매크로 블록 칼럼은 16x16 매크로 블록의 임의의 16 포인트 칼럼(즉 2개의 수직 블록 칼럼)이 되도록 정의될 수 있다. 만일의 인터블록 수직 오퍼레이터를 인가하기 위해, 매크로 칼럼 및 그 위 및 아래의 매크로 블록에 대한 DCT 계수들이 수신 및 저장되어야 한다. 따라서[Xb]16xl을 상부 필드에 대해 [xtopb']4xl 로 그리고 하부 필드에 대해 [xbotb']4xl로 정의되는 8개의 필드기반 픽셀을 생성하도록 필터링 및 다운 샘플링 될 16 포인트 프레임 코딩 매크로 블록 칼럼(즉, 2개의 8포인트 수직 블 록)이 되는 것으로 가정한다. 또한[Xa]16xl 과 [Xc]16xl이 [X b] 위 및 아래에서의 프레임 DCT 코딩 매크로 블록이 되는 것으로 가정한다. 프레임 DCT 코딩 매크로 블록 칼럼 [Xa],[Xb] 및 [Xc]는 다음식에 따라서 조합될 수 있다. 우수 및 기수 픽셀라인을 상부 및 하부 필드내에 재순서화 하기 위해 16 픽셀 프레임 순서화 칼럼을 미리 배율할수 있는 언셔플링 오퍼레이터는 다음식에 따라 정의 될 수 있다.
Figure 112007001895969-pat00195
우수 및 기수 픽셀 라인을 상부 및 하부 필드내에 재순서화 하기위해 16 픽셀 프레임 순서화 칼럼을 미리 배율할 수 있는 언셔플링 오퍼레이터는 다음식에 따라 정의될 수 있다.
Figure 112007001895969-pat00196
언셔플링 오퍼레이터[US]는 다음식에 따라 [Xb]의 역 DCT 인 픽셀의 순서화 매크로 블록 칼럼에 인가될 수 있다.
Figure 112007001895969-pat00197
여기서, [xtopb]와 [xbotb]는 각각 상부 및 하부 필드 픽셀내로 재순서화 된 픽셀[xb]이다. 만일 [FT8]이 공지된 8포인트 DCT기반 벡터인 로우를 갖는 8포인트 DCT 순방향 변형 매트릭스이면, [FT8]의 역은 [FT8]T로 주어지면 다음과 같이 된다.
Figure 112007001895969-pat00198
여기서, [IT82]는 2개의 수직으로 스택된 8포인트 DCT 칼럼에 대한 IDCT 오퍼레이터이다. 이어서, 오퍼레이터[US] 및 [IT82]는 다음식에 따라 단일 오퍼레이터[USIT]로 결합될 수 있다.
Figure 112007001895969-pat00199
식 (14)와 식(16)으로부터, 다음식이 산출된다.
Figure 112007001895969-pat00200
[USIT]의 상부 8개의 로우는 [USITtop]8x16으로서 정의되고, [USIT] 하부 8개의 로우 는 [USITbotp]8x16으로서 정의될 수 있다. 이들 새로 정의된 오퍼레이터들은 다음식에 따라 [Xb]에 인가된다.
Figure 112007001895969-pat00201
Figure 112007001895969-pat00202
오퍼레이터 [USITtop3]24x48은 다음식에 따라 정의된다.
Figure 112007001895969-pat00203
오퍼레이터 [USITtop3]24x48는 다음식에 따라 블록 Xa', Xb', 및 Xc의 계수에 인가된다.
Figure 112007001895969-pat00204
그러나, 중간의 14개의 픽셀만이 다운 샘플링 필터로의 입력으로서 요구된다. (즉 상부 5개와 하부 5개의 픽셀이 식(21)의 우측으로부터 폐기될 수 있다. 그러므로, 오퍼레이터[MIDtop]4x48이 정의될 수 있다. 오퍼레이터 [MIDtop]14x18 는 단지 [USITtop3]의 중간 14개의 로우를 포함한다. 중간 언셔플링 오퍼레이터 [MIDtop]4x48은 다음식에 따라 블록 Xa', Xb', Xc의 계수에 인가될 수 있다.
Figure 112007001895969-pat00205
여기서 [xtop]14x1은 상부 필드 다운 샘플링 및 필터링된 픽셀 [xtopb']4xl을 계산하기 위해 상부 필드다운 샘플링 필터로의 입력으로서 필요로 되는 언셔플링 된 14개의 픽셀이다. 중간 하부 언셔플링 오퍼레이터 [MIDbot]14x48는 동일한 방식으로 유도된다. 이 중간 하부 언셔플링 오퍼레이터 [MIDbot]14x48은 다음 식에 따라 블록 Xa , Xb, Xc의 계수에 인가된다.
Figure 112007001895969-pat00206
여기서 [xbot]14x1은 하부 필드 다운 샘플링 및 필터링 된 픽셀 [xbotb']4xl을 계산하기 위해 하부필드 다운 샘플링 필터로의 입력으로서 필요로 되는 언셔플링 된 14개의 픽셀이다.다운 샘플링 필터[d]4xl4는 다음식에 따라 IDCT, 언셔플링 및 다운 샘플링 필터 [QLtop]4x48 및 [QLbot]4x48로서 IDCA/언셔플링 오퍼레이터 [MID]와 결합 될 수 있다.
Figure 112007001895969-pat00207
Figure 112007001895969-pat00208
언셔플링, IDCT 및 다운 샘플링 필터 [QLtop]4x48 과 [QLbot]4x48 은 8포인트 수직 IDCT, 프레임-필드 변환, 수직 인터블록 필터링 및 다운 샘플링을 단일의 단계로 수행하기 위해 블록 Xa', Xb' 및 Xc의 계수에 인가될 수 있다.
Figure 112007001895969-pat00209
Figure 112007001895969-pat00210
언셔플링 및 다운 샘플링 필터 [QLtop]4x48와 [QLbot]4x48은 다음식에 따라 단일의 언셔플링 및 다운 샘플링 필터로서 결합될 수 있다.
Figure 112007001895969-pat00211
따라서, 언셔플링 및 다운샘플링 필터 [QL]8x48은 다음식에 따라 단일의 단계로 블록 Xa'. Xb', 및 Xc의 계수에 인가될 수 있다.
Figure 112007001895969-pat00212
IB2. - 프레임 화상 : 수직 처리 : 일부 매크로 블록은 프레임 DCT 코딩되고, 일부 매크로블록은 필드 DCT 코딩되는 것으로 가정한다.
앞에서 언급한 것과 같이, 프레임 화상은 프레임 및 필드 DCT 코딩 매크로블록의 혼합을 포함할 수 있다. 따라서, 임의의 매크로 블록 [Xa], [Xb] 또는 [Xc] 는 프레임 코딩되거나 필드 코딩된다. 예를 들어, 이 [Xa]는 필드 코딩되고 [Xb]와 [Xc ]는 프레임 코딩된다면, 필드 코딩된 매크로 블록 칼럼[Xa]은 다음의 식에 따라 수신된다.
Figure 112007001895969-pat00213
그러므로, 이 매크로블록 칼럼[Xa]은 매크로 블록 칼럼[Xb]와 [Xc]이 그러해야 하는 것 같이 필드 칼럼들로 분할될 필요가 없다. 따라서, 언셔플링 오퍼레이터가 필요하지 않으며, IDCT 오퍼레이터는 다음의 식에 따라 인가된다.
Figure 112007001895969-pat00214
[IT82top]8x16 [Xa]16xl = [xtopa]8xl 이고 그리고 [IT82bot]8x16 [Xa]16xl = [xbota] 8xl'이 됨이 또한 주목되어야 한다.
결합된 언셔플링 및 IDCT 오퍼레이터는 (식(20)과 비슷한) 다음의 식으로 정의된다.
Figure 112007001895969-pat00215
여기서, 수직 매크로 블록[Xn]이 프레임 코딩되었다면 [OPtopn]=[USIT] 이고, 수직 매크로 블록[Xn]이 필드 코딩되었다면, [OP]=[IT82top]이다. 이 유연성 오퍼레이터[USIT]에 대하여 23=8개의 가능한 구성이 존재한다. 상기 예의 필드 코딩 수직 매크로 블록 칼럼[Xa]과 프레임 코딩 수직 매크로 블록 칼럼[Xb]와 [Xc] 경우에, 오퍼레이터 [USOT] 는 다음의 식으로 주어진다.
Figure 112007001895969-pat00216
이전과 같이, 오퍼레이터[MIDtop]4x48는 [USITtop3]24x28의 중간 14개 로우를 포함한다. 같은 방식으로, 유연성 오퍼레이터[USIT]와 [MIDbot]14x48이 유도될 수 있다. [MID] 오퍼레이터는 프레임 및 필드 DCT 코딩 매크로 블록의 임의 결합에 대해 유연성 오퍼레이터 [QLtop]와 [QLbot]을 형성하도록 (24) 및 (25)의 방법으로 다운 샘플링 필 터[d]와 결합될 수 있다.
따라서, 프레임 또는 필드 DCT 코딩 매크로 블록의 임의 결합에 대하여, 8 포인트 IDCT와 필드 변환에 대한 프레임과 인터블록 필터링과 다운 샘플링을 포함하는 결합 오퍼레이터는 다음 식으로 고안될 수 있다.
Figure 112007001895969-pat00217
Figure 112007001895969-pat00218
상부 및 하부 [QL] 오퍼레이터는 다음의 식에 따라 결합될 수 있다.
Figure 112007001895969-pat00219
따라서, 언셔플링 및 다운 샘플링 필터 [QL]8x48은 다음 식에 따라 매크로블록 칼럼당 한 단계 단일 단계로 블록 Xa',Xb',Xc의 계수에 인가될 수 있다.
Figure 112007001895969-pat00220
IB3. 프레임 화상 : 2 차원 처리
상기 논의는 단지 프레임 코딩되거나 필드 코딩된 프레임 화상의 수직 처리에 관한 것이지만, 앞에서 설명한 바와 같이 식(37)의 [QL]8x48을 이용하여 각 칼럼에서 수직 처리하고, 4 포인트 IDCT로 각 8x8 블록의 각 로우에서 수평 처리하여 쉽게 2차원 16x16 매크로 블록으로 확대 적용될 수 있다.
따라서, Xa', Xb', Xc을 3개의 수직으로 스택된 16x16 매크로 블록이 되도록 다시 정의하면 다음과 같다.
Figure 112007001895969-pat00221
Figure 112007001895969-pat00222
Figure 112007001895969-pat00223
매크로 블록 [Xa]16x16의 좌우 절반은 다음의 식에 따라 다시 정의될 수 있다.
Figure 112007001895969-pat00224
Figure 112007001895969-pat00225
매크로 블록[XbL]16x8, [XbR]16x8, [XcL]16x8 및 [XcR]16x8도 비슷하게 정의된다.
앞에서 설명한 바와 같이 식(37)로부터 [QL]8x48을 이용하여 각 칼럼에서 수직 처리와 4 포인트 IDCT로 각 8x8 블록의 각 로우에서 수평 처리를 수행하기 위해 오퍼레이터를 전개하는데 있어서의 제 1 단계로서, 각 8x8 블록[X]의 높은 순서의 수평 계수가 폐기되어, 각 8x8 블록[X]이 8x4 블록[Z]로 된다. 따라서, [Za1]8x4는 [Xa1 ]8x8 왼쪽 절반으로 정의되고, [Za2]8x4는 [Xa2]8x8의 왼쪽 절반으로 정의되며, [Za3]8x4은 [Xa3]8x8의 왼쪽 절반으로 정의되고, [Za4]8x4는 [Xa4 ]8x8 의 왼쪽 절반으로 정의된다. 이들 8x4 블록은 다음식에 따라 결합된다.
Figure 112007001895969-pat00226
Figure 112007001895969-pat00227
[ZbL]16x4, [ZbR]16x4, [ZcL]16x4 및 [ZcR]16x4 가 비슷하게 정의될 수 있다. 그 다음에, [Xb]의 왼쪽 및 오른쪽 절반의 필드 기반 수직 필터링 및 다운 샘플링은 (식(32)로부터 유연성 오퍼레이터[QL]을 이용하여) 다음의 식으로 주어진다.
Figure 112007001895969-pat00228
Figure 112007001895969-pat00229
그 다음에, 수평 DCT 도메인 필터링 및 다운 샘플링은 다음 식에 따라 수행된다.
Figure 112007001895969-pat00230
Figure 112007001895969-pat00231
여기서 [T4]는 4포인트 DCT 기반 벡터 매트릭스이다. 따라서, 두개의 2차원 다운 샘플링되고 필터링된 매크로 블록은 다음의 식으로 주어진다.
Figure 112007001895969-pat00232
IC. - IDCT 모듈 : 블록 다이어그램 (도 5, 모듈 102)
도 5의 필터링 및 다운 샘플링 모듈(102)은 도 6에서 좀 더 자세히 도시되었으며, 수직 처리를 수행할 수 있도록 필드 화상에 대한 상기 유도된 오퍼레이터[Qdit] 및 프레임 화상에 대한 [QL]와 그리고 뿐만 아니라 수평 처리를 위한 4 포인트 IDCT 오퍼레이터 [T4]를 이용한다. 따라서, 필터링 및 다운 샘플링 모듈(102)은 (모든 필드 DCT 코딩 블록을 포함하는) 필드 화상과 그리고 단지 프레임 DCT 코딩 매크로 블록만 포함하거나 또는 필드 DCT 코딩 매크로 블록 및 프레임 DCT 코딩 매크로 블록의 혼합을 포함하는 플레임 화상 모두 처리할 수 있다. 필터링 및 다운 샘플링 모듈(102)의 출력은 항상 필드 기반 필터링 및 다운 샘플링된다. 모든 블록은 동일한 수평 처리(4 포인트 IDCT)되지만, 수직 처리에 있어, [QL] 오퍼레이터는 프레임 코딩에 대한 필드 코딩으로의 효과적인 변환이 필요할 때 사용되고, 그 다음에 각 필드를 별도로 필터링 및 다운 샘플링하는데 사용된다. 매트릭스 곱은 교환 법칙(즉, A*B는 일반적으로 B*A와 같지 않다)이 성립하지 않는다는 것을 주목해야 한다. 그러므로 각 매크릭스 배율기는 전(pre) 및 후(post) 입력을 갖는다.
IC1. 필드 화상
도 6의 계수 디스카더(discarder)(120)는 매 8x8 DCT 계수 블록의 각 fhdn로부터 4개의 높은 순서의 수평 계수를 폐기한다. 메모리(122)는 I 또는 잉여 계수 매크로 블록의 3개 로우를 저장한다. (매크로 블록들의 로우는 화상의 왼쪽에서 오른쪽 사이드로 가기 위해 필요한 매크로 블록의 수만큼 높은 한 매크로블록의 직사각형 픽셀로 구성된다.) 전송되지 않은 잉여 매크로 블록의 경우에, 모든 계수는 0으로 가정된다. 한번에 3개의 수직으로 스택된 블록 [Z]24x4(식(9) 참고)은 메모리(122)로부터 판독되고, DCT 코딩 유형(필드 또는 플레임)에 따라 라우터(126)에 의해 수직 매트릭스 배율기(124)로 향한다. 수직 매트릭스 배율기(124)는 식(10)에 따라 수직 내부 블록 필터링 및 다운 샘플링을 이용하여 8 포인트 수직 IDCT를 수행한다. 따라서, 수직 매트릭스 배율기(124)는 3개의 수직으로 스택된 블록 [Z]24x4를 [Qdit] 4x24로 사전에 곱셈함으로써 [Gb]4x4를 생성한다. 선택기(128)는 수직으로 처리된 블록[G]을 수평 매트릭스 배율기(130)로 향하게 한다. 수평 매트릭스 배율기(130)는 [xb']을 생성하도록 식(11)에 따라 [Gb]에 수평 4 포인트 IDCT를 수행한다.
IC2. - 프레임 화상
계수 디스카더(120)는 이전처럼 매 8x8 계수 블록의 각 로우로 부터 4개의 높은 순서의 수평 계수를 폐기한다. 메모리(122)는 I 또는 잉여 계수 매크로 블록의 3개 로우를 저장한다. 전송되지 않은 잉여 매크로 블록에 있어서, 모든 계수는 0으로 가정한다. 3개의 수직으로 스택된 매크로 블록은 [ZL]48x4로 구성되어, 임의 시간에 [ZR]48x4 가 (식 (45) 및 (46) 참조) 메모리(122)로부터 판독되어, 라우터(126)에 의해 DCT 코딩 형식(필드 또는 프레임)에 따라 수직 매트릭스 배율기(132)로 향한다. 라우터(126)는 또한 각 매크로 블록에 대한 DCT 코딩 유형(필드 또는 프레임)을 QL 모듈(134)로 라우팅한다. [[ZL]와 [ZR]을 포함하는 3개의 수직으로 스택된 매크로 블록의 코딩 유형에 따라, QL 모듈(134)는 수직 매트릭스배율기(132)을 위한 "전" 입력에 대해 이전에 언급된 바와 같이 유연성[QL] 오퍼레이터를 생성한다.
수직 매트릭스 배율기(132)는 8 포인트 수직 IDCT와, 프레임 코딩 매크로 블록에서 필드-프레임 변환, 식 (45)와 (46)에서와 같이 [ZL]에서 그 다음 [ZR]에서의 인터블 록 필터링을 수행한다. 수직 매트릭스 배율기(132)로부터의 출력은 먼저,
Figure 112007001895969-pat00233
그리고, 그 다음에
Figure 112007001895969-pat00234
이 된다.
이들 출력 매트릭스들은 저장 및 지연 모듈(136)에 피드되며, 이 모듈(136)은 다음의 4x4 블록을 한번에 하나씩 선택기(128)를 통해 수평 매트릭스 배율기(130)에 제공한다.
[GtopbL], [GbotbL], [GtopbR], [GbotbR]
수평 매트릭스 배율기(130)는 각 4x4 입력 블록의 로우에서 수평 4 포인트 IDCT를 수행하여, 식(47)과 식(48)에 따라 다음의 대응 4x4 출력 블록을 생성한다.
[xtopbL'], [xbotbL'], [xtopbR'], [GbotbR']
II. - 업 샘플링 및 다운 샘플링 예측
IIA. - 수직 업 샘플링 필터 매트릭스[u]의 유도
이제, 도 5의 모션 보상기(104)에 의해 구현된 수직 예측 필터링을 설명한다. 모션 보상기(104)에 의해 인가된 업 샘플링 필터[u]는 다음 식에 따라 식(2) 및 식(3)으로부터 다운 샘플링 오퍼레이터[d]의 공지된 Moore-Penrose 역으로 부터 결정된다.
Figure 112007001895969-pat00235
업 샘플링 필터[u]는 다음 식에 따라 메모리(106)로부터 감소된 해상도 기준 화상[x']b270xl의 칼럼에 인가된다.
Figure 112007001895969-pat00236
여기서 [x']b270xl은 결과적인 픽셀의 최종 업 샘플링 칼럼이다. [u]의 구조는 (13개의 비제로 탭을 갖는) 다음의 21개 탭 필터에 근거한다.
[g1(-10)..g1(10)] = [0 0 0 0 0 0 0 0 .0011 .0372 1.2542 - .4051 . 1546 -.0576 .0215 -.0081 .0030 -.0011 .0004 -.0002 .0001] 및
[g2(-10)..g2(10)] = [0001 -.0002 .0004 -.0011 .0030 -.0081 .0215 -.0576 .1546 -.4051 1.2542 .0372 .0011 0 0 0 0 0 0 0 0]
필터 [g2]는 역순, 그리고 g1(0)=g2(0)=1.2542일 경우를 제외하고, 필터 [g1]와 같은 탭 값을 가진다. 업 샘플링 필터[u]는 교대되는 로우들에서 [g1] 및 [g2]의 한 단계 시프트된 버전으로 구성된 원형의 매트릭스이다. 따라서, 업 샘플링 필터[u]는 다음의 식으로 주어진다.
Figure 112007001895969-pat00237
단지 g1 및 g2의 8개(또는 더 작은 수)의 가장 큰 값을 가지는 비 제로 탭들만을 이용하여 충분한 예측을 달성할 수 있다. 비 제로 탭들이 더 작아 질수록, 각 매크로 블록 예측을 위해 메모리(106)로부터 판독되어야할 기준 데이터는 더 적어진다. 예를 들어, 다음의 식으로 주어진 필터를 이용하여 충분한 예측이 얻어질 수 있다.
Figure 112000026821317-pat00055
Figure 112000026821317-pat00056
식 (53) 및 (54)의 필터 (g1 및 g2)를 이용한 수직 업 샘플링 동작은 다음과 같이 생각될 수 있다. 다운 샘플링 기준 필드에서 특정 기준 픽셀 위의 업 샘플링 픽셀을 계산하기 위해, 필터(g1)의 중앙 값 (즉, g1(0)에서의 값)은 기준 픽셀로 조정되며, 비 제로 탭과 그 정렬된 픽셀 사이에서 그 곱의 합이 수행된다. 다운 샘플링 기준 필드[x']에서의 이 특정 기준 픽셀 아래의 업 샘플링 픽셀을 계산하기위해, 필터 g2의 중앙값 (즉, g2(0)에서의 값)은 기준 픽셀로 조정되며, 비 제로 탭과 그 조정된 픽셀사이에서 곱의 합이 수행된다.
다운 변환 디코더(100)에서, 업 샘플링 예약이 모션 보상기(104)로 형성될때, 칼럼들 모두가 [u]로 필터링될 기준 메모리(106)로부터 판독될 필요는 없다. 대신에, 하기에 설명하는 바와같이 업 샘플러 필터[g1] 및 [g2]와 다운 샘플러[f]로부터 형성된 예측 필터의 결합된 요구를 만족시키기에 충분한 픽셀들만이 판독될 필요가 있다.
IIB. - 결합 예측 업 샘플링 및 다운 샘플링
IIB1. - 필드 화상에 대한 필드 예측
도 7에 보인바와 같이, 제 1 칼럼은 도 1의 엔코더(10)에 존재한는 것처럼 완전 해상도 기준 화상(16)에서 필드로부터의 픽셀[x]50xl의 부분을 나타낸다. 제 2 칼럼은 도 5의 디코더 루프의 다운 샘플링 기준(106)에서 그 필드로 부터의 픽셀[x']25xl의 칼럼의 대응부분을 나타낸다. 원하는 필드 예측을 위한 수직 완전 해상도 모션 벡터(vmv)는 제 1 칼럼에서 표시된 픽셀에 포인트된다. 이 모션 벡터는 1/2 픽셀 단위에 놓이며, 따라서, mv가 기수이면 이는 완전 해상도로 픽셀들 사이에 포인트 된다.
다음식으로 정의되는 vmvtype의 모듈로 값을 고려해보자.
Figure 112000026821317-pat00057
여기서, %는 모듈로 동작을 의미한다. vmvtype의 값은 0 또는 1이 될 것이며, 도 7은 그 모두의 경우를 예시한다. vmvtype=0 일때, 수직 벡터 vmv는 완전 해상도 기준 필드의 한쌍의 픽셀(즉, 도 7의 제 1칼럼 에서 그들 주위에 직각형 박스를 갖는 픽셀)에 또는 바로 아래에 포인트된다. 다운 샘플링된 기준 필드에서의 픽셀(즉, 도 7의 제 2칼럼에서 그 주위에 정사각형 박스를 갖는 픽셀)은 이 픽셀쌍의 픽셀들 사이에 놓인다. vmvtype=1 일때, 수직 모션 벡터는 이 픽셀쌍의 하부 픽셀에 또는 바로 아래에 포인트된다. 다시, 다운 샘플링 기준 필드에서의 픽셀은 이 픽셀쌍의 픽셀들 사이에 놓인다. 다운 샘플링 기준 필드로부터 예측을 액세스하기위해 이용되는 저 해상도 모션 벡터는 다음 식으로 주어진다.
Figure 112000026821317-pat00058
이와같은 저해상도 모션 벡터 lvmv는 다운 샘플링 기준 필드에서의 픽셀(즉, 도 7의 제 2칼럼에서 그 주위에 정사각형 박스를 갖는 픽셀)로 포인트된다. 예측 필터로의 입력은 그 위에 8개의 픽셀과 그 아래에 16개의 픽셀을 갖는 다운 샘플링 기준 필드애 그 그 픽셀을 포함해야만 한다. 도 7의 제2 칼럼에 보인 이들 25개의 픽셀은 예측된 수직 필드 매크로블록을 생성하도록 수직 예측 필터링 프로세스로의 입력으로서 판독되어야 하는 정확한 량이다.
도 7의 다음 칼럼은 식 (52)에 보인 바와같이 배열된 필터 g1 과 g2로 생성된 업 샘플링 필드 예측을 나타내는 [x^]24xl이다. 도 7의 제 2 칼럼에서 원형 픽셀은 상한과 하한을 나타나는데, 이들 사이에서 g1과 g2 필터 중앙 탭이 업 샘플링 컨벌루션 필터링 동작을 트레버스한다. 이와같은 업 샘플링 필터링 동작은 다음 식으로 주어진다.
Figure 112007001895969-pat00238
여기서, [x']25xl은 기준 화상으로 부터의 25 픽셀 칼럼을 나타내며, [x^]24xl 는 업샘플링된 픽셀을 나타내고, 업샘플링 필터 [u]는 식(53)과 (54)에 근거하며, 다음 식으로 주어진다.
Figure 112007001895969-pat00239
업 샘플링 후, 최종 원하는 다운 샘플링 필드 예측 매크로블록 [x^]8xl 칼럼을 생성하기위해서는 후속 예측 다운 샘플링 동작이 필요로 된다. 후술하는 이와같은 다운 샘플링은 (식(56)으로 주어지는) vmvtype와 vmv가 우수 인지 아니면 기수인지 여부에 의존한다.
vmvtype = 0 이다
우수값 수직 모션의 경우에 대해, 원하는 다운 샘플링 필드 예측은 다음과 같이 [x^]24xl에서 [f]8의 컨벌루션으로 주어진다.
Figure 112007001895969-pat00240
여기서, [x^]24xl는 다운 샘플링될 업 샘플링 기준 픽셀들의 칼럼이고, [x^']8xl 는 결과적인 다운 샘플링 기준 픽셀이며, 예측 다운 샘플 필터[d0]는 다음 식으로 주어진다.
Figure 112007001895969-pat00241
그리고 여기서, [f]8는 식 (1)로 부터 주어진다. 수직 예측 업 샘플 및 다운 샘플 필터링은 다음 식에 의해 주어지는 단일 동작으로 결합될 수 있다.
Figure 112007001895969-pat00242
여기서, [x']25xl 는 메모리(106)로 부터의 기준 픽셀 칼럼이며, [x^']8xl 는 예측 업 샘플링 및 다운 샘플링으로부터의 픽셀이며, 업 샘플링 및 다운 샘플링 필터 [PL0-ev]는 다음 식으로 주어진다.
Figure 112007001895969-pat00243
vmv가 기수값인 경우, 업 샘플링 다음에는 다음식으로 주어지는 1/2 선형보간 이 수행되어야 한다.
Figure 112007001895969-pat00244
여기서, [x^]25xl 는 예측 업 샘플링의 결과로 나오는 픽셀이고, [xi^]24xl 는 선형 보간의 결과로 부터 나오는 예측 업 샘플링 픽셀이며, 선형 보간 필터[LI]는 다음 식으로 주어진다
Figure 112007001895969-pat00245
이어서, 다음식에 따라 다운 샘플링이 수행된다.
Figure 112007001895969-pat00246
수직 예측 업 샘플링, 선형보간 및 예측 다운 샘플링은 다음식으로 주어지는 바와같이 단일 동작으로 결합될 수 있다.
Figure 112007001895969-pat00247
여기서, 결합된 수직 예측 업 샘플링, 선형 보간 및 예측 다운 샘플링 필터 [PL0-odd]8x25이 다음 식으로 주어진다.
Figure 112007001895969-pat00248
vmvtype = 1
우수값의 수직 모션 벡터 vmv의 경우에 대해, 원하는 다운 필드 예측은 다음과 같이 [x^]24xl에서 [f]8의 컨벌루션으로 주어진다.
Figure 112007001895969-pat00249
여기서, 예측 다운 샘플링 필터 [d1]은 다응식으로 주어진다.
Figure 112007001895969-pat00250
수직 예측 업샘플 및 다운 샘플 필터링은 다음 식에 따라 단일 동작으로 결합될 수 있다.
Figure 112007001895969-pat00251
여기서, 결합된 수직 예측 업 샘플 및 다운 샘플 필터 [PL1-ev]는 다음식으로 주어진다.
Figure 112007001895969-pat00252
기수 값이 수직 모션 벡터 vmv의 경우에 대하여, 업 샘플링 다음에는 식(63)으로 주어지는 1/2 픽셀 선형 보간이 수행되어야 한다. 이어서, 다운 샘플링이 식 (67)에 따라 수행된다. 수직 업 샘플링, 선형 보간 및 다운 샘플링은 다음 식으로 주어지는 단일 동작으로 결합될 수 있다.
Figure 112007001895969-pat00253
여기서, 결합된 수직 업 샘플링, 선형 보간 및 다운 샘플링 필터[PL1-odd]는 다음식으로 주어진다.
Figure 112007001895969-pat00254
IIB2. - 프레임 화상에 대한 필드 예측
프레임 화상에 대한 필드 예측의 경우에서, 프레임 매크로 블록에 대한 두 개의 독립적인 필드예측이 요구된다. 도 8에 보인바와 같이, 제 1 칼럼은 도 1의 엔코더(10)에 존재하는 바와 같이 완전 해상도 기준화상(16)에서의 한 필드로부터 픽셀[x]42xl 칼럼의 부분을 나타낸다. 제 2칼럼은 도 5의 디코더 루프에 있는 다운 샘플링 기준(106)에서의 그 필드로부터 픽셀[x′]21xl 칼럼의 대응부분을 나타낸다. 원하는 필드 예측에 대한 완전 해상도 수직 모션 벡터(vmv)는 제 1칼럼에서의 표시된 픽셀로 포인트 된다. 이 모션 벡터는 1/2 픽셀의 단위에 놓인다. 따라서, 만일 완전 해상도 수직 모션 벡터 vmv 가 기수 값이면 이는 완전 해상도로 픽셀 사이에서 포인트 된다.
다시 식(55)로 주어지는 vmv의 모듈로 값을 고려해보자. 표시된 바와 같이, vmvtype의 값은 0 또는 1이 될 것이다. 도 8은 두가지 경우를 예시한다. vmvtype=0 일 때, 수직 모션 벡터 vmv는 완전 해상도 기준 필드에서의 한 쌍의 픽셀 (즉, 도8의 제1 칼럼에서 그들 주위에서 직사각형 박스를 갖는 픽셀) 의 상부 픽셀에 또는 바로 아래에 포인트 된다. 다운 샘플링된 기준 필드에서의 픽셀(즉, 도8의 제2 칼럼에서 그 주위에서 정사각형 박스를 갖는 픽셀)은 이 픽셀 쌍의 픽셀들 사이에 놓인다. vmvtype=1일 때, 수직 모션 벡터 vmv는 이 픽셀쌍의 하부 픽셀에 또는 바로 아래에 포인트 된다. 다시, 다운 샘플링 된 기준필드에서의 픽셀은 이 픽셀쌍의 픽셀들 사이에 놓인다. 다운 샘플링 된 기준 필드로부터 예측을 액세스 하는데 이용되는 저 해상도 모션 벡터 lvmv는 식(56)으로 주어진다. 이 저 해상도 모션 벡터 lvmv 는 그 주위에 박스를 갖는 다운 샘플링 된 기준필드(제2칼럼)에 포인트 된다. 예측 필터로의 입력은 그 픽셀, 그 위에 8개의 픽셀 및 그 아래에 12개의 픽셀을 포함해야한다. 이들21개의 픽셀들은 예측된 수직 필드 블록을 생성하기 위해 수직 예측 필터링 프로세스로의 입력으로서 판독되어야 하는 정확한 수의 픽셀이다.
도 8에서의 제 3 칼럼은 [x^]16xl 이며, 이는 식(53) 및 (54)으로 주어지는 필터 g1 및 g2 로 생성되는 업 샘플링 필드 예측을 나타낸다. 제 2칼럼[x＇]21xl에서의 샘플링 된 픽셀들은 상한 및 하한을 나타내는바, 이 상한 및 하한 사이에서 필터 g1과 g2의 중앙 탭들은 업 샘플링 컨벌루션 동작 동안 트레버스(traverse)된다.
업 샘플링 동작은 다음 식으로 주어진다.
Figure 112007001895969-pat00255
여기서, [x']21xl은 메모리(106)에 저장된 기준 화상으로부터의 21개의 픽셀이며, [x^]16xl 은 결과적인 업 샘플링된 픽셀이며, 업 샘플링 필터[u]은 다음식으로 주어진다.
Figure 112007001895969-pat00256
이어서, 최종의 원하는 다운 샘플링 된 필드 예측[x^']4xl을 생성하기 위해서는 후속 예측 다운 샘플링 동작이 필요로 된다. 하기에 설명하게될 이 다운 샘플링은 vmvtype 및 vmv가 우수 값인지 또는 기수 값 인지 여부에 좌우된다.
vmvtype=0 이다.
수직 모션 벡터 vmv가 우수 값 인 경우에 대해, 원하는 다운 샘플링된 예측은 다음식에 따라 [x^]16xl에서 [f]8의 컨벌루션으로 주어진다.
Figure 112007001895969-pat00257
여기서, [x^]16xl은 다운 샘플링 될 업 샘플링 픽셀이고, [x^]4xl은 결과적인 다운 샘플링 픽셀이며, [d0]는 다음 식으로 주어지는 다운 샘플링 필터이다.
Figure 112007001895969-pat00258
수직 예측 업 샘플 및 다운 샘플 필터링은 다음 식으로 주어지는 단일 동작으로 결합될 수 있다.
Figure 112007001895969-pat00259
여기서, 결합된 업 샘플링 및 다운 샘플링 필터 [PLo-ev]는 다음 식으로 주어진다.
Figure 112007001895969-pat00260
수직 모션 벡터 vmv가 기수 값 인 경우에 대해, 업 샘플링 다음에는 다음 식으로 주어지는 1/2 픽셀 선형 보간이 수행되어야 한다.
Figure 112007001895969-pat00261
여기서,[x]16xl 은 선형적으로 보간 될 업 샘플링 픽셀이고, [x^i]16xl 은 결과적인 선형적으로 보간된 픽셀이며, 선형 보간 필터는 다음 식으로 주어진다.
Figure 112007001895969-pat00262
이어서, 다음식에 따라 다운 샘플링이 수행된다.
Figure 112007001895969-pat00263
여기서, [x^i]16xl은 다운 샘플링 될 업 샘플링 및 선형적으로 보간된 픽셀이고, [x^']4xl은 결과적인 다운 샘플링 픽셀이며, [do]는 식(76)으로 주어지는 다운 샘플링 필터이다.
이 수직 업 샘플링, 선형 보간 및 다운 샘플링은 다음식으로 주어지는 단일 동작으로 결합한다.
Figure 112007001895969-pat00264
여기서, 결합된 수직업 샘플링, 선형보간 및 다운샘플링 필터[PLo-odd]는 다음식으로 주어진다
Figure 112007001895969-pat00265
vmvtype=1이다.
수직 모션벡터 vmv가 우수값인 경우에 대해, 원하는 다운 샘플링 필드 예측이 다음식에 따라 [x^]16xl에서 [f]8의 컨벌루션으로 주어진다.
Figure 112007001895969-pat00266
여기서, 다운샘플링 필터[d1]는 다음식으로 주어진다.
Figure 112007001895969-pat00267
수직 예측 업샘플 및 다운샘플 필터링은 다음식으로 주어지는 단일동작으로 결합될 수 있다.
Figure 112007001895969-pat00268
여기서, 결합된 업 샘플링 및 다운샘플링 필터 [PL1-ev]는 다음식으로 주어진다.
Figure 112007001895969-pat00269
수직 모션벡터 vmw가 기수값인 경우에 대해, 업 샘플링 다음에는 다음식으로 주어지는 1/2픽셀 선형보간이 수행되어야 한다.
Figure 112007001895969-pat00270
여기서, 선형 보간 필터는 식(80)으로 주어진다. 이어서, 다운 샘플링은 다음식에 따라 수행될 수 있다.
Figure 112007001895969-pat00271
수직 업 샘플링, 선형 보간 및 다운 샘플링은 다음식으로 주어지는 단일동작으로 결합될 수 있다.
Figure 112007001895969-pat00272
여기서, 결합된 수직업 샘플링, 선형보간 및 다운 샘플링 필터 [PL1-odd]는 다음식으로 주어진다.
Figure 112007001895969-pat00273
IIB3. 프레임 화상에 대한 프레임 예측
프레임 예측의 경우에 대해, 두 개의 필드 예측이 필터링 및 다운 샘플링 모듈(102)에 의해 프레임 DCT 코딩매크로블록에서 필드DCT코딩 매크로블록으로 변환된 잉여값과 매칭하도록 유도되어야 한다.
도 9에 보인바와 같이 제 1칼럼은 도 1의 엔코더(10)에서의 완전해상도 기준 프레임(16)으로부터의 픽셀의 수직 칼럼 부분을 나타낸다. 제 2칼럼은 디코더 루프의 메모리 (106)로부터의 다운 샘플링 기준에 있는 그 프레임으로부터의 픽셀[xtb']42xl 칼럼의 대응 부분을 나타낸다. 원하는 프레임 예측에 대한 완전해상도모션 벡터(vonv)는 제1칼럼에서 표시된 픽셜에 포인트된다. 이 모션 벡터는 1/2픽셜에 포인트된다. 이 모션 벡터는 1/2픽셀의 단위로 녹인다. 만일 vmw가 기수값이면, 이는 완전해상도에서 픽셀들 사이에 포인트된다.
모션 보상기(104)의 예측 필터로의 입력은 제2칼럼에서 42개의 수직픽셀[xtb'] 군이다. 42개의 수직 픽셀의 군을 정확히 액세스 하기 위해, 완전 해상도 모션 벡터의 수직 성분은 다음식에 따라 변형된다.
Figure 112000026821317-pat00095
이와같은 저해상도 수직 모션벡터 lvmv는 다운 샘플링 기준 프레임에서 상부필드픽셀 (xtop')에 포인트될 것이다. 예측필터로의 입력은 그 위에 16개의 픽셀을 그리고 그 아래에 25개의 픽셀을 포함해야 할 것이다.
수직모션 벡터 vmv는 값 vmvtype에 근거하여 4개의 유형중 한 유형으로 분류될 수 있으며, 이들 각각은 도 9에 보인바와 같이 다운 샘플링 기준 프레임과 다른 공간적인 관계를 갖는다. 이들 분류는 다음식으로 주어진다.
Figure 112000026821317-pat00096
여기서 vmvtype는 식(9)에 따라 0,1,2 또는 3의 값을 가질 수 있다. 각각 심 (53)과 (54)에서 [g1]13과 [g2]13의 정의로부터, 두 개의 25 탭 필터가 다음식에 따라 정의될 수 있다.
Figure 112000026821317-pat00097
Figure 112000026821317-pat00098
이어서, 업 샘플링 필터 [u]는 다음식으로 주어진다.
Figure 112007001895969-pat00274
도 9의 다운 샘플링 기준 프레임으로부터의 [xtb']42xl의 각 필드에대한 독립적인 업샘플링이 다음식에 따라 수행된다.
Figure 112007001895969-pat00275
그러므로, 업 샘플링 예측은 [x^top]16xl과 [x^bot]16xl'로 구성되며, 이들은 도 9에서 각각 3번 및 4번 칼럼이 된다.
이어서, 최종의 원하는 필드예측쌍을 생성하기 위해 ( 각 업샘플링 필드에서, 후속의 예측다운 샘플링 동작이 요구된다. 후술하는 다운 샘플링은 vmvtype와 그리고 vmv가 우수값인지 아니면 기수값인지 여부에 좌우된다.
vmvtype=0이고 vmv는 우수값으로 된다.
각 필드 예측에 대한 다운 샘플 필터가 다음식으로 주어진다.
Figure 112007001895969-pat00276
이어서, 다운 샘플링 필터 [do]8×32는 다음식에 따라 정의된다.
Figure 112007001895969-pat00277
각각의 업 샘플링 필드를 독립적으로 다운 샘플링 함으로써 다음식으로 주어지는 바와 같이 원하는 필드예측이 생성된다.
Figure 112007001895969-pat00278
결합된 업-샘플 다운-샘플 필터가 다음식으로 주어진다.
Figure 112007001895969-pat00279
이 결합된 업 샘플-다운 샘플 필터는 또한 다음식으로 주어지는 바와 같이 원하는 필드예측을 생성하는데 이용된다.
Figure 112007001895969-pat00280
vmvtype=0이고 vmv는 기수값으로 된다.
상기한 바와 같이, 독립적인 업 샘플링 필드예측은 다음식으로 주어진다.
Figure 112007001895969-pat00281
개별적인 업 샘플링 필드들은 서플링 및 선형적으로 보간되어야 한다. 서플링/보간 오퍼레이터는 다음식으로 주어진다.
Figure 112007001895969-pat00282
업 샘플링 필드에서 수행된 이 서플링 및 선형 보간은 다음 식으로 주어진다.
Figure 112007001895969-pat00283
각각의 업 샘플링, 서플링 및 선형적으로 보간된 필드를 독립적으로 다운 샘플링 함으로써, 다음식으로 주어지는 원하는 예측 필드가 생성된다.
Figure 112007001895969-pat00284
여기서, 다운 샘플링 필터 [do]8x32는 식(?)으로 주어진다.
업 샘플링 필터[u], 서플링 및 선형 보간 필터 [SLI] 및 다운 샘플링 필터[do]는 다음 식을 결합 될 수 있다.
Figure 112007001895969-pat00285
그리고 원하는 필드 예측이 다음 식으로 주어진다.
Figure 112007001895969-pat00286
vmvtype = 1
각 필드 예측에 대한다운 샘플러는 다음 식으로 주어진다.
Figure 112007001895969-pat00287
Figure 112007001895969-pat00288
그리고 다음 식으로 주어지는 바와같이 단일 오퍼레이터로 결합될 수 있다.
Figure 112007001895969-pat00289
이를 이용하여, 결합된 다운 샘플링 필터[d1], 결합된 필터[PL1-ev]8x42와 [ PL1-odd]8x42가 (식(101) 및 (108)에 보인) [PLo-ev]와 [PLo-odd]의 유도와 유사한 방식으로 유도될 수 있으며, vmv가 우수 값인 경우에 대해 원하는 필드 예측을 생성하기 위해 다음 식에 따라 이용될 수 있고
Figure 112007001895969-pat00290
그리고 vmv가 기수값인 경우에는 다음식에 따라 이용될 수 있다.
Figure 112007001895969-pat00291
vmvtype = 2
각 필드 예측에 대한 다운 샘플링 필터는 다음 식으로 주어지며,
Figure 112007001895969-pat00292
그리고 다음식에 따라 결합될 수 있다.
Figure 112007001895969-pat00293
vmvtype = 0 에 대한 유도와 같은 방식으로 식(116)의 다운 샘플링 필터를 이용함으로써, 결합된 필터 [PL2-ev]8x42 와 [PL2-odd]8x42가 유도되고, vmv가 우수 값 인 경우에 대해서는 다음 식
Figure 112007001895969-pat00294
을 따라 원하는 필드 예측을 생성하는데 이용될 수 있고, 그리고 vmv가 기수 값인 경우에 대해서는 다음 식
Figure 112007001895969-pat00295
을 따라 원하는 필드 예측을 생성하는데 이용될 수 있다.
vmvtype = 3
각 필드 예측에 대한다운 샘플러는 다음 식으로 주어진다.
Figure 112007001895969-pat00296
Figure 112007001895969-pat00297
이들 두 개의 다운 샘플링 필터는 다음 식에 따라 결합될 수 있다.
Figure 112007001895969-pat00298
vmvtype = 0, 1, 2에 대한 유도와 같은 방식으로 식(121)의 다운 샘플링 필터를 이용함으로써, 결합된 필터 [PL3-ev]8x42 및 [PL3-odd]8x42 가 유도 될 수 있으며, vmv가 우수 값인 경우에 대해서는 다음 식
Figure 112007001895969-pat00299
을 따라 원하는 필드 예측을 생성하는데 이용될 수 있고, 그리고 vmv가 기수 값인 경우에 대해서는 다음 식
Figure 112007001895969-pat00300
을 따라 원하는 필드 예측을 생성하는데 이용될 수 있다.
ICC. - 유도된 수직 예측 필터 오퍼레이터의 개요
ICC 1. - 필드 화상에 대한 필드 예측
식(62), (66), (70) 및 (72)로부터의 다음 오퍼레이터는 필드 화상의 필드예측에 대해 이용되며, 8x25 매트릭스 이다.
Figure 112000026821317-pat00126
IIC2. - 프레임 화상에 대한 필드 예측
식 (78), (87) 및 (91)으로부터의 다음 오퍼레이터들이 프레임 화상의 필드 예측에 대해 이용되고, 매크로 블록당 요구되는 두 개의 예측을 갖는 4x21 매트릭스이다.
Figure 112000026821317-pat00127
IIC3. - 프레임 화상에 대한 프레임 예측
식(101), (108) 및 유사한 식으로부터의 다음 오퍼레이터들이 프레임 필드 화상의 프레임 예측에 대해 이용되며, 8x42 매트릭스 이다.
Figure 112000026821317-pat00128
IID. 모션 보상 블록 선도(도5, 모듈104)
모션 보상기(104)가 도 10에 보다 상세히 도시되었다. 모션 벡터 번역기(150)가 수신된 완전 해상도 모션 벡터를 전술한 바와 같이 저 해상도 모션 벡터로 번역한다. 이어서, 이 저 해상도 모션 벡터는 메모리(106)에 공급을 위해 기준 화상 메모리 어드레스로 변환된다. 수직적으로, 이 번역 및 변환은 이전 토론에서 기술한 바와 같이 예측 유형(프레임 또는 필드)에 의존한다. 모션 벡터 번역기(150)로 부터의 어드레스에 의해 메모리 (106)로부터 판독된 기준 픽셀들은 수평 예측 필터(152)에 공급된다. 수평 예측 필터링이 수평 예측 필터(152)에서 발생하며, 4 포인트 IDCT 에 대한 최소 드리프트 예측과 관계하여 전술한 바와 동일하다.
수평 예측 필터(154)에 공급된다. 수직 예측 필터링(업 샘플링 및 다운 샘플링)은 전술한 바와같이 예측 유형 및 vmv 값(기수 또는 우수)에 따라 수직 예측 필터(154)에 의해 수행된다. 따라서, 예측 유형 및 vmv 값(기수 또는 우수)에 따라서, 정확한 수직 필터 오퍼레이터 [PL]이 메모리로부터 판독되어 이들이 수평 예측 필터(152)로부터 수신될 때 픽셀의 각 칼럼으로부터 판독된다. 수평 및 수직으로 필터링된 예측은 수직 예측 필터(154)에 의해 가산기(108)(도 5)에 공급되어 필터링 및 다운 샘플링 모듈(102)로부터 인입 잉여 매크로블록에 가산된다.
도 5의 필터링 및 다운 샘플링 모듈(102)에 의해 수행되는 수직 다운 샘플링방법의 공간 효과가 고려되어야 한다. 도 11은 인터레이싱 화상의 원래의 완전 해상도 픽셀들(도 11의 제 1 칼럼으로 보인바와 같이, 상부 필드에 대해서는 픽셀 A 그리고 하부필드에 대해서는 픽셀 B)과 대응 다운 샘플링된 인터레이싱 화상의 픽셀들(도 11의 제 2 칼럼으로 보인 바와같이 상부 필드에 대해서는 픽셀 "a" 그리고 하부 필드에 대해서는 픽셀 "b") 사이의 유효한 공간 관계를 보여준다. 주목할 사항으로, "a" 픽셀들은 그 밖의 모든 쌍의 A 픽셀들 사이에서 절반이 되며 "b" 픽셀들은 그 밖의 모든 B 픽셀들 사이에서 절반으로 된다. 또한 주목할 사항으로, 원래의 완전 해상도 화상에서, B 픽셀들은 A 픽셀들 사이에서 절반이 된다. 그러나, 결과적인 다운 샘플링 화상에서, "b" 픽셀들은 "a" 픽셀들 사이에서 절반이 되지 않음을 알 수 있다.
그러므로, 도 5의 보간기(110)는 "a" 및 "b" 필드들의 수직 위치를 효과적으로 조 정하도록 수직 필터를 포함하여, "b" 픽셀들은 도 12에 보인바와 같이 "a" 픽셀들 사이에서 중간에 놓이게 된다. 한 예의 수직 필터는 "a" 픽셀들을 1/8 샘플 위치로 시프트 업하고 그리고 "b" 필드를 1/8 샘플 위치로 시프트 다운하는 간단한 선형 보간기로 구성된다. 이 선형 보간기들보다 더 복잡한 필터들이 또한 사용될 수 있다.
또한, 필드들 각각에 대한 상기 1/8 샘플 시프트를 달성하도록 도 5의 필터링 및 다운 샘플링 모듈(102)을 변경함으로써, 도 5의 보간기에 대한 필요성을 제거할 수 있다. 이 경우에, 식 (1)의 f8에 대한 대체로서 두 개의 서로 다른 필터들이 필요로 될 수 있는데, 하나는 A 또는 상부 필드에 해당하고, 또 하나는 B 또는 하부 필드에 해당한다. 다음 식으로 주어지는 A 필드 필터에 대한 다운샘플링 필터는 식(1) 의 그것과 유사한 방식으로 유도되지만은 1/8 샘플 시프트를 포함할 수 있다.
Figure 112000026821317-pat00129
마찬가지로, 다음식으로 주어지는 B 필드에 대한 다운샘플링 필터는 반대 방향으로 1/8 샘플 시프트를 포함한다.
Figure 112000026821317-pat00130
각각의 매칭 예측 필터들이 전술한 바와 정확한 방식으로 필드들 각각에 대해 유도되어야 한다.
IIE. - 1/2 픽셀 해상도 모션 벡터들의 경우에 대한 드리프트 감소
전술한 바와같이, MPEG-2 엔코딩 비디오에 대한 모션 벡터는 1/2 픽셀 해상도를 갖는다. 이 1/2 픽셀 해상도는 수직 또는 수평 모션 벡터가 기수값으로되는 경우, 도 5의 다운 변환 디코더(100)의 경우에서와 같이 완전 해상도 기준 또는 업 샘플링된 감소된 해상도 기준으로부터 예측을 형성할 때 1/2 보간이 요구된다. MPEG-2 표준은 기수값 수평 모션 벡터 또는 우수값 수직 모션 벡터의 경우에 대한 1/2 픽셀 보간이 다음식에 따라 계산되어야 함을 명시하고 있다.
Figure 112000026821317-pat00131
여기서, x 및 y는 완전 해상도 기준 픽셀의 l값을 나타내는 정수(8비트가 되는 것으로 가정됨)이다.
이 식은 계산된 보간 픽셀의 최하의 비트(LSB)를 처리하는 방법을 보여주고 있다. 만일 x + y = S 이고, S가 우수이면, S/2 = I.5가 되며, 여기서 I는 정수이고 식(126)은 효과적으로 I+1로 사사오입(round up)을 행하게 될 것이다. 이와 같은 1.5에서 I + 1로의 증대는 1/2 LSB의 증대와 균등하다. 평균에서, 시간 S의 절반이 우수이고, 시간 S의 절반이 기수인 경우, 식 (126)은 계산된 보간 예측 픽셀에서 1/4 LSB의 평균 증대를 요구한다. (도 10의 수직 예측 필터(154)에 의해 실행되는 식(66)의 단일 단계의 매트릭스 오퍼레이터 처럼) S/2의 계산을 다른 필터링 동작과 선형적으로 결합하고 그리고 나서 그 결과를 사사오입하는 디코더는 최종 사사오입 때까지 S(S 값은 원하는 값 I + 1 대신에 시간의 50%인 I.5 이다)의 우수리 부분을 효과적으로 보유할 것이다. 그러므로, 그러한 디코더는 다음 I 프레임때까 지 보다 어두운 화상쪽으로 DC 예측 드리프트를 나타낼 것이다.
그러므로, 모션 벡터가 우수 기수값일 때 식(65)의 요건들처럼 동작을 위한 식(126)의 요건들을 보다 면밀하게 충족시키도록 하기 위해서는 , 도 10의 수직 예측 필터(154)로부터의 예측 출력은 .25(1/4 LSB와 균등함)를 그의 출력에 가산하고 이어서 그 예측 결과를 도 5의 가산기(108)에 제공되기전에 8비트 정수로 사사오입함으로써 변경되어야만 한다.
IIE2. - 양 방향에서의 1/2 픽셀 보간
수평 및 수직 모션 벡터가 모두 기수값일 때, 그 표준은 다음식으로 주어지는 4 방식 보간을 명시한다.
Figure 112000026821317-pat00132
식 (127)은 계산된 보간 픽셀의 LSB를 처리하는 방법을 나타낸다. 만일 a + b + c + d = S 이고 S 가 4로 고르게 분배가능한 경우(경우 1), 상기 동작은 정확히 S/4와 균등하다. 다른 방법으로, 다른 3개의 고려할 경우가 존재한다(%는 모듈로 동작을 표시한다). 경우 2의 경우에, (S/4) %4 =1이고 따라서 S/4 = I.25이다. 식(127)은 S/4를 0.25(-1/4 LSB)만큼 감소시킨다. 경우 3에서, (s/4)%4 =2 이고, 따라서 S/4는 I.5이다. 식(127)은 S/4를 0.5(+1/2 LSB)만큼 증대시킨다. 경우 4에서, (S/4)%4 = 3이고, 따라서 S/4는 I.75이다. 식(127)은 S/4를 0.25(+1/4 LSB)만큼 증대시킨다.
모든 4개의 경우가 동등하게 가능한 것으로 가정하면, 평균에서 식 (127)은 계산된 보간 예측 픽셀에서 (0 - 0.25 + 0.5 + 0.25)의 증대를 요구한다. 그러므로, 수평 및 수직 기수값의 모션 벡터의 경우에 대해, 도 10의 예측 출력은 .125(1/8 LSB와 균등함)를 수직 예측 필터(154)에 가산하고 그리고 나서 그 예측 결과를 도 5의 가산기(108)에 제공되기전 8비트의 정수로 사사오입함으로써 변경되어야만 한다.
III. - 다른 다운 샘플링비로의 확장
주지할 사항으로, 전술한 섹션에서, 수평 및 수직 다운 샘플링 모두는 2의 인자로 수행되어야 한다. 그러나, 상기 방법은 그렇게 제한적이지 않아, 수월한 방식으로 다른 다운 샘플링 비로 확장될 수 있다. 예컨대, 3 포인트 IDCT의 활용을 통한 수평 다운 샘플링의 결과, 8/3 인자로 수평 다운 샘플링이 이루어지는바, 이는 본 기술분야에 공지되어 있다. 본 명세서에서 기술한 신규한 수직 다운 샘플링 방법은 예컨대 8/5 인자로의 다운 샘플링에까지 확장될 수 있다. 식 (1)의 필터와 유사한 수직 필터 f 가 이용될 수도 있다(이 필터는 아마도, 보다 높은 주파수들에서 다소 적은 감쇄를 갖는다). 다운 샘플링 처리는 5 필터에 의해 업 샘플로 분해(decompose)되며, 그 다음 8로 다운 샘플링된다. 최소 드리프트 예측 필터는 전술한 바와같이 다운 샘플링 필터 f 로부터 유도될 수 있다.
상기에서 본 발명의 일부 변형들에 대해 설명했다. 본 발명의 기술분야의 실무자이면 다른 변형들을 꾀할 수 있을 것이다. 예컨대, 상기 설명에 따르면, 다운 변환시 수직 IDCT를 수행하는데 14개의 로우가 이용된다. 그러나, 그 대신에 어느 수의 로우도 이용될 수 있다.
따라서, 본 발명의 상세한 설명은 단지 예시를 위한 것이며, 당업자에게 본 발명의 수행하는 최상의 모드를 제시하고자 하는 목적으로 이루어 졌다. 본 발명은 본 발명의 정신을 벗어나지 않는 범주내에서 여러 가지 다양한 변형이 가능하며, 첨부한 특허청구의 범위내에서 모든 변형에 대해 배타적 권리를 갖는다.

Claims (28)

  1. 수신 프레임 및 필드 DCT 코딩 블록들을 재구성된 픽셀 필드 블록으로 다운 변환하는 방법으로써, 상기 수신 프레임 및 필드 DCT 코딩 블록들 각각은 N×M 값을 포함하며, 상기 방법은
    a) 상기 수신 프레임 DCT 코딩 블록들을 변환 필드 DCT 코딩 블록들로 변환하는 단계와;
    b) 잉여 및 픽셀 필드 블록들을 생성하기 위해, 상기 수신 필드 DCT 코딩 블록들과 상기 변환 필드 DCT 코딩 블록들에 대해 수평 M 포인트 IDCT, 수직 N 포인트 IDCT, 수직 공간 필터링 및 다운 샘플링을 수행하는 단계와, 상기 수직공간 필터링 및 다운 샘플링은 적어도 N개 이상의 포인트를 포함하고, 상기 N은 N>M이고;
    c) 재구성된 픽셀 필드 블록들을 형성하기 위해, 예측 기준 픽셀들을 상기 잉여 필드 블록들에 추가하는 단계를 포함하는 것을 특징으로 하는 다운 변환방법.
  2. 제 1항에 있어서,
    상기 단계 b)의 다운 샘플링은 저역통과 시메트릭 FIR 필터에 근거하는 것을 특징으로 하는 다운 변환방법.
  3. 제 2항에 있어서,
    상기 단계 a)는 상기 수신 프레임 DCT 코딩 블록들을 대응 변환 필드 DCT 코딩 블록으로 변환하기 위해, 언셔플링 오퍼레이터를 상기 수신 프레임 DCT 코딩블록에 인가하는 단계를 포함하는 것을 특징으로 하는 다운 변환방법.
  4. 제 3항에 있어서,
    상기 언셔플링 오퍼레이터는 상기 수신 프레임 DCT 코딩 블록과 필드 DCT 코딩 블록을 변환 필드 DCT 코딩 블록으로 변환하도록 배열되는 요소를 포함하는 것을 특징으로 하는 다운 변환방법.
  5. 제 3항에 있어서,
    상기 언셔플링 오퍼레이터는 상기 수신된 프레임 DCT 코드 블록들과 상기 필드 DCT 코드 블록들의 믹서를 변환된 필드 DCT 코드 블록들로 변환할 수 있도록 배열되는 요소를 포함하는 것을 특징으로 하는 다운 변환방법.
  6. 제 1항에 있어서,
    상기 단계 b)는 오퍼레이터 [Qdit]를 수신 필드 DCT 코딩 블록에 인가하는 단계를 포함하며, 상기 [Qdit]는 다음 식으로 주어지고,
    Figure 112000026821317-pat00133
    여기서, [d]는 일반적으로 다음 구조를 갖는 다운 샘플링 필터이고,
    Figure 112000026821317-pat00134
    여기서, [f]는 저역 통과 시메트릭 FIR 필터이고, 여기서 [IT]는 일반적으로 다음 구조를 갖는 수직 IDCT 오퍼레이터이고,
    Figure 112000026821317-pat00135
    여기서, [FT]는 N 포인트 DCT 기반 벡터를 포함하는 것을 특징으로 하는 다운 변환방법.
  7. 제 6항에 있어서,
    다음의 오퍼레이터를 청구항 6항에 청구에 기재한 바와 같은 동작의 결과치에 인가하는 후 처리 단계를 더 포함하는 것을 특징으로 하는 다운 변환방법.
    Figure 112000026821317-pat00136
  8. 제 1항에 있어서,
    상기 단계 a) 및 b)는 오퍼레이터 [QL]을 프레임 DCT 코딩 블록을 포함하는 수신 매크로 블록에 인가하는 단계를 포함하고, 여기서 [QL]은 다음식으로 주어지며,
    Figure 112000026821317-pat00137
    여기서, [US]는 일반적으로 다음 구조를 갖고
    Figure 112000026821317-pat00138
    여기서, [IT]는 일반적으로 다음 구조를 갖는 수직 IDCT 오퍼레이터이며,
    Figure 112000026821317-pat00139
    여기서, [FT]는 N 포인트 DCT 기반 벡터를 포함하고, [d]는 일반적으로 다음 구조를 갖는 다운 샘플링 필터이며,
    Figure 112000026821317-pat00140
    여기서 [f]는 저역통과 시메트릭 FIR 필터인 것을 특징으로 하는 다운 변환방법.
  9. 제 1항에 있어서,
    상기 단계 a) 및 b)는 오퍼레이터 [QL]를 혼합된 프레임 및 필드 DCT 코딩 블록을 포함하는 수신 매크로 블록에 인가하는 단계를 포함하고, 여기서, 오퍼레이터 [QL]는 다음 식으로 주어지고,
    Figure 112000026821317-pat00141
    여기서, [OP]는 단지 프레임 DCT 코딩 블록만을 갖는 화상에 대해 단지 [US][IT]만 을 포함하는 매트릭스이고, 여기서 [OP]는 프레임과 필드 DCT 코딩 블록 모두를 갖는 화상에 대해 [IT] 및 [US][IT]를 포함하는 매트릭스이며, 여기서, [US]는 일반적으로 다음 구조를 갖고,
    Figure 112000026821317-pat00142
    여기서, [IT]는 일반적으로 다음 구조를 갖는 수직 IDCT 필터이며,
    Figure 112000026821317-pat00143
    여기서, [FT]는 N 포인트 DCT 기반 벡터를 포함하고, [d]는 일반적으로 다음 구조를 갖는 다운 샘플링 필터이며,
    Figure 112000026821317-pat00144
    여기서, [f]는 저역 통과 시메트릭 FIR 필터인 것을 특징으로 하는 다운 변환방법.
  10. 제 1항에 있어서,
    상기 프레임 및 필드 DCT 코딩 블록은 관련 모션 벡터를 가지며, 상기 단계 c)는
    c1) 상기 모션 벡터를 이용하여 예측 기준 픽셀을 선택하는 단계와; 그리고
    c2) 재 구성된 필드 블록을 형성하도록, 상기 선택된 예측 기준 픽셀을 잉여 필드 블록에 적절히 가산하는 단계를 포함하는 것을 특징으로 하는 다운 변환방법.
  11. 제 1항에 있어서,
    상기 프레임 및 필드 DCT 코딩 블록은 관련 완전 해상도 수직 및 수평 모션 벡터를 가지며, 상기 단계 c가
    c1) 완전 해상도 모션 벡터에 근거하여 예측 기준 픽셀을 선택하는 단계와;
    c2) 상기 예측 기준 픽셀을 업 샘플링하는 단계와;
    c3) 상기 업 샘플링된 예측 기준 픽셀을 다운 샘플링하는 단계와; 그리고
    c4) 재구성된 필드 블록을 형성하기 위해, 상기 업 샘플링 및 다운 샘플링된 예측 기준 픽셀을 잉여 필드 블록에 가산하는 단계를 포함하는 것을 특징으로 하는 다운 변환방법.
  12. 제 11항에 있어서,
    필드 화상에 대한 필드 예측에 대해, 상기 단계 c2)와 c3)는 다음 오퍼레이터를 예측 기준 픽셀에 인가하는 단계를 포함하고,
    Figure 112000026821317-pat00145
    여기서, [d0]는 일반적으로 다음 구조를 갖는 다운 샘플링 필터이고,
    Figure 112000026821317-pat00146
    여기서, [u]는 다음 구조를 갖는 업 샘플링 필터이며,
    Figure 112000026821317-pat00147
    여기서, [g1] 및 [g2]는 다음식으로부터 유도되고,
    Figure 112000026821317-pat00148
    여기서, [d]는 일반적으로 다음 구조를 갖는 다운 샘플링 필터이고,
    Figure 112000026821317-pat00149
    여기서, [f] = f(-n+1)....f(n)= 저역 통과 시메트릭 FIR 필터인 것을 특징으로 하는 다운 변환방법.
  13. 제11항에 있어서,
    필드화상에 대한 필드예측에 관하여, 단계 c2) 및 c3)는 다음 오퍼레이터를 예측 기준 픽셀에 인가하는 단계를 포함하고,
    Figure 112000026821317-pat00150
    여기서, [d0]는 일반적으로 다음 구조를 갖는 다운 샘플링 필터이고,
    Figure 112000026821317-pat00151
    여기서, [u]는 일반적으로 다음 구조를 갖는 업 샘플링 필터이며,
    Figure 112000026821317-pat00152
    여기서, [g1]과 [g2]는 다음 식에 의하여 구해지고,
    Figure 112000026821317-pat00153
    여기서, [d]는 일반적으로 다음 구조를 갖는 다음 샘플링 필터이고,
    Figure 112000026821317-pat00154
    여기서, [f] = f(-n+1) … F(n) = 저역 통과 시메트릭 FIR 필터이고, [LI]는 일반적으로 다음 구조를 갖는 선형 보간기인 것을 특징으로 하는 다운 변환방법.
    Figure 112000026821317-pat00155
  14. 제 11항에 있어서,
    프레임 화상에 대한 필드 예측에 관하여, 단계 c2) 및 c3는 다음 오퍼레이터를 예측기준 픽셀에 인가하는 단계를 포함하고,
    [d0][u]
    여기서, [d0]는 일반적으로 다음 구조를 갖는 다운 샘플링 필터이고,
    Figure 112000026821317-pat00156
    여기서, [u]는 일반적으로 다음 구조를 갖는 업샘플링 필터이고,
    Figure 112000026821317-pat00157
    여기서, [d]는 일반적 다음 구조를 갖는 다운 샘플링 필터이고,
    Figure 112000026821317-pat00158
    여기서, [f]=f(-n+1)…f(n) = 저역 통과 시메트릭 FIR 필터인 것을 특징으로 하는 다운 변환방법.
  15. 제 11항에 있어서,
    프레임 화상에 대한 프레임 예측에 관하여, 상기 단계 c2) 및 c3)는 다음 오퍼레이터를 예측 기준 픽셀에 인가하는 단계를 포함하고,
    Figure 112000026821317-pat00159
    여기서, [d0]는 일반적으로 다음 구조를 갖는 다운 샘플링 필터이며,
    Figure 112000026821317-pat00160
    여기서, do1과 do2는 다음식으로 주어지고,
    Figure 112000026821317-pat00161
    여기서, [u]는 일반적으로 다음 구조를 갖는 업샘플링 필터이고,
    Figure 112000026821317-pat00162
    여기서, [gx1] 및 [gx2]는 다음 식으로 부터 유도되고,
    Figure 112000026821317-pat00163
    여기서, [d]는 일반적으로 다음 구조를 갖는 다운 샘플링 필터이며,
    Figure 112000026821317-pat00164
    여기서, [f] = f(-n+1)…f(n)=저역 통과 시메트릭 FIR 필터인 것을 특징으로 하는 다운 변환방법.
  16. 수신된 제 1 DCT 계수 블록을 재구성된 필드 픽셀 블록으로 디코딩하는 방법으로써,
    a) 중간 잉여 또는 필셀값들을 생성하기 위해, 수직 오퍼레이터 및 수평 오퍼레이 터를 제 1 DCT 계수 블록에 인가하는 단계와, 여기서 상기 수직 오퍼레이터는 상기 제 1 DCT 계수 블록과 제 2 및 제 3 DCT 계수 블록의 계수들에 동시에 인가되고, 상기 제 2 DCT 계수 블록은 상기 제 1 DCT 계수 블록 위에 있고, 상기 제 3 DCT 계수 블록은 상기 제 1 DCT 계수 블록 아래에 있고, 상기 수평 오퍼레이터는 상기 제 1 DCT 계수 블록과 그리고 비동시적으로 상기 제 2 및 제 3 DCT 계수 블록에 인가되며; 그리고
    b) 재구성된 픽셀들을 형성하기 위해, 예측 기준 픽셀들을 상기 중간 잉여값에 적절히 가산하는 단계를 포함하는 것을 특징으로 하는 다운 변환방법.
  17. 제 16항에 있어서,
    상기 단계 a)는 중간 픽셀값을 생성하기 위해, 수직 다운 샘플링 필터 오퍼레이터를 인가하는 단계를 더 포함하는 것을 특징으로 다운 변환방법.
  18. 제 17항에 있어서,
    상기 수직 오퍼레이터 및 수직 다운 샘플링 필터 오퍼레이터가 단일 오퍼레이터로서 결합되는 것을 특징으로 하는 다운 변환방법.
  19. 제 18항에 있어서,
    제1, 제2 및 제 3 코딩 DCT 계수 블록은 필드 DCT 코딩 블록이며, 여기서 단계 a)는 오퍼레이터 [Qdit]를 수신 필드 DCT 코딩 블록에 인가하는 단계를 포함하고, 여기 서, 오퍼레이터 [Qdit] 다음 식으로 주어지며,
    [Qdit] = [d] [IT]
    여기서, [d]는 일반적으로 다음 구조를 갖는 다운 샘플링 필터이며,
    Figure 112000026821317-pat00165
    여기서, [f]는 저역 통과 시메트릭 FIR 필터이고 [IT]는 일반적으로 다음 구조를 갖는 수직 IDCT 필터이며,
    Figure 112000026821317-pat00166
    여기서, [FT]는 N 포인트 DCT 기반 벡터를 포함하고, [T]는 M 포인트 DCT 기반 벡터를 포함하는 수평 오퍼레이터인 것을 특징으로 하는 다운 변환방법.
  20. 프레임 DCT 코딩 블록을 갖는 수신된 제 1 DCT 계수 매크로 블록을 재 구성된 필드 픽셀 블록들로 디코딩하는 방법으로써,
    a) 중간 잉여 또는 픽셀값들을 생성하기 위해, 수직 오퍼레이터 및 수평 오퍼레이터를 제 1 DCT 계수 매크로 블록에 인가하는 단계와, 여기서 상기 수직 오퍼레이터는 상기 제 1 DCT 계수 매크로 블록과 제 2 및 제 3 DCT 계수 매크로 블록의 계수들에 동시에 인가되고, 상기 제 2 DCT 계수 매크로 블록은 상기 제 1 DCT 계수 매크로 블록 위에 있고, 상기 제 3 DCT 계수 매크로 블록은 상기 제 1 DCT 계수 매크로 블록 아래에 있고, 상기 수평 오퍼레이터는 상기 제 1 DCT 계수 매크로 블록과 그리고 비동시적으로 상기 제 2 및 제 3 DCT 계수 매크로 블록에 인가되며; 그리고
    b) 재 구성된 픽셀들을 형성하기 위해, 예측 기준 픽셀들을 상기 중간 잉여값에 적절히 가산하는 단계를 포함한느 것을 특징으로 하느 다운 변환방법.
  21. 제 20항에,
    상기 단계 a)는 제 1 DCT 계수 매크로 블록의 프레임 DCT 코딩 블록과 제 2 및 제 3 DCT 계수 매크로 블록의 프레임 DCT 코딩 블록을 필드 DCT 코딩 블록 변환하기 위해, 언셔플링 오퍼레이터를 인가하는 단계를 더 포함하는 것을 특징으로 하는 다운 변환방법.
  22. 제21항에 있어서,
    상기 단계 a)가 중간 잉여 또는 픽셀 값을 생성하기 위해, 수직 다운 샘플링 필터를 인가하는 단계를 더 포함하는 것을 특징으로 하는 다운 변환방법.
  23. 제 21항에 있어서,
    상기 언셔플링 오퍼레이터는 복수의 요소를 가지며, 상기 언셔플링 오퍼레이터의 거의 모든 요소들이 제 1 DCT 계수 매크로 블록의 프레임 코딩 블록과 제 2 및 제 3 DCT 계수 매크로 블록의 프레임 DCT 코딩 블록을 대응 필드 DCT 코딩 블록으로 변환하도록 배열되는 것을 특징으로 하는 다운 변환방법.
  24. 제 20항에 있어서,
    제 1, 제 2 및 제 3 DCT 계수 매크로 블록은 프레임 DCT 코딩 블록과 필드 코딩 블록의 혼합 블록으로 구성되며, 여기서 단계 a)는 언셔플링 오퍼레이터를 인가하는 단계를 더 포함하고, 여기서, 언셔플링 오퍼레이터는 복수의 요소를 가지며, 언셔플링 오퍼레이터의 거의 모든 요소들이 프레임 DCT 코딩 블록과 필드 DCT 코딩 블록의 혼합 블록을 대응 필드 DCT 코딩 블록으로 변환하도록 배열되는 것을 특징으로 하는 다운 변환방법.
  25. 제 20항에 있어서,
    제1, 제 2 및 제 3 매크로 블록은 프레임 DCT 코딩 블록을 포함하고, 여기서 단계 a)는 오퍼레이터 [QL]를 제 1, 제 2 및 제 3 매크로 블록에 인가하는 단계를 포함하며, 여기서, 오퍼레이터 [QL]은 다음식으로 주어지고,
    [QL] = [US] [IT] [d]
    여기서, [US]는 일반적으로 다음 구조를 가지며,
    Figure 112000026821317-pat00167
    여기서, [IT]는 일반적으로 다음 구조를 갖는 수직 오퍼레이터이고,
    Figure 112000026821317-pat00168
    여기서, [FT]는 N 포인트 DCT 기반 벡터를 포함하고, [d]는 일반적으로 다음 구조를 갖는 다운 샘플형 필터이며,
    Figure 112000026821317-pat00169
    여기서, [f]는 저역 통과 시메트릭 FIR 필터인 것을 특징으로 하는 다운 변환방법.
  26. 제 20항에 있어서,
    상기 단계 a)는 오퍼레이터 [QL]를 제 1, 제 2 및 제 3 매크로블록에 인가하는 단계를 포함하고,
    [QL] = [OP][d]
    여기서, [OP]는 단지 프레임 DCT 코딩 블록만을 갖는 화상에 대해 단지 [US][IT]만을 포함하는 매트릭스이고, 여기서 [OP]는 프레임 및 필드 DCT 코딩 블록 모두를 갖는 화상에 대해 [IT] 및 [US] [IT]를 포함하는 매트릭스이며, 여기서[US]는 일반적으로 다음 구조를 가지며,
    Figure 112000026821317-pat00170
    여기서, [IT]는 일반적으로 다음 구조를 갖는 수직 IDCT 필터이며,
    Figure 112000026821317-pat00171
    여기서, [FT]는 N포인트 DCT 기반 벡터를 포함하고, [d]는 일반적으로 다음 구조를 갖는 다운 샘플링 필터이며,
    Figure 112000026821317-pat00172
    여기서, [f]는 저역 통과 시메트릭 FIR 필터인 것을 특징으로 하는 다운 변환방법.
  27. 타겟 DCT 계수 매크로 블록으로부터 픽셀들을 재구성하도록 배열된 장치로써,
    타겟 DCT 계수 매크로 블록 및 인접 DCT계수 매크로 블록에 동시에 인가되도록 충분한 사이즈를 갖는 수직 오퍼레이터와;
    수직 IDCT 필터와 연계하여 중간 픽셀값들을 생성하기 위해, 상기 타겟 DCT 계수 매크로 블록을 수평으로 필터링하도록 배열된 수평 오퍼레이터와; 그리고
    재구성된 픽셀들을 형성하기위해, 예측 기준 픽셀값들을 중간 픽셀 값들에 가산하도록 배열된 가산기를 포함하는 것을 특징으로 하는 다운 변환장치.
  28. 제 27항에 있어서,
    다운 샘플링된 중간 픽셀값을 생성하도록 배열된 수직 다운 샘플링 필터를 더 포함하는 것을 특징으로 하는 다운 변환방법
KR1020000077013A 1999-12-15 2000-12-15 디코더 루프에서 메모리 감소를 통한 ｍｐｅｇ 엔코딩고화질 시퀀스의 저해상도로의 다운 변환 방법 및 장치 KR100700515B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/460,645 1999-12-15
US09/460,645 US6628714B1 (en) 1998-12-18 1999-12-15 Down converting MPEG encoded high definition sequences to lower resolution with reduced memory in decoder loop

Publications (2)

Publication Number Publication Date
KR20010067382A KR20010067382A (ko) 2001-07-12
KR100700515B1 true KR100700515B1 (ko) 2007-03-28

Family

ID=23829521

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000077013A KR100700515B1 (ko) 1999-12-15 2000-12-15 디코더 루프에서 메모리 감소를 통한 ｍｐｅｇ 엔코딩고화질 시퀀스의 저해상도로의 다운 변환 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100700515B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308631A (ja) * 1992-03-03 1993-11-19 Toshiba Corp 動画像符号化装置
JPH06205438A (ja) * 1992-12-28 1994-07-22 Sony Corp 画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
KR20010076690A (ko) * 2000-01-27 2001-08-16 구자홍 디지털 동영상 수신 장치
KR20010076691A (ko) * 2000-01-27 2001-08-16 구자홍 디지털 동영상 수신 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308631A (ja) * 1992-03-03 1993-11-19 Toshiba Corp 動画像符号化装置
JPH06205438A (ja) * 1992-12-28 1994-07-22 Sony Corp 画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
KR20010076690A (ko) * 2000-01-27 2001-08-16 구자홍 디지털 동영상 수신 장치
KR20010076691A (ko) * 2000-01-27 2001-08-16 구자홍 디지털 동영상 수신 장치

Also Published As

Publication number Publication date
KR20010067382A (ko) 2001-07-12

Similar Documents

Publication Publication Date Title
US6628714B1 (en) Down converting MPEG encoded high definition sequences to lower resolution with reduced memory in decoder loop
KR100370076B1 (ko) 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법
KR100667606B1 (ko) 다운 변환 시스템용 업 샘플링 필터
Segall et al. Spatial scalability within the H. 264/AVC scalable video coding extension
US6487249B2 (en) Efficient down conversion system for 2:1 decimation
US6873655B2 (en) Codec system and method for spatially scalable video data
KR100289587B1 (ko) 화상 신호 부호화 방법 및 화상 신호 부호화 장치, 화상 신호 복호화 방법 및 화상 신호 복호화장치,및 화상 신호 기록매체
US6690836B2 (en) Circuit and method for decoding an encoded version of an image having a first resolution directly into a decoded version of the image having a second resolution
AU2010219337B2 (en) Resampling and picture resizing operations for multi-resolution video coding and decoding
US5974184A (en) Intra-macroblock DC and AC coefficient prediction for interlaced digital video
US6504872B1 (en) Down-conversion decoder for interlaced video
US6519288B1 (en) Three-layer scaleable decoder and method of decoding
US6249549B1 (en) Down conversion system using a pre-decimation filter
EP0644695A2 (en) Spatially scalable video encoding and decoding
KR19980080157A (ko) 이산 코사인 변환 인코드 화상의 다운 변환을 위한 주파수 영역 필터링
KR100711597B1 (ko) 감소된 해상도의 비디오 신호를 유도하기 위한 디코딩 장치 및 방법
JP2006518568A (ja) ビデオ符号化
Tan et al. A frequency scalable coding scheme employing pyramid and subband techniques
KR100739130B1 (ko) 고화질 시퀀스의 저해상도로 시퀀스로의 다운 변환에서드리프트 보상방법
KR100323676B1 (ko) 디지털 동영상 수신 장치
KR100700515B1 (ko) 디코더 루프에서 메모리 감소를 통한 ｍｐｅｇ 엔코딩고화질 시퀀스의 저해상도로의 다운 변환 방법 및 장치
Cieplinski A review of image and video coding standards
Kim et al. Hierarchical coding of DTV and HDTV for satellite transmission
Wang A comparison of proposed techniques for high definition television
Mathew Drift correction for hierarchical top down encoding schemes employing DCT subband decomposition

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20101223

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee