KR20090115176A

KR20090115176A - 화상 부호화와 화상 복호화의 방법 및 장치

Info

Publication number: KR20090115176A
Application number: KR1020097017977A
Authority: KR
Inventors: 아키유키 타니자와; 타케시 츄조
Original assignee: 가부시끼가이샤 도시바
Priority date: 2007-04-16
Filing date: 2008-03-18
Publication date: 2009-11-04
Also published as: US20100086028A1; EP2136566A4; CA2680140A1; RU2009135396A; MX2009009947A; BRPI0809255A2; WO2008132890A1; CN101622881A; EP2136566A1; ZA200906254B; AU2008245277A1; JPWO2008132890A1; TW200850013A

Abstract

화상 부호화 장치는, 입력 화상 신호에 대해 예측을 실시해서 예측 화상 신호를 생성하는 예측기와, 상기 입력 화상 신호와 상기 예측 화상 신호의 차를 취해 예측잔차신호를 생성하는 감산기와, 상기 예측잔차신호를 변환해서 변환계수를 생성하는 변환기와, 양자화 매트릭스에 대해 변조를 실행하여 변조 양자화 매트릭스를 얻는 변조부와, 상기 변조 양자화 매트릭스를 이용하여 상기 변환계수를 양자화해서 양자화 변환계수를 생성하는 양자화기 및, 상기 양자화 변환계수와 변조 인덱스를 부호화해서 부호화 데이터를 생성하는 부호화기를 갖는다.

Description

화상 부호화와 화상 복호화의 방법 및 장치 {IMAGE ENCODING AND IMAGE DECODING METHOD AND DEVICE}

본 발명은, 동화상 또는 정지화상을 위한 화상 부호화와 화상 복호화의 방법 및 장치에 관한 것이다.

근래, 부호화 효율을 대폭적으로 향상시킨 화상 부호화 방법이 ITU-T와 IS0/IEC와의 공동으로, ITU-T Rec. H. 264 및 IS0/IEC 14496-10(이하, H. 264라 함)으로서 권고되어 있다. IS0/IEC MPEG-1, 2 및 4, ITU-T H. 261 및 H. 263이라는 부호화 방식은, 8×8 블록의 2차원 DCT를 이용한 압축을 실행한다. 이에 대해, H. 264에서는 4×4 블록의 2차원 정수 직교변환(直交變換)을 이용하고 있기 때문에, IDCT 미스매치(mismatch : 불일치)를 고려할 필요가 없어 16비트 레지스터에 의한 연산이 가능하다.

더욱이 H. 264 하이 프로파일에서는, HDTV 사이즈와 같은 고해상 화상을 향한 주관화질(主觀畵質) 개선을 위한 1개의 툴(tool)로서, 직교변환계수의 양자화 처리에 대해 양자화 매트릭스가 도입되어 있다(J. Lu, "Proposal of quantization weighting for H. 264/M PEG-4AVC Professional Profiles", JVT of IS0/IEC MPEG & ITU-T VCEG, JVT-K029, March. 2004(문헌 1) 참조). 양자화 매트릭스는, 인간의 시각 특성을 이용하여 주파수 영역에서의 양자화 계수의 가중(weighting)을 실행함으로써 주관화질을 향상시키는 툴로서, IS0/IEC MPEG-2, 4 등에서도 이용되고 있다. H. 264에서 이용되고 있는 양자화 매트릭스는, 시퀀스(sequence), 픽처(picture) 또는 슬라이스(slice) 단위로 절환하는 것이 가능하지만, 보다 작은 처리 블록 단위로 변경할 수는 없다.

한편, 양자화 매트릭스를 매크로 블록 단위로 절환할 수 있는 기술이 예컨대 일본국 특개 2006-262004호 공보(JP-A 2006-262004(KOKAI))에 의해 제안되어 있다. 그러나, JP-A 2006-262004에서는 양자화 매트릭스의 이용가부(利用可否)의 절환 밖에 할 수 없고, 부호화 대상 화상의 국소성(局所性)을 고려한 양자화 처리의 최적화는 불가능하다.

부호량(符號量) 제어를 위해, 전(前) 픽처로부터의 부호량의 변화량을 이용하여 양자화 매트릭스를 변경하는 방식이 예컨대 일본국 특개 2003-189308호 공보(JP-A 2003-189308(KOKAI))에 제안되어 있다. 그러나, JP-A 2003-189308에서도 문헌 1과 마찬가지로 양자화 블록 단위의 양자화 처리의 최적화는 불가능하다.

본 발명의 목적은, 동화상이나 정지화상의 부호화 시에 화상의 국소성을 이용한 양자화 처리의 최적화를 가능하게 하여 높은 부호화 효율을 실현하는 것을 목적으로 한다.

본 발명의 한 관점에 의하면, 입력 화상 신호에 대해 예측을 실행해서 예측 화상 신호를 생성하는 것과; 상기 입력 화상 신호와 상기 예측 화상 신호의 차를 취해 예측잔차신호(豫測殘差信號)를 생성하는 것과; 상기 예측잔차신호를 변환해서 변환계수를 생성하는 것과; (a) 양자화 매트릭스, (b) 양자화를 위한 연산 정밀도를 제어하는 제어 파라미터, (c) 양자화의 거칠기를 나타내는 양자화 파라미터 및, (d) 양자화의 거칠기를 나타내는 양자화 파라미터에 양자화 스케일을 대응시킨 테이블의 어느 하나에 대해 변조를 실행하여 양자화에 관한 변조 결과를 얻는 것과; 상기 변조 결과를 이용하여 상기 변환계수를 양자화(量子化)해서 양자화 변환계수를 생성하는 것과; 상기 양자화 변환계수와 상기 변조에 관한 인덱스를 부호화해서 부호화 데이터를 생성하는 것을 구비하여 이루어진 화상 부호화 방법을 제공한다.

본 발명의 다른 관점에 의하면, 양자화 변환계수와 변조에 관한 인덱스를 포함한 부호화 데이터를 복호(復號)하는 것과; 상기 인덱스에 따라 (a) 양자화 매트릭스, (b) 양자화를 위한 연산 정밀도를 제어하는 제어 파라미터, (c) 양자화의 거칠기를 나타내는 양자화 파라미터 및, (d) 양자화의 거칠기를 나타내는 양자화 파라미터에 양자화 스케일을 대응시킨 테이블의 어느 하나에 대해 변조를 실행하여 양자화에 관한 변조 결과를 얻는 것과; 상기 변조 결과를 이용하여 상기 양자화 변환계수를 역양자화(逆量子化)해서 역양자화 변환계수를 생성하는 것과; 상기 역양자화 변환계수를 역변환시켜 예측잔차신호를 생성하는 것과; 복호 화상 신호를 이용하여 예측을 실행해서 예측 화상 신호를 생성하는 것과; 상기 예측 화상 신호와 상기 예측잔차신호를 가산(加算)함으로써 복호 화상 신호를 생성하는 것을 구비하는 화상 복호화 방법을 제공한다.

도 1은 제1 실시형태에 따른 화상 부호화 장치를 나타낸 블록도이다.

도 2는 부호화 프레임 내의 부호화 순서를 나타낸 도면이다.

도 3은 양자화 블록 사이즈를 나타낸 도면이다.

도 4a는 4×4 화소 블록을 나타낸 도면이다.

도 4b는 8×8 화소 블록을 나타낸 도면이다.

도 5a는 4×4 화소 블록의 주파수 위치를 나타낸 도면이다.

도 5b는 8×8 화소 블록의 주파수 위치를 나타낸 도면이다.

도 6은 도 1 중의 양자화 매트릭스 변조부를 나타낸 블록도이다.

도 7은 도 6 중의 변조 매트릭스 설정부를 나타낸 블록도이다.

도 8은 변조 매트릭스의 변조 모델의 1예를 나타낸 도면이다.

도 9는 변조 매트릭스의 변조 모델의 다른 예를 나타낸 도면이다.

도 10은 도 6 중의 변조 양자화 매트릭스 생성부를 나타낸 블록도이다.

도 11a는 부호화 슬라이스의 슬라이스 양자화 매트릭스에 대해 설명하는 도면이다.

도 11b는 부호화 슬라이스의 블록 양자화 매트릭스에 대해 설명하는 도면이다.

도 11c는 블록 양자화 매트릭스와 변조 매트릭스 및 변조 양자화 매트릭스의 관계에 대해 설명하는 도면이다.

도 11d는 부호화 슬라이스의 변조 양자화 매트릭스에 대해 설명하는 도면이다.

도 12는 제1 실시형태에서의 부호화 처리의 순서를 나타낸 플로우차트이다.

도 13은 제1 실시형태에서의 신택스 구조의 계략도이다.

도 14는 제1 실시형태에서의 시퀀스 파라미터 세트 신택스의 데이터 구조의 1예를 나타낸 도면이다.

도 15는 제1 실시형태에서의 픽처 파라미터 세트 신택스의 데이터 구조의 1예를 나타낸 도면이다.

도 16은 제1 실시형태에서의 슬라이스 헤더 신택스의 데이터 구조의 1예를 나타낸 도면이다.

도 17은 제1 실시형태에서의 매크로 블록 헤더 신택스의 데이터 구조의 1예를 나타낸 도면이다.

도 18은 제1 실시형태에서의 매크로 블록 헤더 신택스의 데이터 구조의 1예를 나타낸 도면이다.

도 19는 제1 실시형태에서의 슬라이스 헤더 신택스의 데이터 구조의 1예를 나타낸 도면이다.

도 20은 제1 실시형태에서의 신택스 엘리먼트의 시멘틱스를 나타낸 도면이다.

도 21은 제2 실시형태에 따른 화상 부호화 장치를 나타낸 블록도이다.

도 22는 제3 실시형태에 따른 화상 부호화 장치를 나타낸 블록도이다.

도 23은 제4 실시형태에 따른 화상 부호화 장치를 나타낸 블록도이다.

도 24는 제4 실시형태에서의 정밀도 변조 인덱스와 양자화 파라미터 변동값 및 양자화 스케일 변동값의 관계를 나타낸 도면이다.

도 25는 제4 실시형태에서의 시퀀스 파라미터 세트 신택스의 데이터 구조의 1예를 나타낸 도면이다.

도 26은 제4 실시형태에서의 픽처 파라미터 세트 신택스의 데이터 구조의 1예를 나타낸 도면이다.

도 27은 제4 실시형태에서의 슬라이스 헤더 신택스의 데이터 구조의 1예를 나타낸 도면이다.

도 28은 제4 실시형태에서의 매크로 블록 헤더 신택스의 데이터 구조의 1예를 나타낸 도면이다.

도 29는 1실시형태에 따른 슬라이스 헤더 신택스의 데이터 구조의 1예를 나타낸 도면이다.

도 30은 제5 실시형태에 따른 화상 복호화 장치를 나타낸 블록도이다.

도 31은 제6 실시형태에 따른 화상 복호화 장치를 나타낸 블록도이다.

도 32는 제7 실시형태에 따른 화상 복호화 장치를 나타낸 블록도이다.

도 33은 제8 실시형태에 따른 화상 복호화 장치를 나타낸 블록도이다.

이하, 도면을 참조해서 본 발명의 실시형태를 설명한다.

< 화상 부호화 장치 >

먼저, 화상 부호화에 관한 제1∼제4 실시형태에 대해 설명한다.

(제1 실시형태)

도 1을 참조하면, 본 발명의 제1 실시형태에 따른 화상 부호화 장치에서는, 동화상 또는 정지화상의 입력 화상 신호(120)가 소화소(小畵素) 블록 단위, 예컨대 매크로 블록 단위로 분할되어, 부호화 유닛(100)에 입력된다. 여기서는, 매크로 블록이 부호화 처리의 기본적인 처리 블록 사이즈로 되어 있다. 이하, 입력 화상 신호(120)의 부호화 대상 매크로 블록을 단지 대상(對象) 블록이라 한다.

부호화 유닛(100)에서는, 블록 사이즈나 예측 화상 신호의 생성방법이 다른 복수의 예측 모드가 준비되어 있다. 예측 화상 신호의 생성방법은, 구체적으로는 크게 나누어 부호화 대상의 프레임 내에서만 예측 화상을 생성하는 프레임 내(內) 예측과, 시간적으로 다른 복수의 참조 프레임을 이용하여 예측을 실행하는 프레임 간(間) 예측이 있다. 본 실시형태에서는, 설명을 간단히 하기 위해 도 2에 나타내어져 있는 바와 같이 좌상(左上 : 왼쪽 위)으로부터 우하(右下 : 오른쪽 아래)로 향하여 부호화 처리가 이루어져 가는 것으로 한다.

매크로 블록은, 전형적으로 예컨대 도 3에 나타낸 바와 같은 16×16 화소 블록이다. 그러나, 매크로 블록은 32×32 화소 블록 단위이어도 8×8 화소 블록 단위이어도 좋다. 또 매크로 블록의 형상은, 반드시 정방격자(正方格子 : 정사각형 격자)일 필요는 없다.

부호화 유닛(100)에 대해 설명한다. 감산기(101)에서는 입력 화상 신호(120)와 예측기(102)로부터의 예측 화상 신호(121)의 차가 취해짐으로써, 예측잔차신호(122)가 생성된다. 예측잔차신호(122)는, 모드 판정부(103) 및 변환기(104)에 입력된다. 모드 판정부(103)에 대해서는 후에 설명한다. 변환기(104)에서는, 예측잔차신호(122)에 대해 예컨대 이산(離散) 코사인 변환(DCT)과 같은 직교변환이 실시됨으로써, 변환계수(123)가 생성된다. 변환기(104)에서의 변환에는, 이산 사인 변환, 웨이브렛 변환이나, 독립 성분 해석 등의 수법을 이용해도 좋다.

변환기(104)로부터 출력되는 변환계수(123)는, 양자화기(量子化器; 105)에 입력된다. 양자화기(105)에서는, 예컨대 부호화 제어부(113)에 의해 부여되는 양자화 파라미터와 후에 설명하는 양자화 매트릭스 변조부(110)에 의해 생성되는 변조 양자화 매트릭스(133)에 따라 변환계수(123)가 양자화되어, 양자화 변환계수(124)가 생성된다.

양자화 변환계수(124)는 역양자화기(106) 및 엔트로피 부호화기(111)에 입력된다. 양자화 변환계수(124)에 대해, 예컨대 부호화 제어부(113)로부터 부여되는 양자화 파라미터와 변조 양자화 매트릭스(133)에 따라 역양자화가 실시됨으로써, 역양자화 변환계수(125)가 생성된다.

역양자화기(106)로부터의 역양자화 변환계수(125)에 대해, 역변환기(107)에서 변환기(104)의 변환과 역(逆)의 변환, 예컨대 역이산(逆離散) 코사인 변환(IDCT)과 같은 역직교변환(逆直交變換)이 실시된다. 이 역직교변환에 의해, 예 측잔차신호(122)와 동일한 신호(복호 예측잔차신호라 함; 126)가 재생된다. 복호 예측잔차신호(126)는 가산기(108)에 입력된다. 가산기(108)에서는, 복호 예측잔차신호(126)와 예측기(102)로부터의 예측 화상 신호(121)가 가산됨으로써, 국부 복호 신호(127)가 생성된다. 국부 복호 신호(127)는, 참조 메모리(109)에 참조 화상 신호로서 축적된다. 참조 메모리(109)에 축적된 참조 화상 신호는, 예측기(102)에 의한 예측 시에 참조된다.

예측기(102)에서는, 참조 메모리(109)에 축적된 참조 화상 신호의 화소(부호화가 끝난 참조 화소; 이를 부호화 완료 참조 화소라 함)를 이용하여, 프레임 간 예측 또는 프레임 내 예측이 행해진다. 그 결과, 예측기(102)에 의해 대상 블록에 대해 선택 가능한 모든 예측 화상 신호(121)가 생성된다. 다만, H. 264의 프레임 내 예측, 예컨대 도 4a에 나타낸 4×4 화소 블록 사이즈 예측 또는 도 4b에 나타낸 8×8 화소 블록 사이즈 예측과 같이, 대상 블록 내에서 국부 복호 신호를 작성하지 않으면 다음의 예측을 할 수 없는 예측 모드에 관해서는, 예측기(102)의 내부에서 변환/양자화 및 역양자화/역변환을 실행해도 좋다.

예측기(102)에서의 예측 모드의 예로서, 프레임 간 예측에 대해 설명한다. 프레임 간 예측에서 대상 블록을 예측할 때, 참조 메모리(109)에 축적되어 있는 복수의 부호화 완료 참조 화소를 이용하여 블록 매칭이 행해진다. 블록 매칭에서는, 원화상(原畵像)인 입력 화상 신호(120)의 대상 블록의 화소와 복수의 참조 화소 사이의 편차량(어긋남량)이 계산된다. 예측기(102)로부터, 이 편차량을 이용하여 예측된 화상 중 원화상과의 차가 작은 화상이 예측 화상 신호(121)로서 출력된다. 이 편차량은 정수 화소 정밀도나 분수 화소 정밀도로 계산되고, 이 편차량을 나타내는 정보가 움직임 벡터(motion vector) 정보(128)로서 예측 모드 정보(129)에 부가된다.

예측기(102)에 의해 생성된 예측 화상 신호(121) 및 상기 예측잔차신호(122)는 모드 판정부(103)에 입력된다. 모드 판정부(103)에서는, 입력 화상 신호(120), 예측 화상 신호(121), 예측잔차신호(122), 예측기(102)에서 이용한 예측 모드를 나타내는 모드 정보(129) 및, 후에 설명하는 변조 인덱스(132)에 기초해서, 최적의 예측 모드의 선택(이를 모드 판정이라 함)을 실행한다.

보다 구체적으로 설명하면, 모드 판정부(103)는 다음 식과 같은 코스트(cost : 비용)를 이용한 모드 판정을 실행한다. 예측 모드 정보(129)에 관한 부호량을 OH, 변조 인덱스(132)의 부호량을 INDEX, 입력 화상 신호(120)와 국부 복호 신호(127) 사이의 차분 절대값의 합을 SAD로 하면, 모드 판정부(103)는 이하의 모드 판정식을 이용한다.

여기서 K는 코스트, λ는 정수(定數)를 각각 나타낸다. λ는 양자화 스케일이나 양자화 파라미터의 값에 기초해서 결정될 수 있다. 이와 같이 해서 얻어진 코스트(K)를 기초로, 모드 판정이 이루어진다. 즉, 코스트(K)가 가장 작은 값을 부여하는 모드가 최적의 예측 모드로 선택된다.

모드 판정부(103)에서는, 식 (1) 대신 (a) 예측 모드 정보(129)만, (b) 변조 인덱스(132)만, (c) SAD만, 또는 (d) 예측잔차신호(122)의 절대합만을 이용하여 모 드 판정을 실행해도 좋고, 이들 (a), (b), (c) 및 (d) 중 어느 하나에 하다마르(Hadamard) 변환을 실시한 값, 또는 거기에 근사한 값을 이용해도 좋다. 그리고, 모드 판정부(103)에서 입력 화상 신호(120)의 액티비티를 이용하여 코스트를 작성해도 좋고, 양자화 스케일 또는 양자화 파라미터를 이용하여 코스트 함수를 작성해도 좋다.

또 다른 예로서, 가부호화(假符號化) 유닛을 준비하고, 모드 판정부(103)에서 가부호화 유닛에 의해, 어느 예측 모드에서 생성된 예측잔차신호(122)를 실제로 부호화한 경우의 부호량과, 입력 화상 신호(120)와 국부 복호 신호(127) 사이의 제곱 오차를 이용하여 모드 판정을 실행해도 좋다. 이 경우의 모드 판정 식은, 이하와 같이 된다.

여기서, J는 부호화 코스트, D는 입력 화상 신호(120)와 국부 복호 화상(116) 사이의 제곱 오차를 나타내는 부호화 왜곡이다. 한편, R은 가부호화에 의해 예측된 부호량을 나타내고 있다.

식 (2)의 부호화 코스트(J)를 이용하면, 예측 모드마다 가부호화와 국부 복호 처리를 필요로 하기 때문에, 회로 규모 또는 연산량(演算量)은 증대된다. 반면,보다 정확한 부호량과 부호화 왜곡을 이용하기 때문에, 높은 부호화 효율을 유지할 수 있다. 식 (2)에 대신하여 R만, 또는 D만을 이용해 코스트를 산출해도 좋고, R을 근사한 값 또는 D를 근사한 값을 이용하여 코스트 함수를 작성해도 좋다. 이하에서는, 식 (2)에 나타낸 부호화 코스트(J)를 이용하여 설명을 실시한다.

모드 판정부(103)로부터 출력되는 예측 모드 정보(129; 움직임 벡터 정보를 포함함)는, 엔트로피 부호화기(111)에 입력된다. 엔트로피 부호화기(111)에서는, 양자화 변환계수(124), 예측 모드 정보(129), 양자화 매트릭스(131) 및 변조 매트릭스(132) 등의 정보에 대해, 엔트로피 부호화, 예컨대 허프만 코딩화((Huffman coding)나 산술부호화 등이 행해져, 부호화 데이터가 생성된다.

엔트로피 부호화기(111)에 의해 생성된 부호화 데이터는 부호화 유닛(100)으로부터 출력되어, 다중화를 거쳐 출력 버퍼(112)에 일단 축적된다. 출력 버퍼(112)에 축적된 부호화 데이터는, 부호화 제어부(113)가 관리하는 출력 타이밍에 따라 화상 부호화 장치의 외부로 부호화 비트 스트림(130)으로서 출력된다. 부호화 비트 스트림(130)은, 도시하지 않은 축적계(蓄積系; 축적 미디어) 또는 전송계(傳送系; 통신 네트워크)로 송출된다.

(양자화 매트릭스 변조부(110)에 대해)

양자화 매트릭스 변조부(110)에서는, 부호화 제어부(113)로부터 주어지는 양자화 매트릭스(131)에 대해, 모드 판정부(103)로부터의 변조 인덱스(132)에 따라 변조가 실행됨으로써, 변조 양자화 매트릭스(133)가 생성된다. 변조 양자화 매트릭스(133)는 양자화기(105) 및 역양자화기(106)에 부여되어 양자화 및 역양자화에 이용된다.

보다 구체적으로 설명하면, 변조 양자화 매트릭스(133)에 따라 양자화기(105)에서 실행되는 양자화는 다음 식으로 표시된다.

여기서, Y는 양자화 변환계수(124)를 나타내고, X는 양자화 전의 변환계수(123)를 나타낸다. f는 양자화에서의 절상(切上)/절사(切捨)를 제어하는 라운딩 오프셋(rounding offset)이다. Q_step은 양자화 스케일(양자화 스텝 사이즈, 또는 양자화 폭이라고 함)을 나타내고 있다. Q_step의 값이 클 때는 거칠게 양자화가 행해지고, 작을 때는 세밀한 양자화가 행해진다. Q_step은 양자화 파라미터에 기초해서 변경된다. (i,j)는 양자화기(105)에서의 양자화 블록 내의 주파수 성분 위치를 xy 좌표로 나타내고 있다. (i,j)는 양자화 블록이 도 5a에 나타낸 4×4 화소 블록인가, 도 5b에 나타낸 8×8 화소 블록인가 등에 따라 달라진다.

일반적으로, 변환 블록 사이즈와 양자화 블록 사이즈는 일치하고 있다. 본 실시형태에서는, 복수의 블록 사이즈의 변환 양자화 블록 사이즈를 갖고 있다. 변환 양자화 블록 사이즈는 다른 예측 모드로 설정되어 있고, 다른 예측 모드로서 모드 판정부(103)에서 판단된다.

식 (3) 중의 MQM은 변조 양자화 매트릭스(133)를 나타내고, idx는 변조 인덱스(132)를 나타내고 있다. 변조 인덱스(132)는, 양자화 매트릭스 변조부(110)에 의해 실행되는 양자화 매트릭스(131)의 변조에 관한 인덱스이다. 변조 인덱스(132)에 대해서는, 후에 상세히 설명한다.

변환계수(123)의 부호를 분리하는 경우, 식 (3)은 이하와 같이 변형된다.

여기서, sign(X)는 X의 부호를 되돌리는 함수로서, 변환계수(123)의 부호를 나타낸다. abs(X)는 X의 절대값을 되돌리는 함수이다.

연산을 간단화하기 위해, 양자화 스케일 Q_step을 2의 멱승(冪乘)으로 설계하면, 식 (3)은 이하와 같이 변형된다.

여기서, Q_bit은 2의 멱승으로 설계된 양자화 스케일을 나타내고 있다.

이 경우, 제산(除算)을 비트 시프트로 치환하는 것이 가능하게 되어, 제산에 필요한 처리량을 경감시킬 수 있다.

연산 정밀도를 될 수 있는 대로 억제하기 위해, 주파수 성분마다 연산 정밀도를 변경할 수도 있다. 이 경우, 식 (3)은 이하와 같이 변형된다.

여기서, LS는 양자화 처리의 연산 정밀도를 주파수 성분마다 조정하기 위한 연산 정밀도 제어 파라미터이다. 즉, LS는 양자화 처리를 실행할 때 주파수 위치마다 연산의 스케일을 바꾸기 위해 이용되는 바, 레벨 스케일(LevelScale) 또는 법칙 조절(NormAdjust) 등으로 불린다. 연산 정밀도 제어 파라미터(LS)는, 변환계수의 고주파 성분(도 5a 및 도 5b의 각각의 오른쪽 아래의 영역)에 절대값이 큰 값이 발생하는 확률이 낮은 성질을 이용하고 있다. 양자화와 역양자화에서 연산의 스케일을 합치도록, LS와 후에 설명하는 ILS를 설계할 필요가 있다.

다음에는, 양자화 매트릭스 변조부(110)로부터 출력되는 변조 양자화 매트릭스(133)에 대해 설명한다. 변조되기 전의 양자화 매트릭스(131)는, 변환계수(123)의 주파수 성분마다 양자화의 거칠기를 바꿀 수 있는 매트릭스이다. 4×4 화소 블록에 대응하는 양자화 매트릭스(131)의 예를 다음 식으로 나타낸다.

도 5a와 식 (7)의 주파수 성분 (i,j)는 1 대 1로 대응하고 있고, 오른쪽 아래의 값일수록 높은 주파수 성분에 대한 매트릭스값을 나타내고 있다. 예컨대, 주파수 위치(0, 3)의 매트릭스값은 28로 되어 있다. 양자화 매트릭스(131)와 변조 양자화 매트릭스(133)의 관계는 다음 식으로 표시된다.

여기서, QM은 양자화 매트릭스(131)를 나타내고, MQM은 변조 양자화 매트릭스(133)를 나타내고 있다. MP는 변조 강도를 나타내는 변조 파라미터를 나타내고 있다. 이 경우, 변조 인덱스(132)는 식 (8)에 나타낸 바와 같은 변조방법(양자화 매트릭스를 변조 파라미터의 가산(加算)에 의해 변조시킨다고 하는 방법)과 변조 파라미터(MP)를 지시한다. 한편, 변조 인덱스(132)는, 이러한 변조방법이 기재된 테이블의 번호이어도 좋다.

식 (8)에서는 양자화 매트릭스(QM)와 변조 파라미터(MP)를 가산함으로써 QM을 변조하는 예를 나타내고 있으나, 그 외에 QM과 MP 사이에서 감산, 승산, 제산 또는 비트 시프트 등을 실행해서 QM을 변조해도 좋다.

한편, 양자화 매트릭스(QM)에 대해 주파수 성분마다 다른 변조를 실행하는 경우는, 다음 식이 이용된다.

여기서, MM은 변조 매트릭스를 나타내고 있다. 이 경우, 변조 인덱스(132)는 식 (9)에 나타낸 바와 같은 변조방법(양자화 매트릭스를 변조 매트릭스의 가산에 의해 변조시킨다고 하는 방법)과 변조 매트릭스(MM)를 지시한다. 한편, 변조 인덱스(132)는, 이러한 변조방법이 기술된 테이블의 번호이어도 좋다.

여기서는 양자화 매트릭스(QM)와 변조 매트릭스(MM)를 가산함으로써 QM을 변조하는 예를 나타내고 있으나, 그 외에 QM과 MM 사이에서 감산, 승산, 제산 또는 비트 시프트 등을 실행해서 QM을 변조해도 좋다. 식 (8)은, 식 (9)의 변조 매트릭스(MM)의 전 성분이 같은 값을 취하는 것과 같은 의미이다.

식 (10)은 4×4 사이즈의 양자화 블록에 대한 변조 매트릭스(MM)의 예를 나타내고 있다. 변조 매트릭스(MM)도 양자화 매트릭스(QM)와 마찬가지로, 도 5a에 나타낸 주파수 위치의 관계와 1 대 1로 대응하고 있다.

양자화 매트릭스(QM)가 주파수 성분에 대해 고정된 값인 경우는, 식 (10) 대신 다음 식을 이용해도 좋다.

여기서, QM은 QM(i,j)의 전(全) 성분이 같은 값을 취하고 있는 것을 나타내고 있다.

변조 파라미터(MP) 및 변조 매트릭스(MM)는, 양자화 매트릭스(QM)에 변조를 실행하기 위해 도입되어 있다. QM의 변조를 실행하지 않는 경우, 또는 MP가 0, 또는 MM의 전 성분이 0인 경우, MQM은 다음 식으로 산출되는 것과 같은 의미이다.

양자화 매트릭스(QM)의 변조를 실행하지 않는 경우, 다음 식에 나타낸 변조 매트릭스(MM)를 식 (9)에 대입해도 식 (12)와 같은 결과가 얻어진다.

이와 같이 해서, 양자화기(105)에서 변조 양자화 매트릭스(133; MM)를 이용한 양자화가 행해진다. 여기서는, 양자화 매트릭스 변조부(110)에 부호화 제어 부(113)로부터 양자화 매트릭스(131)가 입력 파라미터로서 부여되는 것으로 하였으나, 양자화 매트릭스 변조부(110)에 양자화 매트릭스(131)가 부여되지 않더라도 좋다. 그 경우, 양자화 매트릭스 변조부(110)에 미리 결정된 초기 양자화 매트릭스, 예컨대 다음 식으로 나타내어지는 매트릭스 QM_Int(i,j)가 설정된다.

식 (14)에서는 초기 양자화 매트릭스(QM(i,j))의 모든값이 16인 예를 나타내었으나, 다른 값이어도 좋은 바, 주파수 성분마다 다른 값을 설정하도록 되어 있어도 좋다. 화상 부호화 장치와 화상 복호화 장치 사이에서 미리 결정된 같은 초기 양자화 매트릭스가 설정되면 좋다.

양자화 및 역양자화에 필요로 되는 양자화 파라미터는, 부호화 제어부(113)에서 설정되어 있다. 양자화기(105)에서 및 역양자화기(106)에서 이용되는 양자화 파라미터는 1 대 1로 대응하고 있다. 양자화기(105)로부터 출력된 양자화 변환계수(124)는, 변조 양자화 매트릭스(133)와 함께 역양자화기(106)에 입력된다. 역양자화기(106)에서는, 양자화기(105)로부터 부여되는 양자화 변환계수(124)에 대해, 변조 양자화 매트릭스(133)와 양자화 파라미터를 이용하여 역양자화가 행해진다. 식 (3)의 양자화에 대응하는 역양자화는, 다음 식으로 표시된다.

여기서, Y는 양자화 변환계수(124), X'는 역양자화 변환계수(125)를 나타내고, MQM은 양자화 시에 이용된 변조 양자화 매트릭스(132)를 나타내고 있다.

식 (4)의 양자화에 대응하는 역양자화는, 다음 식으로 표시된다.

여기서, sign(Y)는 Y의 부호를 되돌리는 함수이다.

연산을 간단화하기 위해, Q_step를 2의 멱승(冪乘)으로 하면, 식 (5)에 대응하는 역양자화는 다음 식으로 표시된다.

식 (17)에 의하면, 승산을 비트 시프트로 치환할 수 있어, 승산에 필요한 처리량을 경감시킬 수 있다.

한편, 연산 정밀도를 억제하기 위해 주파수 성분마다 연산 정밀도를 변경하는, 식 (6)에 대한 역양자화는 다음 식으로 나타내어진다.

여기서, ILS는 역양자화 처리의 연산 정밀도를 주파수 성분마다 조정하기 위한 연산 정밀도 제어 파라미터이다. ILS는 역양자화 처리를 실행할 때, 주파수 위치마다 연산의 스케일을 바꾸기 위해 이용되는 바, 레벨 스케일(LevelScale) 또는 법칙 조절(NormAdjust) 등으로 불린다. ILS로서는, 양자화에서 이용한 연산 정밀도 제어 파라미터에 대응하는 값이 이용된다. H. 264 하이 프로파일의 역양자화 (오차신호 4×4 화소 블록)를 다음 식으로 나타낸다. 즉, H. 264에서는 적은 연산량으로 16비트에서의 연산 정밀도를 실현하기 위해, 다음 식과 같은 역양자화가 행해진다.

여기서, 레벨 스케일 ILS(m,i,j)는 식 (20)으로 정의되는 값이고, QP는 0으로부터 51까지의 값을 취하는 양자화 파라미터이다.

여기서, Norm(m,i,j)는 식 (5)에 나타낸 스케일 조정 파라미터로서, 각 요소는 식 (6)에 표시되어 있다.

양자화기(105)에서 양자화 시에 이용된 양자화 파라미터는, 역양자화기(106)에 대해서도 부호화 제어부(113)에 의해 설정된다. 이에 따라, 양자화기(105) 및 역양자화기(106)의 쌍방에서 반드시 동일한 양자화 파라미터가 이용된다. 그리고, 양자화기(105) 및 역양자화기(106)에서는, 같은 변조 양자화 매트릭스(133)가 이용된다.

도 1에서의 감산기(101)→변환기(104)→양자화기(105)→역양자화기(106)→역변환기(107)→가산기(108)→참조 메모리(109)의 루프를 부호화 루프라 부른다. 부호화 루프는, 대상 블록에서 선택할 수 있는 1개의 예측 모드와, 1개의 변조 인덱스와, 1개의 블록 사이즈의 조합에 대해 처리를 실행한 경우에 일순(一巡)한다. 여기서 말하는 조합은, 구체적으로는 예컨대 인터 예측 모드와 변조 인덱스 0과 8×8 블록 사이즈의 조합, 인터 예측 모드와 변조 인덱스 0과 4×4 블록 사이즈의 조합 등을 가리킨다. 대상 블록에 대해, 이러한 부호화 루프의 처리가 여러 번 행해져 취할 수 있는 모두의 조합이 종료되면, 다음의 블록의 입력 화상 신호(120)가 입력되어 다음의 부호화가 실행된다.

부호화 제어부(113)는, 발생 부호량의 피드백 제어, 양자화 특성 제어 및 모드 판정 제어 등을 실행함으로써, 발생 부호량의 제어를 실행하는 레이트 제어, 예측기(102)의 제어, 외부입력 파라미터의 제어라고 하는 부호화의 처리 전반의 제어를 실행한다. 부호화 제어부(113)는, 출력 버퍼(112)의 제어를 더 실행해서 적절한 타이밍에서 부호화 비트 스트림(130)을 외부로 출력시키는 기능을 갖는다.

부호화 유닛(100) 및 부호화 제어부(113)의 처리는, 하드웨어에 의해 실현하는 것도 가능하지만, 컴퓨터를 이용하여 소프트웨어(프로그램)에 의해 실현하는 것도 가능하다.

(양자화 매트릭스 변조부(110)의 구체예)

다음에는, 양자화 매트릭스 변조부(110)의 구체예를 설명한다. 도 6에 나타낸 바와 같이, 양자화 매트릭스 변조부(110)는 변조 매트릭스 설정부(201)와 변조 양자화 매트릭스 생성부(202)를 갖고 있다. 도 1 중의 모드 판정부(103)로부터 출력되는 변조 인덱스(132)는, 변조 매트릭스 설정부(201)에 입력된다. 도 1 중의 부호화 제어부(113)로부터 입력 파라미터로서 설정되는, 또는 미리 보유되어 있는 양자화 매트릭스(131)는 변조 양자화 매트릭스 생성부(202)에 입력된다.

변조 매트릭스 설정부(201)에서는, 변조 인덱스(132)에 대응하는 변조 매트릭스(134)가 변조 양자화 매트릭스 생성부(202)에 대해 설정된다. 변조 양자화 매트릭스 생성부(202)에서는, 양자화 매트릭스(131)에 대해 변조 매트릭스(134)를 이용하여 변조가 실시됨으로써, 변조 양자화 매트릭스(133)가 생성된다. 생성된 변조 양자화 매트릭스(133)는, 양자화 매트릭스 변조부(110)로부터 출력된다.

(변조 매트릭스 설정부(201))

도 7에 나타낸 바와 같이, 변조 매트릭스 설정부(201)는 절환기(301)와, 생성방법 또는 변조 파라미터가 다른 변조 매트릭스 생성부(302, 303 및 304)를 갖고 있다. 절환기(301)는, 입력되어 온 변조 인덱스(132)의 값에 따라 절환되어, 변조 매트릭스 생성부(302, 303 및 304)의 어느 하나를 액티브하게 하는 기능을 갖고 있다. 예컨대, 변조 인덱스(132)가 idx = 0일 때, 절환기(301)는 변조 매트릭스 생성부(302)를 동작시킨다. 마찬가지로, 절환기(301)는 idx = 1일 때는 변조 매트릭스 생성부(303)를 동작시키고, idx = N-1일 때는 변조 매트릭스 생성부(304)를 동작시킨다. 동작한 변조 매트릭스 생성부에 의해 변조 매트릭스(134)가 생성된다. 생성된 변조 매트릭스(134)는, 변조 양자화 매트릭스 생성부(202)에 대해 설정된다.

변조 매트릭스(134)의 구체적인 생성방법을 설명한다. 여기서는, 변조 매트릭스(134)의 생성을 위한 2개의 생성 모델에 대해 나타낸다. 이하, 변조 매트릭스(134)의 생성방법을 변조 모델이라 부른다. 식 (24) 및 식 (25)에 나타낸 바와 같은 변조 매트릭스(134)의 성분의, 제1행 제1열의 성분으로부터의 거리를 시가지(市街地) 거리로서 다음 식으로 정의한다.

예컨대, 도 5a에서 (i,j) = (3, 3)에 위치하는 주파수 성분의 거리는 6으로 된다. 한편, 도 5b에 나타낸 바와 같은 8×8 블록인 경우, (i,j) = (3, 7)에 위치하는 주파수 성분의 거리는 10으로 된다.

본 실시형태와 같이 변조 매트릭스(134)가 양자화 매트릭스(131)에 가산되는 예에서는, 양자화 매트릭스(131) 및 변조 매트릭스(134)의 각 주파수 성분은 1 대 1로 대응한다. 즉 r의 값(변조 매트릭스(134)의 매트릭스값)이 커질수록, 고주파수 성분에 대한 변조를 실행하고, r이 작아지면 저주파수 성분에 대한 변조를 실행한다. 이하, 양자화 매트릭스(131)를 변조하기 위한 변조 모델에 대해 설명한다.

도 8은 선형 함수로 정의되는 변조 모델로서, 다음 식으로 표시된다.

식 (24) 중의 a는 변조의 강도를 제어하는 파라미터이다. 이 후, 이 파라미 터(a)를 변조 제어 파라미터라 부른다. 변조 제어 파라미터(a)는, 정(正)의 값을 취할 때는 도 8 중의 제1상한(象限)에 값을 갖고, 부(負)의 값을 취할 때는 제4상한(象限)에 값을 갖는다. 이에 따라 변조 제어 파라미터(a)가 큰 값을 가질수록 고주파 성분에 대해 강한 변조가 실시된다.

도 9는 선형 함수와 사인(sine) 함수를 이용한 경우의 변조 모델로서, 다음 식으로 표시된다.

식 (25) 중의 b, c는 a와 마찬가지로 변조 제어 파라미터이다. 사인 함수는, 선형 함수에 대해 왜곡을 가하는 항으로 되어 있다. 변조 제어 파라미터(c)는, 사인 함수의 변화의 주기를 제어하는 파라미터이다. 변조 제어 파라미터(b)는, 왜곡의 강도를 제어하는 파라미터이다.

여기서는, 변조 모델로서 선형 함수 모델 또는 사인 함수 모델을 이용한 예를 나타내고 있으나, 변조 모델의 별개의 예로서 대수 모델, 자기상관함수(自己相關函數) 모델, 비례·역비례 모델, N차 함수(N ≥ 1) 모델, 또는 가우스(Gauss) 함수나 라플라스(Laplace) 함수를 포함하는 일반화 가우스 함수 모델 등을 이용해도 좋다. 어느 모델을 이용하는 경우도, 화상 부호화 장치에서 이용된 변조와 동등한 변조가 화상 복호화 장치에서도 이용될 수 있다는 점이 중요한데, 이는 화상 부호화 장치에서 변조 인덱스(132)에 의해 변조 모델을 지시하도록 함으로써 가능하게 된다.

변조 매트릭스 생성부(302, 303 및 304)는 편의상, 각각 인덱스 0, 인덱스 1 및, 인덱스 N-1에 대응시키고 있다. 그러나, 변조 매트릭스 생성부를 인덱스 수(N)의 값에 따라 준비해도 좋고, 인덱스의 다른 값에 대해 같은 변조 매트릭스 생성부를 이용해도 좋다. 예컨대, 표 1∼표 3은 변조 인덱스(132)에 대한 변조 모델과 변조 제어 파라미터의 조합예를 나타내고 있다.

표 1∼표 3 중, N/A로 나타낸 기호는 현재 규정되어 있는 변조 모델에서는 대상 파라미터를 이용하지 않음을 의미하고 있다. 인덱스 0은, 변조를 실행하지 않는 경우, 즉 식 (12)를 이용하는 경우를 나타내고 있다.

표 1은 변조 인덱스가 2비트(N=4종류)로 규정되어 있는 경우의 변조 모델과 변조 제어 파라미터의 조합예이다. 이 경우, 식 (24)에 나타낸 변조 모델만을 이용하기 때문에, 도 7 중의 변조 매트릭스 생성부는 1개만으로 좋다. 변조 인덱스에 따라, 미리 설정되어 있는 변조 제어 파라미터(a)가 독출되어 변조 매트릭스가 생성된다.

표 2는 변조 인덱스가 3비트(N=8종류)로 규정되고 또한 복수의 변조 모델을 이용한 때의 예를 나타내고 있다. 이 경우, 식 (24) 및 식 (25)의 2개의 변조 모델을 이용하고 있다. 표 1과 마찬가지로, 미리 결정된 변조 제어 파라미터에 따라 변조 매트릭스가 생성된다.

표 1에 나타낸 바와 같이, 1개의 변조 제어 파라미터만으로 표현되는 변조 모델을 이용하고 있는 경우, 변조 인덱스의 값을 변조 제어 파라미터에 직접 대응시켜도 좋다. 이 경우의 예는, 표 3에 나타내어져 있다. 표 1 및 표 2에 있어서는 미리 정해진 테이블에 따라 변조 매트릭스가 생성되는데 반해, 표 3의 경우는 양자화 매트릭스의 변조의 강도를 직접 변경할 수 있다. 즉, 미리 설정해 놓을 필요가 없고, 필요에 따라 큰 값을 직접 설정해서 변조 매트릭스를 생성할 수 있다.

(변조 양자화 매트릭스 생성부(202))

도 10에 나타낸 바와 같이, 변조 양자화 매트릭스 생성부(202)는 산술 연산기(401)를 갖고 있다. 산술 연산기(401)는, 가산(加算)을 비롯해서, 감산, 승산, 제산 및 비트 시프트 등의 기본 연산을 실행할 수 있다. 또, 이들 기본 연산을 조합해서, 행렬의 가산, 감산, 승산 및 제산 등도 가능하다.

산술 연산기(401)에서는, 변조 매트릭스 설정부(203)로부터의 변조 매트릭스와 부호화 제어부(113)로부터의 양자화 매트릭스(131)가 입력되어, 양자화 매트릭스(131)에 대해 변조가 실시된다. 본 실시형태에서는, 식 (9)에 나타낸 바와 같은 변조 매트릭스(MM)의 가산에 의해 양자화 매트릭스(131)가 변조되어 변조 양자화 매트릭스(133)가 생성된다. 생성된 변조 양자화 매트릭스(133)는, 변조 양자화 매트릭스 생성부(202)로부터 출력된다.

다음에는, 양자화 매트릭스의 변조에 대해 도 11a, 도 11b, 도 11c 및 도 11d를 이용하여 설명한다. 도 11a는, 식 (12)와 같이 변조 매트릭스를 이용하지 않는 경우에, 각각의 매크로 블록에 할당할 수 있는 양자화 매트릭스를 나타내고 있다. 이 경우, 부호화 슬라이스의 모든 매크로 블록에 대해 같은 양자화 매트릭스(131)가 적용되기 때문에, 도 11a에서는 양자화 매트릭스를 슬라이스 양자화 매트릭스로 기재하고 있다.

한편, 도 11b는 2개의 변조 매트릭스를 이용한 경우(N=2)의 예를 나타내고 있다. 또, 도 11d는 도 11c에 나타낸 4개의 변조 매트릭스를 이용한 경우(N=4)의 예를 나타내고 있다. 도 11c에는, 양자화 매트릭스(131)에 대해 변조 매트릭스 설정부(203)에서 설정된 4개의 변조 매트릭스(203)가 나타내어져 있다. 변조 양자화 매트릭스 생성부(202)에서 식 (9)에 나타낸 바와 같은 변조 매트릭스(MM)의 가산에 의한 변조를 실행함으로써, 도 11b 및 도 11d에 나타낸 바와 같이 부호화 슬라이스 내의 국소적인 영역에서 특성이 다른 양자화 매트릭스(블록 양자화 매트릭스라 함)를 생성할 수 있다. 이에 따라, 부호화 슬라이스 내의 국소적인 영역에서 다른 양자화 매트릭스를 적용하는 것이 가능하게 된다.

(부호화 처리 순서)

다음에는, 도 12를 이용하여 본 실시형태에서의 화상 부호화의 처리 순서에 대해 설명한다. 화상 부호화 장치에 동화상 신호가 입력되면, 부호화 대상의 동화상 프레임 1매가 읽어 들여지고(단계 S0Ol), 읽어 들여진 동화상 프레임이 복수의 매크로 블록으로 분할되며, 매크로 블록 단위의 입력 화상 신호(120)가 부호화 유닛(100)에 입력된다(단계 S002). 이때, 모드 판정부(103)에서는 예측 모드 : mode와 변조 인덱스(132) : index의 초기화 및 부호화 코스트 : min_cost의 초기화가 이루어진다(단계 S003).

다음에, 예측기(102)에서 입력 화상 신호(120)를 이용하여, 대상 블록에 대해 선택할 수 있는 1개의 모드에서의 예측 화상 신호(121)가 생성된다(단계 S 004). 도 12에서는 생략되어 있으나, 다음에 입력 화상 신호(120)와 생성된 예측 화상 신호(121)의 차분이 취해져 예측잔차신호(122)가 생성된다. 생성된 예측잔차신호(122)는 변환기(104)에 의해 직교변환된다(단계 S006의 전반). 이 직교변환에 의해 생성된 변환계수(123)는 양자화기(105)로 입력된다.

한편, 모드 판정부(103)에서 선택된 변조 인덱스(132) : index의 값에 따라 변조 매트릭스가 설정된다(단계 S005). 설정된 변조 매트릭스를 이용하여 양자화 매트릭스 변조부(110)에 의해 변조 양자화 매트릭스(132)가 생성되고, 변조 양자화 매트릭스(132)를 이용하여 양자화기(105)에 의해 변환계수(123)의 양자화가 행해진다(단계 S006의 후반). 여기서는 부호화 왜곡(D)과 부호량(R)의 산출을 실행하고, 식 (3)을 이용하여 부호화 코스트 : cost를 계산한다(단계 S007).

모드 판정부(103)는, 계산된 부호화 코스트 : cost가 최소 코스트 : min_cost보다 작은지 여부를 판별한다(단계 S008). 코스트가 최소 코스트 : min_cost보다 작은 경우(S008의 결과가 YES인 경우)에는, cost로 min_cost를 갱신함과 더불어, 그 때의 예측 모드를 best_mode로서 유지하고, 더욱이 그 때의 변조 인덱스(132) : index를 best_ndex로 유지한다(단계 S009). 동시에, 예측 화상 신호(121)를 내부 메모리에 일시 보유한다(단계 S010).

한편, cost가 최소 코스트인 min_cost보다 큰 경우(S008의 결과가 NO인 경우)에는, 변조 인덱스(132) : index를 인크리먼트하고, 인크리먼트 후의 index가 변조 인덱스(132)의 최후인지 여부를 판정한다(단계 S011). index가 변조 인덱스(132)의 마지막 번호인 IMAX보다도 큰 경우(S011의 결과가 YES인 경우), best_index의 정보가 엔트로피 부호화기(111)로 건네진다. 한편, index가 IMAX보다도 작은 경우(S011의 결과가 NO인 경우)에는, 갱신된 변조 인덱스 index를 이용하여 재차 상기 부호화 루프의 처리가 행해진다.

단계 S010의 결과가 YES인 경우, 다음에 예측 모드 : mode를 인크리먼트하고, 인크리먼트 후의 mode가 예측 모드의 최후인지 여부를 판정한다(단계 S012). mode가 예측 모드의 마지막 번호인 MMAX보다도 큰 경우(S012의 결과가 YES인 경우), best_mode의 예측 모드 정보 및 양자화된 변환계수(123)가 엔트로비 부호화기(111)로 보내져, 변환계수(111)와 이미 확정되어 있는 변조 인덱스(132)의 엔트로피 부호화가 실행된다(단계 S013). 한편, mode가 MMAX보다도 작은 경우(S012의 결과가 NO인 경우), 다음의 mode에 나타낸 예측 모드에 대해 상기 부호화 루프의 처리가 행해진다.

best_mode 및 best_index에서의 부호화가 실행되면, 양자화 변환계수(124)가 역양자화기(106)에 입력되고, 양자화 시에 이용된 변조 인덱스와 같은 best_index에 의해 역양자화가 행해진다(단계 S014의 전반). 또한 역양자화된 변환계수(125)는 역변환기(107)에 입력되고, 역변환이 행해진다(단계 S014의 후반). 재생된 예측잔차신호(126)와 모드 판정부(103)로부터 제공되는 best_mode의 예측 화상 신호(124)가 가산되고, 이에 따라 생성되는 복호 화상 신호(127)가 참조 메모리(109)에 보존된다(단계 S015).

여기서, 1프레임의 부호화 처리가 종료하고 있는지 여부의 판정이 실행된다(단계 S016). 처리가 완료하고 있는 경우(S016의 결과가 YES인 경우), 다음 프레임의 화상 신호가 입력되고, 부호화 처리가 행해진다. 한편, 1프레임의 부호화 처리가 완료하고 있지 않은 경우(8016의 결과가 NO인 경우)에는, 다음의 대상 블록의 화상 신호가 입력되고, 부호화 처리가 계속된다.

(신택스의 부호화 방법)

다음에는, 본 실시형태에 이용되는 신택스의 부호화 방법에 대해 설명한다. 도 13은 본 실시형태에서 이용되는 신택스의 구조의 개략을 나타내고 있다. 신택스는 주로 3개의 파트로 이루어진다. 하이 레벨 신택스(501)에서는, 슬라이스 이상의 상위(上位) 레이어(layer)의 신택스 정보가 담겨져 있다. 슬라이스 레벨 신택스(502)에서는 슬라이스마다 필요한 정보가 명기되어 있고, 매크로 블록 레벨 신택스(503)에서는 매크로 블록마다 필요로 되는 양자화 파라미터의 변경값이나 모드 정보 등이 명기되어 있다.

신택스(501∼503)는, 더 상세한 신택스로 구성되어 있다. 하이 레벨 신택스(501)는, 시퀀스 파라미터 세트 신택스(504)와 픽처 파라미터 세트 신택스(505) 등의 시퀀스 레벨 및 픽처 레벨의 신택스를 포함한다. 슬라이스 레벨 신택스(502)는, 슬라이스 헤더 신택스(506) 및 슬라이스 데이터 신택스(507) 등을 포함한다. 매크로 블록 레벨 신택스(503)는, 매크로 블록 레이어 신택스(508) 및 매크로 블록 프레딕션 신택스(509) 등을 포함하다.

본 실시형태에서 필요로 되는 신택스 정보는, 시퀀스 파라미터 세트 신택스(504), 픽처 파라미터 세트 신택스(505), 슬라이스 헤더 신택스(506) 및 매크로 블록 레이어 신택스(508)인 바, 이하 이들의 각 신택스(504∼506)에 대해 설명한다.

도 14의 시퀀스 파라미터 세트 신택스 내에 나타낸 seq_moduletaed_ quantization_matrix_flag는, 양자화 매트릭스의 변조의 가부, 즉 양자화기(105)가 변조 양자화 매트릭스(133)를 이용하여 양자화를 실행할지 여부(변조 전의 양자화 매트릭스(131)를 이용하여 양자화를 실행할지 여부)를 시퀀스마다 변경할지 말지를 나타내는 플래그이다. 당해 플래그 seq_moduletaed_quantization_matrix_flag가 TRUE일 때는, 양자화 매트릭스의 변조를 이용할지 여부를 시퀀스 단위로 절환하는 것이 가능하게 된다. 한편, 당해 플래그 seq_moduletaed_quantization_matrix_ flag가 FALSE일 때는, 시퀀스 내에서는 양자화 매트릭스의 변조를 이용할 수 없다.

도 15의 픽처 파라미터 세트 신택스 내에 나타낸 pic_moduletaed_ quantization_matrix_flag는, 양자화 매트릭스의 변조의 이용가부를 픽처마다 변경할지 말지를 나타내는 플래그이다. 당해 플래그 pic_moduletaed_quantization _matrix_flag가 TRUE일 때는, 양자화 매트릭스의 변조를 이용할지 여부를 픽처 단위로 절환할 수 있다. 한편, 당해 플래그 pic_moduletaed_quantization_ matrix_flag가 FALSE일 때는, 픽처 내에서는 양자화 매트릭스의 변조를 이용할 수 없다.

도 16의 슬라이스 헤더 신택스 내에 나타낸 s1ice_momuletaed_ quantization_matrix_flag는, 양자화 매트릭스의 변조의 이용가부를 슬라이스마다 변경할지 말지를 나타내는 플래그이다. 당해 플래그 s1ice_modultaed_ quantization_matrix_flag가 TRUE일 때는, 양자화 매트릭스의 변조를 이용할지 말지를 슬라이스 단위로 절환하는 것이 가능하게 된다. 한편, 당해 플래그 s1ice_moduletaed_quantization_matrix_flag가 FALSE일 때는, 슬라이스 내에서는 양자화 매트릭스의 변조를 이용할 수 없다.

도 17의 매크로 블록 레이어 신택스 내에 나타낸 modulation_index는, 변조 인덱스를 나타내고 있다. 신택스 중의 coded_black_pattern은, 당해 블록에 변환계수가 발생하고 있는지를 나타내는 인덱스이다. 당해 인덱스 coded_block_ pattern이 0인 경우, 당해 매크로 블록 내에서는 변환계수가 발생하지 않기 때문에, 복호화할 때 역양자화를 실행할 필요가 없다. 이러한 경우는, 양자화 매트릭스에 관한 정보를 보낼 필요성이 없기 때문에, modulation_index는 송신되지 않는다.

한편, 신택스 중의 mode는, 예측 모드를 나타내는 인덱스이다. 당해 인덱스 mode가 skip 모드를 선택하고 있는 경우, 당해 블록은 마찬가지로 변환계수를 송신하지 않는다. 따라서 modulation_index는 송신되지 않는다. Current ModulatedQuantizationMatrixFlag는, seq_moduletaed_quantization_matrix_flag, pic_moduletaed_quantization_matrix_flag 및 s1ice_moduletaed_quantization_ matrix_flag의 적어도 1개의 플래그가 TRUE일 때에 TRUE로 되고, 이 조건이 충족되지 않는 경우는 FALSE를 취한다. 당해 플래그 CurrentModulatedQuantization MatrixFlag가 FALSE일 때, modulation_index는 송신되지 않고, 변조 인덱스(132)에는 0에 대응하는 값이 설정된다. modulation_index는 표 1 및 표 2에 나타낸 바와 같이 인덱스마다 변조 모델과 변조 제어 파라미터가 결정된 테이블을 미리 갖고 있다.

도 17에 나타낸 macroblock_data 신택스를 도 18에 나타낸 바와 같은 신택스로 변경해도 좋다. 도 18의 신택스에서는, 도 17의 신택스에서의 modulation_index 대신 modulation_strength가 송신된다. modulation_index는, 전술한 바와 같이 변조 모델과 변조 제어 파라미터가 결정된 테이블이 미리 갖고 있다. 한편으로, modulation_strength는 변조 모델이 고정되어 있고, 그 변조 제어 파라미터의 값이 직접 송신된다. 즉, 도 18의 신택스는 표 3에서 설명한 방식에 대응하고 있다. 이 경우, modulation_strength를 송신하기 위한 송신 부호량은 일반적으로 증대하는 반면, 양자화 매트릭스의 변조 강도를 변경하기 위한 자유도가 높기 때문에,보다 유연한 양자화가 가능하게 된다. 따라서, 부호량과 복호 화상의 밸런스를 고려해서 도 17의 신택스와 도 18의 신택스의 어느 것인가를 선택하면 좋다.

도 18에서의 CurrentModulatedQuantizationMatrixFlag는, seq_moduletaed_ quantization_matrix_flag, pic_moduletaed_quantization_matrix_flag 및 s1ice_ moduletaed_quantization_matrix_flag 중 적어도 1개의 플래그가 TRUE일 때에 TRUE로 되고, 이 조건이 충족되지 않는 경우는 FALSE를 취한다. 당해 플래그 CurrentModulatedQuantizationMatrixFlag가 FALSE일 때, modulation_strength는 송신되지 않고, 변조 인덱스(132)에는 0에 대응하는 값이 설정된다.

또 다른 예로서, 도 16에 나타낸 슬라이스 헤더 신택스를 도 19에 나타낸 신택스로 바꾸어도 좋다. 도 19의 신택스와 도 16의 신택스의 차는, s1ice_ moduletaed_quantizatio_matrix_flag가 TRUE인 경우에, s1ice_modulation_length, s1ice_modulation_model 및 s1ice_modulation_type의 3개의 인덱스가 추가로 송신되는 점이다.

도 20에는, 이들 신택스 엘리먼트에 대한 시멘틱스의 예가 나타내어져 있다. s1ice_modulation_length는 변조 인덱스(132)의 최대값을 나타내고 있다. 예컨대, 이 s1ice_modulation_length가 2인 경우, N=4종류의 변조 매트릭스를 이용할 수 있음을 의미한다. s1ice_modulationmodel_model은, 이용하는 변조 모델을 나타내고 있다. 예컨대, 이 s1ice_modulation_model이 0인 경우는 식 (19)를 이용하고, 1인 경우는 식 (20)에 대응하는 변조 모델이 할당될 수 있음을 의미하고 있다. s1ice_modulation_type은, 양자화 매트릭스에 대한 변조 매트릭스의 변조 연산 방법을 규정하고 있다. 예컨대, 이 s1ice_modulation_type이 0인 경우는 가산(加算)에 의한 변조를 실행하고, 4인 경우는 비트 시프트에 의한 변조를 실행하는 것을 의미한다.

이상 설명한 바와 같이, 제1 실시형태에서는 양자화 매트릭스에 대해 변조를 실행하고, 변조 양자화 매트릭스를 이용하여 변환계수에 대해 양자화/역양자화를 실행하며, 양자화 변환계수와 양자화 매트릭스의 변조방법을 나타내는 변조 인덱스를 엔트로피 부호화한다. 따라서, 종래의 기술과 비교해서보다 높은 부호화 효율을 유지하면서, 복호화 측의 연산 코스트를 증가시키지 않는 부호화를 실현할 수 있다. 즉, 대상 블록의 내용 등에 따라 적합한 부호화를 실행할 수 있다.

(제2 실시형태)

양자화기(105) 및 역양자화기(106)가 식 (6) 및 식 (18)에 대응하는 양자화/역양자화를 실행하는 경우, 제1 실시형태와 같이 양자화 매트릭스에 대해 변조를 실행하는 대신, 양자화/역양자화 시의 연산 정밀도를 제어하는 연산 정밀도 제어 파라미터에 대해 변조를 실행해도 좋다. 이 경우, 식 (6) 및 식 (18)은 각각 다음과 같이 변경된다.

여기서, MLS 및 IMLS는 변조된 연산 정밀도 제어 파라미터로서, 다음 식으로 표시된다.

이와 같이 연산 정밀도 제어 파라미터 LS 및 ILS에 변조를 실행하는 것은, 변조 매트릭스의 값의 조정을 행함으로써 양자화 매트릭스에 변조를 행하는 것과 거의 동등하다. 식 (26) 및 식 (27)을 이용하는 경우는, 가산에 더하여, 감산, 승산, 제산 및 비트 시프트 등을 이용하여 연산 정밀도 제어 파라미터 LS 및 ILS를 변조하면 좋다.

도 21은 제2 실시형태에 따른 화상 부호화 장치를 나타내고 있는 바, 도 1에 나타낸 제1 실시형태에 따른 화상 부호화 장치에서의 양자화 매트릭스 변조부(110)가 연산 정밀도 제어 파라미터 변조부(140)로 치환되어 있다.

연산 정밀도 제어 파라미터 변조부(140)에는, 부호화 제어부(113)로부터 식 (28) 중의 LS 또는 식 (29) 중의 ILS에 상당하는 연산 정밀도 제어 파라미터(141) 가 부여되고, 또 모드 판정부(103)로부터 식 (26)∼(29) 중의 idx에 상당하는, 변조방법을 나타내는 변조 인덱스(142)가 부여된다. 연산 정밀도 제어 파라미터 변조부(140)에서는, 변조 인덱스(142)에 의해 나타내어지는 변조방법에 따라 연산 정밀도 제어 파라미터(141)에 대해 변조가 실시되어, 식 (28)의 MLS 또는 식 (29)의 MILS에 상당하는, 변조된 연산 정밀도 제어 파라미터(변조 제어 파라미터라 함; 143)가 생성된다.

변조 제어 파라미터(143)는, 양자화기(105) 및 역양자화기(106)에 부여된다. 양자화기(105) 및 역양자화기(106)에서는, 변조 제어 파라미터(143)에 따라 변환계수(123)의 양자화 및 양자화 변환계수(124)의 역양자화가 실행된다.

이와 같이 제2 실시형태에 의하면, 제1 실시형태에서의 양자화 매트릭스의 변조와 동등한 처리인, 양자화/역양자화 시의 연산 정밀도를 제어하는 연산 정밀도 제어 파라미터의 변조를 실행함으로써, 제1 실시형태와 마찬가지의 효과를 얻을 수 있다.

(제3 실시형태)

양자화기(105) 및 역양자화기(106)가 식 (4) 및 식 (16)에 대응하는 양자화/역양자화를 실행하는 경우, 제1 실시형태와 같이 양자화 매트릭스에 대해 변조를 실행하는 대신, 양자화 파라미터에 변조를 실행해도 좋다. 이 경우, 식 (4) 및 식 (16)은 각각 다음과 같이 변경된다.

여기서, QP_step은 변조 양자화 파라미터로서, 다음 식으로 표시된다.

여기서, Q_step은 양자화 파라미터이다.

이와 같이 양자화 파라미터(Q_step)에 대해 변조를 실행하는 것은, 양자화 매트릭스에 대해 변조를 실행하는 것과 같은 의미이다. 식 (5)와 식 (17), 식 (6)과 식 (18)과 같은 양자화/역양자화에 대해서도, 연산 정밀도 제어 파라미터를 조정함으로써 양자화 파라미터에 대한 변조를 실행할 수 있다.

도 22는 제3 실시형태에 따른 화상 부호화 장치를 나타내고 있는 바, 도 1에 나타낸 제1 실시형태에 따른 화상 부호화 장치에서의 양자화 매트릭스 변조부(110)가 양자화 파라미터 변조부(150)로 치환되어 있다.

양자화 파라미터 변조부(150)에는, 부호화 제어부(113)로부터 식 (32) 중의 Q_step에 상당하는 양자화 파라미터(151)가 부여되고, 또 모드 판정부(103)로부터 식 (30)∼(31) 중의 idx에 상당하는, 변조방법을 나타내는 변조 인덱스(152)가 부여된다. 양자화 파라미터 변조부(150)에서는, 변조 인덱스(152)에 의해 나타내어지는 변조방법에 따라 양자화 파라미터(151)에 대해 변조가 실시되어, 식 (30)∼(32)의 QP_step에 상당하는 변조 양자화 파라미터(변조 양자화 파라미터라 함; 153)가 생성된다.

변조 양자화 파라미터(153)는 양자화기(105) 및 역양자화기(106)에 부여된다. 양자화기(105) 및 역양자화기(106)에서는, 변조 양자화 파라미터(153)에 따라 변환계수(123)의 양자화 및 양자화 변환계수(124)의 역양자화가 실행된다.

이와 같이 제3 실시형태에 의하면, 제1 실시형태에서의 양자화 매트릭스의 변조와 동등한 처리인, 양자화/역양자화 시의 양자화 파라미터의 변조를 실행함으로써, 제1 실시형태와 마찬가지의 효과를 얻을 수 있다.

(제4 실시형태)

도 23은 본 발명의 제4 실시형태에 따른 화상 부호화 장치를 나타내고 있는 바, 도 1에 나타낸 제1 실시형태에 따른 화상 부호화 장치에서의 양자화 매트릭스 변조부(110)가 양자 스케일 테이블 변조부(160)로 치환되어 있다.

양자 스케일 테이블 변조부(160)에는, 부호화 제어부(113)로부터 후에 설명하는 양자 스케일 테이블(161)이 부여되고, 또 모드 판정부(103)로부터 변조방법을 나타내는 변조 인덱스(162)가 부여된다. 양자 스케일 테이블 변조부(160)에서는, 변조 인덱스(162)에 의해 나타내어지는 변조방법에 따라 양자 스케일 테이블(161)에 대해 변조가 실시되어 변조 양자 스케일 테이블(163)이 생성된다.

변조 양자 스케일 테이블(163)은 양자화기(105) 및 역양자화기(106)에 부여된다. 양자화기(105) 및 역양자화기(106)에서는, 변조 양자 스케일 테이블(163)에 따라 변환계수(123)의 양자화 및 양자화 변환계수(124)의 역양자화가 실행된다.

구체적으로 설명하면, 양자 스케일 테이블 변조부(160)는 양자화의 거칠기를 결정하는 양자화 파라미터에 의해 제어되는 양자화 스케일의 변경폭을 설정하는 기능을 갖는다. 이때, 양자화기(105)에서 실행되는 양자화 및 역양자화기(106)에서 실행되는 역양자화는 다음 식으로 표시된다.

여기서 QT_step은 양자화 스케일을 나타내고 있는 바, 이값의 크기에 따라 양자화의 거칠기가 제어된다. 한편, qp는 양자화 파라미터를 나타내고 있는 바, qp에 의해 정해진 양자화 스케일이 도출된다. Tidx는 양자 스케일 테이블에 대한 변조 인덱스(162)를 나타내고 있다. 여기서, qp를 변경하면 양자화 스케일이 변화하고, 양자화의 거칠기도 변화한다.

H. 264와 같은 종래의 동화상 부호화 방식에서는, 양자화 파라미터의 값에 따라 고정의 양자화 스케일이 도출된다. 본 실시형태에서는 변조 인덱스(162)에 의해, 양자화 파라미터를 변경한 때의 양자화 스케일의 폭을 변경할 수 있다.

도 24는 양자화 파라미터와 양자화 스케일의 관계를 나타내고 있다. 본 실시형태에서는, 이와 같이 양자화 파라미터와 양자화 스케일을 대응시킨 테이블을 양자 스케일 테이블이라 부른다. 도 24 중에 나타낸 내어진 원(circle)은, 양자화 파라미터 qp(QP ± i; i = 1, 2, …)를 나타내고 있다. 즉, QP는 기준의 양자화 파라미터(기준 파라미터라 함)이고, 양자화 파라미터(qp)는 QP로부터의 변화를 나타내고 있다. 한편, 원 사이의 거리가 양자화 스케일(Δ)을 나타내고 있다.

도 24의 (a)는, 변조 인덱스(162)가 Tidx = 0일 때에 대응하는, 양자화 스케일의 정밀도를 변경하지 않는 경우(양자 스케일 테이블의 변조를 실행하지 않는 경우)의 양자 스케일 테이블의 예를 나타내고 있다. 도 24의 (a)에 의하면, 양자화 파라미터(qp)를 기준 파라미터(QP)로부터 변경한 경우, 양자화 스케일(Δ)이 양자화 파라미터에 대응해서 선형(線形)으로 변화하고 있다. 이와 같은 양자화 파라미터의 변경은, 주지하는 바와 같이 예컨대 출력 버퍼(112)의 버퍼량에 따라 행해진다.

한편, 도 24의 (b)는 변조 인덱스(162)가 Tidx = 1인 경우의 예로서, 이 예에서는 qp가 ±1까지 증감했을 때의 양자화 스케일(Δ)이 약 2배로 확대되어 있다. 또, 도 24의 (c)는 변조 인덱스(162)가 Tidx = 2인 경우의 예로서, 이 예에서는 qp 가 ±1까지 증감했을 때의 양자화 스케일(Δ)이 절반으로 삭감되어 있다. 그리고, 도 24의 (d)는 변조 인덱스(162)가 Tidx = 3인 경우의 예로서, 이 예에서는 qp가 ±2까지 증감했을 때의 양자화 스케일(Δ)이 절반으로 삭감되어 있다. 여기서, 양자 스케일 테이블을 변조하는 것은, 도 24의 (a)에 나타낸 기준의 양자 스케일 테이블을 도 24의 (b), (c) 및 (d)와 같이 변조 인덱스(162)에 따라 변화시키는 것을 의미하고 있다. 이 경우, 예컨대 도 24의 (a)는 양자 스케일 테이블 변조부(160)에 입력되는 양자 스케일 테이블(161)에 상당하고, 도 24의 (b), (c) 및 (d)가 변조 양자 스케일 테이블(163)에 상당한다.

표 4에는 변조 인덱스(162) : Tidx에 대응하는 양자화 파라미터의 변동값과, 그 때의 양자화 스케일의 변동값이 나타내어져 있다. 표 4에 따라, 주어진 qp로부터 대상 블록에 대응하는 양자화 스케일의 변경폭이 결정되어 QT_step이 설정된다. 이 테이블 정보를 정밀도 변조 정보(603)라 부른다. 이와 같이, 변조 인덱스(162)를 변경함으로써, 매크로 블록 단위로 양자화 스케일의 정밀도를 변경할 수 있다.

다음에는 본 실시형태에서의 신텍스에 대해 설명한다. 신택스 구조는, 제1 실시형태에서 설명한 도 13과 동일하기 때문에 설명을 생략한다.

도 25의 시퀀스 파라미터 세트 신택스 내에 나타낸 seq_moduletaed_ quantization_precision_flag는, 양자화 정밀도의 변조의 이용가부를 시퀀스마다 변경할지 말지를 나타내는 플래그이다. 당해 플래그 seq_moduletaed_ quantization_precision_flag가 TRUE일 때는, 양자화 파라미터에 대응하는 양자화 스케일의 정밀도 변조를 실행할지 여부를 시퀀스 단위로 절환하는 것이 가능하게 된다. 한편, 당해 플래그 seq_moduletaed_quantization_precision_flag가 FALSE일 때는, 시퀀스 내에서는 양자화 파라미터에 대응하는 양자화 스케일의 정밀도 변조를 이용할 수 없다.

도 26의 픽처 파라미터 세트 신택스 내에 나타낸 pic_moduletaed_ quantization_precision_flag는, 양자화 정밀도의 변조의 이용가부를 픽처마다 변경할지 말지를 나타내는 플래그이다. 당해 플래그 pic_moduletaed_ quantization_precision_flag가 TRUE일 때는, 양자화 파라미터에 대응하는 양자화 스케일의 정밀도 변조를 이용할지 여부를 픽처 단위로 절환할 수 있다. 한편, 당해 플래그 pic_moduletaed_quantization_precision_flag가 FALSE일 때는, 픽처 내에서는 양자화 파라미터에 대응하는 양자화 스케일의 정밀도 변조를 이용할 수 없다.

도 27의 슬라이스 헤더 신택스 내에 나타낸 s1ice_moduletaed_ quantization_precision_flag는, 양자화 정밀도의 변조의 이용가부를 슬라이스마다 변경할지 말지를 나타내는 플래그이다. 당해 플래그 s1ice_moduletaed_ quantization_precision_flag가 TRUE일 때는, 양자화 파라미터에 대응하는 양자화 스케일의 정밀도 변조를 이용할지 여부를 슬라이스 단위로 절환할 수 있다. 한편, 당해 플래그 s1ice_moduletaed_quantization_precision_flag가 FALSE일 때는, 슬라이스 내에서는 양자화 파라미터에 대응하는 양자화 스케일의 정밀도 변조를 이용할 수 없다.

도 28의 매크로 블록 레이어 신택스 내에 나타낸 precision_modulation_ index는 정밀도 변조 인덱스를 나타낸다. coded_block_pattern은 당해 블록에 변환 계수가 발생하고 있는지를 나타내는 인덱스이다. 당해 인덱스 coded_block_pattern이 0일 경우, 당해 매크로 블록 내에서는 변환계수가 발생하지 않기 때문에, 복호화할 때 역양자화를 실행할 필요가 없다. 이와 같은 경우는, 양자화 처리에 관한 정보를 보낼 필요성이 없기 때문에, precision_modulation_index는 송신되지 않는다.

한편, mode는 예측 모드를 나타내는 인덱스이다. 당해 인덱스 mode가 skip 모드를 선택하고 있는 경우, 당해 블록은 마찬가지로 변환계수를 송신하지 않는다. 따라서, precision_modulation_index는 송신되지 않는다.

도 28 중에 나타낸 mb_qp_delta는, 양자화 파라미터의 변동값을 나타내고 있다. H. 264와 같은 종래의 동화상 부호화 방식에서는, 당해 매크로 블록의 1개 앞에 부호화된 매크로 블록(전(前) 매크로 블록이라 함)의 양자화 파라미터와 당해 매크로 블록의 양자화 파라미터의 차분값을 부호화하는 신택스로 되어 있다. mb_qp_delta는 이 차분값을 나타내고 있다. 양자화 파라미터가 변화하지 않는 경우, 당해 매크로 블록의 양자화 정밀도는 변경되지 않기 때문에, mb_qp_delta = 0일 때는 precision_modulation_index는 송신되지 않는다.

CurrentModulatedQuantizationPrecisionFlag는, seq_moduletaed_ quantization_precision_flag, pic_moduletaed_quantization_precision_flag 및 slice_moduletaed_quantization_precision_flag의 적어도 하나의 플래그가 TRUE일 때에 TRUE로 되고, 이 조건이 충족되지 않는 경우는 FALSE를 취한다. 당해 플래그 CurrentModulatedQuantizationPrecisionFlag가 FALSE일 때, precision_modulation_ index는 송신되지 않고, 내부의 변조 인덱스는 Tidx = 0이 설정된다. precision_modulation_index는, 표 4에 나타낸 바와 같이 인덱스마다 양자화 파라미터 변동값과 양자화 스케일 변동값이 결정된 테이블을 미리 갖고 있다.

도 27에 나타낸 슬라이스 헤더 신택스를 도 29에 나타낸 바와 같은 신택스로 바꾸어도 좋다. 도 29의 신택스에 의하면, 양자화 정밀도의 변조의 이용가부가 아니라, 슬라이스 레벨에서 양자화 파라미터에 대응하는 양자화 스케일의 변조 인덱스를 바꿀 수 있다. slice_precision_modulation_index는, 양자화 파라미터에 대응하는 양자화 스케일의 변조 인덱스를 나타내고 있다. 만일, 더 미세한 매크로 블록 레벨로 정밀도를 변조하고 싶은 경우는, 도 28에 나타낸 매크로 블록 헤더 신택스로 표시하면 좋다.

여기서, CurrentModulatedQuantizationPrecisionFlag는, 슬라이스 헤더보다 위에 있는 신택스 엘리먼트인 seq_moduletaed_quantization_precision_flag 및 pic_moduletaed_quantization_precision_flag의 적어도 하나가 TRUE일 때에 TRUE로 되고, 이 조건이 충족되지 않는 경우는 FALSE를 취한다. 당해 플래그 CurrentModulatedQuantizationPrecisianFlag가 FALSE를 취하는 경우, s1ice_precision_modulatian_index는 송신되지 않고, 내부의 변조 인덱스는 Tidx = 0이 설정된다.

이상 설명한 바와 같이, 제4 실시형태에서는 양자화 파라미터에 대해 양자화 정밀도를 변경할 수 있는 변조 인덱스를 이용하여, 변환계수에 적합한 양자화 정밀도를 설정해서 양자화/역양자화를 실행하고, 양자화 변환계수와 양자화 정밀도의 변조방법을 나타내는 변조 인덱스를 엔트로피 부호화한다. 따라서, 제1∼제3 실시형태와 마찬가지로 높은 부호화 효율을 유지하면서, 복호화 측의 연산 코스트를 증가시키지 않는 부호화를 실현할 수 있다. 즉, 대상 블록의 내용 등에 따라 적합한 부호화를 실행할 수 있다.

한편, 제1 실시형태에서도 설명한 바와 같이, 선택된 모드에서의 부호화일 때, 복호 화상 신호의 생성은 선택된 모드에 대해서만 실시하면 좋고, 예측 모드 판정을 위한 루프 내에서는 반드시 실행하지 않아도 좋다.

(제1∼제4 실시형태의 변형예)

(1) 제1 실시형태에서는, 부호화 루프를 대상 블록의 모든 조합(組合)에 대해 반복해서 가부호화(假符號化)하는 예를 나타내었다. 그러나, 연산처리를 간단화하기 위해, 미리 선택되기 쉬운 예측 모드, 변조 인덱스 및 블록 사이즈 등에 대해서만 가부호화를 실행하고, 선택되기 어려운, 대상 블록의 조합의 처리를 생략해도 좋다. 이러한 선택적인 가부호화를 실행함으로써, 부호화 효율의 저하를 억제하고, 또 가부호화에 필요로 되는 처리량을 억제할 수 있다.

(2) 제1 실시형태에서는, 표 1∼표 3에 나타낸 바와 같은 변조 모델과 변조 제어 파라미터의 조합 테이블에 의해, 변조 매트릭스가 생성되는 예를 나타내었다. 그러나, 표 1 및 표 2와 같이 미리 이용하는 변조 매트릭스가 고정되어 있는 경우는, 미리 내부 메모리에 변조 매트릭스를 유지하고 있어도 좋다. 이 경우, 매크로 블록마다 변조 매트릭스를 생성하는 처리를 생략할 수 있기 때문에, 연산 코스트를 삭감할 수 있다.

(3) 제1 실시형태에서는, 양자화 매트릭스를 변조하기 위해 양자화 매트릭스와 변조 매트릭스를 가산하는 경우에 대해 설명하였다. 한편, 양자화 매트릭스와 변조 매트릭스 사이에서 감산, 승산, 제산 또는 비트 시프트를 이용하여 양자화 매트릭스에 변조를 실시해도 좋다. 또, 이들의 연산을 조합해서 양자화 매트릭스의 변조를 실행해도 좋다.

마찬가지로, 제2 실시형태에서 연산 정밀도 제어 파라미터와 변조 매트릭스 사이에서, 가산만이 아니라 감산, 승산, 제산 또는 비트 시프트를 이용하여 연산 정밀도 제어 파라미터에 변조를 실시해도 좋다.

마찬가지로, 제3 실시형태에서 양자화 파라미터와 변조 매트릭스 사이에서, 가산만이 아니라 감산, 승산, 제산 또는 비트 시프트를 이용하여 양자화 파라미터에 변조를 실시해도 좋다.

(4) 제1 실시형태에서는, 변조 매트릭스를 생성하기 위해 시가지 거리에 의한 생성 모델을 이용하고 있다. 주파수 성분의 거리를 나타내는 파라미터(r)로서는, 시가지 거리뿐만 아니라, 시가지 거리, 유클리드(Euclid) 거리 등을 포함한 민코프스키(Minkowski) 거리 중에서 적어도 하나를 이용하면 좋다.

(5) 제1∼제4 실시형태에서는, 처리 대상 프레임을 16×16 화소 사이즈 등의 단형(短形) 블록으로 분할하고, 도 2에 나타낸 바와 같이 화면 왼쪽 위의 블록으로부터 오른쪽 아래를 향하여 순차로 부호화하는 경우에 대해 설명하였으나, 부호화 순서는 이에 한정되지 않는다. 예컨대, 오른쪽 아래로부터 왼쪽 위를 향하여 순차로 부호화를 실행해도 좋고, 화면 중앙으로부터 소용돌이 모양으로 주변부를 향하여 순차로 부호화를 실행해도 좋다. 그리고, 오른쪽 위로부터 왼쪽 아래를 향하여 순차로 부호화를 실행해도 좋고, 화면의 주변부로부터 중심부를 향하여 순차로 부호화를 실행해도 좋다.

(6) 제1∼제4 실시형태에서는, 양자화 블록 사이즈를 4×4 화소 블록, 8×8 화소 블록으로 해서 설명을 하였으나, 대상 블록은 균일한 블록 형상으로 할 필요는 없고, 16×8 화소 블록, 8×16 화소 블록, 8×4 화소 블록, 4×8 화소 블록 등의 블록 사이즈이어도 좋다. 또 1개의 매크로 블록 내에서도 균일한 블록 사이즈를 취할 필요는 없고 각각 다른 사이즈의 블록을 혼재시켜도 좋다. 이 경우, 분할 수가 증가하면 분할정보를 부호화하기 위한 부호량이 증가하지만, 변환계수의 부호량과 국부 복호 화상과의 밸런스를 고려해서 블록 사이즈를 선택하면 좋다.

(7) 제1∼제4 실시형태에서는 변환 블록 사이즈와 양자화 블록 사이즈가 같은 경우의 예를 나타내고 있으나, 블록 사이즈가 각각 다르게 되어 있어도 실현은 가능하다. 이 경우도 앞에서 설명한 바와 같이, 부호량과 국부 복호 화상의 밸런스를 고려해서 블록 사이즈의 조합을 선택하면 좋다.

< 화상 복호화 장치 >

다음에는, 화상 복호화에 관한 제5∼제8 실시형태에 대해 설명한다.

(제5 실시형태)

도 30은 도 1∼도 20을 이용하여 설명한 제1 실시형태에 따른 화상 부호화 장치에 대응하는, 제5 실시형태에 따른 화상 복호화 장치를 나타내고 있다. 도 1에 나타낸 화상 부호화 장치로부터 송출되어, 축적계(蓄積系) 또는 전송계(傳送系)를 거쳐 보내져 온 부호화 비트 스트림(620)은 입력 버퍼(601)에 한번 축적된다. 입력 버퍼(601)로부터, 다중화(多重化)된 부호화 데이터가 복호화 유닛(600)에 입력된다.

복호화 유닛(600)에서는, 부호화 데이터가 엔트로피 복호화기(602)에 입력된다. 엔트로피 복호화기(602)에서는, 1프레임마다 제1 실시형태에서의 도 13∼도 20에서 설명한 신택스에 기초해서 구문 분석에 의한 해독(解讀)이 실행된다. 즉, 엔트로피 복호화기(602)에서는, 도 13에 나타낸 신택스 구조에 따라 하이 레벨 신택스, 슬라이스 레벨 신택스 및 매크로 블록 레벨 신택스의 각각에 대해, 순차로 각 신택스의 부호열(符號列)의 엔트로피 복호화가 실행되어, 양자화 변환계수(621), 양자화 매트릭스(631), 변조 인덱스(632), 양자화 파라미터 및 예측 모드 정보(627; 움직임 벡터 정보를 포함함) 등이 해독된다.

양자화 변환계수(621)는 역양자화기(603)에 입력된다. 양자화 매트릭스(631) 및 변조 인덱스(632)는 양자화 매트릭스 변조부(610)에 입력된다. 양자화 매트릭스 변조부(610)에서는, 변조 인덱스(632)에서 나타낸 변조방법에 의해 양자화 매트릭스(632)가 변조되어 변조 양자화 매트릭스(633)가 생성된다. 변조 양자화 매트릭스(633)는 역양자화기(603)에 부여된다.

역양자화기(603)에서는, 양자화 변환계수(621)에 대해 변조 양자화 매트릭스(633)에 기초해서 역양자화가 실시된다. 여기서, 필요한 양자화에 관한 파라미터(예컨대 양자화 파라미터 등)는, 엔트로피 복호화기(602)로부터 복호화 제어부(609)로 설정되어 있고, 역양자화 시에 읽어 들여진다.

역양자화 후의 변환계수(622)는 역변환기(604)에 입력된다. 역변환기(604)에서는, 역양자화 후의 변환계수(622)에 대해 도 1의 화상 부호화 장치에서의 변환기(104)에서의 변환과 역(逆)의 변환, 예컨대 IDCT와 같은 역직교변환(逆直交變換)이 실행되어, 복호 예측잔차신호(623)가 생성된다. 여기서는, 역직교변환의 예에 대해 설명하였으나, 도 1에 나타낸 화상 부호화 장치 내의 변환기(104)에서 웨이브렛 변환이나 독립성분 분석 등이 실행되고 있는 경우, 역변환기(604)에서는 역웨이브렛 변환이나 역독립성분 분석 등이 실행된다.

복호 예측잔차신호(623)는, 가산기(605)에 의해 예측기(607)로부터의 예측 화상 신호(624)와 가산되어, 복호 화상 신호(625)가 생성된다. 복호 화상 신호(625)는 참조 메모리(606)에 축적됨과 더불어, 참조 메모리(606)로부터 독출되어, 복호화 유닛(600)으로부터 출력된다. 복호화 유닛(600)으로부터 출력되는 복호 화상 신호는, 출력 버퍼에 일단 축적된 후, 복호화 제어부(609)가 관리하는 출력 타이밍에 따라 재생 화상 신호(628)로서 출력된다.

엔트로피 복호화기(602)에 의해 해독된 예측 모드 정보(627)는, 예측기(607)로 입력된다. 한편, 이미 복호화가 종료한 복호 화상 신호가 축적된 참조 메모리(606)로부터 독출되는 참조 화상 신호(626)도, 예측기(607)로 입력된다. 예측기(607)에서는, 예측 모드 정보(627; 운동 벡터 정보를 포함함)를 기초로 프레임 간 예측 또는 프레임 내 예측이 실행됨으로써, 예측 화상 신호(624)가 생성된다. 예측 화상 신호는(642)는 가산기(605)로 입력된다.

복호화 제어부(609)는, 입력 버퍼(601) 및 출력 버퍼(608)에 대한 출력 타이밍의 제어, 복호화 타이밍의 제어 및 참조 메모리(606)의 관리를 포함한 복호화의 처리 전반의 제어를 실행한다.

복호화 유닛(600) 및 복호화 제어부(609)의 처리는, 하드웨어에 의해 실현하는 것이 가능하지만, 컴퓨터를 이용하여 소프트웨어(프로그램)에 의해 실현하는 것도 가능하다.

본 실시형태에서의 역양자화기(603)의 처리는, 도 1의 화상 부호화 장치에서의 역양자화기(106)의 처리와 마찬가지이다. 즉, 역양자화기(603)에서는, 엔트로피 복호화기(602)에 의해 해독된 변환계수(713)에 대해, 변조 양자화 매트릭스(118)와 양자화 파라미터를 이용하여 역양자화가 행해진다. 여기서, 역양자화의 1예는 식 (15)에 나타낸 바와 같다. 한편, 변환계수의 부호를 고려한 식 (16)과 같은 역양자화도 가능하다. 연산을 간단화하기 위해, Q_step을 2의 멱승(冪乘)으로 설계한 식 (17)과 같은 역양자화도 가능하다. 연산 정밀도를 억제하기 위해 주파수 성분마다 연산 정밀도를 변경하는 경우, 식 (18)에 나타낸 바와 같은 역양자화를 실행하는 것도 가능하다.

한편, 양자화 매트릭스 변조부(610)는 도 1의 화상 부호화 장치에서의 양자화 매트릭스 변조부(110)와 마찬가지로, 예컨대 도 6에 나타낸 바와 같이 변조 매트릭스 설정부(201)와 변조 양자화 매트릭스 생성부(202)에 의해 실현된다. 변조 매트릭스 설정부(201)는 예컨대 도 7에 나타낸 바와 같이 절환기(301)와 변조 매트릭스 생성부(302, 303 및 304)를 포함하다. 변조 양자화 매트릭스 생성부(202)는 예컨대 도 10에 나타낸 바와 같이 산술 연산기(算術演算器)를 이용하여 실현된다. 양자화 매트릭스 변조부(610)의 동작은, 도 1의 화상 부호화 장치에서의 양자화 매트릭스 변조부(110)의 동작과 완전히 마찬가지이다.

(제6 실시형태)

역양자화기(603)가 식 (18)에 대응하는 역양자화를 실행하는 경우, 제5 실시형태와 같이 양자화 매트릭스에 대해 변조를 실행하는 대신, 역양자화 시의 연산 정밀도를 제어하는 연산 정밀도 제어 파라미터에 대해 변조를 실행해도 좋다. 이 경우, 식 (18)은 식 (27)과 같이 변경되고, 또 식 (27) 중의 IMLS는 식 (29)로 표시된다.

도 31은, 도 21에 나타낸 제2 실시형태에 따른 화상 부호화 장치에 대응하는, 제6 실시형태에 따른 화상 복호화 장치를 나타내고 있다. 도 31의 화상 복호화 장치에서는, 도 30에 나타낸 제5 실시형태에 따른 화상 복호화 장치에서의 양자화 매트릭스 변조부(610)가 연산 정밀도 제어 파라미터 변조부(640)로 치환되어 있다.

연산 정밀도 제어 파라미터 변조부(640)에는, 복호화 제어부(609)로부터 식 (29) 중의 ILS에 상당하는 연산 정밀도 제어 파라미터(641)가 부여되고, 또 엔트로피 복호화기(602)로부터 식 (27), (29) 중의 idx에 상당하는 인덱스(변조방법을 나타내는 인덱스; 642)가 부여된다. 연산 정밀도 제어 파라미터 변조부(640)에서는, 인덱스(642)에 의해 나타내어지는 변조방법에 따라 연산 정밀도 제어 파라미터(641)에 대해 변조가 실시된다. 이에 따라 연산 정밀도 제어 파라미터 변조부(640)에서는, 식 (29)의 MILS에 상당하는, 변조된 연산 정밀도 제어 파라미터(변조 제어 파라미터라 함; 643)가 생성된다. 변조 제어 파라미터(643)는 역양자화기(603)에 부여된다. 역양자화기(603)에서는, 변조 제어 파라미터(643)에 따라 양자화 변환계수(621)의 역양자화가 행해진다.

(제7 실시형태)

역양자화기(603)가 식 (16)에 대응하는 역양자화를 실행하는 경우, 제5 실시형태와 같이 양자화 매트릭스에 대해 변조를 실행하는 대신, 양자화 파라미터에 변조를 실행해도 좋다. 이 경우, 식 (16)은 식 (31)과 같이 변경되고, 또 식 (31) 중의 변조 양자화 파라미터(QP_step)는 식 (32)로 표시된다.

도 32는, 도 22에 나타낸 제3 실시형태에 따른 화상 부호화장치에 대응하는, 제7 실시형태에 따른 화상 복호화 장치를 나타내고 있다. 도 32의 화상 복호화 장치에서는, 도 30에 나타낸 제5 실시형태에 따른 화상 복호화 장치에서의 양자화 매트릭스 변조부(610)가 양자화 파라미터 변조부(650)로 치환되어 있다.

양자화 파라미터 변조부(650)에는, 복호화 제어부(609)로부터 식 (32) 중의 Q_step에 상당하는 양자화 파라미터(651)가 부여되고, 또 엔트로피 복호화기(602)로부터 식 (31), (32) 중의 idx에 상당하는 인덱스(변조방법을 나타내는 인덱스; 652)가 부여된다. 양자화 파라미터 변조부(650)에서는, 인덱스(652)에 의해 나타내어지는 변조방법에 따라 양자화 파라미터(651)에 대해 변조가 실시되어, 식 (31)의 QP_step에 상당하는, 변조 양자화 파라미터(653)가 생성된다. 변조 양자화 파라미터(653)는 역양자화기(603)에 부여된다. 역양자화기(603)에서는, 변조 양자화 파라미터(653)에 따라 양자화 변환계수(621)의 역양자화가 행해진다.

(제8 실시형태)

도 33은, 도 23에 나타낸 제4 실시형태에 따른 화상 부호화 장치에 대응하는, 제8 실시형태에 따른 화상 복호화 장치를 나타내고 있다. 도 33의 화상 복호화 장치에서는, 도 30에 나타낸 제5 실시형태에 따른 화상 복호화 장치에서의 양자화 매트릭스 변조부(610)가 양자 스케일 테이블 변조부(660)로 치환되어 있다.

양자 스케일 테이블 변조부(660)에는, 엔트로피 복호화기(602)에 의해 해독된 양자 스케일 테이블(661) 및 변조방법을 나타내는 인덱스(662)가 부여된다. 양자 스케일 테이블 변조부(660)에서는, 인덱스(662)에 의해 나타내어지는 변조방법에 따라 양자 스케일 테이블(661)에 대해 변조가 실시되어, 변조 양자 스케일 테이블(663)이 생성된다. 변조 양자 스케일 테이블(663)은 역양자화기(603)에 부여된다. 역양자화기(603)에서는, 변조 양자 스케일 테이블(663)에 따라 양자화 변환계수(621)의 역양자화가 행해진다.

양자 스케일 테이블 변조부(660)는, 제4 실시형태에서의 양자화 스케일 테이블 변조부(160)와 완전히 마찬가지이기 때문에 설명을 생략한다. 또, 본 실시형태에서의 부호화 데이터의 신택스 구조는, 도 13 및 도 25∼도 29에서 설명한 바와 같기 때문에, 설명을 생략한다.

앞에서 설명한 각 실시형태에 따른 화상 부호화 장치 및 화상 복호화 장치는, 예컨대 범용의 컴퓨터 장치를 기본 하드웨어로 이용하는 것으로도 실현하는 것이 가능하다. 이 경우, 상기의 프로그램을 컴퓨터 장치에 미리 인스톨(install)하거나, CD-ROM 등의 기억매체에 기억시키고, 또는 네트워크를 매개로 상기의 프로그램을 배포해서, 이 프로그램을 컴퓨터 장치에 적절히 인스톨함으로써 실현해도 좋다.

한편, 본 발명은 상기 실시형태 그대로에 한정되지 않고, 실시 단계에서는 그 요지를 벗어나지 않는 범위에서 구성요소를 변형해서 구체화할 수 있다. 또, 상기 실시형태에 개시되어 있는 복수의 구성요소의 적절한 조합에 의해, 여러 가지 발명을 형성할 수 있다. 예컨대, 실시형태에 나타낸 전 구성요소로부터 몇 개의 구성요소를 삭제해도 좋다. 그리고, 다른 실시형태에 걸치는 구성요소를 적절히 조합해도 좋다.

본 발명은, 동화상이나 정지화상의 고능률 압축 부호화/복호 기술에 이용할 수 있다.

Claims

입력 화상 신호에 대해 예측을 실행해서 예측 화상 신호를 생성하는 것과;

상기 입력 화상 신호와 상기 예측 화상 신호의 차를 취해 예측잔차신호를 생성하는 것과;

상기 예측잔차신호를 변환해서 변환계수를 생성하는 것과;

(a) 양자화 매트릭스, (b) 양자화를 위한 연산 정밀도를 제어하는 제어 파라미터, (c) 양자화의 거칠기를 나타내는 양자화 파라미터 및, (d) 양자화의 거칠기를 나타내는 양자화 파라미터에 양자화 스케일을 대응시킨 테이블의 어느 하나에 대해 변조를 실행하여 양자화에 관한 변조 결과를 얻는 것과;

상기 변조 결과를 이용하여 상기 변환계수를 양자화해서 양자화 변환계수를 생성하는 것과;

상기 양자화 변환계수와 상기 변조에 관한 인덱스를 부호화해서 부호화 데이터를 생성하는 것을 구비하여 이루어진 것을 특징으로 하는 화상 부호화 방법.
입력 화상 신호에 대해 예측을 실행해서 예측 화상 신호를 생성하는 예측기와;

상기 입력 화상 신호와 상기 예측 화상 신호의 차를 취해 예측잔차신호를 생성하는 감산기와;

상기 예측잔차신호를 변환해서 변환계수를 생성하는 변환기와;

(a) 양자화 매트릭스, (b) 양자화를 위한 연산 정밀도를 제어하는 제어 파라미터, (c) 양자화의 거칠기를 나타내는 양자화 파라미터 및, (d) 양자화의 거칠기를 나타내는 양자화 파라미터에 양자화 스케일을 대응시킨 테이블의 어느 하나에 대해 변조를 실행하여 양자화에 관한 변조 결과를 얻는 변조부와;

상기 변조 결과를 이용하여 상기 변환계수를 양자화해서 양자화 변환계수를 생성하는 양자화기와;

상기 양자화 변환계수와, 상기 변조에 관한 인덱스를 부호화해서 부호화 데이터를 생성하는 부호화기를 구비하여 이루어진 것을 특징으로 하는 화상 부호화 장치.
제2항에 있어서, 상기 변조부는, 대수 모델, 자기상관함수 모델, 비례/역비례 모델, N차 함수(N ≥ 1) 모델, 가우스 분포나 라플라스 분포를 포함한 일반화 가우스 함수 모델 및, 삼각함수 모델의 적어도 하나를 가진 변조 매트릭스를 이용하여 상기 변조를 실행하도록 구성된 것을 특징으로 하는 화상 부호화 장치.
제2항에 있어서, 상기 변조부는, 상기 양자화 매트릭스, 상기 제어 파라미터, 상기 양자화 파라미터 및 상기 테이블의 어느 하나와 변조 매트릭스 사이의 가 산, 감산, 승산, 제산 및 비트 시프트의 적어도 하나를 이용하여 상기 변조를 실행하도록 구성된 것을 특징으로 하는 화상 부호화 장치.
제4항에 있어서, 상기 변조 매트릭스는, 대수 모델, 자기상관함수 모델, 비례/역비례 모델, N차 함수(N ≥ 1) 모델, 가우스 분포나 라플라스 분포를 포함한 일반화 가우스 함수 모델 및, 삼각함수 모델의 적어도 하나를 가진 것을 특징으로 하는 화상 부호화 장치.
제3항에 있어서, 상기 변조 매트릭스는, 시가지 거리 및 유클리드 거리를 포함한 민코브스키 거리의 중의 하나를 이용하여 계산되는 주파수 성분을 가진 것을 특징으로 하는 화상 부호화 장치.
제4항에 있어서, 상기 변조 매트릭스는, 시가지 거리 및 유클리드 거리를 포함한 민코브스키 거리 중의 하나를 이용하여 계산되는 주파수 성분을 가진 것을 특징으로 하는 화상 부호화 장치.
제2항에 있어서, 상기 부호화기는, 상기 입력 화상 신호의 부호화 시퀀스마다, 픽처마다, 부호화 슬라이스마다 또는 블록마다, 상기 양자화기가 상기 변조 결과를 이용하여 상기 양자화를 실행할지 여부를 나타내는 플래그를 상기 부호화 데이터에 부가하도록 구성된 것을 특징으로 하는 화상 부호화 장치.
제2항에 있어서, 상기 양자화기는, 다른 사이즈를 가진 블록 단위로 상기 양자화를 실행하도록 구성된 것을 특징으로 하는 화상 부호화 장치.
제2항에 있어서, 상기 변조에 관한 인덱스는, (a) 변조방법, (b) 변조 강도, (c) 변조 매트릭스, (d) 변조 모델 및, (e) 상기 변조방법이 기술된 테이블의 번호의 적어 도 하나를 나타내는 인덱스인 것을 특징으로 하는 화상 부호화 장치.
양자화 변환계수와 변조에 관한 인덱스를 포함하는 부호화 데이터를 복호하는 것과;

상기 인덱스에 따라 (a) 양자화 매트릭스, (b) 양자화를 위한 연산 정밀도를 제어하는 제어 파라미터, (c) 양자화의 거칠기를 나타내는 양자화 파라미터 및, (d) 양자화의 거칠기를 나타내는 양자화 파라미터에 양자화 스케일을 대응시킨 테 이블의 어느 하나에 대해 변조를 실행하여 양자화에 관한 변조 결과를 얻는 것과;

상기 변조 결과를 이용하여 상기 양자화 변환계수를 역양자화해서 역양자화 변환계수를 생성하는 것과;

상기 역양자화 변환계수에 역변환을 실행하여 예측잔차신호를 생성하는 것과;

복호 화상 신호를 이용하여 예측을 실행해서 예측 화상 신호를 생성하는 것과;

상기 예측 화상 신호와 상기 예측잔차신호를 가산함으로써 복호 화상 신호를 생성하는 것을 구비하여 이루어진 것을 특징으로 하는 화상 복호화 방법.
양자화 변환계수와 변조에 관한 인덱스를 포함하는 부호화 데이터를 복호하는 복호기와;

상기 인덱스에 따라 (a) 양자화 매트릭스, (b) 양자화를 위한 연산 정밀도를 제어하는 제어 파라미터, (c) 양자화의 거칠기를 나타내는 양자화 파라미터 및, (d) 양자화의 거칠기를 나타내는 양자화 파라미터에 양자화 스케일을 대응시킨 테이블의 어느 하나에 대해 변조를 실행하여 양자화에 관한 변조 결과를 얻는 변조부와;

상기 변조 결과를 이용하여 상기 양자화 변환계수를 역양자화해서 역양자화 변환계수를 생성하는 역양자화기와;

상기 역양자화 변환계수에 역변환을 실행해서 예측잔차신호를 생성하는 역변환기와;

복호 화상 신호를 이용하여 예측을 실행해서 예측 화상 신호를 생성하는 예측기와;

상기 예측 화상 신호와 상기 예측잔차신호를 가산함으로써 복호 화상 신호를 생성하는 가산기를 구비하여 이루어진 것을 특징으로 하는 화상 복호화 장치.
제12항에 있어서, 상기 변조부는, 대수 모델, 자기상관함수 모델, 비례/역비례 모델, N차 함수(N ≥ 1) 모델, 가우스 분포나 라플라스 분포를 포함한 일반화 가우스 함수 모델 및, 삼각함수 모델의 적어도 하나를 가진 변조 매트릭스를 이용하여 상기 변조를 실행하도록 구성된 것을 특징으로 하는 화상 복호화 장치.
제12항에 있어서, 상기 변조부는, 상기 양자화 매트릭스, 상기 제어 파라미터, 상기 양자화 파라미터 및 상기 테이블의 어느 하나와, 변조 매트릭스 사이의 가산, 감산, 승산, 제산 및 비트 시프트의 적어도 하나를 이용하여 상기 변조를 실행하도록 구성된 것을 특징으로 하는 화상 복호화 장치.
제13항에 있어서, 상기 변조 매트릭스는, 대수 모델, 자기상관함수 모델, 비례/역비례 모델, N차 함수(N ≥ 1) 모델, 가우스 분포나 라플라스 분포를 포함한 일반화 가우스 함수 모델 및, 삼각함수 모델의 적어도 하나를 가진 것을 특징으로 하는 화상 복호화 장치.
제14항에 있어서, 상기 변조 매트릭스는, 시가지 거리 및 유클리드 거리를 포함한 민코프스키 거리 중에서 하나를 이용하여 계산되는 주파수 성분을 가진 것을 특징으로 하는 화상 복호화 장치.
제15항에 있어서, 상기 변조 매트릭스는, 시가지 거리 및 유클리드 거리를 포함한 민코프스키 거리 중에서 하나를 이용하여 계산되는 주파수 성분을 가진 것을 특징으로 하는 화상 복호화 장치.
제12항에 있어서, 상기 부호화 데이터는, 부호화 시퀀스마다, 픽처마다, 부호화 슬라이스마다 또는 블록마다, (a) 양자화 매트릭스, (b) 양자화를 위한 연산 정밀도를 제어하는 제어 파라미터, (c) 양자화의 거칠기를 나타내는 양자화 파라미터 및, (d) 양자화의 거칠기를 나타내는 양자화 파라미터에 양자화 스케일을 대응 시킨 테이블의 어느 하나에 대해 변조를 실행하여 얻어지는, 양자화에 관한 변조 결과에 따라 상기 양자화 변환계수가 양자화되어 있는지 여부를 나타내는 플래그를 포함하고, 상기 변조부는 당해 플래그에 따라 상기 변조를 실행하도록 구성된 것을 특징으로 하는 화상 복호화 장치.
제12항에 있어서, 상기 역양자화기는, 다른 사이즈를 가진 블록 단위로 상기 역양자화를 실행하도록 구성된 것을 특징으로 하는 화상 복호화 장치.
제12항에 있어서, 상기 변조에 관한 인덱스는, (a) 변조방법, (b) 변조 강도, (c) 변조 매트릭스, (d) 변조 모델 및, (e) 상기 변조방법이 기술된 테이블의 번호의 적어도 하나를 나타내는 인덱스인 것을 특징으로 하는 화상 복호화 장치.
컴퓨터에 의해 실행되는, 입력 화상 신호에 대해 예측을 실행해서 예측 화상 신호를 생성하는 것과;

상기 입력 화상 신호와 상기 예측 화상 신호의 차를 취해 예측잔차신호를 생성하는 것과;

상기 예측잔차신호를 변환해서 변환계수를 생성하는 것과;

(a) 양자화 매트릭스, (b) 양자화를 위한 연산 정밀도를 제어하는 제어 파라미터, (c) 양자화의 거칠기를 나타내는 양자화 파라미터 및, (d) 양자화의 거칠기를 나타내는 양자화 파라미터에 양자화 스케일을 대응시킨 테이블의 어느 하나에 대해 변조를 실행하여 양자화에 관한 변조 결과를 얻는 것과;

상기 변조 결과를 이용하여 상기 변환계수를 양자화해서 양자화 변환계수를 생성하는 것과;

상기 양자화 변환계수와 상기 변조에 관한 인덱스를 부호화해서 부호화 데이터를 생성하는 것을 구비하는 단계의 동작을 야기하는 컴퓨터 프로그램의 명령을 기억하는 컴퓨터의 판독 가능한 기억매체.
컴퓨터에 의해 실행되는,

양자화 변환계수와 변조에 관한 인덱스를 포함하는 부호화 데이터를 복호하는 것과;

상기 변환에 관한 정보에 따라 (a) 양자화 매트릭스, (b) 양자화를 위한 연산 정밀도를 제어하는 제어 파라미터, (c) 양자화의 거칠기를 나타내는 양자화 파라미터 및, (d) 양자화의 거칠기를 나타내는 양자화 파라미터에 양자화 스케일을 대응시킨 테이블의 어느 하나에 대해 변조를 실행하여 양자화에 관한 변조 결과를 얻는 것과;

상기 변조 결과를 이용하여 상기 양자화 변환계수를 역양자화해서 역양자화 변환계수를 생성하는 것과;

상기 역양자화 변환계수에 역변환을 실행해서 예측잔차신호를 생성하는 것과;

복호 화상 신호를 이용하여 예측을 실행해서 예측 화상 신호를 생성하는 것과;

상기 예측 화상 신호와 상기 예측잔차신호를 가산함으로써 복호 화상 신호를 생성하는 것을 구비하는 단계의 동작을 야기하는 컴퓨터 프로그램의 명령을 기억하는 컴퓨터의 판독 가능한 기억매체.