KR100908282B1

KR100908282B1 - 단계적 가역 비디오 부호화 방법, 단계적 가역 비디오 복호 방법, 단계적 가역 비디오 부호화 장치, 단계적 가역 비디오 복호 장치, 이들의 프로그램의 기록 매체

Info

Publication number: KR100908282B1
Application number: KR1020067016471A
Authority: KR
Inventors: 세이시 다카무라; 요시유키 야시마
Original assignee: 니폰덴신뎅와 가부시키가이샤
Priority date: 2004-09-30
Filing date: 2005-09-29
Publication date: 2009-07-17
Also published as: US20070280351A1; KR20060118589A; JP4767860B2; WO2006035899A1; CN1922890A; CN1922890B; EP1796397A1; TW200627969A; EP1796397A4; JPWO2006035899A1; TWI285055B; US7983338B2; EP1796397B1

Abstract

단계적 가역 비디오 부호화 방법, 단계적 가역 비디오 복호 방법, 단계적 가역 비디오 부호화 장치, 단계적 가역 비디오 복호 장치, 이들의 프로그램 및 그 프로그램의 기록 매체를 제공한다.

기본 부분으로서 전송되는 부호는 H.264 표준과 호환성을 유지하면서, 고효율의 가역적인 복호를 가능케 한다. 직교 변환부(12)가 잔차 신호(Rorig)를 직교 변환하여 변환 계수(Xorig)를 취득하여 이를 양자화부(13)가 양자화한다. 존재 공간 결정부(14)는 양자화 정보로부터 각 계수의 상하한치 정보(변환 계수의 존재 공간)를 구한다. 계수 일괄 부호화부(16)에 있어서, 변환 계수의 존재 공간 내의 격자점이 잔차 신호의 직교 변환의 결과로서 타당한지의 여부를 판단하여 타당한 격자점을 열거한다. 열거 순으로 일련 번호(index)를 할당하여 잔차 신호의 변환 계수(Xorig)에 일치하는 일련 번호를 일련 번호 보호화부(166)에 의해 부호화한다.

Description

단계적 가역 비디오 부호화 방법, 단계적 가역 비디오 복호 방법, 단계적 가역 비디오 부호화 장치, 단계적 가역 비디오 복호 장치, 이들의 프로그램의 기록 매체{Stepwise reversible video encoding method, stepwise reversible video decoding method, stepwise reversible video encoding device, stepwise reversible video decoding device, and recording medium for the program}

본 발명은 고능률의 비디오 부호화/복호 기술에 대한 것으로, 특히 기본 부분으로서 전송되는 부호는 H.264 표준과 호환성을 유지하며 부가 부분의 부호량을 가능한 한 낮게 억제하면서 원신호에 일치하는 가역적인 복호를 가능케 하는 단계적 가역 비디오 부호화/복호 기술에 관한 것이다.

본원은 2004년 9월 30일에 출원된 일본 특허출원 2004-286412호에 대해 우선권을 주장하는 것으로 그 내용을 여기에 원용한다.

종래의 가역 또는 단계적 비디오 부호화 방식에는 이하와 같은 것이 있다. MotioJPEG2000 표준(비특허문헌 1 참조)의 가역 모드나 JPEG-LS(비특허문헌 2 참조)는 정지화 베이스이기 때문에 프레임 내에 닫힌 부호화를 행한다.

H.264 표준(비특허문헌 3 참조)의 제2판 "Fidelity Range Extension(FRExt)" 은 프레임 내·프레임 간 예측 잔차 신호를(직교 변환·양자화하지 않음) 그대로 전송한다.

비가역적인 부호화 방식과 조합한 단계적 부호화 방식으로서는 복호 화상과 원화상의 차분을 부호화하는 것(비특허문헌 4 참조)이 있다. 이것은 기본 정보에 MPEG-2를 이용하고 있지만, 다른 방식이라도 적용이 가능하다.

또한 MPEG-4 표준(비특허문헌 5참조)의 Fine Granularity Scalable(FGS) Profile 방식과 같이 DCT(이산 코사인 변환)를 실시하여 정수화한 것에 대해 비트 플레인 전개하여 축차적으로 전송하는 것이 있다.

비특허문헌 1: ISO/IEC 15444-3: 2002 Information technology-JPEG 2000 image coding system-Part 3: Motion JPEG 2000

비특허문헌 2: ISO/IEC 14495-1: 1999 Information technology-Lossless and near-lossless coding of continuous tone still images

비특허문헌 3: ISO/IEC 14496-10: 2003 Information technology-Coding of audio-visual objects-Part 10: Advanced Video Coding

비특허문헌 4: 나카시마, 야지마, 고바야시: "MPEG-2 부호화 파라미터에 근거한 계층적 무손실 부호화의 검토," 신학총대 D-11-49, Mar. 2000

비특허문헌 5: ISO/IEC 14496-2: 2003 Information technology-Coding of audio-visual objects-Part 2:Visual

상기 JPEG2000(비특허문헌 1 참조)은 단계적 전송이 가능하지만, 프레임 내 부호화를 수행하기 때문에, 비디오 특유의 프레임 간 상관을 이용한 고능률 부호화 를 할 수 없다는 문제가 있다. 또한 상기 JPEG-LS(비특허문헌 2 참조)는 JPEG2000보다 효율은 높지만, 역시 프레임 내에 닫힌 부호화이므로 효율적으로 한계가 있는 것 이외에 단계적 전송을 할 수 없다는 문제가 있다.

H.264 표준(비특허문헌3 참조)의 제2 판 "Fidelity Range Extension(FRExt)"은 단계적 전송이 불가능하다는 문제가 있다.

또한 상기 나카시마, 야지마, 고바야시: "MPEG-2 부호화 파라미터에 근거한 계층적 무손실 부호화의 검토," 신학총대 D-11-49, Mar. 2000에 기재된 기술은 직교 변환 공간 내에서의 잔차가 아니라 원신호 공간에서의 잔차를 부호화 대상으로 하기 때문에, 원래 원신호가 존재할 리가 없는 공간까지도 고려한 부호화를 해야만 하기 때문에 압축 효율에 한계가 있다.

MPEG-4 표준(ISO/IEC 14496-2: 2003 Information technology-Coding of audio-visual objects-Part 2: Visual 참조)의 Fine Granularity Scalable(FGS) Profile 방식은,

· 실수 변환인 DCT 후, 계수가 정수화되기 때문에, 아무리 부가 정보를 많이 이용해도 가역적으로는 할 수 없다는 문제,

· 후술할 식 (6)과 같이 변환 후의 계수가 신장되는 H.264 표준 방식에 있어서 그대로 적용하면, 신장분이 그대로 부호량의 손실로 이어져 버린다는 문제 등이 있었다.

이와 같이 프레임 간 예측을 행함으로써 비디오 부호화 효율을 높이고 스케일러빌리티를 가지며, 또한 기본 정보가 H.264 표준 호환인 방식은 제안되지 않았 다.

본 발명은 상술한 문제점을 감안하여, 기본 부분으로서 전송되는 부호는 H.264 표준과 호환성을 유지하면서 부가 부분의 부호량을 가능한 낮게 억제하며 가역적인 복호를 가능하게 하는 것을 목적으로 한다.

상기 과제를 해결하기 위해 본 발명의 제1 태양에 관련된 단계적 가역 비디오 부호화 방법은 원신호에 일치하는 복호가 가능한 비디오 부호화를 행하는 가역 비디오 부호화 방법으로, 사전에 정해진 비가역적인 비디오 부호화 방식에 준거하고, 화상 신호의 각 블록마다 원신호로부터 프레임 내 부호화에서의 공간 예측 또는 프레임 간 부호화에서의 시간 예측에 의한 예측 신호를 차감한 잔차 신호를 입력하는 단계와, 상기 비가역적인 비디오 부호화 방식에 근거하여 상기 잔차 신호에 대해 직교 변환을 실시하여 얻어지는 변환 계수 및 그것을 양자화한 양자화 계수를 구하는 단계와, 상기 양자화 계수, 양자화시에 사용한 양자화 파라미터 및 양자화 방법으로부터 정해지는 변환 계수의 존재 공간을 특정하는 단계와, 상기 변환 계수의 존재 공간 내의 어느 격자점이 잔차 신호의 직교 변환의 결과로서 타당한지의 여부를 판단하는 타당성 판단 단계와, 상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 소정의 격자점의 순서로 탐색하여 열거하는 단계와, 열거된 격자점에 열거 순서로 일련 번호를 할당하는 단계와, 열거된 격자점 중 잔차 신호의 변환 계수에 일치하는 격자점의 일련 번호를 얻는 단계와, 상기 잔차 신호의 변환 계수에 일치하는 격자점의 일련 번호를 부호화하여 출력하는 단계를 가진다.

본 발명의 제2 태양은 상기 단계적 가역 비디오 부호화 방법에 있어서, 상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 열거하는 단계에서는 변환 계수 간의 정수적 수치 관계를 이용함으로써 상기 공간 내에서 변환 계수가 취할 수 없는 점에 대해서는 잔차 신호의 직교 변환의 결과로서 타당한지의 여부 판단 처리를 생략한다.

본 발명의 제3 태양은 상기 단계적 가역 비디오 부호화 방법에 있어서, 특정 몇몇 변환 계수에 대하여 당해 계수와 이미 출력한 계수의 정수적 수치 관계를 이용하여 당해 계수가 취할 수 없는 값을 제외한 정보를 출력함으로써 당해 계수를 출력하는 것을 대체하는 단계를 가지며, 상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 열거하는 단계에서는 상기 이미 출력한 계수를 이용하여 차원이 축소된 존재 공간 내에서 격자점을 열거한다.

본 발명의 제4 태양은 상기 단계적 가역 비디오 부호화 방법에 있어서, 상기 타당성 판단 단계에서는 비트 연산 및 정수 가감산만을 이용하여 타당성을 판단한다.

본 발명의 제5 태양은 상기 단계적 가역 비디오 부호화 방법에 있어서, 잔차 신호의 존재 범위와 변환 계수의 존재 범위의 교합이 돌출형 다면체가 되는 것을 이용하고, 판단 대상이 되는 상기 격자점이 상기 돌출형 다면체의 외부에 존재하는 경우에 상기 타당성 판단을 도중에 중지한다.

본 발명의 제6 태양은 상기 단계적 가역 비디오 부호화 방법에 있어서, 상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 열거하는 단계를 실행하지 않고 부호량의 견적을 행하는 단계를 가진다.

본 발명의 제7 태양은 상기 단계적 가역 비디오 부호화 방법에 의해 부호화된 부호화 스트림을 복호하는 복호 방법으로서 상기 사전에 정해진 비가역적인 비디오 부호화 방식에 대응하는 복호 방식을 실행하는 단계와, 양자화 파라미터, 양자화 계수 및 부호화 쪽의 양자화 방법 및 이미 복호된 계수가 있는 경우에는 그 계수로부터 정해지는 변환 계수의 존재 공간을 특정하는 단계와, 복호해야 할 계수를 복호하는 단계와, 상기 변환 계수의 존재 공간 내의 어느 격자점이 잔차 신호의 직교 변환의 결과로서 타당한지의 여부를 판단하는 타당성 판단 단계와, 상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 부호화 시에서의 격자점의 탐색 순서와 같은 순서로 탐색하여 열거하는 단계와, 일련 번호를 복호하는 단계와, 상기 열거된 격자점 중 상기 복호된 일련 번호와 같은 순서의 격자점을 출력하는 단계를 가진다.

본 발명의 제8 태양에 관련된 단계적 가역 비디오 부호화 장치는 원신호에 일치하는 복호가 가능한 비디오 부호화를 행하는 가역 비디오 부호화 장치로서, 사전에 정해진 비가역적인 비디오 부호화 방식에 준거하고, 화상 신호의 각 블록마다 원신호로부터 프레임 내 부호화에서의 공간 예측 또는 프레임 간 부호화에서의 시간 예측에 의한 예측 신호를 차감한 잔차 신호를 입력하는 수단과, 상기 비가역적인 비디오 부호화 방식에 근거하여 상기 잔차 신호에 대해 직교 변환을 실시하여 얻어지는 변환 계수 및 그것을 양자화한 양자화 계수를 구하는 수단과, 상기 양자화 계수, 양자화 시에 사용한 양자화 파라미터 및 양자화 방법으로부터 정해지는 변환 계수의 존재 공간을 특정하는 존재 공간 결정 수단과, 상기 변환 계수의 존재 공간 내의 어느 격자점이 잔차 신호의 직교 변환의 결과로서 타당한지의 여부를 판단하는 타당성 판단 수단과, 상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 소정의 격자점의 순서로 탐색하여 열거하는 수단과, 열거된 격자점에 열거 순서로 일련 번호를 할당하는 수단과, 열거된 격자점 중 잔차 신호의 변환 계수에 일치하는 격자점의 일련 번호를 얻는 수단과, 상기 잔차 신호의 변환 계수에 일치하는 격자점의 일련 번호를 부호화하여 출력하는 수단을 구비한다.

본 발명의 제9 태양은 상기 단계적 가역 비디오 부호화 장치에 의해 부호화된 부호화 스트림을 복호하는 복호 장치로서, 상기 사전에 정해진 비가역적인 비디오 부호화 방식에 대응하는 복호 방식을 실행하는 수단과, 양자화 파라미터, 양자화 계수 및 부호화 쪽의 양자화 방법 및 이미 복호된 계수가 있는 경우에는 그 계수로부터 정해지는 변환 계수의 존재 공간을 특정하는 존재 공간 결정 수단과, 복호해야 할 계수를 복호하는 계수 복호 수단과, 상기 변환 계수의 존재 공간 내의 어느 격자점이 잔차 신호의 직교 변환의 결과로서 타당한지의 여부를 판단하는 타당성 판단 수단과, 상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 부호화 시에서의 격자점의 탐색 순서와 같은 순서로 탐색하여 열거하는 수단과, 일련 번호를 복호하는 일련 번호 복호 수단과, 상기 열거된 격자점 중 상기 복호된 일련 번호와 같은 순서의 격자점을 출력하는 출력 수단을 구비한다.

이상의 단계적 가역 비디오 부호화 및 복호의 처리는 컴퓨터와 소프트웨어 프로그램에 의해 실현할 수도 있고, 그 프로그램을 컴퓨터로 판독 가능한 기록 매체에 기록하여 제공하는 것과 네트워크를 통해 제공하는 것도 가능하다.

즉, 본 발명의 제10 태양은 본 발명의 단계적 가역 비디오 부호화 방법을 컴퓨터로 하여금 실행시키기 위한 단계적 가역 비디오 부호화 프로그램이다.

본 발명의 제11 태양은 본 발명의 단계적 가역 비디오 복호 방법을 컴퓨터로 하여금 실행시키기 위한 단계적 가역 비디오 복호 프로그램이다.

본 발명의 제12 태양은 본 발명의 단계적 가역 비디오 부호화 방법을 컴퓨터로 하여금 실행시키기 위한 프로그램을 컴퓨터로 판독 가능한 기록 매체에 기록한 단계적 가역 비디오 부호화 프로그램의 기록 매체이다.

본 발명의 제13 태양은 본 발명의 단계적 가역 비디오 복호 방법을 컴퓨터로 하여금 실행시키기 위한 프로그램을 컴퓨터로 판독 가능한 기록 매체에 기록한 단계적 가역 비디오 복호 프로그램의 기록 매체이다.

본 발명에 의하면, 기본 부분으로서 전송되는 부호는 H.264 표준의 부호화와 호환성을 유지하며 부가 부분의 부호량을 가능한 한 낮게 억제하면서 원신호에 일치하는 가역적인 복호를 가능케 할 수 있다.

또한 본 발명에 의하면, 처리를 수조 배로 고속화하여 상기 처리를 실행할 수 있다. 또한 실제의 부호화를 행하지 않고 부호량의 추정을 할 수 있고, 결과적으로 부호량을 줄이는 예측 모드의 선택을 고속으로 행할 수 있다.

도 1은 R, X의 존재 범위(Ω와 ψ)를 각각 도시한 것이다.

도 2는 ψ영역의 확대도다.

도 3은 단계적 가역 비디오 부호화 장치의 구성예를 나타내는 도면이다.

도 4는 단계적 가역 비디오 복호 장치의 구성예를 나타내는 도면이다.

도 5는 index의 부호화에 범용 가변길이 부호를 이용한 경우의 단계적 가역 비디오 복호 장치의 구성예를 나타내는 도면이다.

도 6은 실시예 1의 처리 플로우를 나타내는 도면이다.

도 7은 실시예 2의 처리 플로우를 나타내는 도면이다.

[부호의 설명]

1 단계적 가역 비디오 부호화 장치

2, 3 단계적 가역 비디오 복호 장치

11 초기화부

12 직교 변환부

13 양자화부

14 존재 공간 결정부

15 계수 축차 부호화부

16 계수 일괄 부호화부

17 종료 판정부

21 초기화 복호부

22 존재 공간 결정부

23 계수 축차 복호부

24, 28 계수 일괄 복호부

25 Ubuf[]

26 종료 판정부

27 범용 가변길이 복호부

161, 241, 281 다중 루프 개시부

162, 242, 282 역직교 변환부

163, 243, 283 예측 신호 가산부

164, 244, 284 내부 변수 갱신부

165, 245, 285 다중 루프 종료 판정부

166 일련 번호 부호화부

246 일련 번호 복호부

247, 286 원신호 출력부

이하, 도면을 참조하여 본 발명의 실시 형태 및 실시예를 상세하게 설명한다. 단, 본 발명은 이하에 설명하는 실시 형태 및 실시예로 한정되는 것이 아니며, 예컨대 이들을 적절히 조합한 것도 본 발명의 범위에 속한다.

본 발명의 설명의 전제로서 H.264 방식의 직교 변환에 대해 설명한다.

〔H.264 방식의 직교 변환〕

H.264 표준에 있어서는 프레임 내 또는 프레임 간에서 화소치를 예측한 후, 종횡 4화소씩의 작은 블록마다 잔차의 직교 변환·계수의 양자화를 행한다.

원신호의 작은 블록을 4×4 행렬(U), 프레임 내 또는 프레임 간에서 당해 블 록을 예측한 신호를 동일하게 4×4 행렬(Y)로 표현한다. 그리고 예측 잔차 신호(4×4 행렬(R))를

R=U-Y (1)

로 한다. 이들은 모두 요소가 정수이다. 여기에서는 잔차 신호의 각 요소를

[수 1]

(2)

과 같이 표기하는 것으로 한다.

잔차 신호의 각 요소에 다음과 같은 직교 변환을 행한다.

X=TRT^t (3)

여기서 T는 다음과 같다.

[수 2]

(4)

또한 T^t는 행렬(T)의 전치 행렬을 나타낸다.

또한 X의 각 요소를

[수 3]

(5)

로 한다.

여기서 T는 직교 변환이긴 하지만, 정규 직교 변환이 아닌 것에 유의한다. 정규 직교 변환 행렬식은 항상 1이지만, T의 행렬식 (detT)은 40이기 때문에, 임의의 16차원 영역의 체적은 T에 의한 사상 후 40배가 된다. 식 (3)은 T에 의해 R의 4행 및 4열에 변환을 행하기 때문에, 변환 후의 계수(X)는 변환 전(잔차 신호(R))에 비해

4O⁴ ⁺⁴=6,553,600,000,000배 (6)

로 확대된 매우 성긴 공간 내에 사상(寫像)된다. H.264에서의 직교 변환 계수는 정수가 되지만, 계수 공간의 격자점은 거의 잔차 신호로서 부적합(즉, 후술하는 식 (8)에 의해 역변환해도 정수치가 얻어지지 않음)하다는 것이다. 만일 계수 공간의 격자점을 모두 대상으로 하고, 원신호에 대응하는 격자점을 부호화하면, 상기 수의 2를 바닥으로 하는 대수를 화소수(4*4=16)로 나눈

log₂(40⁴⁺⁴)/16=2.66[bit] (7)

가 1화소당 여분으로 필요하게 된다. 대상으로 하고 있는 신호가 (1컬러 컴 포넌트당) 8bit임을 감안한다면, 2.66bit의 증가는 실용성을 현저하게 저해시키고 있음을 알 수 있다.

H.264 방식에서는 전술한 바와 같이 크게 확대된 X의 각 요소를 조잡하게(비교적으로 넓은 폭으로) 양자화함으로써 이 확대분을 보상하고 있다.

만일 양자화가 없으면 역변환

R=T^-1X(T^t)^-1 (8)

에 의해 잔차 신호는 완전히 복원되고,

U=R+Y (9)

에 의해 원화소치의 4×4 행렬(U)이 재현될 수 있지만, 실제의 H.264 부호화에 있어서는 양자화를 행한 계수가 복호 쪽에서 역양자화되면, 일반적으로 본래의 값에는 가깝지만 완전히 같지 않은 값이 복원되게 된다. 이렇게 X는 전송 후 다른 값(X')(≠X)이 되어 이를 식 (8)에 의해 역변환해도

R≠R'=T^-1X'(T^t)^-1

가 된다. 복호 쪽에서는 Y는 부호화 쪽과 동일한 것을 가질 수 있지만, R을 재현할 수 없기 때문에, 원화소치(U=R+Y)도 재현될 수 없다.

따라서 U를 완전 재현하기 위해서는, X의 양자화에서 손실된 정보를 보상하는 부가 정보를 별도로 전송할 필요가 있다.

[실시 형태 1]

본 실시 형태는 본 발명의 제1 태양에 대응하는 것이다.

실시 형태 1에 관련된 단계적 가역 비디오 부호화 방법은 이 양자화에서 손실된 정보를 이하와 같이 효율적으로 부호화한다.

예컨대, 식 (5)에서의 계수(A)의 값은 양자화되어 전송되기 때문에, 복호 쪽에서는 양자화 이전의 A의 값은 정확하게는 알 수 없다. 여기에서는 부호화 쪽의 양자화 방법은 주지된 것으로, A가 취할 수 있는 범위는 알 수 있다. 즉, H.264 소프트웨어JM(참고 문헌: http://bs.hhi.de/∼suehring/tml/,"JM Reference Software version 8.4", Jul 2004)의 양자화 방법을 예로 들면,

(10)

와 같이 하여 양자화된 값(level_A)을 구한다. 여기서 ">>"는 오른쪽 비트 쉬프트 연산자이다. 그리고 level_A의 음양은 A의 그것과 일치시킨다. 여기서 qc_A는 A의 위치, 양자화 파라미터에 대응하여 JM이 정하는 정수, qpconst는 부호화 모드, 양자화 파라미터에 대응하여 JM이 정하는 정수, qbits는 양자화 파라미터에 대응하여 JM이 정하는 정수이다.

복호 쪽에서는 양자화 파라미터나 부호화 모드 및 양자화 방법을 알 수 있기 때문에, 부호화 쪽과 공통된 level_A, qpconst, qbits를 가질 수 있다. level_A의 값으로부터 먼저

를 구한다. 여기서 "<<"는 왼쪽 비트 쉬프트 연산자, "/"는 소수점 이하를 버리는 정수 제산이다. 곁들여서 말한다면, 상하한(A_min, A_max)이 이하와 같이 구해진다.

[수 4]

이에 따라, 양자화 전의 계수가 취할 수 있는 상하한치

를 얻을 수 있다. 이러한 수치 범위가 본 발명의 제1 태양의 "변환 계수의 존재 공간"에 상당한다.

이 상하한을 근거로 하기 알고리즘 1과 같은 16중 루프(본 발명의 제1 태양의 "열거하는 단계"에 상당함)을 돌림으로써 직교 변환 후의 공간에 있어서 타당한 것을 빠짐없이 열거할 수 있다. 여기서 이하의 처리가 본 발명의 제1 태양의 "타당성 판단"에 상당한다.

·"R의 모든 요소가 정수이다"

·"U의 모든 요소가 8bit 정수의 범위[0∼255]에 들어 있다"

상기 타당성 판단 결과, 열거된 격자점의 총수는 cases, 잔차 신호의 직교 변환 계수에 일치하는 격자점의 "일련 번호"는 index로 부여된다.

〔알고리즘 1〕

1. index←O

2. cases←0

3. for A←A_min to A_max

4. for B←B_min to B_max

5. for C←C_min to C_max

6. for D←D_min to D_max

7. for E←E_min to E_max

8. for F←F_min to F_max

9. for G←G_min to G_max

10. for H←H_min to H_max

11. for I←I_min to I_max

12. for J←J_min to J_max

13. for K←K_min to K_max

14. for L←L_min to L_max

15. for M←M_min to M_max

16. for N←N_min to N_max

17. for O←O_min to O_max

18. for P←P_min to P_max

19. begin

20. R←T^-1X(T^t)^-1(*식 (8)*)

21. if R의 모든 요소가 정수이다

22. then(*A∼P가 정수 신호의 직교 변환의 결과로서 타당*)

23. U←R+Y(*식 (9)*)

24. if U의 모든 요소가 8bit 정수의 범위[0∼255]에 들어 있다

25. then(*A∼P가 잔차 신호의 직교 변환의 결과로서 타당*)

26. if X가 원래의 변환 계수에 일치한다

27. then index←cases

28. endif

29. cases←cases+1

30. endif

31. endif

32. end

33. cases분의 정보량을 이용하여 index를 부호화

[실시 형태 2]: 변환 계수 간의 정수적 수치 관계를 이용한 고속화

본 실시 형태는 본 발명의 제2 태양에 대응하는 것이다.

실시 형태 1에서는 16중의 루프를 각각 1 간격으로 돌리기 때문에, 총 루프 횟수는 대단히 많아진다. 그러나 실시 형태 2에서는 직교 변환 계수 간에 존재하는 정수적 관계를 이용함으로써 부호화 효율은 같은 채 루프 횟수를 대폭적으로 삭감할 수 있다.

우선 4×4 행렬(R)을 위의 행으로부터 아래의 행으로 순서대로 다시 배열한 16차원의 행 벡터 ↑x에 의해

↑x=[a, b, c, d, e, f, g, h, i, j, k, l, m, n, o, p] (15)

와 같이 표현하는 것으로 한다.

식 (3)을 이 16차원 벡터를 이용하여 다시 쓰면,

A=↑t_A↑x^t

B=↑t_B↑x^t

…

P=↑t_P+↑x^t

와 같이 쓸 수 있다.

여기서

여기서 ↑t_A+↑t_C를 계산하면

가 된다. 따라서,

이기 때문에, 임의의 정수 요소 벡터(↑x)에 대해 A+C는 항상 짝수가 된다.

즉, A의 값을 알고 있는 경우, C의 하위 제1 비트가 A의 그것과 같다는 것을 알 수 있으므로, C의 존재 범위는,

(16)

로서, 이 구간 중에 간격 2로 드문드문 존재하게 된다. 여기서 '&'는 비트 AND 연산자이다. 같은 위치 관계인,

E와 G

I와 K

M과 0

도 마찬가지이다.

동일하게 세로 방향에 있어서도 A+I도 짝수이기 때문에 A의 값을 알고 있는 경우, I가 간격 2로 존재하는 범위를 알 수 있다. 같은 위치 관계인,

B와 J

C와 K

D와 L

도 마찬가지이다.

다음으로, 임의의 정수 요소 벡터 ↑x에 대해 B+(C>>1)+(A>>1)은 항상 짝수가 된다. 이것은 ↑x의 각 요소를 0, 1, 2, 3으로 변화시킨 모든 경우에 대해 확인하는 것으로 증명된다. 즉, A와 C의 값을 알고 있는 경우, B의 하위 제1 비트는 (C>>1)+(A>>1)의 그것과 같다는 것을 알고 있기 때문에, 상기와 같이 B의 존재 범위를 알 수 있으며, 거기에 간격 2로 존재하게 된다. 같은 위치 관계 및 세로로 같은 위치 관계인,

F와 (E>>1)+(G>>1)

J와 (I>>1)+(K>>1)

N과 (M>>1)+(O>>1)

E와 (A>>1)+(I>>1)

F와 (B>>1)+(J>>1)

G와 (C>>1)+(K>>1)

H와 (D>>1)+(L>>1)

도 마찬가지이다.

다음으로

가 되기 때문에, 임의의 정수 요소 벡터 ↑x에 대해 2B+D+2.5(A+C)는 항상 10의 배수가 된다.

즉, A, B, C의 값을 알고 있는 경우, D의 10을 제수로 하는 나머지(D mod 10c)와 2.5(A+C)+2B의 그것과의 합은 0이거나 10이 되기 때문에, D의 존재 범위를 알 수 있으며, 그곳에 간격 10으로 존재하게 된다.

같은 위치 관계나 세로로 같은 위치 관계, 예컨대 M과 A, E, I 사이에도 같은 관계가 있다.

여기서 이용한 어느 정수(y)를 제수로 하는 나머지 연산자(mod y)는 음이 아닌 정수(x≥O)에 대해서는 C 언어 등의 나머지 연산자 '%'와 같고

x mod y=x%y

이다. 그리고 % 연산자는 음의 정수(x<0)에 대해서는,

x%y=-((-X)%y)

와 같이 홀수 함수가 되지만, 여기서 이용하는 mod y는 결과가 음이 되지 않도록

x mod y=(x%y)+y (x<O의 경우)

인 것으로 한다. 예컨대

(-1) mod 10=9

이다.

또한

가 된다. 따라서 임의의 정수 요소 벡터 ↑x에 대해 A+C+I+K는 항상 4의 배수가 된다.

즉, A, C, I의 값을 알고 있는 경우, K의 4를 제수로 하는 나머지와 (A+C+I)의 그것과의 합은 0이거나 4가 되기 때문에, K의 존재 범위를 알 수 있으며, 그곳에 간격 4로 존재하게 된다.

또한 이하와 같은 관계도 있다.

즉,

1) A의 범위를 1 간격으로 루프

2) C의 범위를 2 간격으로 루프(A를 이용)

3) B의 범위를 2 간격으로 루프(A, C를 이용)

4) D의 범위를 10 간격으로 루프(A, B, C를 이용)

5) I의 범위를 2 간격으로 루프(A를 이용)

6) E의 범위를 2 간격으로 루프(A, I를 이용)

7) M의 범위를 10 간격으로 루프(A, I, E를 이용)

8) K의 범위를 4 간격으로 루프(A, C, I를 이용)

9) G의 범위를 2 간격으로 루프(E를 이용)

10) F의 범위를 2 간격으로 루프(E, G를 이용)

11) H의 범위를 10 간격으로 루프(E, F, G를 이용)

12) J의 범위를 4 간격으로 루프(B, E, G를 이용)

13) L의 범위를 20 간격으로 루프(A, B, C, D, I, J, K를 이용)

14) N의 범위를 10 간격으로 루프(B, F, J를 이용)

15) O의 범위를 20 간격으로 루프(A, C, E, G, I, L, M을 이용)

16) P의 범위를 100 간격으로 루프(A∼O를 이용)

와 같이 다중 루프를 실행하면, 각 for 루프를 1 간격으로 루프하는 것에 비해 총 루프 횟수를

1/(2*2*10*2*2*10*4*2*2*10*4*20*10*20*100)

=1/409,600,000,000

으로 삭감할 수 있다.

구체적인 순서는 알고리즘 2와 같이 된다. 여기서 C'_min, B'_min, D'_min는

f(x, y)=(-x)mod y (17)

를 이용하여, 예컨대 다음과 같이 구한다.

E'_min∼P'_min도 마찬가지이다.

〔알고리즘 2]〕

1. index←O

2. cases←0

3. for A←A_min to A_max(* 여기서만은 1 간격*)

4. for C←C´_min to C_max step 2

5. for B←B´_min to B_max step 2

6. for D←D´_min to D_max step 10

7. for I←I´_min to I_max step 2

8. for E←E´_min to E_max step 2

9. for M←M´_min to M_max step 10

10. for K←K´_min to K_max step 4

11. for G←G´_min to G_max step 2

12. for F←F´_min to F_max step 2

13. for H←H´_min to H_max step 10

14. for J←J´_min to J_max step 4

15. for L←L´_min to L_max step 20

16. for N←N´_min to N_max step 10

17. for O←O´_min to O_max step 20

18. for P←P´_min to P_max step 100

19. begin

20. R←T^-1X(T^t)^-1(* 식 (8)*)

21. if R의 모든 요소가 정수이다

22. then (* A∼P가 정수 신호의 직교 변환의 결과로서 타당*)

23. U←R+Y(* 식 (9)*)

24. if U의 모든 요소가 8bit 정수의 범위[0∼255]에 들어 있다

25. then(* A∼P가 잔차 신호의 직교 변환의 결과로서 타당*)

26. if X가 원래의 변환 계수에 일치한다

27. then index←cases

28. endif

29. cases←cases+1

30. endif

31. endif

32. end

33. cases분의 정보량을 이용하여 index를 부호화

[실시 형태 3]: 루프 다중도 삭감

본 실시 형태는 본 발명의 제3 태양에 대응하는 것이다.

상기 실시 형태 1 및 실시 형태 2에서의 알고리즘은 둘 다 16중 루프를 이용하는 것이었지만, 실시 형태 3에서는 더욱 고속화시키기 위해 루프의 다중도를 줄이도록 한다. 여기에서는 A∼P의 16 계수 중에서

A B C D

E…

I·K·

M…

의 8 계수를 별도로 전송함으로써 이들 루프를 제외하도록 한다.

우선, 계수(A)의 전송을 고려하기로 한다. 예컨대, "부가 정보"로서

Z_A=A-A_min

를 전송하면, 복호 쪽에서

A=Z_A+A_min

로 함으로써 A를 복원할 수 있다.

그리고 이때, A가 취할 수 있는 경우의 수가

A_max-A_min+1

이기 때문에, Z_A를 부호화하는데 필요한 정보량은,

log₂(A_max-A_min+1)[bit] (21)

가 된다. 이는 복호 쪽에서도 공유할 수 있기 때문에, Z_A를 복호하는 것은 가능하다.

B∼P에 대해서도 이 A와 같은 방식으로 전송하는 것도 가능하지만, 잔차 신호가 직교 변환 후의 공간 내에서 매우 드문드문 분포하고 있기 때문에 부호량이 상당히 낭비가 된다. 그래서, 예컨대 B에 대해서는 A, C가 이미 알려진 경우, B에 대한 루프를 2 간격으로 할 수 있기 때문에,

Z_B=(B-B′_min)/2

를 전송하면, 복호 쪽에서

B=2Z_B+B'_min

에 의해 B를 복원할 수 있다. Z_B를 부호화하는데 필요한 정보량은,

log₂((B_max-B′_min)/2+1)[bit]

가 된다. C∼K에 대해서도 마찬가지이다. 따라서,

1) A의 값을 Z_A에 의해 부호화

2) C의 범위를 약 1/ 2로 좁힌 Z_C로 부호화(A를 이용)

3) B의 범위를 약 1/ 2로 좁힌 Z_B로 부호화(A, C를 이용)

4) D의 범위를 약 1/ 10으로 좁힌 Z_D로 부호화(A, B, C를 이용)

5) I의 범위를 약 1/ 2로 좁힌 Z_I로 부호화(A를 이용)

6) E의 범위를 약 1/ 2로 좁힌 Z_E로 부호화(A, I를 이용)

7) M의 범위를 약 1/ 10으로 좁힌 Z_M로 부호화(A, E, I를 이용)

8) K의 범위를 약 1/4로 좁힌 Z_K로 부호화(A, C, I를 이용)

와 같은 순서를 실행함으로써, X 중에서

A B C D

E…

I·K·

M…

의 8 계수가 낭비 없이 전송된다. 이와 같이 범위를 좁혀진 Z가 본 발명의 제3 태양의 "당해 계수가 취할 수 없는 값을 제외한 정보"에 상당한다.

나머지 8 계수

…

·F G H

·J·L

·N O P

에 대해서는 실시 형태 1과 마찬가지로 묶어서 하나의 수(index)로 표현하여 전송한다. 이들을 묶으면 알고리즘 3에 나타내는 것과 같은 순서가 된다.

〔알고리즘 3〕

1. A, C, B, D, I, E, M, K를 이 순서로 부호화한다

2. index←0

3. cases←0

4. for G←G´_min to G_max step 2

5. for F←F´_min to F_max step 2

6. for H←H´_min to H_max step 10

7. for J←J´_min to J_max step 4

8. for L←L´_min to L_max step 20

9. for N←N´_min to N_max step 10

10. for O←O´_min to O_max step 20

11. for P←P´_min to P_max step 100

12. begin

13. R←T^-1X(T^t)^-1(* 식 (8)*)

14. if R의 모든 요소가 정수다

15. then(* A∼P가 정수 신호의 직교 변환의 결과로서 타당*)

16. U←R+Y(* 식 (9)*)

17. if U의 모든 요소가 8bit 정수의 범위[0∼255]에 들어 있다

18. then(* A∼P가 잔차 신호의 직교 변환의 결과로서 타당*)

19. if X가 원래의 변환 계수에 일치한다

20. then index←cases

21. endif

22. cases←cases+1

23. endif

24. endif

25. end

26. cases분의 정보량을 이용하여 index를 부호화

상기 바와 같이 16중이었던 루프가 8중으로 삭감되어 처리가 더욱 고속화된다.

그리고 index를 기술하는데 필요한 정보량은

log₂cases[bit] (22)

이다. 이는 복호 쪽이 부가 정보 없이 가질 수 있고, 또한 index의 복호에 필요한 정보이다.

[실시 형태 4]: 대응하는 복호

본 실시 형태는 본 발명의 제7 태양에 대응하는 것이다.

여기에서는 상기 실시 형태 3에 관련된 부호화에 대응하는 복호에 관련된 실시 형태에 대해 설명한다. 복호 쪽에서도 부호화와 같은 루프를 돌림으로써 루프 최내부의 타당성 판단 결과가 index+1번째에 참이 되었을 때의, A∼K 및 G∼P의 값이 원래의 잔차 신호에 대응하는 직교 변환 계수가 되는 것을 안다.

index의 부호화 시에 이것이 어느 정도의 정보량을 갖는지에 따라 부호화한 경우, index의 복호에 있어서는, 우선 이것이 어느 정도의 정보량을 갖는지를 알아야 한다. 그래서 사전에 cases를 얻을 필요가 있다. 그러기 위해서는, 역시 부호화와 같은 루프를 실행하는 것이 필요하다.

예컨대, 메모리는 여분으로 필요하지만, 다중 루프의 2회 실행을 피하기 위해 알고리즘 4와 같이 함으로써 다중 루프를 한 번 실행으로 cases, index, 원신호를 이 순서로 취득할 수 있다. 여기서 Ubuf[]는 4×4 행렬을 요소로 하는 배열로서, 동적으로 확보하거나 미리 충분한 분량을 확보해 놓은 것으로 한다.

〔알고리즘 4〕

1. A, C, B, D, I, E, M, K를 이 순서로 복호한다

2. cases←0

3. for G←G´_min to G_max step 2

4. for F←F´_min to F_max step 2

5. for H←H´_min to H_max step 10

6. for J←J´_min to J_max step 4

7. for L←L´_min to L_max step 20

8. for N←N´_min to N_max step 10

9. for O←O´_min to O_max step 20

10. for P←P´_min to P_max step 100

11. begin

12. R←T^-1X(T^t)^―1(* 식 (8)*)

13. if R의 모든 요소가 정수다

14. then(* A∼P가 정수 신호의 직교 변환의 결과로서 타당*)

15. U←R+Y(* 식 (9)*)

16. if U의 모든 요소가 8bit 정수의 범위[0∼255]에 들어 있다

17. then(* A∼P가 잔차 신호의 직교 변환의 결과로서 타당*)

18. Ubuf[cases]←U

19. cases←cases+1

20. endif

21. endif

22. end

23. cases분의 정보량을 이용하여 index를 복호

24. U←Ubuf[index](* 원 신호치*)

[실시 형태 5]: 고속인 부호량 추정

본 실시 형태는 본 발명의 제6 태양에 대응하는 것이다.

H.264 방식에서는 프레임 내 예측에 있어서는 복수 모드나 종류, 프레임 간 예측에 있어서는 복수의 블록 사이즈 등 여러 가지의 예측 모드를 선택할 수 있다. 예측 잔차 신호(R)도 예측 모드에 의해 변화하기 때문에, 부호량 대 왜곡의 의미에서 최적의 예측 모드를 선택하는 경우, 모드마다의 부호량을 적절하게 추측할 필요가 생긴다.

가역 부호화의 경우, 왜곡은 항상 영(零)이기 때문에, 부호량(H.264 준거의 부호량과 부가 정보의 부호량의 합)을 최소화하는 것에만 유의하면 된다.

알고리즘 1, 알고리즘 2, 알고리즘 3에 제시한 바와 같은 다중 루프를 실행하면, 당연히 정확한 부가 정보 부호량을 추측하는 것이 가능하지만, 보다 고속인 부호량 추정법이 있으면, 복수 모드를 비교하는데 적절하다.

실시 형태 5는 다중 루프를 실행하는 일 없이 부가 정보의 부호량을 추측하는 것을 목적으로 하고 있다.

우선, 실시 형태 1, 실시 형태 2와 같이 특정 변환 계수를 사전에 전송하지 않을 경우를 설명한다. 사전에 양자화 전의 계수가 취할 수 있는 상하한치(식 (13), 식 (14))를 구해 놓는다. 이것을 원래 본 발명의 제6 태양의 "변환 계수의 존재 공간"의 체적(V)을 다음과 같이 구한다:

[수 5]

(23)

이 V가 존재 공간 중의 격자점의 수와 근사하다고 생각된다. 이 가운데 모두가 원래의 잔차 신호에 대응하고 있는 게 아니라 공간은 식 (6)에 제시한 바와 같이 확대되어 있기 때문에, V를 이 배율로 나눈 V₀

V₀=V/4O⁴ ⁺⁴ (24)

가 격자점의 총수와 근사하다고 추정된다. 따라서 1화소당의 부가 정보 부호량(1₀)은

(25)

가 된다.

또한 실시 형태 3과 같이 특정된 변환 계수를 사전에 전송하는 경우, 그들의 정보량(1₁)은 식 (21)과 같이 하여,

[수 6]

(26)

여기서 x는

A B C D

E…

I·K·

M…

의 계수이다.

그리고 n_x은 이미 설명한 구간을 좁히는 분량으로서, A, …, M 각각에 대해

1 2 2 1 0

2…

2·4·

10…

이다. A'_min=A_min, C'_min∼M'_min은 식 (18) 등과 같이 하여 구한다.

또한 나머지 8차원의 "변환 계수의 존재 공간"의 체적(V₁)은 다음과 같이 된다:

[수 7]

(27)

여기서도 상기 경우와 같이 원래의 잔차 신호에 대응하는 격자점은 드문드문 존재한다. 이 공간의 확대율은 식 (6)을

를 모두 곱한 것으로 나눈

[수 8]

이 될 것이다. 그러므로 "격자점의 총수"의 정보량(1₁)은 1화소당

(29)

가 된다.

결국, 1화소당 부가 정보량은 양자의 합

1₁+1₂[bit] (30)

가 된다.

식 (25), 식 (30)과 같이 추측된 값을 이용하여 다중 루프를 이용하는 부호화를 실행하는 일 없이 부호량의 추정을 행할 수 있다. 이것을 이용하여 부호량 최소가 되는 모드를 선택하며, 선택된 모드에 대해서만 실제의 부호화를 행함으로써 준최적의 가역 부호화를 실현할 수 있다.

[실시 형태 6]: 타당성 판단 고속화

본 실시 형태는 본 발명의 제4 태양에 대응하는 것이다.

[수 9]

(31)

이기 때문에, 식 (8)을 그대로 계산할 경우, 부동 소수점 연산이 필요하게 된다. 그렇지만 이것을 20배 하면,

[수 10]

(32)

가 되기 때문에, T^-1 대신에 T₀를 이용함으로써 이하와 같이 바른 R의 400(=20*20)배의 값(R₄₀₀로 함)을 정수 연산만으로 얻을 수 있다.

(33)

여기서

[수 11]

(34)

로 했을 때, 식 (33)은 식 (34)를 8회 종횡으로 실시하는 것으로 분해할 수 있지만, 이 계산은 구체적으로 알고리즘 5와 같이 고속으로 구해진다.

〔알고리즘 5〕

여기서 5x는 (x<<2)+x와 같이 쉬프트 1회, 가산 1회로 구해지고, 4b+2c 등도 (b<<2)+(c<<1)로서 쉬프트 2회, 가산 1회로 구해지기 때문에, 식 (33)의 계산에 승산은 전혀 불필요하다.

여기서 전술한 "타당성 판단"의 하나인 "R의 모든 요소가 정수인 것"은 "R₄₀₀의 모든 요소가 400의 배수인 것"과 등가다. 이것을 실행할 경우, 400으로 나눈 나머지가 0임을 확인하기 위해 제산이 필요하게 된다. 그렇지만 이미 루프를 돌리는 시점에서 25의 배수인 용장(冗長)성은 제거되어 있으므로, 16의 배수임을 확인하면 된다. 이것은 "R₄₀₀의 모든 요소의 하위 4bit가 모두 0인 것"과 등가다. 이것은 "각 요소와 15(이진수로 1111)와의 비트 AND 연산의 결과가 0인 것"과 등가로서 제산을 이용하지 않고 판단이 가능하다.

여기서 또 하나의 "타당성 판단"인 "U의 모든 요소가 8bit 정수의 범위[0∼255]에 들어 있다는 것"도 수정이 필요하게 된다. 식 (9)의 양쪽 변에 400을 곱하면

U₄₀₀=400U=R₄₀₀+Y₄₀₀ (35)

가 된다. 여기서 Y₄₀₀는 예측 신호(Y)를 400배 한 것으로, 이것을 사전에 준비해 놓고(256 요소의 룩업테이블을 이용하며, 400배의 승산은 불필요함), R₄₀₀과의 합을 구하면, 원신호의 400배가 얻어진다. 여기서 255*400=102,000이기 때문에, "U₄₀₀의 모든 요소가 [0∼102000]에 들어 있다는 것"을 확인하면 된다.

이 순서를 정리하면, 알고리즘 6과 같이 된다.

〔알고리즘 6〕

1. index←O

2. cases←0

3. for A←A_min to A_max(* 여기서만 1 간격*)

4. for C←C´_min to C_max step 2

5. for B←B´_min to B_max step 2

6. for D←D´_min to D_max step 10

7. for I←I´_min to I_max step 2

8. for E←E´_min to E_max step 2

9. for M←M´_min to M_max step 10

10. for K←K´_min to K_max step 4

11. for G←G´_min to G_max step 2

12. for F←F´_min to F_max step 2

13. for H←H´_min to H_max step 10

14. for J←J´_min to J_max step 4

15. for L←L´_min to L_max step 20

16. for N←N´_min to N_max step 10

17. for O←O´_min to O_max step 20

18. for P←P´_min to P_max step 100

19. begin

20. R₄₀₀←T₀XT₀ ^t(* 식 (33)*)

21. if R₄₀₀의 모든 요소의 하위 4bit가 0이다

22. then(* A∼P가 정수 신호의 직교 변환의 결과로서 타당*)

23. U₄₀₀←R₄₀₀+Y₄₀₀(* 식 (35)*)

24. if U₄₀₀의 모든 요소가 [0∼102000]에 들어 있다

25. then(* A∼P가 잔차 신호의 직교 변환의 결과로서 타당*)

26. if X가 원래의 변환 계수에 일치한다

27. then index←cases

28. endif

29. cases←cases+1

30. endif

31. endif

32. end

33. cases분의 정보량을 이용하여 index를 부호화

[실시 형태 7]: 돌출성을 이용한 처리 고속화

본 실시 형태는 본 발명의 제5 태양에 대응하는 것이다.

잔차 신호

[수 12]

의 존재 공간을 생각하기로 한다. 왼쪽 위의 요소(a)는 이 위치의 예측 화소 신호를 Y_a로 하면,

0≤a+Y_a≤255 (36)

-Y_a≤a≤255-Y_a (37)

와 같은 존재 범위를 만족하고 있다. b∼p도와 마찬가지로 상한·하한이 정해져 있다. 16차원 공간으로 고려하면, R의 존재 범위(Ω)는 돌출형 다면체(초(超)직육면체)의 형상을 취하는 것이 된다. R의 존재 범위를 식 (3)에 의해 변환한 목적인, 역시 16차원의 공간에서도 회전·확대를 거치지만, 돌출형 다면체인 것에는 변함이 없다. 변환 계수(X)는 이 변환 목적인 공간 내에 존재하고 있지만, 각 요소의 상하한은 식 (13), 식 (14)와 같이 구해져 있기 때문에, X의 존재 범위(Ψ)도 역시 돌출형 다면체(초직육면체)가 되어 있다. 따라서 Ω와 Ψ의 교합(

)도 역시 돌출형 다면체가 된다. 이러한 관계를 간소화를 위해 2차원으로 도시하면 도 1과 같이 된다.

도 1의 ψ영역을 확대한 것이 도 2이다. 격자점을 열거하는 단계에 있어서 다중 루프를 돌릴 때, 이 도면에 도시한 바와 같이, A=A₀로 B를 변화시킨 경우, 타당성 판단의 제2번(U의 모든 요소가 8bit 정수의 범위[0∼255]에 들어 있음)은 5개째의 격자점(회색)에 있어서 "참(眞)"→"거짓(僞)"이 된다. 존재 범위(

)가 돌출형이기 때문에, 6개째 이후는 거짓인 것이 확정되기 때문에, B의 루프를 중지하여 다음의 A=A₁로서 B의 루프를 재개한다. 여기에서는 6개째의 격자점(회색)에 있 어서 "참"←"거짓"이 되기 때문에, 루프를 중지한다. 이와 같이, 도면에서 파선으로 둘러싼 부분에 대한 판단을 중지할 수 있다.

이들을 정리하면, 알고리즘 7과 같이 된다. 모든 계수에 대해 타당성 판단 중지를 행하는 순서를 나타내면 나열이 커지므로, 여기에서는 간소화를 위해 다중 루프 최내부의 3 변수(N, O, P)에 대해 타당성 판단을 중지하는 순서를 나타내고 있지만, 일반성을 나타내는 데는 충분하다.

〔알고리즘 7〕

1. index←O

2. cases←0

3. for A←A_min to A_max

4. for B←B_min to B_max

5. for C←C_min to C_max

6. for D←D_min to D_max

7. for E←E_min to E_max

8. for F←F_min to F_max

9. for G←G_min to G_max

10. for H←H_min to H_max

11. for I←I_min to I_max

12. for J←J_min to J_max

13. for K←K_min to K_max

14. for L←L_min to L_max

15. for M←M_min to M_max

16. begin

17. CheckN←거짓

18. for N←N_min to N_max

19. begin

20. CheckO←거짓

21. for O←O_min to O_max

22. begin

23. CheckP←거짓

24. for P←P_min to P_max

25. begin

26. R←T^-1X(T^t)^-1(* 식 (8)*)

27. if R의 모든 요소가 정수이다

28. then(* A∼P가 정수 신호의 직교 변환의 결과로서 타당*)

29. U←R+Y(* 식 (9)*)

30. if U의 모든 요소가 8bit 정수의 범위[0∼255]에 들어 있다

31. then(* A∼P가 잔차 신호의 직교 변환의 결과로서 타당*)

32. if X가 원래의 변환 계수에 일치한다

33. then index←cases

34. endif

35. Check N←참

36. Check O←참

37. Check P←참

38. cases←cases+1

39. else if CheckP=참

40. then goto 21(* 참→거짓으로 변했음*)

41. endif

42. endif

43. end

44. if CheckP=거짓 and CheckO=참

45. then goto 18(* 참→거짓으로 변했음*)

46. endif

47. end

48. if CheckP=거짓 and CheckO=거짓 and CheckN=참

49. then goto 15(* 참→거짓으로 변했음*)

50. endif

51. end

52. end

53. cases분의 정보량을 이용하여 index를 부호화

[실시 형태 8]: 부호화 장치의 구성예

본 실시 형태는 본 발명의 제8 태양에 대응하는 것이다.

상술한 본 발명을 실현하는 장치 구성에 대해 이하로 설명한다. 도 3은 본 발명의 단계적 가역 비디오 부호화 장치의 구성예를 나타내는 도면이다. 단계적 가역 비디오 부호화 장치(1)는 H.264 표준 부호화 방식에 근거하여 각 블록마다 원래의 화상 신호와, 프레임 내 부호화에서의 공간 예측 또는 프레임 간 부호화에서의 시간 예측에 의한 예측 화상 신호의 잔차 신호(Rorig)를 산출하는 부분(도 3에서는 미도시) 이외에, cases, index를 초기화하는 초기화부(11), 잔차 신호(Rorig)를 직교 변환하는 직교 변환부(12), 직교 변환부(12)의 출력을 양자화하는 양자화부(13), 상하한치 정보(A_min, A_max, …, P_min, P_max)를 구하는 존재 공간 결정부(14), 축차 부호화 전송하는 계수를 부호화 처리하는 계수 축차 부호화부(15), 계수를 일괄하여 대표하는 수(index)를 구하여 부호화하는 계수 일괄 부호화부(16), 화상 내의 모든 블록을 부호화했는지를 판정하는 종료 판정부(17)를 구비한다.

계수 일괄 부호화부(16)는 각 계수 상하한 내에서 모든 계수의 조합을 열거하는 다중 루프 개시부(161), 이미 부호화 전송한 계수 및 현재 루프 중의 계수에 의해 정해지는 4×4 행렬(X)을 역직교 변환하는 역직교 변환부(162), 행렬 합(U=R+Y)을 구하는 예측 신호 가산부(163), index와 cases를 갱신 처리하는 내부 변수 갱신부(164), 각 계수 상하한 내에서 모든 계수의 조합이 조사되었는지를 판정하는 다중 루프 종료 판정부(165), index를 부호화하는 일련 번호 부호화부(166)로 구성된다.

도 3에 도시한 단계적 가역 비디오 부호화 장치(1)는 다음과 같이 동작한다. 우선 초기화부(11)에 있어서 "격자점의 총수" cases, 잔차 신호의 직교 변환 계수에 일치하는 격자점의 "일련 번호" index를 각각 O으로 초기화한다.

다음에 직교 변환부(12)에 있어서 잔차 신호(Rorig)에 직교 변환을 실시하여 Xorig를 얻는다.

이는 양자화부(13)에 있어서 양자화 파라미터 정보를 이용하여 양자화한다. 이 양자화 정보로부터 존재 공간 결정부(14)에 있어서 상하한치 정보(A_min, A_max, …, P_min, P_max)를 구한다.

다음으로, 계수 축차 부호화부(15)에서 축차 부호화 전송하는 계수를 부호화 처리한다. 예컨대, 상술한 실시 형태 1의 경우 0개, 실시 형태 3의 경우 A, C, B, D, I, E, M, K의 8개이다.

이어서, 계수 일괄 부호화부(16)에 있어서 나머지 계수를 일괄하여 대표하는 수(index)를 구하여 부호화한다. 즉, 계수 일괄 부호화부(16) 중의 다중 루프 개시부(161)는 남는 계수(예컨대, 실시 형태 1의 경우 A∼P의 16개, 실시 형태 3의 경우 G, F, H, J, L, N, O, P의 8개)에 대한 각각 상하한에서 취할 수 있는 범위 모두를 열거한다. 그때, 실시 형태 2처럼 계수 간의 정수적 수치 관계를 이용하여 취할 수 없는 계수의 조합은 생략하고 열거해도 된다.

역직교 변환부(162)에서는 이미 부호화 전송한 계수 및 현재 루프 중의 계수(A∼P)에 의해 정해지는 4×4 행렬(X)을 역직교 변환하여 R로 한다. 여기서 만일 R에 정수가 아닌 값이 존재하면, 다중 루프 종료 판정부(165)의 처리로 진행한다.

이어서, 예측 신호 가산부(163)에 있어서 행렬 합(U=R+Y)을 구한다. 여기서 만일 U의 요소에 [0∼255]의 범위에 들어가지 않은 값이 존재하면, 다중 루프 종료 판정부(165)의 처리로 진행한다.

다음으로, 내부 변수 갱신부(164)에 있어서 X와 Xorig가 일치할 경우, index에 cases를 대입하는 처리를 행한다. 또한 cases에 1을 가산한다.

다중 루프 종료 판정부(165)에서는 상하한 내에서 모든 계수의 조합이 조사되었는지를 판정하고, 아직 조사되지 않았다면 다중 루프 개시부(161)의 처리로 되돌아간다. 조사가 완료되었으면 일련 번호 부호화부(166)에서 cases분의 정보량을 이용하여 index를 부호화한다.

다음에, 종료 판정부(17)에 있어서 화상 내의 모든 블록을 부호화했는지를 판정하고, 모든 블록의 부호화가 완료되지 않았으면 다음 블록으로 진행하여 초기화부(11)에 의한 처리를 재개한다. 완료되었으면 부호화를 종료한다.

〔index의 부호화에 범용 가변길이 부호화를 이용하는 경우〕

본 발명에 있어서는, 예컨대 범용 가변길이 부호(참고 문헌: Y.Itoh, N-M Cheung: "Universal variable length code for DCT coding," IEEE Proc. Int. Conf. Image Processing, Vol.1, pp.940-943, 2000) 등을 이용함으로써 cases를 이용하지 않고 index를 부호화해도 된다. 이 경우, 내부 변수 갱신부(164)에 있어서 X와 Xorig가 일치하면, 그때의 cases의 값을 범용 가변길이 부호화하여 즉시 계수 일괄 부호화부(16)에 의한 처리를 종료한다.

[실시 형태 9]: 복호장치의 구성예

본 실시 형태는 본 발명의 제9 태양에 대응하는 것이다.

도 4는 본 발명의 단계적 가역 비디오 복호 장치의 구성예를 나타내는 도면이다. 단계적 가역 비디오 복호 장치(2)는 양자화 파라미터·양자화 계수를 복호함과 동시에, 예측 신호(Y)를 생성하는 초기화 복호부(21), 상하한치 정보(A_min, A_max, …, P_min, P_max)를 구하는 존재 공간 결정부(22), 축차 부호화 전송된 계수를 복호하는 계수 축차 복호부(23), 계수를 일괄하여 대표하는 수(index)를 복호하는 계수 일괄 복호부(24), U의 값을 기억하는 배열 기억인 Ubuf[](25) 및 화상 내의 모든 블록을 복호했는지를 판정하는 종료 판정부(26)로 구성된다.

계수 일괄 복호부(24)는 각 계수 상하한 내에서 모든 계수의 조합을 열거하는 다중 루프 개시부(241), 이미 복호된 계수 및 현재 루프 중의 계수에 의해 정해지는 4×4 행렬(X)을 역직교 변환하는 역직교 변환부(242), 행렬 합(U=R+Y)을 구하 는 예측 신호 가산부(243), Ubuf[](25)의 cases 번지에 U를 저장함과 동시에, cases를 갱신하는 내부 변수 갱신부(244), 각 계수의 상하한 내에서 모든 계수의 조합이 조사되었는지를 판정하는 다중 루프 종료 판정부(245), index를 복호하는 일련 번호 복호부(246), Ubuf[](25)의 index번째의 값을 원래의 화상 신호로서 출력하는 원신호 출력부(247)로 구성된다.

도 4에 도시한 단계적 가역 비디오 복호 장치(2)는 이하와 같이 동작한다. 우선, 초기화 복호부(21)에 있어서 격자점의 총수(cases)를 0으로 초기화하고, 양자화 파라미터·양자화 계수의 복호, 예측 신호(Y)를 생성한다.

양자화 파라미터와 양자화 계수와 근거하여 존재 공간 결정부(22)에 있어서 상하한치 정보(A_min, A_max, …, P_min, P_max)를 구한다.

다음으로, 계수 축차 복호부(23)에서 축차 부호화 전송된 계수를 복호한다. 예컨대, 상기 실시 형태 1의 경우 0개, 실시 형태 3의 경우 A, C, B, D, I, E, M, K의 8개를 이 순서로 복호하다.

다음에, 계수 일괄 복호부(24)에 있어서 나머지 계수를 일괄하여 대표하는 수(index)를 복호하여 가역 복원을 행한다. 즉, 계수 일괄 복호부(24) 중의 다중 루프 개시부(241)는 나머지 계수(예컨대, 실시 형태 1의 경우 A∼P의 16개, 실시 형태 3의 경우 G, F, H, J, L, N, O, P의 8개)에 대한 각각 상하한에서 취할 수 있는 범위 모두를 열거한다.

그때, 실시 형태 2와 같이 계수 간의 정수적 수치 관계를 이용하여 취할 수 없는 계수의 조합은 생략하고 열거해도 된다. 다만, 취할 수 없는 계수의 조합을 건너뛰어 열거하는 순서는 대응하는 부호화 장치와 완전히 동일한 순서로 한다.

역직교 변환부(242)에서는 이미 복호된 계수 및 현재 루프 중의 계수(A∼P)에 의해 정해지는 4×4 행렬(X)을 역직교 변환하여 R로 한다. 여기서 만일 R에 정수가 아닌 값이 존재하면, 다중 루프 종료 판정부(245)의 처리로 진행한다.

이어서, 예측 신호 가산부(243)에 있어서 행렬 합(U=R+Y)을 구한다. 여기서 만일 U의 요소에 [0∼255]의 범위에 들어 있지 않은 값이 존재하면, 다중 루프 종료 판정부(245)의 처리로 나아간다.

다음으로, 내부 변수 갱신부(244)에 있어서 사전에 확보해 둔 Ubuf[](25)의 cases 번지에 U를 저장하여 cases에 1을 가산한다.

다중 루프 종료 판정부(245)에서는 상하한 내에서 모든 계수의 조합이 조사되었는지를 판정하고, 아직 조사되지 않았다면 다중 루프 개시부(241)에 의한 처리로 되돌아간다. 완료되었으면 일련 번호 복호부(246)에서 cases분의 정보량을 이용하여 index를 복호하다.

다음에, 원신호 출력부(247)에서 Ubuf[](25)의 index번째의 값을 꺼내 원래의 화상 신호로서 출력한다.

다음에, 종료 판정부(26)에 있어서 화상 내의 모든 블록을 복호했는지를 판정하고, 모든 블록의 복호가 완료되지 않았다면 다음 블록으로 진행하여 초기화 복호부(21)에 의한 처리를 재개한다. 완료되었으면 복호를 종료한다.

[index의 부호화에 범용 가변길이 부호화를 이용하는 경우의 복호장치의 구 성예]

본 발명에 있어서 index의 부호화에 범용 가변길이 부호를 이용하는 경우, 복호 쪽은 도 5에 도시한 바와 같은 기능 블록 구성이 된다. 도 5에 도시한 단계적 가역 비디오 복호 장치(3)는 범용 가변길이 복호부(27)에 있어서 index를 복호하고, 다중 루프 종료 판정부(285)에서는 다중 루프를 수행한 횟수가 index번째인지를 판정하며, index 번째이면 즉시 종료로 판정하고, 그때의 U의 값을 원신호로서 출력한다. 따라서 도 4에 도시한 Ubufk[](25)와 같은 배열 기억은 불필요하게 된다. 다른 부분의 동작은 도 4에서 설명한 예와 동일하다.

실시예 1

실시 형태 3에 대응하는 실시예 1에 대해 설명한다. 이 실시예 1에 있어서 핵이 되는 처리의 개략은 이하와 같다.

입력: 양자화 파라미터, 예측 신호(Y), 원래의 잔차 신호(Rorig)

처리: 원신호에 대응하는 직교 변환 계수에 대해 일부는 압축 정보화하고, 나머지는 원신호가 될 수 있는 조합을 빠짐없이 모두 열거한 것들 중의 일련 번호로서 표현한다.

출력: 계수의 일부(A, C, B, D, I, E, M, K)를 각각 표현하는 압축 정보(Z_A∼Z_K), 나머지의 계수(G, F, H, J, L, N, O, P)를 묶어서 1수치로 대표하는 부호(index)

실시예 1에 대해 도 6에 도시한 처리 플로우를 참조하여 설명한다. 우선, 단 계 S101에서 양자화 파라미터, 예측 신호(Y), 원래의 잔차 신호(Rorig)를 입력한다. 다음에 단계 S102에 있어서 index, cases를 함께 0으로 초기화한다.

다음에, 단계 S103에 있어서 Rorig에 직교 변환을 행하여 변환 계수(Xorig)를 얻음과 동시에, Xorig에 양자화를 행한 양자화 계수도 구한다. 단계 S104에서는 지금까지 얻어진 양자화 파라미터, 양자화 계수의 정보로부터 Xorig를 역으로 추정한 행렬인 X의 각 요소(A∼P)의 상하한을 구한다. 이것을 근거로 단계 S105에 있어서 A, C, B, D, I, E, M, K를 이 순서로 압축 부호화한다.

이어서 G, F, H, J, L, N, O, P의 8중 루프(단계 S106∼단계 S114)로 들어간다. 단계 S107에서 현재의 A∼P의 값으로 이루어지는 4×4 행렬(X)을 식 (8)에 의해 역변환하여 R을 얻는다.

단계 S108에서 R의 요소가 모두 정수인지를 확인하고, 거짓이라면 단계 S114로, 참이라면 단계 S109로 진행하여 U=R+Y를 계산한다.

다음에 단계 S110에서 U의 모든 요소가 [0∼255]의 범위 내인지 아닌지의 여부를 확인하다. 이것이 거짓이면 단계 S114로, 참이라면 단계 S111로 진행하며, X가 원래의 변환 계수(Xorig)와 대등한가를 확인한다. 이것이 참이라면 단계 S112에서 변수(index)에 현재의 cases의 값을 보존한다. 다음에, 단계 S113에서 cases의 값을 1 가산하여 단계 S114로 진행한다.

단계 S114에서는 8중 루프가 모두 완료했는지를 확인하고, 거짓인 동안은 루프 선두의 단계 S106에 되돌아간다. 참이라면 단계 S115에 있어서 이미 구해진 cases(격자점의 총수)분의 정보량(식 (22))을 이용해서 index를 부호화하여 종료한 다.

여기에서는 사전에 일부의 계수(A, C, B, D, I, E, M, K의 8 계수)를 우선 별도 부호화하는(단계 S105) 처리예를 나타냈지만, 이것을 생략하고 단계 S106로부터 단계 S114까지를 모두 16 계수의 다중 루프로 하면, 완전히 같은 테두리로 실시 형태 1 또는 실시 형태 2에 대응하는 실시예가 된다.

실시예 2

실시 형태 4에 대응하는 실시예 2에 대해 설명한다. 이 실시예 2에 있어서 핵이 되는 처리의 개략은 이하와 같다.

입력: 양자화 파라미터, 예측 신호(Y), 양자화 계수

처리: 원신호에 대응하는 직교 변환 계수에 대해 일부(A, C, B, D, I, E, M, K)는 압축 정보로부터, 나머지(G, F, H, J, L, N, O, P)는 원신호가 될 수 있는 조합을 빠짐없이 모두 열거한 것들 중의 일련 번호 번째로서 복호하다.

출력: 원래의 화상 신호

실시예 2에 대해 도 7에 도시한 처리 플로우를 참조하여 설명한다. 우선 단계 S201에서 cases를 0으로 초기화한다. 다음에, 단계 S202에 있어서 양자화 파라미터·양자화 계수의 복호, 예측 신호(Y)를 생성한다. 이들은 H.264 기본 정보 비트스트림으로부터 얻어지는 정보다.

단계 S203에서는 지금까지 얻어진 정보로부터 행렬(X)의 각 계수(A∼P)의 상하한을 구한다. 이것을 근거로 단계 S204에 있어서 A, C, B, D, I, E, M, K를 이 순서로 복호한다.

이어서 G, F, H, J, L, N, O, P의 8중 루프(단계 S205∼단계 S212)에 들어간다. 단계 S206에서 현재의 A∼P의 값으로 이루어지는 4×4 행렬(X)을 제8 식에 의해 역변환하여 R을 얻는다.

단계 S207에서 R의 요소가 모두 정수인지를 확인하고, 거짓이라면 단계 S212로, 참이라면 단계 S208로 진행하여 U=R+Y를 계산한다.

다음에, 단계 S209에서 U의 모든 요소가 [0∼255]의 범위 내인지 아닌지의 여부를 확인한다. 이것이 참이라면 단계 S210에서 배열(Ubuf[])의 cases 번지에 현재의 U 값을 보존하고, 단계 S211에서 cases를 1 가산하고, 단계 S212로 진행한다. 거짓이라면 단계 S212로 진행한다.

단계 S212에서는 8중 루프가 모두 완료했는지를 확인하고, 거짓인 동안은 루프 선두의 단계 S205에 되돌아간다. 참이라면 단계 S213에 있어서 이미 구해진 cases(격자점의 총수)분의 정보량(식 (22))을 이용해서 index를 복호하며, 단계 S214에서 Ubuf[index](원신호에 상당함)를 출력하여 종료한다.

이상의 실시예에서는 cases를 이용하여 index를 부호화하는 예를 설명했지만, index의 부호화에 범용 가변길이 부호(UVLC: Universal Variable Length Code)나 스톱 부호를 이용하도록 해도 된다. index의 부호화에 범용 가변길이 부호나 스톱 부호를 이용한 경우, 복호 쪽에서는 cases를 알지 못하는 경우에도 복호할 수 있다. 이 경우, index용의 부호량이 20% 못 미치게 증가하는 것으로 예상되지만, cases의 값을 산출할 필요가 없기 때문에, 다중 루프를 도중에 중단할 수 있으며, 부호화도 복호도 시간이 약 1/2가 된다는 이점이 있다. 또한 복호 쪽의 배열 기 억(Ubuf[])이 불필요하게 된다는 이점도 있다.

이상, 본 발명의 실시 형태 및 실시예를 도면을 참조하여 설명했지만, 이들은 본 발명의 예시임에 불과하며, 본 발명이 이들 실시 형태 및 실시예로 한정되는 것이 아닌 것은 명백하다. 따라서 본 발명 정신 및 범위를 일탈하지 않는 범위에서 구성 요소의 추가, 생략, 치환, 기타의 변경을 하도록 해도 된다.

예컨대, 도 3∼도 5에 도시한 장치는 전용적인 하드웨어에 의해 실현하는 형태 이외에 메모리 및 CPU(중앙 처리 장치) 등을 구비한 컴퓨터 시스템으로 구성하고, 이들 장치의 처리(예컨대, 도 6∼도 7에 도시한 각 단계)를 실현하기 위한 프로그램을 메모리에 로드하여 실행함으로써 그 기능을 실현시키도록 해도 된다. 또한 당해 기능을 실현하기 위한 프로그램을 컴퓨터로 판독 가능한 기록 매체에 기록시켜 놓고, 이 기록 매체에 기록된 프로그램을 컴퓨터 시스템으로 하여금 판독시켜서 실행하도록 해도 된다.

그리고 여기서 하는 컴퓨터 시스템이란 OS나 주변기기 등의 하드웨어를 포함하는 것으로 한다. 또한 컴퓨터로 판독이 가능한 기록 매체란 플렉시블 디스크, 광자기 디스크, ROM, CD-ROM 등의 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등 기억 장치를 말하며, 인터넷 등의 네트워크나 전화 회선 등의 통신 회선을 통해 프로그램을 송신하는 경우의 통신선과 같이 짧은 시간 동안 동적으로 프로그램을 유지하는 것(전송 매체 내지는 전송파), 그 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리와 같이 일정 시간 프로그램을 유지하고 있는 것도 포함된다. 또한 상기 프로그램은 전술한 기능의 일부를 실현하기 위한 것이어도 되 고, 또한 전술한 기능을 컴퓨터 시스템에 미리 기록되어 있는 프로그램과의 조합으로 실현할 수 있는 것, 이른바 차분 파일(차분 프로그램)이어도 된다.

또한 단계적 가역 비디오 부호화 장치 및 단계적 가역 비디오 복호 장치는, 예컨대 이하와 같이 구성해도 된다.

즉, 단계적 가역 비디오 부호화 장치는 H.264 표준에 준거한 비트스트림을 생성하는 수단과, 이에 더하여 화상 신호의 각 블록의 부호화에 있어서 프레임 내 부호화에서의 공간 예측 또는 프레임 간 부호화에서의 시간 예측에 의한 예측 신호를 입력하는 수단과, 원신호로부터 예측 신호를 차감한 잔차 신호를 입력하는 수단과, h.264 표준 방식에 근거하여 잔차 신호에 대해 직교 변환을 실시하여 얻어지는 변환 계수 및 그것을 양자화한 양자화 계수를 구하는 수단과, 양자화 계수, 양자화 파라미터 및 양자화 방법으로부터 정해지는 변환 계수의 존재 공간을 특정하는 수단과, 당해 공간 중의 어느 격자점이 잔차 신호의 직교 변환의 결과로서 타당한지의 여부를 판단하는 타당성 판단 수단과, 당해 공간 내의 격자점 중 상기 판단이 타당한 것을 열거하는 열거 수단과, 열거된 격자점에 열거 순서로 0으로부터 시작되는 일련 번호를 할당하는 수단과, 열거된 격자점 중 잔차 신호의 변환 계수에 일치하는 격자점의 일련 번호를 얻는 수단과, 얻어진 일련 번호를 부호화하는 수단을 구비하도록 구성한다.

상기 단계적 가역 비디오 부호화 장치에 있어서 격자점을 열거할 때에, 변환 계수 간의 정수적 수치 관계를 이용함으로써 공간 내에서 변환 계수가 취할 수 없는 점에 대해서는 타당의 판단 처리를 생략하는 수단을 구비하도록 해도 된다.

상기 단계적 가역 비디오 부호화 장치에 있어서 특정된 몇 개의 변환 계수에 대해 당해 계수와 이미 전송된 계수(만일 있다면)의 정수적 수치 관계를 이용하고, 당해 계수가 취할 수 없는 값을 제외한 정보를 전송함으로써 당해 계수를 전송하는 것에 대체하는 수단과, 이렇게 사전에 전송된 변환 계수를 이용하여 차원이 축소한 존재 공간 내에서 격자점을 열거하는 수단을 구비하도록 해도 된다.

상기 단계적 가역 비디오 부호화 장치에 있어서 상기 타당성 판단을 비트 연산·정수 가감산만으로 등가로 실현하는 수단을 구비하도록 해도 된다.

상기 단계적 가역 비디오 부호화 장치에 있어서 잔차 신호의 존재 범위와 변환 계수의 존재 범위의 교합이 돌출형 다면체가 되는 것을 이용하여 상기 타당성 판단을 도중에 중지하는 수단을 구비하도록 해도 된다.

상기 단계적 가역 비디오 부호화 장치에 있어서 상기 열거 수단에 의한 격자점의 열거를 실행하지 않고 부호량의 예측을 행하는 수단을 구비하도록 해도 된다.

상기 단계적 가역 비디오 부호화 장치에 대응하는 단계적 가역 비디오 복호 장치는 H.264 표준복호 방식을 실행하는 수단과, 양자화 파라미터, 양자화 계수, 부호화 쪽의 양자화 방법 및 이미 복원된 계수(만일 있다면)로부터 정해지는 변환 계수의 존재 공간을 특정하는 수단과, 복호해야 할 계수를 복호하는 수단과, 제1∼제3의 본 발명과 같은 열거 수단 및 타당성 판단 수단과, 일련 번호를 복호하는 수단과, 열거된 순서가 일련 번호와 동등한 격자점을 출력하는 수단을 구비하도록 구성한다.

본 발명은 고능률 비디오 부호화/복호를 실현하는 단계적 가역 비디오 부호화/복호 기술에 관련된 것이다. 본 발명에 의하면, 기본 부분으로서 전송되는 부호는 H.264 표준의 부호화와 호환성을 유지하면서 부가 부분의 부호량을 가능한 한 낮게 억제하며 원신호에 일치하는 가역적인 복호를 행하는 것이 가능하게 된다. 또한 본 발명에 의하면, 처리를 수조 배로 고속화하여 실행할 수 있다. 또한 본 발명에 의하면, 실제의 부호화를 행하지 않고 부호량의 추정할 수 있고, 결과적으로 부호량을 줄이는 예측 모드의 선택을 고속으로 할 수 있다.

Claims

원신호에 일치하는 복호가 가능한 비디오 부호화를 행하는 가역 비디오 부호화 방법에 있어서,

사전에 정해진 비가역적인 비디오 부호화 방식에 준거하여 화상 신호의 각 블록마다 원신호로부터 프레임 내 부호화에서의 공간 예측 또는 프레임 간 부호화에서의 시간 예측에 의한 예측 신호를 차감한 잔차 신호를 입력하는 단계;

상기 비가역적인 비디오 부호화 방식에 근거하여 상기 잔차 신호에 대해 직교 변환을 실시하여 얻어지는 변환 계수 및 그것을 양자화한 양자화 계수를 구하는 단계;

상기 양자화 계수, 양자화시에 사용한 양자화 파라미터 및 양자화 방법으로부터 정해지는 변환 계수의 존재 공간을 특정하는 단계;

상기 변환 계수의 존재 공간 내의 어느 격자점이 잔차 신호의 직교 변환의 결과로서 타당한지의 여부를 판단하는 타당성 판단 단계;

상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 소정의 격자점의 순서로 탐색하여 열거하는 단계;

열거된 격자점에 열거 순서로 일련 번호를 할당하는 단계;

열거된 격자점 중 잔차 신호의 변환 계수에 일치하는 격자점의 일련 번호를 얻는 단계; 및

상기 잔차 신호의 변환 계수에 일치하는 격자점의 일련 번호를 부호화하여 출력하는 단계를 갖는 것을 특징으로 하는 단계적 가역 비디오 부호화 방법.
제1항에 있어서,

상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 열거하는 단계에서는, 변환 계수 간의 정수적 수치 관계를 이용함으로써 상기 공간 내에서 변환 계수가 취할 수 없는 점에 대해서는 잔차 신호의 직교 변환의 결과로서 타당한지의 여부를 판단하는 처리를 생략하는 것을 특징으로 하는 단계적 가역 비디오 부호화 방법.
제1항에 있어서,

특정된 몇 개의 변환 계수에 대해 당해 계수와 이미 출력한 계수의 정수적 수치 관계를 이용하여 당해 계수가 취할 수 없는 값을 제외한 정보를 출력함으로써 당해 계수를 출력하는 것에 대체하는 단계를 가지며,

상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 열거하는 단계에서는 상기 이미 출력한 계수를 이용하여 차원이 축소된 존재 공간 내에서 격자점을 열거하는 것을 특징으로 하는 단계적 가역 비디오 부호화 방법.
제1항에 있어서,

상기 타당성 판단 단계에서는 비트 연산 및 정수 가감산만을 이용하여 타당성을 판단하는 것을 특징으로 하는 단계적 가역 비디오 부호화 방법.
제1항에 있어서,

잔차 신호의 존재 범위와 변환 계수의 존재 범위의 교합이 돌출형 다면체가 되는 것을 이용하여 판단 대상이 되는 상기 격자점이 상기 돌출형 다면체의 외부에 존재할 경우에 상기 타당성 판단을 도중에 중지하는 것을 특징으로 하는 단계적 가역 비디오 부호화 방법.
제1항에 있어서,

상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 열거하는 단계를 실행하지 않고 부호량의 예측을 행하는 단계를 갖는 것을 특징으로 하는 단계적 가역 비디오 부호화 방법.
제1항 내지 제6항 중 어느 한 항에 기재된 단계적 가역 비디오 부호와 방법에 의하여 부호화된 부호화 스트림을 복호하는 복호 방법에 있어서,

상기 사전에 정해진 비가역적인 비디오 부호화 방식에 대응하는 복호 방식을 실행하는 단계;

양자화 파라미터, 양자화 계수 및 부호화 쪽의 양자화 방법 그리고 이미 복호된 계수가 있는 경우에는 그 계수로부터 정해지는 변환 계수의 존재 공간을 특정하는 단계;

복호해야 할 계수를 복호하는 단계;

상기 변환 계수의 존재 공간 내의 어느 격자점이 잔차 신호의 직교 변환의 결과로서 타당한지의 여부를 판단하는 타당성 판단 단계;

상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 부호화 시에서의 격자점의 탐색 순서와 동일한 순번으로 탐색하여 열거하는 단계;

일련 번호를 복호하는 단계; 및

상기 열거된 격자점 중 상기 복호된 일련 번호와 동일한 순번의 격자점을 출력하는 단계를 갖는 것을 특징으로 하는 단계적 가역 비디오 복호 방법.
원신호에 일치하는 복호가 가능한 비디오 부호화를 행하는 가역 비디오 부호화 장치에 있어서,

사전에 정해진 비가역적인 비디오 부호화 방식에 준거하여 화상 신호의 각 블록마다 원신호로부터 프레임 내 부호화에서의 공간 예측 또는 프레임 간 부호화에서의 시간 예측에 의한 예측 신호를 차감한 잔차 신호를 입력하는 수단;

상기 비가역적인 비디오 부호화 방식에 근거하여 상기 잔차 신호에 대해 직교 변환을 실시하여 얻어지는 변환 계수 및 그것을 양자화한 양자화 계수를 구하는 수단;

상기 양자화 계수, 양자화 시에 사용한 양자화 파라미터 및 양자화 방법으로부터 정해지는 변환 계수의 존재 공간을 특정하는 존재 공간 결정 수단;

상기 변환 계수의 존재 공간 내의 어느 격자점이 잔차 신호의 직교 변환의 결과로서 타당한지의 여부를 판단하는 타당성 판단 수단;

상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 소정의 격자점의 순서로 탐색하여 열거하는 수단;

열거된 격자점에 열거 순서대로 일련 번호를 할당하는 수단;

열거된 격자점 중 잔차 신호의 변환 계수에 일치하는 격자점의 일련 번호를 얻는 수단; 및

상기 잔차 신호의 변환 계수에 일치하는 격자점의 일련 번호를 부호화하여 출력하는 수단을 구비하는 것을 특징으로 하는 단계적 가역 비디오 부호화 장치.
제8항에 의한 단계적 가역 비디오 부호화 장치에 의해 부호화된 부호화 스트림을 복호하는 장치에 있어서,

상기 사전에 정해진 비가역적인 비디오 부호화 방식에 대응하는 복호 방식을 실행하는 수단;

양자화 파라미터, 양자화 계수 및 부호화 쪽의 양자화 방법 그리고 이미 복호된 계수가 있는 경우에는 그 계수로부터 정해지는 변환 계수의 존재 공간을 특정하는 존재 공간 결정 수단;

복호해야 할 계수를 복호하는 계수 복호 수단;

상기 변환 계수의 존재 공간 내의 어느 격자점이 잔차 신호의 직교 변환의 결과로서 타당한지의 여부를 판단하는 타당성 판단 수단;

상기 변환 계수의 존재 공간 내의 격자점 중 상기 판단이 타당한 것을 부호 화 시에서의 격자점의 탐색 순서와 동일한 순번으로 탐색하여 열거하는 수단;

일련 번호를 복호하는 일련 번호 복호 수단; 및

상기 열거된 격자점 중 상기 복호된 일련 번호와 동일한 순번의 격자점을 출력하는 출력 수단을 구비하는 것을 특징으로 하는 단계적 가역 비디오 복호 장치.
삭제
삭제
제1항 내지 제6항 중 어느 한 항에 기재된 단계적 가역 비디오 부호화 방법을 컴퓨터로 하여금 실행시키기 위한 프로그램을 컴퓨터로 판독 가능한 기록 매체에 기록한 것을 특징으로 하는 단계적 가역 비디오 부호화 프로그램의 기록 매체.
제7항에 기재된 단계적 가역 비디오 복호 방법을 컴퓨터로 실행시키기 위한 프로그램을 컴퓨터로 판독 가능한 기록 매체에 기록한 것을 특징으로 하는 단계적 가역 비디오 복호 프로그램의 기록 매체.