KR20020064786A

KR20020064786A - 웨이블릿 분해를 사용하는 비디오 인코딩 방법

Info

Publication number: KR20020064786A
Application number: KR1020027003862A
Authority: KR
Inventors: 보리스 펠츠; 비트리스 페스퀘트-포페스쿠
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2000-07-25
Filing date: 2001-07-18
Publication date: 2002-08-09
Also published as: JP2004505520A; EP1305952A2; WO2002009438A2; CN1197381C; WO2002009438A3; US20020064231A1; CN1428050A

Abstract

스케일성의 제한 하에 비디오 시퀀스를 압축하기 위해, 웨이블릿 분해의 스케일들을 통해 중요도 정보의 부재의 예상에 기초하여 공지된 2D 또는 3D SPIHT는 상이한 해상도들에서 동일한 이미지 영역에 대응하는 픽셀들의 세트와 중요도 레벨로 불리는 값을 비교한다. 양자의 경우, 변환 계수들은 중요하지 않은 세트들의 리스트(LIS), 중요하지 않은 픽셀들의 리스트(LIP), 및 중요한 픽셀들의 리스트(LSP)로 불리는 3개의 정렬 리스트들에 의해 나타낸 픽셀들을 수반하는 중요도 테스트들에 의해 정렬된다. 원래의 비디오 시퀀스에서, 픽셀값은 픽셀을 둘러싼 픽셀값에 의존한다. 조절 이벤트들의 수가 증가할 때, 심볼이 주어진 d 이전 비트들의 확률 추정은 어려운 작업이 된다. 본 발명의 목적은 비트스트림에 기여하는 정보 소스들의 동작의 변화들을 반영하는 유효한 비디오 인코딩 방법을 제안하는 것이다: 각각의 중요도 레벨의 심볼들(0, 1)의 발생 확률의 추정을 위해, 4개의 콘텍스트 트리들에 의해 표현된 4개의 모델들은 LIS, LIP, LSP에 대응하는 이러한 모델들이 고려되고, 구별은 휘도 계수들을 위한 모델들과 색차를 위한 모델들 간에 이루어진다.

Description

웨이블릿 분해를 사용하는 비디오 인코딩 방법{Video encoding method using a wavelet decomposition}

본 발명은 주어진 수의 연속적인 해상도 레벨들로 되게 하는 3차원(3D) 웨이블릿 변환에 의해 분해된 프레임 그룹들로 분할된 비디오 시퀀스의 압축을 위한 인코딩 방법에 관한 것이며, 상기 방법은 "SPIHT(set partitioning in hierarchical trees)"로 불리는 계층적인 서브밴드 인코딩 프로세스에 기초하며, 비디오 시퀀스의 화소들(픽셀들)의 원래 세트로부터 2진 포맷으로 인코딩된 계수들을 웨이블릿 변환하게 하고, 상기 계수들은 트리들로 구성되어, LIS(list of insignificant sets), LIP(list of insignificant pixels) 및 LSP(list of significant pixels)라 불리는 3개의 순서화된 리스트들로 표시된 픽셀들을 포함하는 크기 테스트들(magnitude tests)에 의해 서브세트들(각 레벨들의 중요성에 대응)로 순서화되고, 상기 테스트들은 각각의 중요한 계수가 상기 2진 표현 범위내에서 인코딩될때까지 계속되는 분할 프로세스에 따라 상기 분할 서브세트들로 상기 픽셀들의 원래 세트를 분할하기 위해 실행되고, 부호 비트들이 또한 전송될 출력 비트스트림 내에 삽입된다.

전형적인 비디오 압축 기술로는 4개의 주요 모듈들 : 동작 추정 및 보상, 계수들의 변환(예컨대, 이산 코사인 변환 또는 웨이블릿 분해), 계수들의 양자화 및인코딩, 및 엔트로피 코딩)을 포함하는 것으로 고려될 수 있다. 또한, 비디오 인코더가 스케일가능해야 한다고 할 경우, 이러한 것은 낮은 비트율로부터 높은 비트율까지 이미지들을 인코딩할 수 있어야 한다는 것을 의미하며, 속도로서 비디오의 품질을 증가시킨다. 이미지들의 계층적인 표현을 자연적으로 제공함으로써, 웨이블릿 분해에 의한 변환은 종래의 이산 코사인 변환(DCT) 보다 스케일가능한 방법으로 더욱 적응되도록 나타난다.

웨이블릿 분해는 원래의 입력 신호가 하위밴드의 세트로 표시되게 한다. 각 서브밴드는 사실상 주어진 해상도, 특히, 주파수 범위로 원래 신호를 표현한다. 비상관 하위밴드(uncorrelated subbands)로의 이러한 분해는 현재 이미지의 라인들에 먼저 적용되어, 그 후에 결과적인 필터링된 이미지에 적용된 1차원 필터 뱅크들의 세트에 의해 통상적으로 실시된다. 그러한 실시의 예는 1995년 6월에 발행된 S.S. Goh에 의한, 신호 처리, 제 44권, n。1, 페이지 27 내지 38페이지의 "이미지들의 웨이블릿 분해의 대체(Displacements in wavelet decomposition of images)"에 기술된다. 실제적으로 2개의 필터들(저역 통과 필터 및 고역 통과 필터)은 이미지의 저주파수 및 고주파수를 분리하기 위해 사용된다. 이러한 동작은 2의 인자만큼 하위 샘플링 동작에 앞서 먼저 라인들 상에서 실행되고, 그 후에, 하위 샘플링된 이미지(sub-sampled image)의 열들(columns)상에서 실행되고, 그 결과 이미지는 2만큼 다운 샘플링(down-sampled)된다. 원래의 이미지보다 4배 더 작은 4개의 이미지들이 이와 같이 획득된다: 관계된 원래 이미지의 초기 콘텐츠의 주요부를 포함하고, 그러므로, 상기 이미지의 근사치를 나타내는 저주파수 하위 이미지(또는 "평활이미지(smoothed image)"), 및 상기 원래 이미지의 수평, 수직 및 대각의 상세만을 포함하는 3개의 고주파수 하위 이미지들. 이러한 분해 프로세스는 최종 평활 이미지로부터 유도되기 위해 더욱 유용한 정보가 없는 것이 명확할 때까지 계속한다.

2차원(2D) 웨이블릿 분해를 사용하여, 이미지 압축을 위한 연산적으로 다소 단순한 기법은 1996 6월, n。3, 페이지 243 내지 250, 비디오 기술용 회로 및 시스템상의 IEEE 트랜잭션들, A. Said 및 W.A. 펄맨에 의해 "계층적 트리들 내의 세트 분할(= SPIHT)에 기초한 새롭고, 빠르고 유효한 이미지 코덱"으로 기술된다. 상기 문서에 설명된 바와 같이, 원래 이미지는 한 세트의 픽셀값들(P(x, y))에 의해 정의되고, 여기에서 x 및 y는 픽셀 좌표이며, 다음 식(1)에 의해 나타낸 계층 서브밴드 변환에 의해 코딩되도록 가정된다:

여기에서, Ω는 변환을 나타내고, 각 요소(c, y)는 "픽셀 좌표들을 위한 변환 계수"로 불린다.

주요 목적은 먼저 전송될 가장 중요한 정보를 선택하고, 그 크기에 따른 이러한 변환 계수들을 (더 큰 중요도를 갖는 계수들이 정보의 더 큰 정보 콘텐츠를 가지며 먼저 전송되어야 하고, 또는 적어도 그들의 가장 중요한 비트들이 전송되어야 한다) 순서화되게 한다. 정렬 정보가 디코더에 명백하게 전송되면, 다소 우수한 품질을 갖는 이미지들은 픽셀 좌표들의 상대적으로 작은 조각이 전송되자마자 복구될 수 있다. 정렬 정보가 명백하게 전송되지 않으면, 코딩 알고리즘의 실행 경로가 그 브랜칭 포인트들(branching points) 상의 비교 결과들에 의해 정의되고, 중요도비교 결과를 수신하면 동일한 정렬 알고리즘을 갖는 디코더가 인코더의 이러한 실행 경로를 반복할 수 있다는 것으로 가정된다. 순서화 정보는 실행 경로로부터 복구될 수 있다.

상기 정렬 알고리즘의 한가지 중요한 사실은 모든 계수들을 정렬할 필요는 없지만, n이 각 패스(pass)에서 감소되는, 2ⁿ≤|c_x,_y|〈2ⁿ⁺¹과 같은 계수들에만 필요하다는 것이다. 주어진 n이, |c_x,_y|≥2n(2n = 중요도의 레벨로 불림)이면, 계수는 중요하다고 불린다; 그렇지 않으면, 중요하지 않다고 불린다. 정렬 알고리즘은 픽셀들의 세트를 분할 서브세트(Tm)로 분할하고, 크기 테스트(2)를 실행한다:

디코더가 "아니오"(전체의 관계 서브세트가 중요하지 않음)를 수신하면, 이 서브세트(T_m)의 모든 계수들이 중요하지 않다는 것을 알게된다. 대답이 "예"(서브세트가 중요함)라면, 인코더 및 디코더에 의해 분배된 소정의 규칙은 T_m을 새로운 서브세트들(T_m,_l)로 분할하는데 사용되고, 중요도 테스트는 이러한 새로운 서브세트들에 더 적용된다. 이러한 세트 분할 프로세스는 각각의 중요 계수를 식별하고 2진 포맷으로 그것을 인코딩하게 하도록, 크기 테스트가 모든 단일 좌표 중요 서브세트들에 대해 행해질 때까지 계속한다.

전송된 크기 비교들(즉, 메시지 비트들)의 수를 감소시키기 위해, 서브밴드피라미드로 정의된 계층의 예상 정렬을 사용하는 세트 분할 규칙을 정의할 수 있다. 그 목적은 중요하지 않다고 예상된 서브세트들이 다수의 성분들을 포함하도록 새로운 분할을 생성하는 것이며, 중요하다고 예상되는 서브세트들은 하나의 성분만을 포함한다. 크기 비교들과 메시지 비트들 간의 관계를 명확하게 하기 위해, 다음의 함수가 좌표들(T)의 서브세트의 중요도를 지시하기 위해 사용된다:

또한, 서브밴드들 간의 공간적인 자기 유사성이 있다는 것이 관찰되었고, 계수들은 하나가 동일한 공간 방위에 이어 피라미드 내의 아래쪽으로 이동하면 보다 중요한 순서인 것으로 예상된다. 예컨대, 낮은 운동 영역이 피라미드의 최상위 레벨들에서 식별되는 것으로 예상되면, 그것들은 동일한 위치들에서 하부 레벨들로 반복된다. 공간 방위 트리로 불리는, 트리 구조는 웨이블릿 분해의 계층 피라미드 상의 공간적인 관계를 자연적으로 정의한다. 도 1은 공간 방위 트리가 순환적인 4개의 서브밴드 조각으로 구성된 피라미드로 어떻게 정의되는지를 도시한다. 트리의 각각의 노드는 각 노드가 자식(잎들(leaves))을 갖지 않거나 4개의 자식를 갖는 방법으로 동일한 공간 방위의 픽셀들에 대응하며, 항상 2x2의 인접한 픽셀들의 그룹을 형성한다. 도 1에서, 화살표는 부모 노드로부터 자식 노드로의 방위이다. 피라미드의 최상위 레벨의 픽셀들은 트리 루트들이고, 또한, 2x2의 인접한 픽셀들로 그룹화된다. 그러나, 픽셀들의 자식 브랜칭 규칭은 상이하며, 각 그룹에서, 픽셀들중 하나(도 1에서 별로 지시됨)는 자식을 갖지 않는다.

다음의 좌표들의 세트들은 이러한 코딩 방법을 나타내기 위해 사용되며, (x, y)는 계수의 좌표를 나타낸다:

.0(x,y): 모든 자식 노드(x,y)의 좌표들의 세트;

.D(x,y): 모든 자식(descendants) 노드(x,y)의 좌표들의 세트;

.H: 모든 공간 방위 트리 루트들의 좌표들의 세트(최상위 피라미드 레벨의 노드들);

.L(x,y) = D(x,y) - 0(x,y).

서브세트들이 중요도에 대해 테스트되는 순서가 중요한 것으로 관찰되는 것과 같이, 실제적인 실시에서, 중요도 정보가 중요하지 않은 세트들의 리스트(LIS), 중요하지 않은 픽셀들의 리스트(LIP), 및 중요한 픽셀들의 리스트(LSP)로 불리는 3개의 순서화 리스트들 내에 저장된다. 모든 이러한 리스트들에서, 각각의 엔트리는 좌표들(i,j)에 의해 식별되고, LIP 및 LSP에서 개별 픽셀들을 나타내고, LIS에서 세트D(i,j) 또는 L(i,j)(그것들 간에 구별하기 위해, LIS 엔트리는 D(i,j)를 나타내면 상기 형태(A)일 수 있고, L(i,j)을 나타내면 형태(B)일 수 있다)을 나타낸다. SPIHT 알고리즘은 실제로 3개의 리스트들(LIS, LIP 및 LSP)의 조정에 기초한다.

2D SPIHT 알고리즘은 주된 개념(자연 이미지들의 고유의 자기 유사성을 이용함으로써 웨이블릿 분해의 스케일들을 통한 중요도 정보의 부재의 예측)에 기초한다. 이것은 계수가 웨이블릿 분해의 최하 스케일에서 중요하지 않다면, 다른 스케일들에서의 동일한 영역에 대응하는 계수들 역시 중요하지 않을 수도 있다는 것을의미한다. 기본적으로, SPIHT 알고리즘은 "중요도 레벨"로 이전에 불린 값과 상이한 해상도들(resolutions)로 동일한 이미지 영역에 대응하는 픽셀들의 세트를 비교하는 것으로 이루어진다.

3D SPIHT 알고리즘은 2D SPIHT 알고리즘과 크게 틀리지 않다. 3D 웨이블릿 분해는 프레임들의 그룹(GOF) 상에서 실행된다. 다음의 시간 방향, 동작 보상 및 시간 필터링이 실현된다. 공간 세트들(2D) 대신에, 하나는 3D 공간 시간 세트들을 가지며, 동일한 공간 시간 방위를 가지며 부모-자식 관계에 의해 관련된 계수들의 트리들은 또한 정의될 수 있다. 이러한 링크들은 도 2의 3D 경우로 도시된다. 트리들의 루트들은 최저 해상도("루트" 서브밴드)에서 근사 서브밴드의 픽셀들이 형성된다.3D SPIHT 알고리즘에서, 잎을 제외한 모든 서브밴드들에서, 각각의 픽셀은 8개의 자식 픽셀들을 가지고, 상호간에 각각의 픽셀은 하나의 부모를 가진다. 이러한 규칙에서 한가지 예외가 있다: 루트의 경우에서, 8개 중에서 하나의 픽셀은 자식을 갖지 않는다.

2D 경우에서와 같이, 공간-시간 방위 트리는 자연적으로 계층적인 웨이블릿 분해 상의 공간-시간 관계를 정의하고, 다음의 좌표들의 세트들이 사용된다:

.0(x,y,z 색차): 모든 자식 노드(offspring of node)의 좌표들의 세트(x,y,z 색차);

.D(x,y,z 색차): 모든 자식 노드들(descendants of the node)의 좌표 세트(x,y,z 색차);

.H(x,y,z 색차): 모든 공간 시간 방위 트리 루트(최상위 피라미드 레벨에서의 노드들);

.L(x,y,z 색차) = D(x,y,z, 색차) - 0(x,y,z, 색차);

여기에서, (x,y,z)는 계수의 위치를 나타내고, "색차"는 Y, U 또는 V를 나타낸다. 3개의 순서화된 리스트들은 또한 정의된다: LIS(중요하지 않은 세트들의 리스트), LIP(중요하지 않은 픽셀들의 리스트), LSP(중요한 픽셀들의 리스트). 모든 이러한 리스트들에서, 각각의 엔트리는 좌표(x,y,z, 색차)에 의해 식별되고, LIP 및 LSP에서 개별 픽셀들을 나타내고, LIS에서는 D(x,y,x, 색차) 또는 L(x,y,z, 색차) 세트들 중 하나를 나타낸다. 그러한 것들 간을 구분짓기 위해, LIS 엔트리는 D(x,y,z, 색차)를 나타내면 형태(A)이고, L(x,y,z, 색차)을 나타내면 형태(b)를 나타낸다. 2D 경우에서는 이전과 같이, 알고리즘(3D SPIHT)은 이렇나 3개의 리스트들(LIS, LIP 및 LSP)의 조정에 기초한다.

불행히도, 서브밴드들 간의 리던던시(redundancy)를 이용하는 SPIHT 알고리즘은 각 서브밴드 내부의 인접한 픽셀들 간의 의존성들을 파괴한다. 논리적인 조건들의 세트에 의해 행해진 리스트들(LIS, LIP, LSP)의 조정은 실제로 픽셀 스캐닝의 순서를 거의 예측할 수 없게 한다. 다른 공간-시간 대역들로부터의 픽셀들을 제외한 동일한 3D 자식 트리에 속한 픽셀들이 인코딩되어 다른 서브밴드들의 픽셀들을 혼합하는 효과를 갖는 리스트들에서 차례로 삽입된다. 이와 같이, 동일한 서브밴드의 픽셀들간의 지리적인 상호의존성이 상실된다. 또한, 공간-시간 서브밴드들이 시간 또는 공간 필터링으로부터 유래하기 때문에, 프레임들은 상세들의 방위를 부여하는 특권 축들(privileged axes)을 따라 필터링된다. 스캐닝이 지리적인 순서를고려하지 않기 때문에, 이러한 방위 의존성은 SPIHT 알고리즘이 적용되는 경우에 손실된다. 스캐닝 순서를 개선하고 동일한 서브밴드의 픽셀들 간의 인접함의 관계를 재확립하기 위해, LIS의 특정한 초기 구성 및 자식을 판독하는 특정 순서가 제안된다.

계수들의 지리적인 스캔을 부분적으로 재확립하게 하고 공식 제출 번호 00400932.0(PHFR000032) 하의 출원자에 의해 2000년 4월 4일에 제출된 유럽 특허 출원서에 기술되는 이러한 방법은 주어진 복수의 연속적인 해상도 레벨들이 되게 하는 3차원 웨이블릿 변환에 의해 분해된 프레임 그룹들로 분할된 비디오 시퀀스의 압축을 위한 인코딩 방법에 관한 것이며, 상기 방법은 SPIHT 프로세스를 사용하고, 비디오 시퀀스의 픽처 성분들의 원래 세트로부터 2진 포맷으로 인코딩된 웨이블릿 변환 계수들이 되게 하고, 상기 계수들은 최하 주파수, 또는 공간-시간 근사, 하위 대역으로 루트되고, 상위의 주파수 서브밴드들의 자식에 의해 완료된 공간-시간 방위 트리들로 구성되고, 또한, 상기 트리들의 계수들은 각각의 중요도 레벨들에 대응하는 분할 세트들로 정렬되어 중요하지 않은 세트들의 리스트(LIS), 중요하지 않은 픽셀들의 리스트(LIP) 및 중요한 픽셀들의 리스트(LSP)로 불리는 3개의 순서화된 리스트들의 중요도 정보의 분류가 되게 하는 크기 테스트들에 의해 정의되고, 상기 테스트들은 각 중요도 계수가 상기 2진 표현의 범위내에서 인코딩될 때까지 계속되는 분할 프로세스에 따라 상기 분할 세트들로 픽처 성분들의 원래 세트를 분할하기 위해 실행된다. 더 자세하게는 상기 문서에 기술된 방법은 다음 단계들을 포함하는 것을 특징으로 한다:

(A) 3D 웨이블릿 변환으로부터 유래하는 공간-시간 근사 하위 대역은 z = 0 및 z = 1에 의해 지시된, 시간 근사 서브밴드의 2개의 프레임들의 공간 근사 서브밴드들을 포함하고, 각각의 픽셀은 x가 0으로부터 크기_x로 변화하고 y가 0으로부터 크기_y로 각각 변화하는 좌표들(x,y,z)을 가지며, 형태 z=0(mod 2), x=0(mod=2) 및 y=2(mod=2)의 좌표들을 갖는 계수를 제외하고, 상기 리스트(LIS)는 상기 공간-시간 근사 서브밴드의 계수들로 초기화되고, LIS의 초기화 순서는 다음과 같다:

(a) 휘도 성분(Y) 및 색차 성분들(U, V)에 대해, x=0(mod.2) 및 y=0(mod.2) 및 z=1을 검증하는 모든 픽셀들을 리스트내에 삽입하고;

(b) Y, U 및 V에 대해, x=1(mod.2) 및 y=2(mod.2) 및 z=0를 검증하는 모든 픽셀들을 리스트 내에 삽입하고;

(c) Y, U 및 V에 대해, x=1(mod.2), y=1(mod.2) 및 z=0를 검증하는 모든 픽셀들을 리스트 내에 삽입하고;

(d) Y, U 및 V에 대해, x=0(mod.2), y=1(mod.2) 및 z=0을 검증하는 모든 픽셀들을 리스트 내에 삽입하고;

(B) 웨이블릿 분해의 계층 서브밴드 피라미드의 공간-시간 관계를 정의하는 공간-시간 방위 트리들은 최하 해상도 레벨로부터 최상의 해상도 레벨까지 조사되고, 인접한 픽셀들을 함께 유지하여 상세들의 방위를 고려하고, 상기 자식 계수들의 조사는 수평 및 대각 상세 서브밴드들의 경우에 상기 계수들의 스캐닝 순서 때문에, 특히, 4개의 자식 그룹 및 수평 방향으로의 다음까지의 상기 그룹의 통과, 4개의 자식 그룹 및 최하 및 더욱 미세한 해상도 레벨에 대해 실시된다.

엔트로피 코딩 모듈에 대해, 산술 인코딩은 다음 이유들에 기인한 허프만 인코딩보다 비디오 압축에 있어서 더욱 효과적인 보급된 기술이다: 획득된 코드길이는 최상의 길이에 매우 근접하고, 상기 방법은 특히 적응 모델들에 적합하고(소스의 통계들이 진행 중에 추정된다), 2개의 독립 모듈들(모델링 모듈 및 코딩 모듈)로 분할될 수 있다. 다음의 설명은 주로 특정 소스-스트링 이벤트들(source-string events) 및 그 콘텍스트(콘텍스트는 고려하의 소스 스트링들의 전체 세트의 리던던시들을 캡처하도록 의도됨)의 판단을 포함하는, 모델링 및 그 관련 통계를 추정하는 방법에 관한 것이다.

원래의 비디오 시퀀스에서, 픽셀값은 실제로 픽셀을 둘러사고 있는 픽셀값들에 의존한다. 웨이블릿 분해 후에, "지리적인(geographic)" 상호의존성의 동일한 특성은 각 공간-시간 서브밴드에서 유지된다. 예컨대, 1995, 5월, n。3, 제 41권, 페이지 643 내지 652, 정보 이론에 대한 IEEE 트랜잭션들, M.J. Weinberger 등에 의한 "일반적인 한정된 메모리 소스" 문서에 기술된 바와 같이, 계수들이 이러한 의존성을 유지하는 순서로 전송되면, 제한된 메모리 트리 소스들의 일반적인 코딩의 구조(framework)에서 "지리적인" 정보의 장점을 취하는 것이 가능하다. 한정된 메모리 트리 소스는 다음 심볼 확율들이 한정된 수의 가장 최근의 심볼들(콘텍스트)의 실제값에 의존하는 특성을 가진다. 한정된 메모리 트리 소스들을 위한 2진 연속 일반 소스 코딩 과정은 각 스트링(콘텍스트)에 대해 콘텍스트가 주어진 0 및 1이 발생하는 수를 포함하는 콘텍스트 트리를 종종 사용한게 한다. 이러한 트리는 d 이전 비트들이 주어진 심볼의 확률을 추정하게 한다.

(4), 여기에서, Xn은 검사 비트값이고,는 콘텍스트, 즉, d 비트들의 이전 시퀀스를 나타낸다. 이러한 추정은 콘텍스트 딜루션(context dilution) 문제 또는 모델 비용 때문에 조절 이벤트들의 수가 증가하는 경우 어려운 작업이 된다. 적절한 복잡성을 유지하면서 모델 리던던시를 감소시킴으로서 이러한 문제점을 해결하기 위한 한가지 방법은, 예컨대, F.M.J. Willems 등에 의한, 정보 이론에 대한 IEEE 트랜잭션들, 제 41권, n。3, 1995 5월, 페이지 653 내지 664, "콘텍스트-트리 가중치 방법(context-tree weighting method): 기본 특성들"에서 상술된, 콘텍스트-트리 가중치 방법, 또는 CTW이다.

최종 코드 길이를 감소시키는 이러한 방법의 원리는 검사 비트를 위한 최상의 유효 콘텍스트를 사용하는 가중치 확율들을 추정하는 것이다(때대로, 한 비트를 인코딩하기 위해 더 짧은 콘텍스트들을 사용하는 것이 더 좋을 수 있다: 콘텍스트의 최종 비트들이 현재 비트에 영향이 없다면, 그것들은 고려될 수 없다). 1이로 비트들의 소스 시퀀스를 나타내고, 인코더와 디코더 양자 모두는 이전의 d 심볼들()에 액세스를 갖는 것으로 가정되면, CTW 방법은, 2진 심볼들의 길이(k)의 스트링, 트리의 잎들로부터 시작하여 2개의 자식들의 확율로 노드의 고유 확률()에 가중치를 주어 순환적으로 추정된 가중치 확률()을 나타내는콘텍스트 트리의 각 노드(s)에 연관된다:

그러한 가중치 모델이 모델 리던던시를 최소화하는 것으로 검증된다. 이전 시퀀스과가 주어진 심볼들 0과 1의 조건부 확률들은 다음 관계식을 사용하여 추정된다:

여기에서, n₀, 각 n1은 시퀀스()에서 0과 1의 조건 카운트들이다. 이러한 CTW 방법은 산술 인코딩 모듈에 의해 필요한 확률들을 추정하기 위해 사용된다.

도 1은 2차원의 경우의 공간 방위 트리의 부모-자식 의존성의 예를 도시하는 도면.

도 2는 3차원의 경우의 공간-시간 방위 트리의 부모-자식 의존성들의 예를 유사하게 도시하는 도면.

도 3은 예컨대, 30 비디오 시퀀스들 상에 실행된 추정들로 각 형태의 모델들에 대해, 비트플레인 레벨에 따라 심볼(1)의 유발 가능성을 도시하는 도면.

본 발명의 목적은 비트스트림에 기여하는 정보 소스들의 동작의 변화들을 반영하는 더욱 효과적인 비디오 인코딩 방법을 제안하는 것이다.

이러한 목적을 위해, 본 발명은 설명의 도입부에 정의된 바와 같은 인코딩 방법에 관한 것이며, 또한, 각 중요성 레벨에서 상기 리스트들의 심볼들(0, 1)의 발생 확률의 추정을 위해, 4개의 콘텍스트-트리들로 나타낸 4개의 모델들은 LIS, LIP, LSP 및 부호에 대응하는 이러한 모델들이 고려되고, 다른 구별은 U 및 V 계수들을 구별하지 않고 휘도 계수용 모델들과 색차용 모델들간에 이루어는 것을 특징으로 한다.

SPIHT 알고리즘의 실시의 연속적인 패스들 동안, 픽셀들의 좌표들은 3개의 리스트들(LIS, LIP, LSP) 중 하나로부터 다른 것으로 이동하며, 중요도의 비트들이 출력된다. 부호 비트들은 또한 계수 비트들을 전송하기 전에 비트스트림에 삽입된다. 통계적인 관점으로부터, 3개의 리스트들의 동작들 및 부호 비트맵의 동작은 상당히 다르다. 예컨대, 리스트(LIP)는 중요하지 않은 픽셀들의 세트를 나타낸다; 픽셀이 중요하지 않은 픽셀들로 둘러싸이면, 중요하지 않게 될 가능성이 있다. 이에 반하여, 리스트(LSP)에 관해서, 인접한 픽셀의 세분 비트들이 주어진 중요도 레벨에서 1(각각 0)이면, 검사된 픽셀의 세분 비트는 또한 1(각각 0)인 것으로 가정하는 것이 어렵게 보인다. 각각의 중요도 레벨에서 이러한 리스트들의 심볼들(0, 1)의 발생의 추정 확률들의 검토는 이러한 가정들이 확립되는 것으로 보여진다.

이러한 관찰은 부호가 제공된 부가 독립 모델이 고려하게 된다. 확률들의 추정을 위한 4개의 콘텍스트 트리들에 의해 표현되고 LIS, LIP, LSP 및 부호에 대응하는 4개의 상이한 모델들을 가진다:

LIS → LIS_TYPE

LIP → LIP_TYPE

LSP → LSP_TYPE

SIGN → SIGN_TYPE

또다른 구별은 휘도 계수들을 위한 모델들과 색차 계수들을 위한 모델들 간에 이루어져야 하고, 색차 계수들 중 U 및 V 위상을 구별하지 않게 된다: 동일한 콘텍스트 트리는 그것들이 공통 통계 확률을을 분할하기 때문에, 이러한 2개의 컬러 평면들에 속한 계수들의 확률들을 추정하는데 사용된다. 또한, 개별 모델들이 고려되면(U 및 V에 대한 해체 모델들로 이루어진 실험은 더 낮은 압축율을 부여한다), 적절하게 확률들을 추정하는데 충분한 값이 아니다. 마지막으로, 8개의 콘텍스트 트리들을 가진다(흑색 및 백색 비디오에서는 단지 4개).

도 3에 도시되는 바와 같이, 상이한 비트플레인들 내의 심볼들의 발생 확율을 고려하는 경우, 그들 사이에 차이가 관찰되고, 예비 실험들은 각 비트플레인에서 모델들의 재초기화가, 비트플레인 당 한 모델을 고려하는 것을 뒷받침하는, 더 우수한 압축결과들을 부여하는 것으로 보여진다. 그러나, 공통적인 특징들을 분배하는 일부 비트플레인들을 위한 동일한 모델을 취하는 것은 계산의 복잡성을 감소시키고, 인코딩 방법의 성능을 개선시킬 수 있다.

식별된 2x4 모델들(콘텍스트 트리들에 의해 표현되고 조건부의 확률들을 추정하는데 사용됨)을 가지면, 콘텍스트들에 대해 적어도 동일한 것을 행할 필요가 있다. (현재의 것보다 이전의 d 비트들의 단순한 시퀀스들이고 가장 최근에 판독된) 그러나, U 및 V 계수들을 위한 콘텍스트들은 식별되는 이러한 시간이다. 실제로, U 이미지들 및 V 이미지들은 동일한 통계적인 동작(또한, Y 이미지들 중 하나와 다른, 동일한 콘텍스트 트리)을 갖는 기본적인 가정이 이루어지지만, 각각의 콘텍스트는 단지 하나의 컬러 플레인으로부터의 비트들을 포함해야 한다. U 및 V 계수들에 대한 동일한 콘텍스트의 사용은 회피될 수 있는 2개의 상이한 이미지들(동일한 시퀀스는 U 이미지 및 V 이미지에 속한 혼합 비트들을 포함함)을 혼합하는 효과가 있다. 콘텍스트들에 대한 동일한 구별은 각각의 시간적인 서브밴드의 프레임에 대해 이루어질 수 있다. 동일한 통계 모델(이러한 가정은 상당히 심하지만 각각의 시간적인 서브밴드들을 위한 모델들 간의 추가 식별은 시간적인 서브밴드들의 수에 의해 콘텍스트 트리들의 이전 세트를 곱하고, 큰 메모리 공간을 요구하게 된다)에 따르는 것으로 가정될 수 있다.

그러므로, 콘텍스트 세트들이 공간-시간 분해의 모든 프레임들 및 Y, U, V 계수들에 대해 식별되어 왔다. 실시동안, d 비트들이 형성된 이러한 콘텍스트들은 다음에 의존하는 구조로 집합된다:

LIS, LIP, LSP 또는 부호 비트맵으로부터 생성된 심볼들의 형태;

컬러 플레인(Y, 또는 U, 또는 V);

시간 서브밴드의 프레임.

모든 이러한 콘텍스트들의 단순한 표현은 각각의 경우에 검사된 d 최종 비트들의 시퀀스들로 채워진 3차원 구조 CONTEXT이다:

CONTEXT[TYPE][색차][n°프레임]이며, 여기에서, TYPE는 LIP_TYPE, LIS_TYPE, LSP_TYPE, 또는 SIGN_TYPE이고, 색차는 Y, U, 또는 V를 나타낸다.

SPIHT 알고리즘의 각 패스(pass)의 끝에서(중요도 레벨의 감소 전에, 비트플레인 변화와 함께), 통계 모델들의 변화를 반영하기 위해, 콘텍스트들 및 콘텍스트 트리들이 재초기화되고, 각 콘텍스트 트리에 대한 확율 카운트들 및 콘텍스트의 배열의 모든 엔트리들을 0으로 재설정하는 것으로 이루어진다. 상기 변화들을 반영하는데 필요한 이러한 단계는 실험을 통해 확인되었다: 더 우수한 속도들이 재초기화가 각 패스의 끝에서 실행될 때 획득되었다.

Claims

주어진 복수의 연속적인 해상도 레벨들이 되게 하는 3차원(3D) 웨이블릿 변환에 의해 분해된 프레임들의 그룹들로 분할된 비디오 시퀀스의 압축을 위한 인코딩 방법으로서, 상기 방법은 "계층적 트리들 내의 세트 분할"(SPIHT)이라 불리는 계층적 서브밴드 인코딩 프로세스에 기초하여, 상기 비디오 시퀀스의 화소들(픽셀들)의 원래 세트로부터 2진 포맷으로 인코딩된 웨이블릿 변환 계수들로 되게 하고, 상기 계수들은 트리들로 구성되어, 중요하지 않은 세트들의 리스트(LIS), 중요하지 않은 픽셀들의 리스트(LIP) 및 중요한 픽셀들의 리스트(LSP)라 불리는 3개의 순서화된 리스트들로 표시된 상기 픽셀들을 수반하는 크기 테스트들(magnitude tests)에 의해 (각각의 중요도 레벨에 대응하는) 분할 서브세트들로 순서화되고, 상기 테스트들은 각 중요 계수가 상기 2진 표현의 범위내에서 인코딩될 때까지 계속되는 분할 프로세스에 따라 상기 분할 서브세트 픽셀들의 원래 세트를 분할하기 위해 실행되고, 부호 비트들은 또한 전송될 상기 출력 비트스트림에 삽입되는, 상기 인코딩 방법에 있어서,

각각의 중요도 레벨에서 상기 리스트들 내에 심볼들 0과 1의 발생 가능성의 추정을 위해, 4개의 콘텍스트 트리들로 표현된 4개의 모델들이 고려되고, 이들 모델들은 LIS, LIP, LSP 및 부호에 대응하며, U와 V 계수들을 구별하지 않고, 휘도 계수들에 대한 모델들과 색차 계수들에 대한 모델들 간에 또다른 구별이 이루어지는 것을 특징으로 하는, 비디오 시퀀스의 압축을 위한 인코딩 방법.
제 1항에 있어서,

각 비트의 인코딩을 위해, 상기 현재 비트 이전의 d 비트들로 형성되고 상기 현재 비트에 대해 고려된 모델들에 따라 다른 콘텍스트가 사용되고, 상기 콘텍스트들은(U와 V 평면들을 구별하면서) 상기 휘도 계수들, 색차 계수들 및 공간-시간 분해의 모든 프레임에 대해 구별되고, 상기 콘텍스트들은, LIS, LIP, LSP 또는 부호 비트맵으로부터의 심볼들의 형태와, 컬러 평면(Y, U 또는 V)과, 시간 서브밴드 내 프레임에 의존하는 구조로 집합되는, 비디오 시퀀스의 압축을 위한 인코딩 방법.
제 2항에 있어서,

상기 콘텍스트들의 표현은 각 경우에 검사된 d 최종 비트들의 시퀀스들로 채워진 3차원 구조 CONTEXT, 즉,

CONTEXT[TYPE][색차][n。프레임]이며, 여기에서, TYPE는 LIP_TYPE, LIS_TYPE, LSP_TYPE, 또는 SIGN_TYPE 이고, 색차는 Y, U, 또는 V를 나타내는, 비디오 시퀀스의 압축을 위한 인코딩 방법.