KR20010075232A

KR20010075232A - 비디오 시퀀스의 압축을 위한 인코딩 방법

Info

Publication number: KR20010075232A
Application number: KR1020017003568A
Authority: KR
Inventors: 페스퀘-포페스쿠비트라이스; 베네티레마리온
Original assignee: 요트.게.아. 롤페즈; 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 1999-07-20
Filing date: 2000-07-13
Publication date: 2001-08-09
Also published as: JP2003504987A; WO2001006794A1; CN1322442A; US6519284B1; CN1181690C; EP1114555A1

Abstract

본 발명은 분할된 비디오 시퀀스를 3차원 웨이브렛 변환에 의해 분해된 프레임들의 그룹으로 압축하기 위한 인코딩 방법에 관한 것이다. 계층적인 서브 대역 인코딩 처리(SPIHT)에 기초하며, 획득된 변환 계수들의 계층적인 피라미드 내의 공간-시간 관계를 정의하는 공간-시간 배향 트리의 대역-통과 서브 대역들에 적용되는 이러한 방법에 따라, 일정한 예측 계수들 또는 장면 변화를 고려하는 적응적인 계수들 중 하나를 사용하는 벡터 DPCM은 가장 낮은 주파수 공간-시간 서브 대역을 개별적으로 인코딩하는데 사용되며, 상기 서브 대역의 각각의 프레임 내의 성분들을 갖는 변환 계수들의 각각의 벡터에 대해 공간-시간 예측기를 구성할 때 관찰된 예측 에러의 양화(quantification)는 스칼라 또는 벡터 양자화에 의해 수행된다. 변조 및 양화 단계로부터 발생하는 최종 2진 스트림은 전체 메시지의 엔트로피를 최소화하는 무손실 기술에 의해 인코딩된다.

Description

비디오 시퀀스의 압축을 위한 인코딩 방법{Encoding method for the compression of a video sequence}

비디오 압축 설계에서, 시간 여분(temporal redundancy)의 감소는 주로 2가지 형태의 접근에 의해 성취된다. 소위 "하이브리드" 또는 예측 접근이라 불리는 제 1 접근에 따라, 현재 프레임의 예측은 이전 전송된 프레임들에 기초하여 계산되며, 예측 에러만이 인트라 코딩되고 전송된다. 제 2 접근에 따라, 시간적인 여분은 여분들을 제거하기 위한 공간적인 기술과 유사한 시간적인 변환에 의해 이용된다. 소위 3D 또는 2D+t 접근이라 불리는 이러한 최신 기술에서, 프레임들의 시퀀스는 3D 용량으로서 처리되며, 이미지 코딩에 사용된 서브 대역 분해(subband decomposition)는 개별적인 변환을 사용함으로써 3D 공간-시간 데이터로 확장된다(예를 들면, 필터 뱅크(filter banks)에 의해 구현된 웨이브렛 또는 웨이브렛 패킷 변환). 3D 구조의 이방성(anisotropy)은 시간 및 공간적인 방향으로 상이한 필터 뱅크를 사용함으로써 고려될 수 있다(하르(Haar) 필터는 더 긴 필터들과 함께 관찰된 부가 지연이 바람직하지 않기 때문에 시간적인 필터링을 위해 보통 선택되고, 더욱이, 2개 탭 필터인 하르 필터는 경계 효과를 제공하지 않는 단지 완벽한 복구 직각 필터(reconstruction orthogonal filters)이다).

3D 코딩 설계의 코딩 효율성이 시간적인 분해의 각각의 레벨에서 낮은 시간적인 서브 대역들 내의 동작 추정/보상을 수행함으로써 향상될 수 있다는 것은 관찰되었다. 그러므로, 본 설계는 서브 대역들 내부에 동작 추정/보상을 포함하며, 3D 서브 대역 분해는 프레임들의 보상된 그룹에 적용된다. 전체 3 단계 시간적인 분해는 도 1에 도시된다. 입력 비디오 시퀀스 내의 프레임들의 각각의 그룹은 2의파워와 같은 프레임들의 수를 포함해야 한다(보통, 16, 본 예에서, 8). 직선 화살은 저-통과(L) 시간적인 필터링(연속적인 화살) 및 고-통과(H) 시간적인 필터링을 지시하며, 휘어진 화살은 2개의 프레임들 사이의 동작 보상을 지시한다. 최종 시간적인 분해 레벨에서, 가장 낮은 시간적인 서브 대역 내에 2개의 프레임들이 존재한다. 시간적인 서브 대역들의 각각의 프레임에서, 공간적인 분해가 수행된다. 이러한 프레임 워크에서, 데이터의 3차원 구조를 서브 대역 코딩하는 것은 공간적인 서브 대역 코딩 기술의 확장으로서 인식될 수 있다.

최근에 서브 대역들의 3D 구조로 확장되는, 이미지 압축을 위한 수행 가능한 웨이브렛 기반 설계 중 하나는 비디오 기술을 위한 회로 및 시스템에 관한 IEEE 트랜잭션, vol. 6, N°3, 1996. 6, pp. 243-250, W.A. 펄먼에 의한 논문 "계층적인 트리 내의 세트 분할에 기초한 새롭게 빠르고, 효율적인 이미지 코덱"에 설명된 계층적인 트리 내 2차원 세트 분할 또는 2D SPIHT이다. 이러한 3D 코딩 기술에 사용된 기본 개념들은 다음과 같다. 동일한 위치에 대응하는 공간-시간 트리들은 웨이브렛 도메인 내에 형성되고, 이어서, 이들 트리 내의 웨이브렛 변환 계수들은 그 양(magnitudes)의 비트 평면 표시(bit-plane representation)에서 가장 놓은 중요한 비트의 레벨에 의해 정의된 세트들로 분할되며, 마지막으로, 가장 놓은 잔존하는 비트 평면들은 코딩되고 결과 비트들은 전송된다.

위에 제공된 SPIHT 알고리즘의 공통적인 특성은, 그 2D에서 뿐만 아니라 3D 버전에서도, 공간적인, 각각 공간-시간 배향 트리(orientation trees)가 가장 낮은 주파수 서브 대역과 함께 시작하도록 정의되고, 동일한 공간, 또는 공간-시간 위치에 관련된 계수들을 나타낸다는 것이다. 이러한 방법으로, 가장 낮은 주파수 대역을 제외하고, 모든 조상은 4개(2D에서) 또는 8개(3D에서)의 자손을 갖는다. Let(i, j, k)는 3D 변환 도메인 내의 화상 요소(픽셀)의 좌표를 나타낸다. 가장 낮은 공간-시간 주파수 서브 대역이 아니고, 최종 해상도 레벨 서브 대역들 중 하나에 있지 않다면, 그 자손들은 좌표,

O = {(2i, 2j, 2k), (2i+1, 2j, 2k), (2i, 2j, 2k+1), (2i+1, 2j+1, 2k), (2i+1, 2j, 2k+1), (2i, 2j+1, 2k+1), (2i+1, 2j+1, 2k+1)}을 갖는다.

단순화할 목적으로, 정지 화상 경우는 도 2에 도시된다(서브 대역들 s-LLLL, s-LLLH, 등...).

이미지 코딩 도메인에서, 제로 트리들에 의한 압축 알고리즘은 최근에 널리 연구되며, 몇몇 개선들은 제안되었다. 예를 들면, MPEG-4 표준에서, 여러 가지 그러한 알고리즘(예를 들어, 신호 처리에 관한 IEEE 트랜잭션, vol. 41, N°12, 1993. 12., pp. 3445-3462, J.M. 샤피로에 의한 논문 "웨이브렛 계수들의 제로 트리들을 사용한 삽입된 이미지 코딩"을 참조)은 가장 낮은 공간적인 서브 대역이 DPCM 기술을 사용하여 독립적으로 코딩되는 정지 화상 코딩 모드에 채택되었다. 이어서, 공간적인 배향 트리들은 도 3에 도시된 상세한 서브 대역(s-LLLL을 제외한 모든 서브 대역, 제 1 서브 대역) 내의 시작을 형성한다.

본 발명은 주어진 수의 연속하는 해상도 레벨들로 유도하는 3차원(3D) 웨이브렛 변환에 의해 분해된 프레임들의 그룹 내에 분할된 비디오 시퀀스를 압축하기 위한 인코딩 방법에 관한 것으로, 상기 방법은 소위 "계층적인 트리들 내의 세트 분할"(SPIHT)이라 불리며, 프레임들의 각각의 그룹의 화상 요소들(픽셀들)의 최초의 세트로부터 2진 포맷으로 인코딩되고 계층적인 피라미드를 구성하는 변환 계수들로 유도하는 계층적인 서브 대역 인코딩 처리에 기초하며, 상기 계수들은 소위 중요하지 않은 세트들의 리스트(LIS), 중요하지 않은 픽셀들의 리스트(LIP) 및 중요한 픽셀들의 리스트(LSP)와 같은 3개의 배열된 리스트들에 의해 표현되는 픽셀들을 포함하는 양 테스트들(magnitude tests)에 의해 배열되며, 상기 테스트들은 각각의 중요한 계수가 상기 2진 표현 내에 인코딩될 때까지 계속하는 분할 처리 및 상기 계층적인 피라미드 내부의 상기 공간-시간 관계를 정의하는 공간-시간 배향 트리-여기서, 루트들은 3D 웨이브렛 변환으로부터 발생하는 근사 서브 대역의 픽셀들과 함께 형성되고, 이들 픽셀 각각의 자손이 이들 루트 픽셀들에 의해 정의된 이미지 용량에 대응하여 더 높은 서브 대역들의 픽셀들로 형성됨-에 따라 상기 화상 요소들의 최초 세트를 분할하는 서브 세트들로 분할하기 위해 수행된다.

도 1은 동작 보상(motion compensation)을 갖는 3차원 서브 대역 분해(3 dimensional subband decomposition)에서 입력 비디오 시퀀스의 8 프레임 그룹의시간적인 서브 대역 분해를 도시한 도면.

도 2는 정지 화상의 경우에, 2D-SPIHT의 공간적인 배향 트리(spatial orientation trees)를 도시한 도면.

도 3은 2차원 제로트리 코딩(zerotree coding)(s-LLL은 개별적으로 코딩됨)을 위한 MPEG-4와 같은 공간적인 배향 트리를 도시한 도면.

도 4는 공지된 SPIHT 알고리즘의 블록 다이어그램.

도 5 및 6은 3D-SPIHT의 공간-시간 배향 트리(spatio-temporal orientation trees) 및 변경된 공간-시간 배향 트리를 각각 도시한 도면.

도 7은 가장 낮은 서브 대역 내의 2 프레임의 벡터 DPCM 코딩에서 과 시간상의 예측기(predictor)를 구성하기 위해 사용되는 픽셀들을 도시한 도면.

도 8은 본 발명에 따른 인코딩 방법의 블록 다이어그램.

본 발명의 목적은 3D 경우에 새로운 형태의 비디오 인코딩 방법을 제안하는 것이다.

이러한 목적을 위해, 본 발명은 서두에 정의된 바와 같은 인코딩 방법에 관한 것이며, 특히,

(A) 벡터 DPCM(differential pulse code modulation)은 다음 조건들에 따라 가장 낮은 주파수 공간-시간 서브 대역, 또는 근사 서브 대역을 개별적으로 인코딩하는데 사용되며:

(a) 상기 비디오 시퀀스의 지나간 프레임들의 동일한 위치에서의 값들뿐만 아니라, 현재 프레임들의 인접 값들도 사용하는 공간-시간 예측기는 상기 근사 서브 대역의 각각의 프레임 내의 성분들을 갖는 계수들의 각각의 벡터에 대해 구성되며, 상기 벡터 코딩 특징은 상기 가장 낮은 서브 대역이 적어도 2개의 프레임들로부터 공간적인 저주파수 서브 대역들을 포함하는 사실로부터 나오며;

(b) 상기 DPCM은 일정한 예측 계수들을 사용하며;

(B) 예측 에러의 양화(quantification)는 상기 두 벡터 성분들의 스칼라 양자화 및 이에 후속하여 양자화된 값들의 각각의 주어진 쌍에 대해 계산된 확률과 관련된 유일한 2진 코드를 할당함으로써 수행되며:

(C) 단계(A 및 B)로부터 발생하는 2진 스트림은 전체 메시지의 엔트로피를 최소화하는 무손실 처리에 의해 인코딩되는 것을 특징으로 한다.

다른 실시예에서, 본 발명은 유사한 방법에 관한 것이지만,

(b) 상기 DPCM은 일정한 예측 계수들을 사용하며;

(B) 예측 에러의 양화는 일반화된 로이드-맥스 알고리즘에 기초하여 최적 양자화기를 사용하여 벡터 양자화에 의해 수행되며, 양자화된 예측 에러 벡터의 2개의 성분들에 대한 조인트 라플라스 확률 밀도 기능은 상기 최적화에 대해 고려되며:

실시예 모두는 상기 DPCM이 또한 적응적이지만, 공간-시간 예측기의 계수들은 이제 프레임들의 각각의 그룹에 대한 이들 계수의 최소 평균 제곱 추정(least means squares estimation)에 의한 장면 변화(scene changes)를 고려한다.

본 발명의 특징들 및 이점들은 이제 아래에 설명되고, 도면들과 관련된 다음 실시예들을 참조하여 설명될 것이다.

여기에 제안된 3D 비디오 설계(3D video scheme)와 함께, 3D 공간-시간 분해의 가장 낮은 주파수 서브 대역은 독립적으로 코딩되고, 반면에 다른 서브 대역들은 3D SPIHT 알고리즘을 사용하여 인코딩된다. 그러나 이것은 몇몇 중요한 변경을 의미한다. 여기서는 본 발명의 이득인 3D 구조에 대해 초점이 맞추어질 것이다.

이러한 경우에, SPIHT 알고리즘의 구체적인 특징, 도 4에 도시된 블록 다이어그램은 재호출(recall)될 것이다. 가장 낮은 공간-시간 서브 대역에 대해, 부-자 관계(parent-child relationships)는 다음에 정의된다. 각각의 방향으로 2개의 픽셀들을 포함하는, 8개의 인접한 픽셀들의 블록들은 형성된다. 그들의 자손들은 7개의 인접한 상세한 서브 대역들 내의 동일한 위치에 대응하는 8개의 픽셀들의 그룹으로서 정의된다. 8개 그룹 내의 하나의 픽셀은 자손을 갖지 않는 반면, 모든 다른 픽셀들은 자손으로서 8개의 픽셀 블록을 갖는다. 하나가 프레임들의 초기 그룹의 차원들, M, N, T에 의해 표시하고, J 분해 레벨들을 고려하면, 가장 낮은 주파수 서브 대역의 차원은 M_J= M/2^J, N_J= N/2^J, T_J= T/2^J이다. 가장 낮은 주파수 서브 대역 내의 (i, j, k)에 위치된 계수의 자손들은,

O = {(i-1+M_J, j-1+N_J, k-1+T_J), (i+M_J, j-1+N_J, k-1+T_J), (i-1+M_J, j+N_J, k-1+T_J), (i+M_J, j+N_J, k-1+T_J), (i-1+M_J, j-1+N_J, k+T_J), (i+M_J, j-1+N_J, k+T_J), (i-1+M_J, j+N_J, k+T_J), (i+M_J, j+N_J, k=T_J)}

그러므로, 가장 낮은 주파수 서브 대역 내의 픽셀들을 루트로서 받아들이는 트리가 형성된다. 3D 비디오 코딩에 사용된 이러한 기술은 3D 의료용 이미지(3D medical images)의 압축을 위해 또한 구현되었지만, 이러한 경우에 동작 추정 및 보상 단계는 건너뛴다.

이러한 프레임 워크에서, 3D SPIHT 알고리즘(도 5)에 대해 여기 제안된 변경(도 6)은 가장 낮은 공간-시간 서브 대역(t-LL-s-LLLL)을 독립적으로 인코딩하는 것이다. 이러한 서브 대역이 가장 낮은 시간적인 서브 대역 내의 2개 프레임들의 가장 낮은 공간적인 주파수 서브 대역들을 포함하기 때문에, 이러한 대역 내의 정보는 벡터 정보로서 보여질 수 있고, 2개의 공간적인 서브 대역들 내에서 동일한인덱스들을 갖는 픽셀들은 동일한 인덱스를 물려받을 벡터들 내로 그룹화된다. 이것은 가장 낮은 시간적인 서브 대역 내에 포함되는 2개의 프레임들에 대해, 특히 이들 프레임들에서 가장 낮은 공간적인 주파수 서브 대역에 대해 도 7에 도시된다. 이러한 정보를 압축하기 위해, 벡터 적응적인 DPCM(different pulse code modulation) 기술을 사용하도록 제안된다(2개의 프레임들을 분리하여 코딩하는 것이 더 낮은 성능을 초래한다는 것은 명백하다).

계층적인 트리에서 세트 분할에 의한 제로 트리 코딩은 오직 상세한 서브 대역의 인코딩에 사용된다. 하나는 피라미드의 고 레벨에서 웨이브렛 계수가 주어진 임계값에 대해 중요(insignificant)하지 않다면, 피라미드의 더 낮은 레벨에서 동일한 공간과 시간적인 위치에 대응하는 모든 계수는 이러한 임계값에 대해 또한 중요하지 않다는 관찰을 이용한다. 따라서, 모든 이들 계수들은 제로 트리 루트로 불리는 단일 기호(single symbol)와 함께 효율적으로 인코드된다. 웨이브렛 계수는, 그 양이 임계값보다 크다면, 임계값에 대해 중요하게 호출되고, 그렇지 않다면, 중요하지 않게 호출된다. 전송에 대해, 웨이브렛 계수들은 그 2진 표현에 따라 분류되고, 가장 중요한 비트는 먼저 송신된다. 가장 낮은 공간과 시간적인 주파수 서브 대역을 인코딩하도록 사용된 벡터 적응적인 DPCM 기술(vectorial adaptive DPCM technique)은 이제 설명될 것이다. 이러한 목적을 위해, 하나는 가장 낮은 주파수 서브 대역 내의 현재 픽셀의 좌표(i, j)와 가장 낮은 시간적인 서브 대역의 제 1 각각 제 2 프레임 내의 이러한 인덱스에서 계수들의 값(x_i,j, y_i,j)에 의해표시한다(도 7 참조). 벡터에 대한 선형 공간-시간 예측기(linear spatio-temporal predictor)는 다음의 방정식에 기초하여 (n, m)와 함께, 구성된다.

(1)

여기서,

는

의 가장 가까운 이웃(neighbours)이다.

는의 예측기를 나타내고,

는 예측 계수(prediction coefficient)의 행렬이다.

예를 들면, 도 7을 참조하여, 하나는

s_i,j ^P= P_1,1·s_i-1,j-1+ P_1,0·s_i-1,j+ P_0,1·s_i,j-1(2)

를 갖는다.

방정식(2)에서,

계수들(a_1,1, a_1,0, a_0,1)은 프레임(1)의 공간적인 예측을 인식하고,

d_1,1, d_1,0, d_0,1은 프레임(2)의 공간적인 예측을 형성하지만, b_1,1, b_1,0, b_0,1및 c_1,1, c_1,0, c_0,1은 공간-시간 예측들에 대응한다. 방정식(1)에서, 고정된 예측 계수들이 사용될 수 있다.

다른 가능한 구현은 예측 에러의 평균 제곱 오차(mean square error)의 최소화에 기초하여, 프레임들의 각각의 그룹에 대해 예측 계수들의 최적화를 발견하는 것이다. 이것은 적응적 전략이며, 계산상의 복잡도의 비용에서, 고정된 경우에 얻는 것보다 더 나은 결과를 초래한다. 예측 에러는 벡터(s_i,j)의 실제 값과 그 예측된 값(s_i,j ^p) 사이의 차이다. 예측 에러는 일반화된 로이드-맥스 알고리즘(Lloyd-Max algorithm)에 기초하여 최적의 양자화기를 사용하여 벡터적으로 양자화될 수 있다. 단일 선택은 양자화된 예측 에러 벡터의 2 성분들에 대해 조인트 라플라스 확률 밀도 함수(joint laplacian probability density function)의 최적화에 대하여 고려된다.

여기에 선택된 구현은 한 쌍의 성분들에 대한 유일한 2진 코드의 할당에 의해 이어지는 2개의 벡터 성분들의 스칼라 양자화에 기초한다. 양자화된 값들의 각각의 쌍에 대하여 하나가 이러한 사상(event)의 확률을 계산하면, 그것을 메시지의 엔트로피를 최소화하는 유일한 2진 코드로 관련시키는 것은 가능하다. 이러한 코드를 선택하기 위한 기술은 예를 들면, 1987. 6. ACM의 통신, vol 30, N.6, pp. 520-540, I.H. 위튼외 다수의 "데이터 압축을 위한 산술 코딩(Arithmetic coding for data compression)"에서 설명된 산술 엔트로피 코딩이다. 제안된 비디오 코딩 시스템의 포괄적인 다이어그램은 도 8에 제공되며, 여기서, 3D 공간-시간 분해의 단지 가장 낮은 주파수 서브 대역(테스트"상세한가?"에서 검출된)이 벡터 엔트로피 코딩(vectorial entropy coding)에 의해 스칼라 양자화 후에 독립적으로 코딩되는 것은 명확하게 나타난다.

다른 서브 대역들은 3D SPIHT 알고리즘 및 코딩된 엔트로피에 의해 처리된다. 이어서 이들 상세한 서브 대역들은 이미 인용된 논문 "삽입된 이미지 코딩..."에 전개된 제로 트리들의 개념을 사용하여 인코딩되며, 구현의 주요 라인들은 감소하는 임계값들을 갖는 계수의 세트들을 비교하기 위해 SPIHT 알고리즘에 정의된 바와 동일하다. 제 1 임계값은 모든 웨이브렛 계수들의 최대 값(M을 가리킴)이 2^nmax≤M≤2^nmax+1이 되도록 2개의 2^nmax의 거듭제곱(power)으로서 선택된다. 웨이브렛 계수들은 인코더와 디코더 측 모두에서 공지된 선정된 순서(order)를 따르는 이러한 임계값과 비교된다. 따라서, 비트스트림 내에서 그것을 전송하는 것은 불필요하다. 예를 들면, 도 6의 표시와 함께, 공간-시간 서브 대역들의 스캐닝 순서는, t-LL-s-LLLH, t-LL-s-LLHL, t-LL-s-LLHH, t-LH-s-LLLL, t-LH-s-LLLH, t-LH-s-LLHL,t-LH-s-LLHH, t-LL-s-LLH, t-LL-s-LHL, t-LL-s-LHH, t-LH-s-LLH, t-LH-s-LHL, t-LH-s-LHH, 등이 될 수 있다. 서브 대역들의 다른 스캐닝 순서도 가능하다. 각각의 서브 대역 내부에서, 단일한 해법은 스캐닝의 라스트 순서(rast order)를 사용하는 것이다. 실제로, 다른 스캐닝 전략은 최종 인덱스 문자들이 LL 및 LH인 서브 대역들에 대해 수평 스캐닝, HL에 대해 수직 스캐닝, 및 HH에 대한 대각선 스캐닝인 각각의 서브 대역의 상세한 프리빌리지 오리엔테이션(priviledged orientation)에 대응하여 구현될 수 있다.

도면 및 그 설명은 제한된 것이 아니라 오히려 예시된 발명이며, 다양한 대안들이 상기 발명의 범위를 벗어나지 않고 제안될 수 있다는 것은 명백하다. 이를테면, 본 발명이 공간-시간 예측기에 대해 고려된 인접 픽셀들의 수와 위치, 동작 추정 및 보상을 위해 사용된 방법, 3차원 분석 및 합성을 위해 사용된 선형 웨이브렛 변환(linear wavelet transform), 또는 예측기 계수들을 계산하도록 인가된 적응 알고리즘에 의해 제한되지 않는다는 것은 지적되어야 한다.

Claims

주어진 수의 연속하는 해상도 레벨들로 유도하는 3차원(3D) 웨이브렛 변환에 의해 분해된 프레임들의 그룹 내에 분할된 비디오 시퀀스의 압축을 위한 인코딩 방법으로서, 상기 방법은 소위 "계층적인 트리들 내의 세트 분할"(SPIHT)이라 불리며, 프레임들의 각각의 그룹의 화상 요소들(픽셀들)의 최초의 세트로부터 2진 포맷으로 인코딩되고 계층적인 피라미드를 구성하는 변환 계수들로 유도하는 계층적인 서브 대역 인코딩 처리에 기초하며, 상기 계수들은 소위 중요하지 않은 세트들의 리스트(LIS), 중요하지 않은 픽셀들의 리스트(LIP) 및 중요한 픽셀들의 리스트(LSP)와 같은 3개의 배열된 리스트들에 의해 표현되는 픽셀들을 포함하는 양 테스트들(magnitude tests)에 의해 배열되며, 상기 테스트들은 각각의 중요한 계수가 상기 2진 표현 내에 인코딩될 때까지 계속하는 분할 처리 및 상기 계층적인 피라미드 내부의 상기 공간-시간 관계를 정의하는 공간-시간 배향 트리-여기서, 루트들은 3D 웨이브렛 변환으로부터 발생하는 근사 서브 대역의 픽셀들과 함께 형성되고, 이들 픽셀 각각의 자손이 이들 루트 픽셀들에 의해 정의된 이미지 용량에 대응하여 더 높은 서브 대역들의 픽셀들로 형성됨-에 따라 상기 화상 요소들의 최초 세트를 분할하는 서브 세트들로 분할하기 위해 수행되며, 상기 공간-시간 트리의 대역-통과 서브 밴드들에 적용되는, 상기 비디오 시퀀스 압축 인코딩 방법에 있어서:

(A) 벡터 DPCM(differential pulse code modulation)은 다음 조건들에 따라 가장 낮은 주파수 공간-시간 서브 대역, 또는 근사 서브 대역을 개별적으로 인코딩하는데 사용되며:

(a) 상기 비디오 시퀀스의 지나간 프레임들의 동일한 위치에서의 값들뿐만 아니라, 현재 프레임들의 인접 값들도 사용하는 공간-시간 예측기는 상기 근사 서브 대역의 각각의 프레임 내의 성분들을 갖는 계수들의 각각의 벡터에 대해 구성되며, 상기 벡터 코딩 특징은 상기 가장 낮은 서브 대역이 적어도 2개의 프레임들로부터 공간적인 저주파수 서브 대역들을 포함하는 사실로부터 나오며;

(b) 상기 DPCM은 일정한 예측 계수들을 사용하며;

(B) 예측 에러의 양화(quantification)는 상기 두 벡터 성분들의 스칼라 양자화 및 이에 후속하여 양자화된 값들의 각각의 주어진 쌍에 대해 계산된 확률과 관련된 유일한 2진 코드를 할당함으로써 수행되며:

(C) 단계(A 및 B)로부터 발생하는 2진 스트림은 전체 메시지의 엔트로피를 최소화하는 무손실 처리에 의해 인코딩되는 것을 더 특징으로 하는, 비디오 시퀀스 압축 인코딩 방법.
주어진 수의 연속하는 해상도 레벨들로 유도하는 3차원(3D) 웨이브렛 변환에 의해 분해된 프레임들의 그룹 내에 분할된 비디오 시퀀스의 압축을 위한 인코딩 방법으로서, 상기 방법은 소위 "계층적인 트리들 내의 세트 분할"(SPIHT)이라 불리며, 프레임들의 각각의 그룹의 화상 요소들(픽셀들)의 최초의 세트로부터 2진 포맷으로 인코딩되고 계층적인 피라미드를 구성하는 변환 계수들로 유도하는 계층적인 서브 대역 인코딩 처리에 기초하며, 상기 계수들은 소위 중요하지 않은 세트들의리스트(LIS), 중요하지 않은 픽셀들의 리스트(LIP) 및 중요한 픽셀들의 리스트(LSP)와 같은 3개의 배열된 리스트들에 의해 표현되는 픽셀들을 포함하는 양 테스트들(magnitude tests)에 의해 배열되며, 상기 테스트들은 각각의 중요한 계수가 상기 2진 표현 내에 인코딩될 때까지 계속하는 분할 처리 및 상기 계층적인 피라미드 내부의 상기 공간-시간 관계를 정의하는 공간-시간 배향 트리-여기서, 루트들은 3D 웨이브렛 변환으로부터 발생하는 근사 서브 대역의 픽셀들과 함께 형성되고, 이들 픽셀 각각의 자손이 이들 루트 픽셀들에 의해 정의된 이미지 용량에 대응하여 더 높은 서브 대역들의 픽셀들로 형성됨-에 따라 상기 화상 요소들의 최초 세트를 분할하는 서브 세트들로 분할하기 위해 수행되며, 상기 공간-시간 트리의 대역-통과 서브 밴드들에 적용되는, 상기 비디오 시퀀스 압축 인코딩 방법에 있어서:

(A) 벡터 DPCM(differential pulse code modulation)은 다음 조건들에 따라 가장 낮은 주파수 공간-시간 서브 대역, 또는 근사 서브 대역을 개별적으로 인코딩하는데 사용되며:

(a) 상기 비디오 시퀀스의 지나간 프레임들의 동일한 위치에서의 값들뿐만 아니라, 현재 프레임들의 인접 값들도 사용하는 공간-시간 예측기는 상기 근사 서브 대역의 각각의 프레임 내의 성분들을 갖는 계수들의 각각의 벡터에 대해 구성되며, 상기 벡터 코딩 특징은 상기 가장 낮은 서브 대역이 적어도 2개의 프레임들로부터 공간적인 저주파수 서브 대역들을 포함하는 사실로부터 나오며;

(b) 상기 DPCM은 일정한 예측 계수들을 사용하며;

(B) 예측 에러의 양화는 일반화된 로이드-맥스 알고리즘에 기초하여 최적 양자화기를 사용하여 벡터 양자화에 의해 수행되며, 양자화된 예측 에러 벡터의 2개의 성분들에 대한 조인트 라플라스 확률 밀도 기능은 상기 최적화에 대해 고려되며:

(C) 단계(A 및 B)로부터 발생하는 2진 스트림은 전체 메시지의 엔트로피를 최소화하는 무손실 처리에 의해 인코딩되는 것을 더 특징으로 하는, 비디오 시퀀스 압축 인코딩 방법.
제 1 항 또는 제 2 항에 있어서,

상기 DPCM이 적응적이며, 상기 공간-시간 예측기의 계수들은 이제 프레임들의 각각의 그룹에 대해 이들 계수의 최소 평균 제곱 추정(least means squares estimation)에 의해 장면 변화(scene changes)를 고려하는, 비디오 시퀀스 압축 인코딩 방법.
제 3 항에 있어서,

상기 예측기가 공간 예측 또는 시간 예측에 의해 대부분 영향을 받는 사실에 대해 결정이 내려지는, 비디오 시퀀스 압축 인코딩 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 무손실 처리는 산술 인코딩에 기초하는, 비디오 시퀀스 압축 인코딩 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 무손실 처리는 허프만 인코딩에 기초하는, 비디오 시퀀스 압축 인코딩 방법.