KR100461210B1

KR100461210B1 - 세그먼트된화상코딩방법과시스템및대응하는디코딩방법과시스템,및코딩된신호를포함하는기록/판독가능매체와코딩된신호를저장하는컴퓨터판독가능저장매체

Info

Publication number: KR100461210B1
Application number: KR1019970704363A
Authority: KR
Inventors: 이사벨 꼬르제뜨; 리오넬 부샤르드; 실비 쟌닌; 필리쁘 살렘비에로; 페란 마르크스; 몬체 파르다스; 라몬 몰로스; 페르난드 메이어; 보뜨리즈 마르코테기
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 1995-10-25
Filing date: 1996-10-23
Publication date: 2005-06-17
Also published as: ES2153597T3; US5995668A; EP0799550B1; WO1997016030A1; CN1174646A; CN1113541C; JP3929492B2; JPH10512734A; EP0799550A1; DE69609702T2; DE69609702D1; KR987001187A

Abstract

본 발명은 세그먼트된 화상들을 코딩하기 위한 방법 및 시스템, 그리고 이에 대응하는 디코딩 방법 및 시스템에 관한 것이다. 코딩 시스템에서, 제 1 서브시스템은 상기 세그먼트된 화상 또는 파티션의 시간 전개를 정의하고, 제 2 서브시스템은 연속된 파티션의 영역의 윤곽과 텍스쳐를 인코딩한다. 시간 전개 정의에 의해 파티션 트리(PT)가 도출되고, 이로부터 분석 단계(AS) 동안 영역들이 추출되어, 결정 트리(DT)가 형성된다. 결정 동작은 선택 단계(CS) 동안 상기 파티션 트리의 여러 레벨로부터 구별 영역(Rs)을 선택할 수 있게 하여, 최적의 최종 파티션(BFP)을 구성하게 하고, 이와 동시에 상기 최적 파티션의 각 영역에 대한 최상의 코딩 기법(BCT)을 선택할 수 있게 한다. 이에 대해, 디코딩 방법 및 시스템은 상기 각 영역에 대하여 선택된 코딩 전략을 정의하고 이에 따라 코딩된 정보를 디코딩하기 위한 수단을 포함한다.

Description

세그먼트된 화상 코딩 방법과 시스템 및 대응하는 디코딩 방법과 시스템, 및 코딩된 신호를 포함하는 기록/판독가능 매체와 코딩된 신호를 저장하는 컴퓨터 판독가능 저장 매체

본 발명은, 원화상들의 시퀀스에 대응하고, 윤곽(contour)들과, 대응하는 라벨들이 연관되어 있는 닫힌 영역(closed region)들을 상기 화상들에서 식별하는 세그먼트된 화상들 또는 파티션(partition)들을 코딩하는 방법으로서, 두 개의 연속 화상들 사이에서 상기 파티션들의 시간 모션 전개(time motion evolution)를 정의하기 위한 제 1 정의 단계와, 연속 파티션들의 상기 영역들의 모션과 윤곽들과 텍스쳐(texture)들을 코딩하기 위한 제 2 코딩 단계를 포함하는 상기 코딩 방법, 및 대응하는 코딩 시스템에 관한 것이다. 본 발명은 또한 이러한 코딩 시스템에 의해 코딩된 신호를 포함하는 기록/판독가능 매체와 그러한 코딩된 신호를 저장하는 컴퓨터 판독가능 저장 매체, 및 상기 코딩된 신호를 디코딩하는 방법과 이에 대응하는 디코딩 시스템에 관한 것이다.

원화상에 대응하는 신호를, 상기 화상에서 식별된 특징(이를테면, 윤곽 및 영역)을 사용하여 성분들로 분해하고, 이어서 상기 성분들을 개별적으로 코딩하기 위한 방법 및 장치가 예를 들어 유럽 특허 출원 EP 0389044호에 개시되어 있다. 그러나, 이러한 세그먼트된 화상을 코딩하는 종래의 방법은 얻고자 하는 세그먼트화 유형이나 또는 원화상의 다른 영역들에 대해 코딩하는 유형에 대하여 유연성을 갖고 있지 못하다. 특히, 이러한 방법과 장치들은, 현저히 낮은 비트 레이트(1Mbits/s와 같거나 그 정도가 그 한계로서 일반적으로 여겨지고 있음)에서 대화형 멀티미디어 애플리케이션들을 목표로 하고 있는 MPEG4(Moving Picture Experts Group) 오디오 비주얼 코딩 표준을 감안했을 때 가능한 해결책으로서의 기술적으로 적절한 제안이 되지 못한다.

도 1은 본 발명에 따른 시스템의 일반적인 표현을 도시한 도면.

도 2는 상기에 대응하는 코딩 방법을 도시한 도면.

도 3은 영역의 시간 확장 동작을 도시한 도면.

도 4는 병합 동작을 도시한 도면.

도 5는 재세그먼트화 동작을 도시한 도면.

도 6은 결정 트리 구성 동작을 도시한 도면.

도 7은 코딩 전략에 대한 지역적 결정이 어떻게 이루어지는지를 도시한 도면.

도 8은 최적 파티션을 얻기 위한 결정 프로세스를 도시한 도면.

도 9는 디코딩 장치의 구조를 개략적으로 도시한 도면으로서 이에 대응하는 디코딩 방법도 도시하는 도면.

도 10은 파티션과 텍스쳐 디코딩 프로세스를 보다 상세하게 도시한 도면.

도 11은 파티션 디코딩 장치의 실시예.

도 12는 세그먼트된 화상의 대단히 간단한 예.

도 13은 두 개의 연속된 화상 P(t-1)과 P(t) 사이의 모션 유형을 간략하게 도시한 도면.

도 14는 도 4의 병합 동작중에 실행되는 하나의 모션 추정 단계를 구현하기 위해 가능한 해답을 도시한 도면.

도 15는 정규화 계수 2를 갖는 주어진 영역의 지역 축과 스케일을 도시한 도면.

도 16은 특정 유형의 명령 추정을 갖는 코딩 방법을 도시한 도면.

본 발명의 제 1 목적은, 씬(scene) 내용이나, 그것의 복잡성 또는 이미지 포맷에 대해 어떠한 특별한 가정을 하지 않고서도(씬은 임의의 관계, 위치 및 모션을 갖는 임의의 수의 오브젝트들을 가질 수 있다) 씬의 파티션 단위 표현을 효과적으로 처리할 수 있는 코딩 방법을 제안하는데 있고, 특히 앞으로 표준이 될 MPEG4에서 의도된 여러 기능들을 어드레싱하는데 적합한 코딩 방식이 되게 하는데 있다.

따라서, 본 발명은 본 명세서의 전제부에서 기술한 바와 같은 코딩 방법에 관한 것이고, 이전의 파티션에 대해 고려된 각각의 현재 파티션에 대하여, 상기 제 1 단계는 연속해서,

(1) 상기 이전 파티션으로부터 유발되는 각 영역에 대하여 상기 현재 파티션에서의 상기 영역의 코어(core)의 위치를 표시(marking)하는 모션 보상된 파티션을 정의하기 위한 모션 추정 및 보상 서브단계;

(2) 소위 투사된 파티션(projected partition)을 정의하기 위한, 현재 파티션에서의 보상에 의해 이전에 정의된 상기 영역들의 시간적 확장 서브단계;

(3) 모션과 텍스쳐 기준에 기초하여, 상기 투사된 파티션의 영역들을 병합하거나 재세그먼트화함으로써 생성되고 상기 투사된 파티션과 함께 파티션 트리를 형성하는 추가 파티션들을 결정하기 위한 파티션 토폴로지(topology) 정의 서브단계;

(4) 상기 파티션 트리의 임의의 레벨에 포함된 영역들의 제안내에서 최적 파티션의 영역들을 선택하고, 상기 최적 파티션의 각 영역을 코딩하기 위한 최상의 전략을 선택하기 위한 결정 서브단계로서, 상기 연속 최적 파티션들은 코딩될 파티션들의 시퀀스를 구성하고, 상기 제 2 단계는 상기 파티션들의 각 영역에 대해 전송 및/또는 저장되어야 하는 상기 코딩된 정보를 정의하기 위해 결정 코딩 서브단계를 포함하는 상기 결정 서브단계를 포함한다.

본 방법은 이미지 시퀀스의 유리한 전처리에 주로 기초하여, 사용자의 관점에서, 대단히 획기적인 유연성을 제공한다. 더욱이, 후속되는 결정 단계에 제안되고 고려된 어떠한 계층 레벨에서도 윤곽들이 보존되는 파티션들의 계층은 마지막 코딩 단계를 최적으로 처리할 수 있도록 해준다. 이 코딩 체계는 실제로 매우 다른 상황들을 수용할 수 있으며, 소정의 코딩 비용에 대해 그리고 이용가능한 코딩 기술들의 어떠한 집합이든지 최상의 이미지 표현을 가능하게 한다.

특정 실시예에서, 상기 코딩 방법은, 상기 모션 추정 및 보상 서브단계는, 블록 매칭 방법에 의한 모션 추정 동작과, 상기 현재 파티션에서 상기 영역의 코어의 위치를 상기 이전 파티션에서와 동일한 레벨로 표시하는 그의 최대 접속된 성분만을 상기 이전 파티션에서의 모든 영역으로부터 유지하는 것에 의한 모션 보상 동작을 포함하고, 상기 시간적 확장 서브단계는 워터셰드 라인(watershed lines) 방법의 구현을 포함하는 것을 특징으로 한다.

또한, 본 발명에 따르면, 상기 결정 서브단계는, 상기 파티션 트리에 포함된 상기 투사된 파티션과 추가 파티션 중에서 최적 파티션을 선택하기 위한 제 1 결정 트리 정의 서브단계와, 상기 최적 파티션의 각 영역에 대하여 최적 코딩 전략에 대한 결정을 내리는 제 2 최적화 서브단계를 포함하고, 상기 제 2 코딩 단계는 상기 선택된 최적 파티션의 각 영역에 대하여 미리 정해진 기준에 따라 최적의 텍스쳐 코딩 방법을 선택하기 위해 제공되는 것이 유리하다.

상기 제안된 방법의 코딩 방식에 따르면, 여러 텍스쳐 코딩 기법이 선택될 수 있다. 바람직하게는, 상기 최적 파티션의 각 영역에 적용될 텍스쳐 코딩 방법이, 평균치에 의한 근사화의 방법, 다항식 근사화 방법, 형상 적응 이산코사인 변환 방법 및 다이애딕(dyadic) 이차원 웨이브릿 변환 방법을 포함하는 리스트 내에서 선택된다.

마지막으로, 원래 영역이 그레이 레벨에서 균일하지 않은 경우를 고려할 수 있도록 개선된 실시예에서는, 상기 제 1 정의 단계는 또한,

(1) 상기 모션 추정 및 보상 서브단계 전에, 모든 영역들이 주어진 기준에 따라 균일하게 될 때까지 거친(coarse) 파티션이라고 불리는 현재 파티션을 세그먼트화하여 소위 밀한(dense) 파티션을 생성할 수 있게 하는 추가 세그먼트화 서브단계;

(2) 상기 시간적 확장 서브단계와 상기 파티션 토폴로지 정의 서브단계 사이에, 상기 밀한 파티션의 상기 투사된 파티션을 병합하여 소위 투사된 거친 파티션을 정의할 수 있게 하는 추가적 병합 서브단계를, 앞의 단계들에 대해 연속해서 포함하며, 상기 추가 세그먼트화는 크기(size) 지향적 세그먼트화이고, 상기 크기 파라미터는 영역들의 평균에 대한 픽셀들의 평균 제곱 오차와 같은, 픽셀들의 그레이 레벨 균일성에 관한 소정의 균일성 기준이 만족될 때까지 점진적으로 감소한다.

본 발명의 다른 목적은 상기 코딩 방법을 구현할 수 있는 코딩 시스템을 제안하는 것이다. 이를 위해, 본 발명은, 원화상들의 시퀀스에 대응하고, 윤곽들과, 대응하는 라벨들이 연관되어 있는 닫힌 영역들을 상기 화상들에서 식별하는 세그먼트된 화상들 또는 파티션들을 코딩하는 시스템으로서, 상기 시스템은, 제 1 시간 모션 전개 정의 서브시스템과 제 2 모션, 윤곽 및 텍스쳐 코딩 서브시스템을 포함하고, 각 현재 파티션에 대하여 전송 및/또는 저장될 상기 코딩된 정보는 이전 파티션의 모션 추정 및 보상에 의해 결정되는 메인 파티션의 영역들, 또는 상기 메인 파티션의 상기 영역들을 병합하거나 재세그먼트화함으로써 생성되는 추가 파티션들의 영역들로 구성되는 최적 파티션에 대응하는 코딩된 신호들을 포함하고, 상기 코딩된 신호들은 병합 명령들과 분할 정보의 형태로 각 영역의 원점(origin)상에 적절한 표시들을 포함하는, 코딩 시스템에 관련한다.

바람직한 실시예에 따라, 본 코딩 시스템의 서브시스템들은 다음의 방식으로 구성된다:

(I) 상기 제 1 서브시스템은,

(A) 제 1 파티션 전처리 서브어셈블리로서,

(1) (a) 모션 추정 회로와, (b) 모션 보상 회로와, (c) 출력이 상기 메인 파티션을 정의하는 소위 투사된 파티션을 구성하는 시간적 확장 회로를 포함하는, 시간 전개 정의 장치; 및

(2) (e) 적어도 병합 회로와, (f) 적어도 재세그먼트화 회로를 포함하는 파티션 토폴로지 정의 장치로서, 상기 파티션 토폴로지 정의 장치의 출력이 상기 투사된 파티션과, 상기 병합 회로 및 상기 재세그먼트화 회로에 의해 생성된 추가 파티션들로 구성된 파티션 트리를 구성하는 상기 파티션 토폴로지 정의 장치를 포함하는, 상기 제 1 파티션 전처리 서브어셈블리와,

(B) (f) 결정 트리 구성 회로와, (g) 최적화 회로를 포함하는 제 2 결정 서브어셈블리로서, 상기 제 2 결정 서브어셈블리의 출력은 상기 제 2 코딩 서브시스템에 전달되는 최적 파티션을 구성하고, 상기 최적 파티션은 상기 파티션 트리의 다양한 레벨들로부터의 영역들의 연관에 의해 얻어지는, 상기 제 2 결정 서브 어셈블리를 포함하고,

(II) 상기 제 2 서브시스템은,

(C) (4) 제 1 결정 코딩 장치, (5) 제 2 모션 코딩 장치, (6) 제 3 윤곽 코딩 장치, (7) 제 4 텍스쳐 코딩 장치, 및 (8) 상기 네 개의 코딩 장치들의 코딩된 출력 신호들의 멀티플렉서를 포함하는 제 3 코딩 서브어셈블리로 구성된다.

상기 구현에서, 상기 병합 회로는 모션 보상단과 병합 제안단을 포함하고, 상기 투사된 파티션으로부터 유사한 모션을 갖는 인접 영역들을 병합함으로써 상기 파티션 트리의 상위 레벨들을 형성하기 위해 제 2 유사 병합 회로 등이 이어져 있다.

어느 구현예에서든지, 본 코딩 시스템의 결정 서브어셈블리는, 상기 결정 트리 구성 회로가 왜곡 계산단, 레이트 계산단, 및 메모리를 포함하고, 상기 메모리는, 상기 파티션 트리의 각 영역의 텍스쳐의 코딩 동작에 대하여 선택이 이루어지는 텍스쳐 코딩 방법들의 연관된 리스트와 동일한 길이를 갖는 레이트들의 리스트 및 왜곡들의 리스트를 결정 트리의 형태로 저장하기 위해 제공되고, 상기 최적화 회로가, 상기 결정 트리의 각 노드의 로컬 분석을 수행하기 위해 제공된 계산 서브단과, 상기 파티션 트리의 영역들의 전체 세트로부터 코딩될 상기 최적 파티션을 구성하는 상기 영역들의 최종 세트를 정의하기 위해 제공되는 결정 서브단을 포함하는 방식으로 구성된다.

본 발명의 다른 목적은 또한 이러한 코딩 시스템에 의해 발생된 것과 같은 코딩된 신호를 포함하는 기록/판독가능 매체를 정의하는 것이고, 상기 코딩된 신호는 멀티플렉싱된 신호로 구성되어 있고, 상기 멀티플렉싱된 신호는,

(A) 상기 연속 파티션들 사이의 세그먼트화의 전개를 특징짓고 소위 투사된 파티션을 정의할 수 있게 하는 모션 모델의 추정에 대응하는 코딩된 모션 정보;

(B) 상기 현재 파티션에 대응하는 상기 투사된 파티션으로부터 구성된 추가적인 보다 더 세밀하고 보다 더 거친 파티션들의 계층의 모든 영역들 중에서, 레이트와 왜곡 기준에 기초하여, 선택된 최적 파티션의 각 영역의 텍스쳐 및 윤곽 정보에 대응하는 코딩된 파티션 정보;

(C) 상기 레이트 및 왜곡 기준과 연관된 코딩 비용 및 질에 따라, 상기 투사된 파티션과 추가 파티션들의 상기 선택된 영역들 각각에 대하여 정의된 상기 코딩 전략에 대응하는 코딩된 결정 정보를 포함한다.

본 발명의 다른 목적은, 복수의 영역들 및 연관된 라벨들을 포함하고 연속 파티션들을 정의하는 세그먼트된 화상들의 시퀀스에 대하여, 상기 시퀀스의 현재 파티션의 각 영역에 대응하는 코팅된 신호를 저장하는 컴퓨터 판독가능 저장 매체에 있어서, 상기 매체는 멀티플렉스된 신호로 구성되어 있는 코딩된 신호를 전달하기 위하여,

(A) 상기 연속 파티션들 사이의 세그먼트화의 전개를 특징짓고 소위 투사된 파티션을 정의할 수 있게 하는 모션 모델의 추정에 대응하는 모션 정보를 발생하고;

(B) 상기 현재 파티션에 대응하는 상기 투사된 파티션으로부터 구성된 추가적인 보다 더 세밀하고 보다 더 거친 파티션들의 계층의 모든 영역들 중에서, 레이트와 왜곡 기준에 기초하여, 선택된 최적 파티션의 각 영역의 텍스쳐 및 윤곽 정보에 대응하는 파티션 정보를 발생하고;

(C) 상기 레이트 및 왜곡 기준과 연관된 코딩 비용 및 질에 따라, 상기 투사된 파티션과 추가 파티션들의 상기 선택된 영역들 각각에 대하여 정의된 코딩 전략에 대응하는 결정 정보를 발생하는 수단을 포함하며,

상기 멀티플렉싱된 신호는 상기 모션 정보, 상기 파티션 정보 및 상기 결정 정보를 포함하는, 컴퓨터 판독가능 저장 매체를 제안하는 것이다.

본 발명의 다른 목적은 전술한 코딩 방법을 구현하는 코딩 시스템의 출력에서 생성되는 멀티플렉싱된 코딩된 비트스트림에 적용할 수 있는 디코딩 방법을 제공하는 것이다. 이를 위해서, 본 발명의 디코딩 방법은, 윤곽들과, 대응하는 라벨들이 연관되어 있는 닫힌 영역들을 원화상들의 연관된 시퀀스에서 식별하는 세그먼트된 화상들 또는 파티션들에 대응하고 코딩 방법에 의해 이전에 코딩된 신호들을 디코딩하는 방법에 관한 것이고, 상기 코딩 방법은, 상기 이전 파티션에 대해 고려된 각 현재 파티션에 대하여, 한편으로는 모션 추정 및 보상과 보상된 파티션의 시간적 확장에 의해 얻어진 소위 투사된 파티션, 및 다른 한편으로는 상기 투사된 파티션의 영역들을 병합하거나 재세그먼트화 함으로써 생성된 추가 파티션들을 정의하며, 상기 투사된 파티션과 추가 파티션들에 의해 형성된 파티션 트리의 임의의 레벨에 포함된 영역들로 구성되는 최적 파티션을 선택하기 위해 제공된 제 1 정의 단계와, 연속하는 최적 파티션들 각각의 각 영역에 대하여 전송 및/또는 저장되어야 코딩된 정보의 정의를 위해 제공된 제 2 코딩 단계를 포함한다.

본 발명에 따르면, 상기 디코딩 방법은, 각 최적 파티션의 각 영역에 대하여 어느 코딩 전략이 이전에 사용되었는지를 정의하기 위해 제공된 제 1 결정 디코딩 단계, 제 2 모션 디코딩 단계, 제 3 파티션 디코딩 단계, 및 제 4 텍스쳐 디코딩 단계를 포함하며, 바람직하게는, 상기 제 3 파티션 디코딩 단계는, N개의 영역들이 있는 경우에 라벨들 1∼N만이 사용되고 각 영역에 대하여 라벨 값을 재할당함으로써 라벨 번호들의 값을 제한하기 위해 제공된 제 1 재라벨링(relabelling) 서브단계, 병합 명령들을 수행하기 위해 제공된 제 2 병합 서브단계, 제 3 인트라 영역들 디코딩 서브단계, 제 4 모션 보상 및 보상된 에러들 디코딩 서브단계, 및 디코딩된 보상 에러들 파티션 라벨링 서브단계를 포함한다.

본 발명의 다른 목적은 상기 디코딩 방법을 구현할 수 있는 디코딩 시스템을 제안하는 것이다. 이를 위해서, 본 발명의 디코딩 시스템은, 윤곽들과, 대응하는 라벨들이 연관되어 있는 닫힌 영역들을 원화상들의 연관된 시퀀스에서 식별하는 세그먼트된 화상들 또는 파티션들에 대응하는 신호들을 디코딩하는 시스템으로서, 상기 신호들은, 각각의 현재 파티션에 대하여, 이전 파티션의 모션 추정 및 보상과, 보상된 파티션의 시간적 확장에 의해 결정되는 메인 파티션의 영역들, 또는 상기 메인 파티션의 영역들을 병합하거나 재세그먼트화함으로써 생성된 추가 파티션들의 영역들로 구성되는 최적 파티션에 대응하는 코딩된 정보를 구성하고, 상기 디코딩 시스템은, 상기 코딩된 정보를 저장 및 디멀티플렉싱하기 위해 제공된 입력 버퍼, 상기 최적 파티션을 코딩하는데 사용된 전략에 대응하는 정보를 디코딩하기 위해 제공된 결정 디코딩 장치, 모션 디코딩 장치, 파티션 디코딩 장치, 및 텍스쳐 디코딩 장치를 포함한다.

본 발명의 여러 특징은 다음의 실시예로부터 명확해질 것으로 첨부하는 도면을 참조하여 고려한다.

도 1을 참조하면, 세 개의 메인 서브어셈블리를 포함하는 시스템이 도시되어 있다. 제 1 파티션 전처리 서브어셈블리(1)은 세그먼트 프레임 또는 화상의 인입 시퀀스 S(t-j),..., S(t-1), S(t), S(t+1),...[원래의 텍스쳐 이미지 P(t-j), ..., P(t-1), P(t), P(t+1),....에 대응]을 수신하기 위한 것으로, 시간 전개 정의 장치(11)과 파티션 토폴로지 정의 장치(12)를 포함한다. 제 2 결정 서브어셈블리(2)는 상기 제 1 서브어셈블리(1)에 의해 발생된 파티션 셋을 수신하고 코딩 전략을 정의하기 위한 것이다. 제 3 코딩 서브어셈블리(3)은 상기 선택된 파티션과 이 선택된 파티션에 결합되어 있는 코딩 전략에 관련된 결정을 수신하기 위한 것으로서, 결정 코딩 장치(31), 모션 코딩 장치(32), 파티션(또는 윤곽) 코딩 장치(33), 텍스쳐 코딩 장치(34), 및 멀티플렉서(35)를 포함한다.

앞서 인용된 서브어셈블리 실행 방법인 일반적인 코딩 방법은 이하 도 2를 참조하고 도 1에 연관시켜 설명할 것이다. 장치(11)에서 수행된 시간 전개 서브스텝은 현재 파티션(partition) 영역의 시간적 전개에 후속하도록 진행된다. 기재된 실시예에서, 처리 지연 및 계산 부하 모두를 가능한 한 많이 제한시키기 위해, 이전의 코딩된 화상 또는 프레임(frame) 및 시간(t-1)에서 그의 파티션이 시간 t에서 파티션의 시간 전개를 제한하기 위해 사용되었다. 시간 전개 제한 서브스텝은 이전 프레임(이 경우 이전 프레임 S(t-1))의 파티션을 현재 프레임으로 채택하도록 제공되고, 프레임 S(t-1)의 이러한 파티션(보다 일반적인 경우에 t-i)은 이전 화상을 위해 선택된 최종 파티션에 대응한다(본 발명에 따른 코딩 방법을 미리 실행한 후, 코딩 서브어셈블리(3)의 코딩 장치의 출력 신호는 제 1 파티션 전처리 서브어셈블리(1)에 다시 전송된다). 따라서, 상기 서브스텝은 새로운 영역을 도입하지 않고, S(t-1)의 파티션을 화상 S(t)의 데이터에 조정시킨다. 이전 프레임의 이와 같은 파티션 채택은 3가지 동작으로 수행된다. 먼저, 모션 추정 동작(111a)이 원시 프레임 S(t-1)와 S(t) 사이에서 수행된다. 이어서, 이전 파티션은 모션 보상되고(동작 112a), 마지막으로 이전 영역의 현재 프레임으로의 확장 동작(113a)이 제공된다.

제 1 모션 추정 동작(111a)은 모션 추정 회로(111)에서 발생한다. 모션은 선행하는 프레임 S(t-1)(일반적인 경우에 이전 프레임 S(t-j))과 세그먼트화될 다음 프레임 S(t) 사이에서 예를 들면 역방향으로 적용된 블록 매칭 공정에 따라 추정된다. 이러한 기술은 예를 들면 "계통적 모션 추정을 위한 VLSI 구조(A VLSI architecture for hierarchical motion estimation)" IEEE Transactions on Consumer Electronics, 41권, 제2호, 1995년 5월, 248-257페이지에 기재되어 있으며, 프레임 S(t)는 작은 화상 요소 블록으로 분할되고(176 x 144 픽셀의 QCIF 포맷에 대해 일반적으로 8 x 8 픽셀), 이들 각각에 대해 최상의 매칭 블록을 그 프레임 내에 위치시키기 위해 프레임 S(t-1)의 주어진 창 내에서 탐색이 수행된다. 얻어진 모션 정보는 1개 이상의 목적물과 연루된 일부 블록의 모션이 엄격하게 균일하지 않을 때조차 충분히 근사된다. 이러한 모션 정보는 상당한 프레임의 모든 블록에 대해 추정된 각각의 모션 벡터의 형태로 주어진다.

제 2 모션 보상 동작(112a)은 상기 이전 프레임에서와 같이 동일한 레벨로 연결된 성분인 이전 프레임으로부터 유래하는 각각의 영역에 대해 함유된 프레임을 최종 결과로서 얻기 위해 얻어진 모션 벡터를 영역들에 인가함으로써 모션 보상 회로(112)에서 수행된다. 각각의 이들 성분들 자체는 다음 방식으로 얻어진다. P(t-1)가 이전 화상이고, S(t-1)가 그의 파티션(또는 한 세트의 라벨 형태인 세그먼트화된 프레임)인 경우, 현재 프레임의 모든 픽셀은 이전 프레임으로부터 픽셀 하나씩으로 (역방향 모션 추정 후) 커버된다. 그러나, 이러한 보상은 각각의 보상된 파티션에서 일반적으로 영역의 윤곽에 근접한 작은 단속된 성분들을 생산할 수 있다. 이들 단속된 부분은 라벨의 잘못된 확장을 생성할 수 있고, P(t-1)의 모든 영역으로부터 보상된 파티션 P'(t-1)에서 그의 가장 큰 접속 성분만을 유지하는 클리닝 동작에 의해 제거되어야 한다(이러한 동작은 P'(t-1)에서 라벨 표시되지 않은 픽셀을 생산하지만, 이러한 파티션은 단지 동작(112a)에 후속하는 동작(113a)에 대한 초기화로서 사용되기 때문에 임의의 문제에 연루되지 않는다). 모션 보상된 파티션이 최종적으로 얻어지며, 여기서 P(t-1)의 영역당 기껏해야 하나의 접속된 성분이 존재하고, 이전 프레임으로부터 유래하는 각각의 영역에 대해 현재 프레임의 이러한 영역의 코어의 위치를 마크한다.

제 3 확장 동작(113a)은 시간적 확장 회로(113)에서 모션 보상 파티션으로부터 투사된 영역의 경계를 한정하기 위해 수행된다. 현재 프레임에서 보상된 파티션의 이러한 확장은 예를 들면 분수선 방법(watershed lines method)이라 칭하고, 예를 들면 통신["영상 시퀀스의 시간 회귀적 세그먼트화(Time-Recursive Segmentation of Image Sequences" M. Pardas P. Salembier, EUSIPCO 94, 7차 European Signal Processing Conference, Edinburgh(영국), 1994년 9월 13]에 기재된 종래의 형태학적 기구를 사용함으로써 수행될 수 있다. 상기한 바와 같이 얻어진 접속 성분들은 균질한 영역의 존재를 식별하는 이들의 특수한 라벨 덕택에 추출하게 될 영역의 코어를 한정하는 한 세트의 마커를 구성한다. 인용 문헌에 기재된 바와 같이, P(t-1) P(t)가 시간 (t-1) 및 t에서 화상이고, S(t-1) 및 S(t)가 각각 측정되어야 하는 (시간 t-1에서) 이미 공지된 파티션 및 (시간 t에서) 이미 공지된 파티션임을 상기한 후에(도 3을 참조함), 2차원 신호는 시간적 차원의 크기 2의 시간적 블록 P를 형성하는 화상 P(t-1) 및 P(t)를 함께 그룹화하고, 마찬가지로 (블록 P를 세그먼트화하기 위해 사용될 수 있는 한 세트의 마커로서 고려되는 블록 S를 형성하기 위해) 파티션 S(t-1)와 불확실한 프레임을 나타내는 공 프레임 S(.)를 그룹화함으로써 구축된다. 이러한 프레임은 소위 이러한 프레임의 픽셀이 아직 주어진 마커에 대응하지 않기 때문이다.

분수선 방법(WM)의 실행은 마커들이 공 프레임의 모든 사용 공간을 점유할 때까지 주어진 마커에 이들 프레임이 할당되고, 픽셀은 이러한 영역의 마커 근처에 있고, 그의 근처의 다른 마커에 대응하는 임의의 다른 영역에 대해서보다 이 마커에 의해 정의된 영역과 보다 유사하기 때문에(특정 기준에 의해 정의된 의미에서), 각각의 픽셀이 특정 영역에 할당되는 성장 과정을 초래한다. 가능한 유사성 기준은 고려중인 픽셀과 이러한 영역에 이미 할당된 픽셀들의 평균 사이의 명암 톤 차이 D이거나 또는 가중 인자 "알파"를 도입한 변형된 기준일 수 있다. 이와 같은 최후의 해결책은 가중 합 (알파 x D) + (1-알파) C가 아닌 D 만을 더 이상 고려할 수 없게 하고, 여기서 C는 고려되는 픽셀이 특정 영역에 할당되는 경우에 부가되는 윤곽 점들의 수를 계수함으로써 얻어진 윤곽 복잡성에 대응하는 벌점 기간이며, 따라서 명암 레벨 측정치 또는 윤곽의 복잡성에 다소의 중요성을 부여하게 된다.

투사된 파티션 PJ(t)는 제 3 동작(113a)이 완료될 때 입수할 수 있다. 이와 같이 투사된 파티션으로부터 파티션 트리는 제 2 결정 서브 어셈블리(2)가 화상을 코딩하기 위해 가장 편리한 영역을 후에 선택하고, 파티션 트리의 상이한 레벨로부터 비롯된 영역들로 구성된 최종 파티션을 구성하는 상이한 파티션들을 (모션 및 텍스처 기준을 사용하여) 제공하기 위해 구성될 것이다. 이러한 구성 공정은 파티션 기하학 정의 장치(12)에서 수행되고, 그의 목표는 사실상 투사된 파티션으로부터 (순수한 내부 공정에 의해) 2가지 상이한 종류의 파티션을 생성하는 것이다: 즉,

- 투사된 파티션으로부터 영역들을 병합함으로써 생성되고, 파티션 트리의 상부 레벨을 제한하는 파티션들: 이러한 병합은 이하 설명하게 될 모션 기준에 기초하고, 유사한 모션을 갖는 이웃하는 영역들을 그룹화하는 보다 큰 영역을 얻을 수 있게 한다(이웃하는 영역들 사이의 내부 경계는 보다 길게 코딩될 필요가 있다);

- 투사된 파티션(이전 파티션에 존재하지 않는 새로운 영역을 현재 파티션에서 얻을 가능성을 제공함)을 재세그먼트화함으로써 생성되고, 파티션 트리의 하위 레벨을 제한하는 파티션들: 이들 새로운 영역을 얻기 위한 이유는 장면의 새로운 대상물을 도입할 수 있거나 (이들의 텍스처는 일반적으로 이웃하는 목적물들의 그것과 상이함) 또는 2개의 영역이 이전 프레임에서 유사한 모션을 갖기 때문에 매우 상이한 텍스처를 특징으로 하지만 병합된다는 사실은 현재 프레임에서 이들의 모션을 갑자기 차별화하고, 따라서 이들이 동일한 모션 파라미터를 사용하여 계속하여 코딩되는 경우 너무 큰 보상 에러를 유발한다.

장치(12)에 의해 이와 같이 수행된 파티션 토폴로지 정의 서브 스텝은 2가지 동작: 즉 먼저 병합 동작(121a)(적어도 하나), 이어서 재세그먼트화 동작(122a)(적어도 하나)으로 수행된다.

병합 동작(121a)은 (제 1) 병합 회로(121)에서 발생한다. 도 4를 참조하면, 이러한 회로(121)는 그의 목표가 유사하게 운동하는 이웃 영역들을 병합하는 것이고, 이 회로는 모션 추정 단계(1211) 및 병합 계획 단계(1212)를 포함한다. 2개의 원시 텍스처 화상 P(t-1) 및 P(t) 및 파티션 S(t-1)가 주어진다면, 단계(1211)는 장치(11)에 의해 생산된 투사된 파티션 PJ(t)의 모션 파라미터를 산출하기 위해 제공된다. 이러한 모션 추정 공정은 투사된 파티션의 각각의 영역에 대해 (t-1)과 t 사이의 상기 영역의 모션을 기재한 한 세트의 모션 파라미터를 복귀시킨다. 단계(1211)에서 수행된 모션 추정 단계는 예를 들면 1996년 4월 3일자로 출원된 프랑스 특허 제9604194호에 기재된 유형일 수 있으며, 그의 내용을 도 12 내지 15를 참조하여 본 명세서의 마지막 부분에 있는 부록 A에서 상기시킨다.

투사된 파티션의 모션 파라미터가 일단 공지되면, 이웃하는 영역들의 병합 비용의 추정은 병합 계획 단계(1212)에서 수행된다. 이웃하는 영역들의 모든 커플에 대해, 병합 비용이 산출되고, 병합 기회의 요구되는 수는 병합 기준에 기초하여 가장 작은 병합 비용으로 이웃하는 영역들의 커플을 선택함으로써 얻어진다. 예를 들면, 2개의 인접하는 영역들은 이들 영역이 단일한 것으로서 생각될 때 (즉, 이들이 동일한 한 세트의 모션 파라미터에 의해 모션 보상될 때) 생성되는 예측 에러를 코딩하는 비용이 이들 사이에 위치하는 윤곽을 코딩하는 비용보다 작은 경우에 병합될 수 있다. 사실상, 코딩 방법은 아직 알려져 있지 않으므로, 기준은 약간 변경된다. 병합에 의해 생성된 보상 에러 더 이상의 정확한 코딩 비용)이 보다 정확하게 고려되어야 하고, 고려되는 비용은 2개의 영역이 개별적으로 보상될 때 평균 제곱 보상 에러에 관한 병합된 영역의 평균 제곱 보상 에러를 증가시킨다 (동작을 단순화시키기 위해, 병합된 영역에 대응하는 새로운 모션 파라미터는 동작되지 않으며, 2개의 영역들을 병합할 때 생성되는 보상 에러는 2개의 영역에 대응하는 이미 공지된 모션 파라미터의 2벌의 세트들 중의 하나를 사용함으로써만 동작되고, 그중 하나는 더 작은 보상 에러를 생산한다). 내부 프레임의 경우, 모션은 병합을 제안하기 위해 고려되지 않는다. 코딩이 임의의 모션 정보를 사용하지 않을 때, 병합 선택은 텍스처 기준에 의해 제안되며, 그 비용은 이웃하는 영역들의 주요 명암 레벨 값의 차이를 고려함으로써 동작된 것이다.

이미 설명한 바와 같이, 코딩 방법은 아직 알려져 있지 않다. 코딩 비용의 견지에서 2개의 영역들을 병합하는 실제 결정은 결정 서브 어셈블리(2)에서 이후에 한정적으로 고려될 수 있으며, 여러 가지 병합 제안들이 각각의 레벨에서 생산될 수 있다. 최종 병합 방법이 파티션 트리에서 각각의 레벨에 대해 반복되어야 할때, 병합은 현재 투사된 파티션 및 이전 영상의 파티션 모두에 대해 도 4에 나타낸 바와 같이 생산되고 적용되며, 제 2 병합 회로(121b)에서 방법의 가능한 반복을 위해서 및 파티션 트리의 전체 상위 레벨에 대해 추가의 입력을 구성하는 PM1(t-1) 및 PM1(t)을 유도한다.

재세그먼트화 회로(122)에서 발생하고, 새로운 대상물이 나타나거나 또는 2개의 영역이 갑자기 분기하는 모션을 채택할 때 수행되어야 하는 재세그먼트화 동작(122a)에서, 누구나 비균질한 텍스처를 갖는 별개의 영역을 필요로 한다. 따라서, 이러한 재세그먼트화 방법은 텍스처 기준에 기초할 것이다. 이 방법은 예를 들면 투사된 파티션으로부터 시작하는 계층적 구조로 수행되고, 이는 이전 레벨의 윤곽을 변형시키지 않고 모든 레벨에서 파티션 중에 새로운 영역을 점진적으로 도입한다. 이러한 재세그먼트화 방법은 대응하는 단계들로 수행되는 4 단계: 즉, 나머지 동작 단계(1221), 단순화 단계(1222), 마커 추출 단계(1223) 및 결정 단계(1224)로 구성된다. 도 5에 나타낸 바와 같이, 이들 단계는 각각 참조 문자 RC, SP, ME 및 DC로 나타낸다.

각각의 레벨이 새로운 유효 영역을 도입함으로써 이전 레벨의 세그먼트화를 개선시켜야 하는 것을 알게 됨으로써, 투사된 파티션의 각각의 영역은 다항식 레벨 등의 명암 레벨 기능에 의해 또는 평균 명암 레벨 값으로 충족된다. 나머지는 원시 화상 P(t-1)과 모델 화상인 파티션 S(t-1) 간의 차이로서 (단계 1221에서) 얻어진다. 영상 모델링에 의한 이러한 나머지 동작의 예는 예를 들면 유럽 특허 출원 제0627693호에 기재되어 있다. 다른 동작(파티션을 보다 용이하게 세그먼트화시키기 위해 수행되는 단순화; 균일한 영역의 존재를 검출하고, 특정 지역을 라벨링함으로써 이들의 코어를 추가로 확인하기 위해 수행되는 마커 추출; 임의의 영역에 아직 할당되지 않은 불확실한 지역을 다루고, 영역 윤곽 둘레의 픽셀에 대응하도록 이루어지는 결정)은 이미 인용된 문헌 "시간 회귀적 세그먼트화 … ", EUSIPCO 94에 기재되어 있다. 병합 동작에 대해서와 같이, 이 방법은 반복적인 방식으로 반복될 수 있고, 크기 기준은 대조 기준이 사용되기 위한 최종적인 것을 제외한 모든 재세그먼트화 레벨을 위해 사용된 것이다(이러한 반복적인 방법의 각각의 레벨에서, 유일한 차이는 작은 또는 낮은 대조 영역을 점진적으로 도입하기 위해 감소된 단순화 강도이다). 일단 병합 및 재세그먼트화가 수행되면, 인용된 유럽 특허 출원 제EP0627693호에 기재된 바의 모션 개선은 모든 파티션 레벨의 각각의 영역에 대해 적용된다.

파티션 기하학 정의 장치(12)에서 구성 공정이 달성될 때 나타나는 바와 같이, 투사된 파티션으로부터 유출되는 한 세트의 가능한 영역을 제한하는 파티션 트리가 얻어진다. 장치(12)에서 실행되는 동작은 코딩될 실제 파티션에 관하여 임의의 결정을 내리지 않고, 가능한 새로운 영역의 윤곽을 한정하는 제안을 얻기 위해 단순히 제공된다. 이러한 장치의 목적은 최적 파티션의 일부인 한 세트의 영역을 한정하는 것이므로, 한편으로는 이러한 세트는 이후에 이루어질 결정의 동작 가능한 복잡성을 제한시키기 위해 감소되어야 하지만, 다른 한편으로는 파티션 제안은 효율적인 결정을 위해 조심스럽게 창출되어야 한다.

파티션 트리는 현재 이용되고 있고 모션 및 텍스처 기준에 기초하여 상이한 파티션을 제공하는 것이며, 이들 파티션으로부터 결정 서브어셈블리(2)는 원시 화상을 코딩하기 위한 가장 적절한 영역을 선택하고, 선택된 최종 파티션은 사실상 파티션 트리의 상이한 레벨로부터 유출된 영역으로 이루어진 것이다(원시 투사된 파티션의 윤곽은 변형되지 않음). 이러한 서브어셈블리(2)의 목적은 2개의 연속적인 부분이 구별될 수 있는 결정 서브스텝을 실행함으로써 코딩 전략을 제한하는 것이며: 즉, 제안의 최적의 파티션의 제 1 선택은 파티션 트리 내에 포함되고, 제 2 결정은 이와 같이 초래된 파티션의 각각의 영역을 코딩하기 위한 최상의 전략에 관한 것이다.

따라서, 결정 서브스텝은 제 2 최적 동작(222a)이 후속하는 제 1 결정 트리정의 동작(221a)을 구성하는 2가지 동작에 의존한다. 제 1 동작(221)은 결정 트리 구축 회로(221)에서 발생한다. 도 6에 나타낸 바와 같이, 영역들에 관한 선택을 제한하는 파티션 트리 PT로부터 (점선은 설명을 단순화시킬 목적으로 도 6에서 단지 4개인 투사된 파티션 PJ(.)의 원시 영역과 연관된 병합 또는 재세그먼트화된 영역을 지시한다), 계통적 구조에서 가능한 모든 코딩 선택을 집중시키는 결정 트리 DT는 다음 방식으로부터 추론되며: 즉, 결정 트리의 각각의 노드는 파티션 트리에 의해 역시 주어지는 노드들 사이(부 노드와 자 노드 사이)의 관계에 따라, 파티션 트리의 영역에 대응한다. 이들 관계는 주어진 레벨(도 6에서 투사된 파티션 PJ(.)의 레벨을 포함하는 5개의 레벨을 나타냄)에서 하나의 영역이 어떻게 여러 가지 영역(또는 자 영역)으로 분할될 수 있거나 또는 보다 큰 영역(부 영역)을 형성하기 위해 병합될 수 있는지를 정의한다. 더욱이, 코딩 전략(레이트 왜곡 의미로)을 정의하기 위해, 결정 트리는 n개의 가능한 텍스처 코딩 기술의 각각의 품질(또는 왜곡) 및 코딩 비용에 관한 정보를 전달하며; 레이트 리스트(레이트 리스트 R₁, R₂, …, R_n) 및 왜곡 리스트(데이터 리스트 D₁, D_2,…, D_n)는 상기 노드 각각에 대해 할당되고, 두 리스트는 텍스처 코딩 기술 TCT의 리스트와 동일한 길이를 갖고, 도 6에 나타낸 이들 n 기술 각각은 #1, #2, …, …, #n에 의해 단축 방식으로 나타낸다. 실제로, 파티션 트리의 각각의 영역은 제안된 모든 기술에 의해 (각각의 영역의 모션은 파티션 트리의 생성 동안 추정되기 때문에 인트라 또는 내부 모드에서) 코드화되고, 대응하는 레이트 및 왜곡은 결정 트리에 저장된다.

회로(221)에서 결정 트리의 이러한 구축 단계는 각각의 기술의 각각의 장점을 평가하는 단순한 동작이고, 이 시점에서 결정은 이루어지지 않는다. 이러한 회로(221)는 왜곡 계산 단계(2211), 레이트 계산 단계(2212) 및 메모리(2213)를 포함한다. 단계(2211)에서, 누구나 루미넌스 및 크로미넌스에서 평균 제곱 에러 기준을 사용하며, 이는 부가적인 기준이기 때문이다(알 수 있듯이, 결정 트리 정의 동작에 후속하는 최적화 동작은 부가될 왜곡 측정을 요하고: 영역 A가 여러 가지 영역 B_i로 세그먼트화되는 경우, A 상에서 측정된 왜곡은 모든 B_i 상에서 측정된 왜곡의 합과 동일하게 될 것이다). 단계(2212)에서, 그 목적은 영역의 전체적인 코딩 비용을 제공하는 레이트를 계산하는 것이다. 이 레이트는 각각의 영역에 대해 3가지 성분들, 즉,

- 텍스처 코딩 비용: 이는 일반적으로 서브스텝(2212c)에서 계수들의 엔트로피를 측정함으로써 용이하게 추정될 수 있다;

- 모션 파라미터 코딩 비용: 이는 서브스텝(2212d)에서 모델 파라미터의 엔트로피 추정에 의해 역시 주어진다;

- 파티션 코딩 비용으로 주로 이루어진다.

파티션 코드화 비용의 최종 경우는 보다 복잡하고, 그 이유는 형상 및 위치 정보는 각각의 영역에 대해 개별적으로 코딩되지 않기 때문이다. 전체 파티션은 전체적인 방식으로 코딩되고, 따라서, 주어진 영역을 파티션 비트스트림에 대한 기여를 직접적으로 추정할 수 없게 된다. 따라서, 영역의 파티션 비용의 타당한 추정값이 상기 영역의 주변에 비례하고, 비례 인자는 그 영역이 텍스처 코딩이 인트라 모드 또는 내부 모드에서 수행된다는 사실에 따라 보상될지 여부에 의존하고, 파티션 비용은 윤곽 점 당 1, 3 또는 0.7 비트와 동일한 것으로 추정된다.

결정 트리의 모든 노드가 일단 계산된 레이트 및 왜곡의 리스트가 차지하면, 실제 최적화 동작(222a)은 최적화 회로(222)에서 시작할 수 있다. 최적화 문제는(예를 들면 기사 "Best Wavelet Packet Bases in a Rate-Distortion Sense", K. Ramchandran 및 M. Vetterli, IEEE Transactions on Image Processing, 2권, 2호, 1993년 4월, 160-175페이지에 기재된 바와 같음) 영상의 왜곡 D의 최소화를 위한 탐색으로서 공식화될 수 있으며, 단, 전체 비용 R₁은 각각의 프레임에 대해 정의된 주어진 예산 이하여야 하는 제한이 따르고, 이는 라그랑즈의 D + LR의 최소화로서 재공식화될 수 있으며, 여기서 L은 이른바 라그랑즈 파라미터이다(두 공식화된 문제들은 R₁이 예산과 동일하거나 또는 매우 밀접하도록 L₀를 발견하는 동일한 해결책을 갖는다). 이 문제는 최종적으로 한 세트의 영역(파티션을 생성함) 및 D + L₀R_T를 최소화하는 한 세트의 텍스처 코딩 기술을 발견하기 위해 결정 트리를 사용하는 것으로 이루어지고, 최적화 동작(222a)은 다음 서브스텝: 즉,

- 계산 서브 스텝(2221)에서 수행되고, 결정 트리의 각각의 노드를 위해 각각의 텍스처 코딩 기술에 대해 라그랑즈를 계산하고, 국소적 분석을 허용하는 제 1 서브스텝(2221a): 가장 낮은 단계를 제공하는 기술은 이러한 노드에 대해 최적의 것으로서 고려되고, 이러한 라그랑즈가 저장된다;

- 결정 서브 스텝(2222)에서 수행되고, 도 7에 나타낸 바와 같이 코딩 전략에 따라 한 세트의 지엽적인 결정을 유도하는 최하위 레벨로부터 시작하는 결정 트리의 상향식 분석에 의해 최상의 파티션을 제한하는 제 2 서브스텝(2221a): 상기 하위 레벨에 대해 2개의 노드가 활성이라고 가정하면(이들 노드는 최종 파티션의 일부인 것으로 고려됨을 의미하고, 이러한 노드는 흑색 서클로 나타냄), 2가지 상황은 상위 레벨 상에 위치하는 단일 노드에 의해 나타낸 단일 영역과 같이 이들 2개의 영역에 의해 나타낸 영역을 코딩하기 위해 보다 양호하지 않은 것을 알게 될 때 발생할 수 있으며: 즉,

(a) 상위 노드(D₀ + LR₀)가 하위 노드의 라그랑즈의 합보다 낮은 경우, 단일 영역으로서 영역을 코딩하는 것이 실질적으로 보다 양호하고, 상위 노드는 활성화되지 않은 2가지 하위 노드 대신에 활성화된다(도 7의 좌측);

(b) 상위 노드의 라그랑즈가 상기 합보다 더 큰 경우, 2개의 영역으로서 영역을 코드화하는 것이 양호하고, 상위 노드는 활성화되지 않는 한편(도 7의 우측), 그의 새로운 라그랑즈는 하위 레벨에서 노드들의 라그랑즈의 합이다(레이트 및 왜곡의 부가는 전체 최적화 동작 동안 추정되었음이 상기될 수 있다).

이러한 절차는 결정 트리가 최상위 레벨에 도달할 때까지 반복된다. 이어서, 활성화된 노드의 세트는 최적 파티션을 정의하는 최종 세트의 영역을 제공한다. 모든 활성화된 노드에 대한 최상의 기술의 레이트를 부가함으로써 계산된 코딩 비용이 예산과 동일하거나 또는 그에 매우 근접하는 경우, 최적화 공정은 종료되고, 이러한 최적화 파티션은 코딩될 수 있다. 코딩 비용이 예산보다 훨씬 많거나 또는 적은 경우, 라그랑즈 파라미터 L은 변경되어야 하고, 최적화는 다시 수행되어야 한다. L의 편의상의 정의는 예산 이하 및 이상의 레이트 R_H 및 R_L 각각을 제공하는 2개의 대응하는 코딩 전략을 유도하는 매우 큰 값 L_H 및 매우 낮은 값 L_L로 시작하는 구배 탐색 알고리즘에 의해 수행될 수 있다. 이러한 레이트들 중의 하나가 예산과 충분히 근접한 경우를 제외하고, 새로운 라그랑즈 파라미터는 L = (D_H-D_L)/(R_H-R_L)로서 정의되고, 그 방법은 예산에 밀접한 레이트를 제공하는 하나의 전략이 발견될 때까지 (예를 들면 그 둘레 5%의 간격에 속함) 반복된다.

장치(22)에서 실행된 바의 전체 결정 서브스텝의 설명은 도 8에 주어진다. 파티션 트리 PT로부터, 모든 영역은 결정 트리 DT를 형성하도록 추출되고(분석 단계 AS), 참조 문자 TCT(이들 수치는 이미 n이라 칭함)로 나타낸 여러 가지 텍스처 코딩 기술은 각각의 영역에 대해 고려된다. 파티션 트리의 여러 가지 레벨로부터 영역 R₅는 선택되고 (선택 단계 CS), 최상의 최종 파티션 BFP(또는 최적의 파티션)은 각각의 영역에 대한 것과 함께 최상의 코딩 기술 BCT에 의해 정의된다,

이러한 최적의 파티션이 파티션 트리에 포함된 제안으로부터 일단 생성되고, 각각의 영역에 대한 코딩 전략이 정의되면, 영상 시퀀스를 디코딩하기 위해 필요한 정보는 수신기(또는 저장 매체에, 이후에 디코딩 공정이 실행됨)에 전달된다. 제 3의 코딩 서브어셈블리(3)에서 처리된 이러한 정보는

(a) 코딩 전략 자체: 결정 코딩 장치(31)에서 코딩된 이러한 정보는 각각의 영역에 대해 적용될 코딩 기술에 관한 수신 부분(수신기 또는 저장 매체)에 정보를 전달하게 될 것이다;

(b) 보상되어야 하는 영역에 대한 모션 파라미터: 내부 모드로 코딩된 모든 영역에 대해, 모션 코딩 장치(32)에서 코드화된 한 세트의 모션 파라미터는 예를 들면 트랜슬레이션, 줌, 팬 및 회전 등의 모션을 다루게 되는 다항식 모션 모델에 따라 수신기에 전달된다;

(c) 파티션: 파티션 코딩 장치(33)는 현재 파티션, 즉, 각각의 영역 및 그의 윤곽의 위치를 복원하기 위해 수신 부분에 의해 필요한 모든 정보를 생산하고, 식별 번호 (또는 라벨)은 영역들을 제시간에 추적하고, 모션 보상에 의해 커버될 수 없는 영역을 다루기 위해 각각의 영역에 대해 전송되는 것이다;

(d) 각각의 영역의 텍스처 파라미터: 이 텍스처는 매우 많은 수의 영역에 기초한 코딩 계획을 사용함으로써 텍스처 코딩 장치(34)에서 코딩될 수 있다(이 경우, 영역에 기초한 웨이블릿 분해, 형상 적응성인 직접적인 코사인 변형 또는 분해 또는 오르토노르멀(orthonormal) 베이시스 등의 코딩 기술을 사용할 수 있음)로 구성된다.

결정 코딩 장치(31)에 관하여, 최종 파티션은 코딩 및 전송(및/또는 저장)되어야 하는 파티션임에 주목해야 한다. 코딩 공정을 보조하기 위해, 장치(31)는 각각의 영역의 기원에 관한 일부 정보를 수신부에 제공할 것이다. 최종 파티션에 속하는 영역은 투사된 파티션(투사된 영역)으로부터 또는 투사된 파티션 위(병합된 영역) 또는 그 아래(재세그먼트화된 영역)에 위치하는 파티션 트리의 레벨로부터 유래할 수 있다. 투사된 영역에 대해, 라벨은 단순히 투사에 의해 정의된 레벨이다. 새로운 라벨을 갖는 모든 새로운 영역인 병합 또는 세그먼트화된 영역에 대해, 텍스처는 항상 인트라 모드로 전달된다. 이러한 상황을 피하기 위해, 장치(31)는 파티션의 실제 히스토리 또는 영역의 변형, 즉 병합 순서 및 분할 정보를 수신 부분에 전달한다. 병합 순서는 수신 부분이 동일한 병합 과정을 이미 코드화된 파티션의 영역 X₁에 적용시키기 위해 예를 들면 시간 t에서 영역 X가 시간(T-1)에서 결합된 영역 X₁에 의해 생성됨을 나타내는 일련의 수이다(파티션 코딩은 모션 보상에 의존하기 때문에, 병합 순서는 파티션의 코딩을 위해 이용할 수 있으며: 이전의 코딩된 파티션을 모션 보상하기 전에, 이 영역은 병합 순서에 포함된 명령에 따라 병합될 것이다). 분할 정보는 약간의 특정 변형을 내포하는 순서는 아니고, 이는 시간 t에서 파티션 X_i의 영역의 세트가 시간 (t-1)에서 주어진 영역 X로부터 유래함을 단순히 나타내고, 그의 픽셀은 텍스처 보상 동안 모든 영역 X_i의 모든 픽셀을 예측할 수 있게 한다.

모션 코딩 장치(32)에 관하여, 효율적으로 나타내기 위해, 파티션 및 텍스처가 보상되어야 함이 상기된다. 그의 목표가 최종의 코딩된 화상으로부터 최상의 가능한 모션 예측 화상을 구성하는 것인 이러한 모션 보상(유용한 세그먼트화 및 모션 정보를 알려줌)은 코딩 과정 및 디코딩 과정 모두에 유용하고, 따라서 코딩 및 전송되어야 한다. 이는 유일한 정보로서 최종 코딩 화상, 현재 파티션의 각각의 영역에 연관된 모션 파라미터 및 현재 파티션 자체를 사용한다. 모션 파라미터를 갖는 파티션의 각각의 영역은 이미 인용된 프랑스 특허 출원 제9604194호에 기재된 바와 같이 예측될 수 있으며(인트라 영역으로서 공지된 영역은 물론 예측될 수 없으며; 특히, 추가의 처리를 위해, 이들 영역은 보상된 화상의 특정 레벨에 의해 식별됨), 이러한 동작은 최종 Y-U-V 모션 보상된 화상을 얻기 위해 최종 코딩 화상의 3가지 성분(루미넌스: Y, 크로미넌스: U 및 V) 상에서 수행되는 것이다.

파티션 코딩 장치(33)와 관련하여, (a) 이전 모션 추정은 영역의 시간 전개를 기술하기 위하여 각각의 영역에 대해 단지 하나의 모션 모델을 유도하고(모션 모델이 트랜슬레이션인 경우 영역당 단지 하나의 벡터, 또는 모션 모델이 보다 더 복잡한 경우 각각의 픽셀에 대해 하나인, 벡터들의 세트를 유도함); (b) 이들 벡터에 의해 수행된 보상은 순방향 모드 또는 역방향 모드로 작동할 수 있고(이들 모드간의 주요 차이는 픽셀 위치의 정량화에 관한 것이고, 모션 벡터가 정수 픽셀 위치로부터 시작하지만 정수가 아닌 위치를 가리키기 때문에, 현재 재구축된 파티션의 픽셀의 위치는 순방향 경우, 그렇지 않으면 역방향의 경우에 정량화되어야 하고, 이미 재구축된 파티션의 픽셀의 위치가 정량화됨); (c) 어떤 종류의 정보가 파티션을 보상하기 위해 사용될 수 있는지 정의해야 한다는 점들을 상기해야 한다.

사실상, 영역 내부의 픽셀의 모션(텍스처 모션) 및 그의 형상의 모션 사이에 구별이 이루어져야 한다. 두 모션은 강성 전면 영역의 경우와 일치하지만, 배면 영역에 대해서는 일치하지 않으며, 그 이유는 그의 형상 또는 그의 윤곽의 변형이 그의 전면의 영역의 모션에 의해 제한되기 때문이다. 통신지 "세그먼트화에 기초한 비이오 코딩을 위한 모션 및 영역 중첩 추정(Motion and region overlapping estimation for segmentation-based video coding)" of M. Pardas, P. Salembier and B. Gonzalez, IEEE International Conference on Image Processing, 텍사스주 오스틴(미국), 1994년 11월, 제2권, 428-432페이지에는 배면 영역에 대해 2가지 상이한 모션 추정을 수행하기 위해 사실상 피하게 되는 대상물에 기초한 비디오 코딩 시스템이 기재되어 있다. 윤곽에 대한 모션 추정은 영역들 사이의 순서 관계라 칭하는 여분의 정보에 의해 대체되고, 이는 이웃 영역의 모든 커플에게 그들 중의 어느 것이 전면에 대한 것인가를 알려주고(이를 위해, 예를 들면 2개의 이웃 영역들 사이의 모든 경계에 대해 2가지 가능한 순서 관계를 위해 각각의 영역에서 예측 에러를 산출하고, 최하위 것을 생산하는 순서를 선택하는 것으로 이루어진 2가지 가설을 수행한다), 이러한 순서 정보는 파티션 및 텍스처 모두를 보상하기 위한 텍스처 모션과 연관된다(명백히, 이 순서는 보상된 라벨 사이의 가능한 국소적 상충을 해결하기 위해 수신부에 역시 사용된다).

일단 그 순서가 상기 방법에 의해서 또는 유럽 특허 출원 제95401813.1호에 기재된 기술적 해결책 등의 옵션에 따라 추정되고 본 명세서 끝 부분인 도 16에 관한 부록 B에서 상기(recalled)되면, 파티션 코딩 장치(33)가 활성화될 수 있다.

파티션의 각각의 영역 내부의 명암 레벨 또는 색채 정보를 코딩하기 위해 제공된 텍스처 코딩 장치(34)에 관하여, 여러 가지 텍스처 코딩 방법이 이미 언급한 바와 같이 본 발명에 따른 전체 코딩 장치에 일부 유연성을 제공하기 위해 가능하다. 평균값과의 근사라 칭하는 첫 번째 것은 각각의 영역에 속하는 픽셀의 평균 값만을 전송하는 것으로 이루어져 있다. 직교 베이시스에 대한 다항식 근사라 칭하고, 예를 들면 "Coding of arbitrarily shaped image segments based on a generalzied orthogonal transform", M. Gilge 등, Signal Processing: Image Communication, 제1권, 제2호, 1989년 10월, 제153-180면에 기재된 다른 것은 직교하는 다항식 함수에 의해 각각의 영역 내의 텍스처의 근사에 의존하고, 이러한 함수의 계수 만이 수신부에 전달된다.

형상 적응성 DCT(불연속 코사인 변형)이라 칭하는 제 3 방법은 각각의 영역을 (예를 들면 8 x 8 픽셀 크기의) 블록으로 분할하는 것으로 이루어지고, 벡터 내의 첫 번째 순서의 영역: 픽셀에 속하는 블록에 대해 종래의 DCT를 수행하기 위해, 수평 및 수직 DCT는 각각의 벡터 상에서 독립적으로 수행되고(일차원 DCT의 순서는 벡터의 길이와 동일함), 얻어진 계수는 정량화되고, 전송된다.

다이애딕(dyadic) 2차원 웨이블릿 변환인 제 4 텍스처 코딩 방법은 관련 신호가 한 세트의 서브밴드 신호에 의해 기술되게 하고, 그의 각각은 입력 신호를 특정 주파수 범위에서 및 주어진 해상도 레벨로 나타낼 수 있게 한다. 웨이블릿은 통상적으로 블록 또는 영상에 적용되지만, 이러한 적용은 현재 영역에 기초한 계획으로 확장되고, 각각의 영역은 독립적으로 처리된다(다중해상도 분석의 각각의 레벨에서 영상의 필터링 및 다운샘플링은 각각의 영역에 대해 독립적으로 수행됨).

마지막으로, 장치(31 내지 34)의 출력 신호는 멀티플렉서(35)에 전달되고, 멀티플렉스되고 코딩된 출력 비트스트림(MCOB)을 구성하는 그의 출력은 수신 시스템에 전송된다(및/또는 저장된다).

사실상, 본 발명은 또한 전술된 코딩 시스템의 출력에서 정의되는 바와 같은 코딩된 신호에 관한 것임을 이해해야 한다. 즉각적으로 전송될 필요가 없고 이후에 전송되도록 저장되거나, 또는 수신 측에 즉각적으로 사용되지 않지만 전송되고, 그에 따라 저장되는 이와 같이 코딩된 신호는, 본 발명의 경우 세그먼트된 화상의 고려된 시퀀스에 관하여 이러한 시퀀스의 현재 파티션의 각각의 영역에 대응하고, 여러 가지 종류의 정보: 즉, 연속적인 파티션들 사이의 세그먼트화의 전개를 특징으로 하고, 투사된 파티션을 대응하는 모션 모델의 추정에 대응하는 모션 정보, 선택된 최상의 파티션의 각각의 영역의 텍스처 및 윤곽 정보에 대응하는 파티션 정보, 및 이러한 최상의 파티션의 선택된 영역 각각에 대해 정의된 코딩 전략에 대응하는 결정 정보를 포함하는 멀티플렉스된 신호로 구성된다. 상기한 바와 같이, 이러한 코딩된 신호가 저장되고, 결과적으로, 본 발명은 이러한 신호가 저장되는 저장 매체에 관한 것이다.

더욱이, 본 발명은 이전 실시예로 제한되지 않고, 디코딩된 화상을 재구축하는 이러한 코딩된 신호를 디코딩시키는 방법 및 도 9 내지 도 11을 참조하여 기재한 대응하는 시스템에 관한 것이다. 수신된 멀티플렉스된 코딩된 비트스트림 RMCB(전송 채널을 통해서 및(또는) 수신 부분 및(또는) 저장 매체를 향하여 전달된 비트스트림(MCOB)에 대응함)는 입력 버퍼(80)에 의해 먼저 수신되고(도 9 참조), 모션 디코딩 장치(82), 파티션 디코딩 장치(83) 및 텍스처 디코딩 장치(84)가 일련하여 후속하는 결정 디코딩 장치(81)에 전달되고, 그의 출력은 디코딩 시스템의 출력 디코딩된 신호 및 파티션 디코딩 장치(83)의 추가의 입력(도 9에 도시하지 않음) 모두를 구성한다(이들 주요 4가지 디코딩 단계는 도 1의 코딩 서브어셈블리(3)의 4개의 코딩 장치에 대응한다). 먼저, 코딩 전략 정보 및 모션은 장치(81 및 82)에서 디코딩된다. 이어서, 파티션 및 텍스처 정보는 디코딩 과정을 이해할 수 있게 하는 루프를 나타내는 도 10 및 파티션 디코딩 장치(83)를 보다 상세히 나타내는 도 11을 따라 장치들(83 및 84) 각각에서 디코딩된다.

파티션 디코딩 장치(83)를 고려하면, 이 장치는 한편으로는 전송된 코딩된 신호를 저장하는 버퍼(80)의 출력 신호 및 다른 한편으로는 REC(t-1)이라 칭하고, 텍스처 디코딩 장치(84)의 출력에서 라벨의 리스트 형태로 입수할 수 있는 이미 디코딩되고 재구축된 파티션을 수신한다(도 10 및 도 11 참조). 상기 장치(83)는 도 11에 나타낸 바의 하기 연속적인 단계들을 수행한다.

도 10에 나타낸 재라벨링 회로(101)에서 실행되는 제 1 단계는 이미 재구축된 파티션의 라벨을 변형시키는 것으로 이루어져 있다. 이러한 리프레쉬 단계는 다음 이유로 제공되고: 즉, 일부 영역은 코딩 측면 상에서 생성되거나 제거되기 때문에 라벨의 최대 값이 증가한다. 이어서, 그 영역은 라벨 번호들의 값을 제한하기 위해 재라벨링하는 것이 바람직하고, 기술적인 이유로, 이는 유일한 라벨 1 내지 N이 N 영역이 존재하는 경우에 사용되는 방식으로 각각의 디코딩 루프의 시작점에 라벨 값을 재할당하는 것이 보다 간단하고, 보다 편리하다. 재라벨링하는 단계는 라벨 "1"을 제 1 관련 영역에 간단히 할당하고, 라벨 2는 제 2 영역에 할당된다.

병합 회로(102)에서 수행된 제 2 단계는 버퍼(80)에 포함된 병합 순서로 수행된다. 제 3 단계 동안, 프레임 모드로 전송된 영역들은 디코딩된다(내부 영역 디코딩 회로(103)). 제 4 단계 동안, 이전에 코딩된 파티션은 모션 보상되고(모션 보상 회로(104)) 보상 에러가 디코딩된다(내부 영역 디코딩 회로(105)). 제 5 단계 및 최종 단계는 디코딩된 에러 라벨링 회로(106)에서 수행된 디코딩된 보상 에러 파티션의 라벨링을 다룬다. 보상은 코딩 측면 상에서 수행될 때 정확히 이루어지는 것이 바람직하고: 즉, 보상은 각각의 영역에 대해 정의된 모션 파라미터에 의존하고, 매 시점에서 2개의 라벨 사이에 상충이 이루어지고, 그 순서 정보는 어떤 라벨이 유지될 것인가를 알게 하는 결정의 관점에서 사용된다. 장치(83)의 출력 파티션은 REC(t)라 칭하는 현재 재구축된 파티션이다.

이러한 출력의 현재 파티션은 텍스처 디코딩 장치(84)에 의해 수신되고, 여기서 텍스처 보상(84-1)이 먼저 수행되고(도 10), 이어서, 텍스처 코딩 단계(84-2) 자체가 수행된다. 코딩 부분에 대해서와 같이, 여러 가지 코딩 기술이 제안되고(평균값과 근사, 직교 베이시스 상으로 다항식 근사, 형상 적응성 DCT, 영역에 기초한 웨이블릿), 동일한 방법이 사용될 수 있다. 예를 들면, 평균 값에 의한 근사에 관하여, 그 방법은 픽셀 세기로서 이러한 평균값을 현재 영역의 모든 픽셀에 부여하는 것으로 이루어져 있다. 다항식 근사 방법에 관하여, 일단 윤곽 정보가 디코딩되면, 직교 세트의 베이시스 함수는 베이시스 함수의 비직교 세트로부터 및 형상 정보로부터 회복될 수 있고, 이어서 각각의 영역의 재구축된 텍스처를 생산하기 위해 전송된 정량화된 DC 및 AC 계수에 의해 가중된다(이미 인용된 문헌 "Signal Processing: Image Communication", 1989년 10월, 참조). 각각이 텍스처 디코딩 방법에 대해, 디코딩 방법은 코딩 방법과 유사하다. 장치(84)의 출력 정보는 일단 각각의 영역이 유사하게 처리된 경우, 디코딩된 화상을 생성한다.

본 발명은 이미 기재된 실시예로 제한되지 않고, 이로부터 변화 또는 변형이 본 발명의 범위에서 벗어나지 않고, 착상될 수 있다. 예를 들면, 위에서 논의한 최상의 동작(222a)에서, 메인 파라미터는 예산이고, 이는 각각의 프레임에 대해 주어지는 것으로 가정된다. 이러한 예산에 기초하여, 코딩 전략은 왜곡을 최소화시키도록 제한되며, 이는 값비싼 질의 코딩된 시퀀스를 생성한다. 일정한 품질의 시퀀스를 유도하는 코딩 전략을 정의하고자 한다면, 가능한 변형은 각각의 프레임에 대해 타겟인 왜곡 값을 제한하고, 이전의 설명에서 D 및 R_t의 위치를 전도하는 것으로 이루어지면: 즉, 코딩 비용은 주어진 왜곡에 도달하도록 최소화될 것이다. 대안으로서, 프레임당 고정된 비용에서 작업이 가능할 수도 있다. 이어서, 최적화는 고정된 명목상의 예산에 기초하여 작업이 이루어지고, 각각의 프레임에 대해 이미 정의된 최소 신호 대 잡음 비율이 이러한 명목상의 예산에 도달하지 않는 경우, 그 예산은 예를 들면 단계마다 5%씩 점진적으로 증가하고, 그 방법은 최상의 전략이 발견될 때 중지된다: 즉,

- 왜곡은 최소이고;

- 예산은 명목상의 것과 최소한 동일하고;

- 신호 대 잡음 비율은 주어진 임계값 이상이다.

다른 옵션이 장치(32)에서 수행된 모션 코딩 단계(32a)에 대해 제안될 수 있다. 그러한 옵션은 각각의 픽셀을 보상하기 위해 임의의 추가된 구속 없이 그에 속하는 영역의 모션이 제공되는 한편, 이러한 다른 옵션에 따라, 그러한 옵션은 예측된 라벨과 현재 라벨 사이에 어떤 일관성이 존재하는 경우 상기 픽셀 보상이 수행되도록 제공될 수 있다. 따라서, 제한이 따르는 이러한 보상은 단지 이전의 프레임과 현재 프레임 사이의 상응이 설정되기 위한 픽셀에 적용되며: 즉, 이들은 동일한 라벨을 갖거나, 또는 이들은 병합되거나 분할된 영역에 속한다(분할 및 병합 정보는 결정 코딩 단계(31a) 동안 생성된 버퍼에 포함되고, 따라서 영역들의 번호의 견지에서 현재 프레임과 일치하는 이전 프레임의 파티션을 재구축하기 위해 사용될 수 있다).

모션 보상되지 않고, 구멍으로서 나타나는 픽셀에 대해, 이들 구멍은 전파에 의해 충족되어야 하고, 즉 정보와의 관계에서 이들의 이웃에서 발견될 수 있다. 이러한 전파 단계는 지시한 바와 같이 작업된다. 먼저, 전체 영상에서 보상된 텍스처의 확장은 이러한 영역의 모든 보상된 픽셀의 평균 값을 갖는 각각의 영역의 구멍을 완성함으로써 행하여지고, 완료된 영상은 예를 들면 형태학적 여과에 의해 매끄러워진다. 이어서, 매끄러워진 텍스처는 8개의 접속부에서 하나의 픽셀씩 이웃에서 이웃으로 보상되지 않은 픽셀 상에 적용된다(영역의 경계에서 인공 산물을 피하기 위해, 텍스처는 동일한 영역에 속하는 픽셀들 사이에서만 전파된다). 이러한 옵션과의 관계에서 정의된 구속을 고려하면서 하나의 영역 내의 픽셀이 모션 보상되지 않는 경우, 전체 영역은 이러한 구속을 고려하지 않고 보상된다.

다른 개선은 투사된 파티션 PJ(t)를 제한하기 위해 제공된 동작에 관한 것이며: 즉, 이들은 영역들의 시간 전개를 정의한다. 그러나, 이러한 정의는 영역들이 명암 레벨에서 균일한 경우에만 유효하고(이는 때때로 텍스처 균일성이라 칭함), 이는 항상 그러한 것은 아니다. 상기한 바와 같이, 연속적인 파티션은 이른바 파티션 트리에서 벗어난 일부 영역을 선택함으로써 결정 서브스텝(22a) 동안 생성된다. 파티션 트리의 영역들은 명암 레벨(세그먼트화된 영역) 또는 모션(병합된 영역)에서 균일할 수 있다. 결과적으로, 투사된 여러 가지 파티션은 명암 레벨 또는 모션 레벨에서 균일한 영역들의 조합으로 구성된다.

이러한 문제를 해결하기 위해, 다음 방법이 수행된다. 투사될 파티션은 먼저 모든 영역이 명암 레벨에서 균일해질 때까지 세그먼트화되고, 이는 거친 파티션이라 칭할 수 있는 원시 파티션에 대해 반대의 치밀한 파티션을 생성한다. 이어서, 이러한 치밀한 파티션은 상기 방법에 따라 투사된다. 투사된 거친 파티션은 치밀한 파티션이 투사된 영역들을 병합함으로써 최종적으로 생성된다.

이전 설명에 관하여 추가되는 제 1 및 최종 단계들을 아래 보다 상세히 설명한다:

(a) 거친 파티션의 세그먼트화

그 목표는 모든 영역이 명암 레벨에서 균일한 미려한 파티션을 생성하는 것이다. 이를 위해, 파티션 트리의 하위 레벨을 생성하기 위해 사용된 것과 유사한 세그먼트화 기술이 사용된다. 본 실행을 위해, 크기 지향적 세그먼트화가 사용된다. 크기 파라미터는 주어진 균질성 기준에 이를 때까지 점진적으로 감소된다. 균질성 기준(이 경우, 영역들의 평균에 관하여 픽셀의 평균 제곱 에러)은 픽셀의 명암 레벨 균질성이라 칭한다. 이러한 방법의 종료시에, 조잡하고 치밀한 파티션이 사용되고, 예를 들면 거친 파티션의 주어진 영역이 치밀한 파티션에서 한 세트의 보다 작은 영역의 조합에 대응한다고 말해지는 한 세트의 분할 관계가 추가된다.

(b) 투사된 거친 파티션의 생성

치밀한 영역의 투사 후, 투사된 거친 파티션이 생성되어야 한다. 단순한 전략은 한 세트의 분할 관계를 사용하는 것으로 이루어진다. 이는 투사된 치밀한 영역들이 거친 영역들을 형성하기 위해 분할 관계를 사용하여 함께 병합되는 것이다. 그러나, 이러한 전략은 거친 영역이 1개의 접속된 성분만으로 이루어졌음을 보장하지 않는다. 따라서, 각각의 영역의 가장 큰 접속 성분이 보존되고, 나머지 접속 성분들은 제거된다. 생성된 빈 구멍들은 공간 영역 성장 알고리즘에서와 같이 수행되는 분수선 방법에 의해 충족된다.

부록 A

하기 설명은 1996년 4월 3일자로 출원된 프랑스 특허 출원 제9604194호에 기재된 모션 추정 방법에 관한 것이다. 이러한 방법의 주요 특징을 이하 상기한다:

(A) 모션 추정에 대한 일반성

(1) 모션 추정 단계의 목표:

시간(t-1) 및 (t)에서 2개의 텍스처 영상 P(t-1) 및 P(t) 및 시간 t에서 투사으로부터 유추된 파티션 S(t)가 주어지면, 모션 추정 과정은 S(t)의 각각의 영역 R_i(도 12에서 i=0 내지 6)에 대해 (t-1)과 t 사이의 R_i의 모션을 기재하는 한 세트의 모션 파라미터를 회복시킬 것이다. 이러한 방법은 코딩 과정 동안 2개의 약간 상이한 내용으로 사용된다: 즉,

- 모션은 투사으로 초래된 파티션에 대해 먼저 추정된다(다음에서, 이러한 파티션은 파티션 트리의 투사된 레벨로서 고려될 것이다);

- 모션은 직전에 행해진 추정의 결과를 알고, 파티션 트리의 서로의 레벨에서 다시 추정된다.

두 경우, 모션 정보가 전송 버퍼에 저장되는 방식 역시 기재된다.

(2) 모션 모델 및 파라미터 표시:

파티션 S(t)의 각각의 영역 R_i 상에서, P(t-1)와 P(t) 사이의 모션은 이론적으로 다음과 같이 (Dx, Dy)로서 정의된다: 즉,

[수학식 1]

여기서, L(x,y,t)는 위치(x,y)에서 P(t)의 루미넌스이다(이러한 모션 표시를 나타내는 도 13 참조). 블록에 기초한 모션 추정이 불연속 영역일 때, 이를 피하고, 응집성을 유지하는 유일한 방법은 모션의 영역에 기초한 표시를 선택하는 것이다. 이 모델은 치밀하고, 상당히 복잡한 3차원 모션을 다루게 될 것이다. 그 해결책은 다항식 모션 모델을 사용하는 것이다. 사실상, 이는 실질적으로, (Dx, Dy)가 순서 0, 1 또는 2의 2개의 다항식임을 의미한다(즉, 2, 6 또는 12 파라미터로 정의됨). 그후에 결국, 모션의 유형은 사용된 모션 모델의 종류를 지정한다(즉, 0 순서 다항식에 대해 병진 모션 또는 2개의 파라미터, 1차 순서 다항식과 밀접함 또는 6개의 파라미터, 2차 순서 다항식과 2차 방정식 또는 12개의 파라미터). 모션 파라미터들은 다항식의 한 쌍의 (Dx, Dy)의 한 세트의 계수이다. 한 세트의 모션 파라미터는 항상 P(t)의 주어진 영역과 연관되는 것의 주목한다.

(3) 모션 파라미터의 추정:

1개의 영역을 특징으로 하는 모션 파라미터들의 수로 인해, 모션을 추정하기 위해 종래의 매칭 방법을 사용하는 것은 곤란하고, 차별적인 방법이 바람직하다. 이러한 방법은 지엽적으로 직선화된 수학식(1)의 구배의 방향에 따라 각각의 영역 상의 모션을 반복적으로 상세히 논술한다. 그러나, 이러한 방법은 주의 깊게 실행되지 않는 경우 심각한 결점을 가지며: 즉, 국소적 최소값으로 수렴될 수 있다. 다음 섹션(B)에서, 이러한 결점을 어떻게 최소화할 수 있는지 기재된다.

(B) 모션 추정(투사된 레벨)의 실행 단계

주어진 영상들 P(t-1)와 P(t) 사이의 모션 추정을 구성하는 단계를 도 14에 나타낸다. 이미 말한 바와같이, 차별적인 방법의 수렴은 상이할 수 있다. 모션 파라미터의 "정제(refinement)"라 칭하는 것은 단독으로 효율적으로 처리될 수 없으며, 따라서 다중 해상도 계획에 내포되고, 적절히 초기화되는 것을 의미한다. 먼저 "초기화" 단계(INIT)는 모션 추정 과정의 양호한 출발점인 한 세트의 모션 파라미터를 P(t)의 각각의 영역에 연관시킨다. 이어서, 모션 파라미터들은 다중해상도를 사용하여 연속적으로 정제되고, 이는 연속적인 모션 정제 반복이 여과된 영상 및 여과되지 않은 영상의 상이한 쌍에 대해 실행되고, "전처리" 단계(PPRO)(도 14에서 P'(t) 및 P'(t-1)에서 계산된다. 최종적인 "정제" 단계(REFT)는 2개의 원시 영상들 사이에서 수행된다.

(1) 파라미터들의 초기화:

이러한 단계(UNIT)의 목표는 각각의 영역에 대해 그로부터 추정을 시작하는데 가장 적절한 모션 파라미터를 측정하는 것이다. 최상의 파라미터는 그 영역 상에 가장 작은 예측 에러를 유도하는 것으로 가정된다. 따라서, 초기화의 원리는 다음과 같을 것이며: 즉, 각각의 영역 R_i 상에서 예측(모션 파라미터 정제 부분에서 설명된 원리)은 모션 파라미터의 여러 가지 제안으로 이루어지고, R_i 상의 추정을 시작하기 위해 이러한 영역 상의 최소 평균 제곱 예측 에러를 유도하는 파라미터가 유지된다. 이미 입수한 정보로부터 추론될 수 있는 이들의 상보성 및 단순성에 대해 선택된 4가지 제안을 이어서 각각의 영역에 대해 시험한다.

물리학적으로, 이들 제안은 다음의 경우를 고려한다: 즉,

- 그 영역은 운동하지 않고;

- 그 영역의 모션은 최종 프레임 때문에 변화하지 않고(또는 그 영역 근처의 최종 프레임에 존재함);

- 그 영역은 일반적으로 강성이고, 전면에 위치하며, 즉, 그의 모션은 그의 윤곽의 일반적인 대체와 밀접하고;

- 이들 경우에 해당하지 않음: 모션의 최상의 근사는 적용된 블록 매칭에 의해 그 영역 상에서 산출된 치밀한 모션 필드로부터 추론될 수 있다.

물리적으로, 각각의 영역에 대해 다음과 같은 모션이 시도된다: 즉,

- 모션 없음: 널(null) 다항식;

- 이전의 모션: (t-1)에서 현재 영역, 및 시간(t-1)에서 그의 이웃의 모든 영역의 모션;

- 라벨 모션: 시간(t-1)과 t 사이의 영역의 중력 중심의 병진 모션;

- 치밀한 필드: 벡터들의 영역 상의 다항식 근사는 다양한 크기의 블록 매칭에 의해 산출되고, 블록의 크기는 그 영역에 부합되는 영역 경계에서 추론됨(이들 값 상의 다항식에 부합되는 방법은 다항식 텍스처 코딩을 위해 사용된 것과 동일함).

(2) 영상의 전처리:

여과 공정(PPRO)의 목표는 원시 루미넌스 신호와 너무 다르지 않은 신호가 추정 과정에 보다 적합한 경우에 (즉, 수렴을 보장하기 위해 이론적으로 요구되는 수학적 가설을 거의 검증함) 영상을 구성하는 것이다(그에 따라 추정하기 위한 모션은 원시 모션과 매우 밀접함). 이를 위해, 가우스 함수에 근사하는 저역 회귀적 등방성 필터가 사용된다. 영상에서 단부를 매끄럽게 하고, 이들의 편재화를 유지하는 것 사이에 양호한 교환을 실현시키는 것이 유리하다. 등방성은 영상 평면의 4개의 주요 방향에서 정확하다. 연속적인 여과 및 연관된 정제 단계는 본 실시예에서 다음과 같이 조직화된다: 즉,

- 3개의 정제 반복은 1.5의 분산값으로 여과된 영상 상에서 실행된다;

- 5개의 정제 반복은 여과되지 않은 영상 상에서 실행된다;

- 3개의 정제 반복은 0.8의 분산값으로 여과된 영상 상에서 실행된다;

- 5개의 정제 반복은 여과되지 않은 영상 상에서 실행된다.

파라미터들이 여과된 영상 상에서 정제된 후, 이들 정제된 파라미터를 유지해야 할지 또는 초기의 파라미터들이 사실상 더 양호한지가 결정되어야 한다. 이러한 목표를 위해, 임의의 정제 반복 단계 전에 각각의 영역의 현재 모션 파라미터가 저장된다. 각각의 영역 상의 정제 후, 정제된 파라미터들은 이들이 여과되지 않은 영상 상의 영역의 보다 작은 평균 제곱 예측 에러를 유도하는 경우에만 이미 기록된 파라미터들을 대체한다.

(3) 모션 파라미터 정제:

이러한 단계(REFT)는 선형 세트의 n 수학식을 유도하고, 주어진 영역 상의 모션 파라미터들의 변화는 종래의 선형 시스템: 즉, [A]·[x]=[B]의 해결책이며, 여기서, 매트릭스는 현재 픽셀의 좌표, P(t-1)에서 이전 픽셀의 위치에서 수평 및 수직 구배, 및 P(t) 및 P(t-1)의 위치에서 루미넌스 값에 의존한다. P(t), 연관된 모션 파라미터 및 P(t-1)를 알면, 현재 영상의 각각의 픽셀에서 루미넌스의 모션 보상된 값을 산출할 필요가 있다. 그 후에 결국, 이러한 동작은 예측이라 칭하게 된다. 전체 영상에 적용된 파티션은 모션 예측된 또는 모션 보상된 영상을 제공한다. 이러한 방법은 2가지 상이한 단계로 양분될 수 있다: 즉,

(i) 보상된 값이 이전 영상으로부터 취해질 수 있는 경우로부터 측정한다. 현재 픽셀은 시간 t에서 위치(x,y)에 있으며, 그것이 속하는 영역의 모션은 다음과 같이 정의된다: 즉,

[수학식 2]

이어서, 시간(t-1)에서 픽셀 위치는 다음과 같이 주어진다: 즉,

[수학식 3]

이러한 제 1 단계에 의해 복귀된 위치는 정수 이외의 값이다.

(ii) 따라서, 루미넌스는 시간(t-1)에서 현재 픽셀의 최종 값을 발견하기 위해 이입방성 필터에 의해 보간되어야 한다(이 후에 결국 FiltMot0이라 칭함). 여과는 수평 및 수직 방향으로 행하여 지고, 2개의 보간된 값들 사이의 평균이 최종적으로 유지된다. 구배값은 정수가 아닌 위치 상에서 보간되어야 한다. 사용된 필터는 FiltMot0의 유도체이다. 보간 방법은 수평 및 수직 여과의 결과가 독립적으로 사용되는 것을 제외하고(평균이 산출되지 않음) 예측 과정 동안 사용된 것과 동일하다. 일단 매트릭스가 구성되면, 시스템이 해결되어야 한다. 매트릭스 [A]가 단독이 아닌 경우, 이는 예를 들면 하우스홀더(Householder) 방법에 의해 전환되고, 그 해결책은 다음과 같다: 즉,

[수학식 4]

[A]가 단독인 경우, [X]는 널 벡터이고, 모션 파라미터는 현재 반복 후에 이러한 영역 상에서 변화되지 않는다.

모션 정제가 새로운 세트의 모션 파라미터를 유도하는 1개의 영역 R_i 상에서 수행된 후, R_i에 대한 최상의 모션이 선택되어야 하고, 새로운 세트가 이웃 영역 상의 추정을 위해 어떠한 도움이 될 수 있는지 검증되어야 한다("가성 이완(pseudo-relaxation)" 단계). 먼저 R_i에 대해 유지된 모션은 상기 새로운 세트인 R_i의 전 모션과 R_i 상의 모든 이웃의 모션 사이에 R_i 상의 가장 작은 예측 에러를 유도하는 것이다. 이어서, 모든 이웃하는 영역들은 R_i에 대해 유지된 모션에 따라 예측되고, 이들의 모션은 가장 작은 예측 에러를 유도하는 경우에 이것에 의해 대체된다.

정제 단계 동안, 모션 파라미터들은 이들의 연관된 영역에 관하여 지엽적으로 표현되어야 하는 것에 주목해야 한다. 모션의 다항식 표현 때문에, 픽셀 좌표 값들은 모션의 각각의 순서가 대체 진폭 상에서 갖는 영향을 조절한다. 따라서, 이들 값을 상이한 순서들 사이에서 양호한 밸런스를 찾고, 영상의 영역의 위치로부터 독립적인 추정 과정을 유지하기 위해 이들 값을 정규화하는 것은 중요하다. 도15는 본 명세서에 사용된 지엽적 축 및 규모를 나타내고, 정규화 계수의 경우 2와 동일하고, 영역에 대해 설명한 바와 같다.

(C) 재추정 단계의 특이성:

재추정 단계는 모션이 투사된 레벨 상에서 추정된 후에 수행된다. 이 단계에서, 병합 또는 재세그먼트화에 의해 현재 고려되는 파티션 S(t)에 관한 투사와 연관된 모션은 공지되어 있으며, 현재 모션이 매우 양호하게 초기화될 수 있게 한다. 추정의 원리는 동일하다. 실행은 추정될 모션과 치밀하다고 가정되는 경우에 정당화되기 때문에 매우 단순화된다. 실행의 차이는 이 후에 요약된다: 즉,

- 초기화 단계: 상기 "비 모션" 및 "치밀한 필드" 가설은 모두 각각의 영역 상에서 시험된다. 이어서, S(t)가 재세그먼트화된 파티션인 경우, S(t)의 R_i의 각각의 영역 상에서 R_i의 부 영역의 모션, 및 R_i의 각각의 이웃의 부 영역의 모션이 시도된다. 이와 달리, S(t)가 병합된 파티션인 경우, S(t)의 R_i의 각각의 영역 상에서 R_i의 자손의 모션, 그의 모든 자손의 이웃의 모션이 시도된다.

- 전처리 단계: 여과는 이루어지지 않으며, 2가지 정제 반복이 여과되지 않은 영상 위에서 실행된다.

정제 단계는 동일한 과정으로 남는다.

부록 B

하기 설명은 1995년 8월 1일자로 출원된 유럽 특허 출원 제95401813.1호에 기재된 코딩 방법에 관한 것이다. 이러한 방법의 주요 특징을 하기 표기법을 사용함으로써 이하 상기한다: 즉,

- 시간 (T-1), T에서 원시 영상은 ORIG(-1), ORIG(0) 등이라 칭한다;

- 파티션은 시간 T에서 현재 파티션에 대해 SEG(0), 시간(T-1)에서 이전 파티션에 대해 SEG(-1)이라 칭하고, 기타 필요할 경우 다른 간에 다른 파티션에 대하여 칭한다.

- 유사한 REC(0) 및 REC(-1)는 이들이 전송후 수신기 측면 상에서 재구축될 수 있고, 이들이 디코딩 장치에서 얻어질 때 현재(시간 T) 및 이전(시간(T-1)) 파티션을 지정한다(파티션 코딩 과정 동안 손실이 발생하는 경우, REC(0), REC(1), …는 SEG(0), SEG(-1), … 와 정확히 동일하지 않은 것이 분명하다);

- MOT(0)는 (T-1)과 T 사이의 파티션의 전개를 특징으로 하는 모션 정보이며(즉, SEG(-1)로부터 SEG(0)를 추론할 수 있다), 일반적으로 이전 파티션 SEG(-1)의 각각의 영역에 할당된 한 세트의 파라미터로 나타낸다.

도 16에 개략적으로 나타낸 이러한 코딩 방법은 다음 단계들을 계단식으로 포함한다. 즉, 먼저 각각의 영역의 전송 모드가 정의되고(501c 내지 503e), 이어서, 순서 보상(504c 내지 505)이 이루어진다. 전송 모드의 제 1 정의 단계를 위해, 입력 데이터는 현재 세그먼트화된 파티션 SEG(0)(대응하는 원시 영상 ORIG(0)으로부터 입수함), 이전 재구축 파티션 REC(-1), 파티션 SEG(-1)과 연관된 모션 정보 MOT(0)이다. 이러한 제 1 단계의 목적은 영역이 윤곽 코딩을 위해 인트라 프레임 모드로 전송되고, 예를 들면 모션 정보 MOT(0) 내에 저장되었는지 여부를 수신기에 전달하기 위해 사용된 이진 정보를 전달함으로써 각각의 영역에 대해 전송 모드(인트라 프레임 모드 또는 내부 프레임 모드)를 정의하는 것이다. 따라서, 이러한 모션 정보 MOT(0)는 연관된 윤곽의 전송 모드를 나타내는 이진 정보에 더하여 각각의 영역(이미 말한 바와 같음)에 대해 한 세트의 모션 파라미터를 연루시킨다. 이러한 전송 모드에 대한 결정은 윤곽의 비용에 기초하여 인트라 프레임 모드 또는 내부 프레임 모드에 전달된다는 사실에 따라 각각의 영역의 비용을 비교함으로써 이루어진다. 도 16에 나타낸 바와 같이, 3개의 서브스텝들은 이러한 제 1 단계로 고려된다.

2개의 동작 (501c 및 501d)를 포함하는 제 1 서브스텝은 전체 파티션을 보상하기 위해 제공된다. 이전에 재구축된 파티션 REC(-1), 모션 정보(MOT(0)) 및 ORD(0)이라 칭하는 순서 정보에 기초하여, 이후 보다 상세히 기재되는 이러한 파티션 보상은 RECCOMP(0)이라 칭하는 보상된 파티션을 유도한다. 제 2 서브스텝(502)에서, 보상 에러 ERR(0)는 SEG(0)과 RECCOMP(0) 사이의 감산에 의해 계산된다. 마지막으로, 동작(503c, 503d, 503e)을 포함하는 제 3 서브스텝은 SEG(0)에 의해(인트라 프레임 모드) 또는 ERR(0)에 의해(내부 프레임 모드) 정의된 바의 각각의 영역의 코딩 비용을 추정하고 비교하기 위해 제공된다. 인트라 프레임 및 내부 프레임 모드의 추정(동작 503c)은 정보를 실질적으로 코딩하고, 생성된 정보의 양을 측정함으로써 또는 비용의 근사를 제공하는 임의의 다른 기술을 사용함으로써 행할 수 있다(예를 들면, 그 비용이 영역의 윤곽의 길이에 비례한다고 가정함으로써). 일단 2가지 추정이 수행되면, 비교 및 선택(동작 503c)이 이루어질 수 있고, 결과의 결정이 모션 정보 MOT(0)을 업데이트하는 추가의 이진 정보로서 저장된다(동작 503e).

전송 모드의 제 1 정의 단계는 순서 계산의 제 2 단계가 후속하며, 이는 도 16에 나타낸 바와 같이 제 1 서브스텝(2개의 동작(504c, 504d)을 포함함) 및 제 2 서브스텝(505)으로 분해된다. 이러한 제 1 서브스텝은 한 세트의 순서 파라미터를 추정하기 위해 제공되고, 제 2 서브스텝은 전송을 위한 순서 정보의 정량화를 달성하기 위해 제공된다. 제 1 서브스텝(504c, 504d)은 이들의 라벨에 의해 정의된 제1 스캐닝 영역 및 영상 공간의 위치(i,j)를 주사하는 제 2 영역으로 된 이중 루프에 의존하고, 2가지 동작을 계단식으로 포함한다.

제 1 동작(504c)은 관련 라벨에 대응하는 영역의 각각의 위치(i,j)에 대한 모션 벡터를 정의하기 위해 제공된다. 모션 정보 MOT(0)는 사실상 위치(i,j)의 함수인 모션 모델을 각각의 영역에 제공한다. 예를 들면, 주어진 영역에 대한 모션 모델이 병진 모션(Dx, Dy)인 경우, 모션 벡터가 영상의 모든 지점(i,j)에 할당된다. 모션 모델이 밀접한 관계의 모델(a₁, a₂, a₃, a₄, a₅, a₆)인 경우, 지점(i,j)에서 모션 필드는 Vx(i, j) = a₁i + a₂j + a₃ 및 Vy(i, j) = a₄i + a₅j + a₆로서 정의된다. 영역이 인트라 프레임 모드로 전송되어야 하는 경우, 이러한 모션 필드 확장은 수행되지 않는다.

제 2 동작(504d)은 관련 영역에 대응하는 순서를 업데이트하기 위해 제공된다. 순서 정보는 상충되는 영역의 리스트, 즉, 모션 보상 동안 다른 영역들과 중첩될 수 있는 REC(-1)의 영역으로 구성된다. 이러한 순서 리스트는 공정의 초기에 0으로 설정된다. LABSEG(0) 및 LABSEG(-1)에 의해 현재 파티션 SEG(0)에서 현재 픽셀(i,j)의 영역 라벨 및 이전에 재구축된 파티션 REC(-1)에서 픽셀(i-Vx(i, j), j-Vy(i, j))의 영역 라벨을 나타낸 경우, 라벨 RFGNUM(RFGNUM는 현재 파티션 SEG(0)에서 연속적으로 고려되는 각각의 영역과 연관된 작업 라벨임)과 현재 라벨 LABSEG(0)을 갖는 영역 사이의 상충에 대응한 리스트 엔트리는 다음 조건이 충족되는 경우에 업데이트된다: 즉,

(a) 현재 라벨 LABSEG(0)은 인트라 프레임 모드로 전송된 영역의 임의의 라벨과 상이하다: 그러한 상황에서(즉, 현재 파티션 SEG(0)의 지점(i, j)이 인트라 프레임 모드로 전송된 영역에 대응하는 경우), 그러한 위치에 속하는 임의의 보상된 라벨이 폐기된다;

(b) 이전 라벨 LABREC(-1)은 라벨 RFGNUM와 동일하다: 현재 파티션 SEG(0)의 지점(i, j)은 이러한 라벨 RFGNUM을 수신하기 위한 후보이다;

(c) 현재 라벨 LABSEG(0)은 라벨 RFGNUM와 동일하지 않다: 픽셀(i, j)의 정확한 라벨은 RFGNUM가 아니고, 현재 라벨 LABSEG(0) 및 라벨 RFGNUM(=LABREC(-1))을 갖는 영역들은 상충하는 영역들이고, 제 1 영역은 제 2 영역의 전면에 위치한다(라벨 LABSEG(0)과 RFGNUM 사이의 상충에 대응하는 리스트 엔트리는 1개의 단위씩 증가된다).

이러한 절차는 모든 지점(i, j) 및 모든 라벨 RFGNUM에 대해 반복되고, 그 순서는 주어진 영역이 다른 영역의 전면에 존재함을 선언할 가능성이 있는 경우의 사건의 수를 최종적으로 제공하는 리스트이다.

제 2 서브스텝(505)은 순서의 정량화를 위해 제 1 단계(504c, 504d)가 계단식으로 제공된다(수신기는 모션 보상 동안 상충하는 라벨을 갖는 상황을 해결하기 위해 이진 결정만을 필요로 할 것이다). 이러한 정량화는 라벨의 각각의 쌍에 대해 제 1의 단계가 제 2 단계의 전면에 존재함을 선언하는 사건의 수와 제 2 단계가 제 1 단계의 전면에 존재함을 선언하는 사건의 수를 비교함으로써 달성된다. 2개의 관련 영역 사이의 최종적인 순서는 가장 큰 사건의 수에 대응하는 것으로서 정의된다. 이러한 순서 ORD(0)는 상기 순서 정보가 윤곽 전송 모드의 정의를 갱신하는 반복적인 루프를 구성하기 위해 서브 단계(501c, 501d)에 대한 입력으로 사용하기 위해 배면에 전달될 수 있다(반복 수는 계산 로드를 증가시키지 않도록 낮게 유지되고; 사실상, 2 또는 3회의 반복 만으로 충분하다). 반복 루프의 경우에, 파티션 보상은 순서 정보 ORD(0)가 공지되지 않은 경우에 행하여질 수 없음에 주목해야 한다. 이러한 문제를 해결하기 위해, 단순히 모든 새로운 영역(즉, SEG(0)에 존재하고 REC(-1)에 존재하지 않는 영역들)이 인트라 프레임 모드로 전송되고, 모든 다른 영역이 내부 프레임 모드로 전달되는 제 1 반복이 가정되며, 이는 도 16에 나타낸 기준 ORD₀에 의해 지정된 초기값을 ORD(0)에 제공하는 것과 동일하다.

상기 파티션 보상을 이하 보다 상세히 설명한다. 서브스텝(501c, 501d)은 이전 재구축 파티션 REC(-1)의 보상을 실현할 수 있게 하고, 여러 가지 동작을 포함한다. 제 1 단계인 동작(501c)은 단일 영역인 현재 라벨 RFGNUM에 할당된 모션 파라미터를 사용하는 전체 영상을 위해 모션 필드를 정의하기 위해 제공된다. 상기한 바와 유사한 (제 2 단계인 "순서 보상"의 제 1 서브스텝의 제 1 동작(504c)) 이러한 정의 동작은 보상된 파티션 RECCOMP(-1)의 각각의 픽셀(i, j)에 대해 제 2 동작(501d)이 후속하고, 그에 따라 보상된 라벨은 다음과 같이 정의된다(그 방법은 모든 픽셀(i, j)에 대해 반복되고, 모든 영역에 대해, 즉 모든 라벨 RFGNUM에 대해 반복됨); 즉,

(a) 픽셀(i, j)이 인트라 프레임 모드로 전송된 영역에 대응하는 경우, 그 영역에 속하는 보상된 라벨이 폐기된다;

(b) 이전 파티션 REC(-1)의 이전 라벨 LABREC(-1)(즉, 픽셀(i-Vx(i, j), j-Vj(i, j))이 현재 라벨 RFGNUM와 동일한 경우, 픽셀(i, j)은 라벨 RFGNUM를 수신하기 위한 후보이다;

(c) 보상된 파티션의 위치(i, j)가 빈 경우, 라벨 LABREC(-1)이 그 위치에 할당되어야 한다;

(d) 위치(i, j)가 이미 라벨을 수신한 경우, 이 위치는 이전 라벨 LABREC(-1)과 상충하지만, 이러한 상충은 ORD(0)에 저장된 순서 정보에 의해 해결될 수 있다.

이러한 방법의 마지막에, 최종적으로 보상된 파티션 RECCOMP(0)를 가질 수 있다. 일단 순서 정보가 정의되면, 도 16의 기준(506)의 의해 지정된 코딩 방법의 코딩 단계는 예를 들면 통신지 "세그먼트화에 기초한 비디오 코딩을 위한 모션 및 영역 중첩 추정(Motion and region overlapping estimation for segmentation-based video coding)", M. Pardas, P. Salembier B. Gonzalez, IEEE International Conference of Image Processing, 텍사스주 오스틴(미국), 1994년 11월, 제 2권, 428-432페이지에 기재된 윤곽/텍스처 코딩 접근법이 후속함으로써 수행된다.

Claims

원화상들의 시퀀스에 대응하고, 윤곽(contour)들과, 대응하는 라벨들이 연관되어 있는 닫힌 영역(closed region)들을 상기 화상들에서 식별하는 세그먼트된 화상들 또는 파티션(partition)들을 코딩하는 방법에 있어서,

상기 방법은, 두 개의 연속 화상들 사이에서 상기 파티션들의 시간 모션 전개(time motion evolution)를 정의하기 위한 제 1 정의 단계와, 연속 파티션들의 상기 영역들의 모션과 윤곽들과 텍스쳐(texture)들을 코딩하기 위한 제 2 코딩 단계를 포함하고,

이전의 파티션에 대해 고려된 각각의 현재 파티션에 대하여, 상기 제 1 단계는 연속해서,

(1) 상기 이전 파티션으로부터 유발되는 각 영역에 대하여 상기 현재 파티션에서의 상기 영역의 코어(core)의 위치를 표시(marking)하는 모션 보상된 파티션을 정의하기 위한 모션 추정 및 보상 서브단계;

(2) 소위 투사된 파티션(projected partition)을 정의하기 위한, 현재 파티션에서의 보상에 의해 이전에 정의된 상기 영역들의 시간적 확장 서브단계;

(3) 모션과 텍스쳐 기준에 기초하여, 상기 투사된 파티션의 영역들을 병합하거나 재세그먼트화함으로써 생성되고 상기 투사된 파티션과 함께 파티션 트리를 형성하는 추가 파티션들을 결정하기 위한 파티션 토폴로지(topology) 정의 서브단계;

(4) 상기 파티션 트리의 임의의 레벨에 포함된 영역들의 제안내에서 최적 파티션의 영역들을 선택하고, 상기 최적 파티션의 각 영역을 코딩하기 위한 최상의 전략을 선택하기 위한 결정 서브단계로서, 상기 연속 최적 파티션들은 코딩될 파티션들의 시퀀스를 구성하고, 상기 제 2 단계는 상기 파티션들의 각 영역에 대해 전송 및/또는 저장되어야 하는 상기 코딩된 정보를 정의하기 위해 결정 코딩 서브단계를 포함하는, 상기 결정 서브단계를 포함하는, 코딩 방법.
제 1 항에 있어서,

상기 모션 추정 및 보상 서브단계는, 블록 매칭 방법에 의한 모션 추정 동작과, 상기 현재 파티션에서 상기 영역의 코어의 위치를 상기 이전 파티션에서와 동일한 레벨로 표시하는 그의 최대 접속된 성분만을 상기 이전 파티션에서의 모든 영역으로부터 유지하는 것에 의한 모션 보상 동작을 포함하고, 상기 시간적 확장 서브단계는 워터셰드 라인(watershed lines) 방법의 구현을 포함하는, 코딩 방법.
제 1 항 또는 제 2 항에 있어서,

상기 결정 서브단계는, 상기 파티션 트리에 포함된 상기 투사된 파티션과 추가 파티션 중에서 최적 파티션을 선택하기 위한 제 1 결정 트리 정의 서브단계와, 상기 최적 파티션의 각 영역에 대하여 최적 코딩 전략에 대한 결정을 내리는 제 2 최적화 서브단계를 포함하고,

상기 제 2 코딩 단계는 상기 선택된 최적 파티션의 각 영역에 대하여 미리 정해진 기준에 따라 최적의 텍스쳐 코딩 방법을 선택하기 위해 제공되는, 코딩 방법.
제 3 항에 있어서,

상기 최적 파티션의 각 영역에 적용될 텍스쳐 코딩 방법이, 평균치에 의한 근사화의 방법, 다항식 근사화 방법, 형상 적응 이산코사인 변환 방법 및 다이애딕(dyadic) 이차원 웨이브릿 변환 방법을 포함하는 리스트 내에서 선택되는, 코딩 방법.
제 1 항 또는 제 2 항에 있어서,

상기 제 1 정의 단계는 또한,

(1) 상기 모션 추정 및 보상 서브단계 전에, 모든 영역들이 주어진 기준에 따라 균일하게 될 때까지 거친(coarse) 파티션이라고 불리는 현재 파티션을 세그먼트화하여 소위 밀한(dense) 파티션을 생성할 수 있게 하는 추가 세그먼트화 서브단계;

(2) 상기 시간적 확장 서브단계와 상기 파티션 토폴로지 정의 서브단계 사이에, 상기 밀한 파티션의 상기 투사된 파티션을 병합하여 소위 투사된 거친 파티션을 정의할 수 있게 하는 추가적 병합 서브단계를, 앞의 단계들에 대해 연속해서 포함하는, 코딩 방법.
제 5 항에 있어서,

상기 추가 세그먼트화는 크기(size) 지향적 세그먼트화이고, 상기 크기 파라미터는 영역들의 평균에 대한 픽셀들의 평균 제곱 오차와 같은, 픽셀들의 그레이 레벨 균일성에 관한 소정의 균일성 기준이 만족될 때까지 점진적으로 감소하는, 코딩 방법.
원화상들의 시퀀스에 대응하고, 윤곽들과, 대응하는 라벨들이 연관되어 있는 닫힌 영역들을 상기 화상들에서 식별하는 세그먼트된 화상들 또는 파티션들을 코딩하는 시스템에 있어서,

상기 시스템은, 제 1 시간 모션 전개 정의 서브시스템과 제 2 모션, 윤곽 및 텍스쳐 코딩 서브시스템을 포함하고,

각 현재 파티션에 대하여 전송 및/또는 저장될 상기 코딩된 정보는 이전 파티션의 모션 추정 및 보상에 의해 결정되는 메인 파티션의 영역들, 또는 상기 메인 파티션의 상기 영역들을 병합하거나 재세그먼트화함으로써 생성되는 추가 파티션들의 영역들로 구성되는 최적 파티션에 대응하는 코딩된 신호들을 포함하고,

상기 코딩된 신호들은 병합 명령들과 분할 정보의 형태로 각 영역의 원점(origin)상에 적절한 표시들을 포함하는, 코딩 시스템.
제 7 항에 있어서,

상기 이전 파티션에 대해 고려된 각각의 현재 파티션에 대하여,

(I) 상기 제 1 서브시스템은,

(A) 제 1 파티션 전처리 서브어셈블리로서,

(1) (a) 모션 추정 회로와, (b) 모션 보상 회로와, (c) 출력이 상기 메인 파티션을 정의하는 소위 투사된 파티션을 구성하는 시간적 확장 회로를 포함하는, 시간 전개 정의 장치; 및

(2) (e) 적어도 병합 회로와, (f) 적어도 재세그먼트화 회로를 포함하는 파티션 토폴로지 정의 장치로서, 상기 파티션 토폴로지 정의 장치의 출력이 상기 투사된 파티션과, 상기 병합 회로 및 상기 재세그먼트화 회로에 의해 생성된 추가 파티션들로 구성된 파티션 트리를 구성하는 상기 파티션 토폴로지 정의 장치를 포함하는, 상기 제 1 파티션 전처리 서브어셈블리와,

(B) (f) 결정 트리 구성 회로와, (g) 최적화 회로를 포함하는 제 2 결정 서브어셈블리로서, 상기 제 2 결정 서브어셈블리의 출력은 상기 제 2 코딩 서브시스템에 전달되는 최적 파티션을 구성하고, 상기 최적 파티션은 상기 파티션 트리의 다양한 레벨들로부터의 영역들의 연관에 의해 얻어지는, 상기 제 2 결정 서브 어셈블리를 포함하고,

(II) 상기 제 2 서브시스템은,

(C) (4) 제 1 결정 코딩 장치, (5) 제 2 모션 코딩 장치, (6) 제 3 윤곽 코딩 장치, (7) 제 4 텍스쳐 코딩 장치, 및 (8) 상기 네 개의 코딩 장치들의 코딩된 출력 신호들의 멀티플렉서를 포함하는 제 3 코딩 서브어셈블리를 포함하는, 코딩 시스템.
제 8 항에 있어서,

상기 병합 회로는, 모션 보상단과 병합 제안단을 포함하고, 상기 투사된 파티션으로부터 유사한 모션을 갖는 인접 영역들을 병합함으로써 상기 파티션 트리의 상위 레벨들을 형성하기 위해 제 2 유사 병합 회로 등이 이어져 있는, 코딩 시스템.
제 8 항 또는 제 9 항에 있어서,

상기 결정 트리 구성 회로는 왜곡 계산단, 레이트 계산단, 및 메모리를 포함하고, 상기 메모리는, 상기 파티션 트리의 각 영역의 텍스쳐의 코딩 동작에 대하여 선택이 이루어지는 텍스쳐 코딩 방법들의 연관된 리스트와 동일한 길이를 갖는 레이트들의 리스트 및 왜곡들의 리스트를 결정 트리의 형태로 저장하기 위해 제공되고, 상기 최적화 회로는, 상기 결정 트리의 각 노드의 로컬 분석을 수행하기 위해 제공된 계산 서브단과, 상기 파티션 트리의 영역들의 전체 세트로부터 코딩될 상기 최적 파티션을 구성하는 상기 영역들의 최종 세트를 정의하기 위해 제공되는 결정 서브단을 포함하는, 코딩 시스템.
복수의 영역들 및 연관된 라벨들을 포함하고 연속 파티션들을 정의하는 세그먼트된 화상들의 시퀀스에 대하여 상기 시퀀스의 현재 파티션의 각 영역에 대응하는 코딩된 신호를 포함하는 기록/판독가능 매체에 있어서, 상기 코딩된 신호는 멀티플렉싱된 신호로 구성되어 있고, 상기 멀티플렉싱된 신호는,

(A) 상기 연속 파티션들 사이의 세그먼트화의 전개를 특징짓고 소위 투사된 파티션을 정의할 수 있게 하는 모션 모델의 추정에 대응하는 코딩된 모션 정보;

(B) 상기 현재 파티션에 대응하는 상기 투사된 파티션으로부터 구성된 추가적인 보다 더 세밀하고 보다 더 거친 파티션들의 계층의 모든 영역들 중에서, 레이트와 왜곡 기준에 기초하여, 선택된 최적 파티션의 각 영역의 텍스쳐 및 윤곽 정보에 대응하는 코딩된 파티션 정보;

(C) 상기 레이트 및 왜곡 기준과 연관된 코딩 비용 및 질에 따라, 상기 투사된 파티션과 추가 파티션들의 상기 선택된 영역들 각각에 대하여 정의된 상기 코딩 전략에 대응하는 코딩된 결정 정보를 포함하는, 기록/판독가능 매체.
복수의 영역들 및 연관된 라벨들을 포함하고 연속 파티션들을 정의하는 세그먼트된 화상들의 시퀀스에 대하여, 상기 시퀀스의 현재 파티션의 각 영역에 대응하는 코딩된 신호를 저장하는 컴퓨터 판독가능 저장 매체에 있어서, 상기 매체는 멀티플렉스된 신호로 구성되어 있는 코딩된 신호를 전달하기 위하여,

(A) 상기 연속 파티션들 사이의 세그먼트화의 전개를 특징짓고 소위 투사된 파티션을 정의할 수 있게 하는 모션 모델의 추정에 대응하는 모션 정보를 발생하고;

(B) 상기 현재 파티션에 대응하는 상기 투사된 파티션으로부터 구성된 추가적인 보다 더 세밀하고 보다 더 거친 파티션들의 계층의 모든 영역들 중에서, 레이트와 왜곡 기준에 기초하여, 선택된 최적 파티션의 각 영역의 텍스쳐 및 윤곽 정보에 대응하는 파티션 정보를 발생하고;

(C) 상기 레이트 및 왜곡 기준과 연관된 코딩 비용 및 질에 따라, 상기 투사된 파티션과 추가 파티션들의 상기 선택된 영역들 각각에 대하여 정의된 코딩 전략에 대응하는 결정 정보를 발생하는 수단을 포함하며,

상기 멀티플렉싱된 신호는 상기 모션 정보, 상기 파티션 정보 및 상기 결정 정보를 포함하는, 컴퓨터 판독가능 저장 매체.
윤곽들과, 대응하는 라벨들이 연관되어 있는 닫힌 영역들을 원화상들의 연관된 시퀀스에서 식별하는 세그먼트된 화상들 또는 파티션들에 대응하고 코딩 방법에 의해 이전에 코딩된 신호들을 디코딩하는 방법에 있어서,

상기 코딩 방법은, 상기 이전 파티션에 대해 고려된 각 현재 파티션에 대하여, 한편으로는 모션 추정 및 보상과 보상된 파티션의 시간적 확장에 의해 얻어진 소위 투사된 파티션, 및 다른 한편으로는 상기 투사된 파티션의 영역들을 병합하거나 재세그먼트화 함으로써 생성된 추가 파티션들을 정의하며, 상기 투사된 파티션과 추가 파티션들에 의해 형성된 파티션 트리의 임의의 레벨에 포함된 영역들로 구성되는 최적 파티션을 선택하기 위해 제공된 제 1 정의 단계와, 연속하는 최적 파티션들 각각의 각 영역에 대하여 전송 및/또는 저장되어야 코딩된 정보의 정의를 위해 제공된 제 2 코딩 단계를 포함하고,

상기 디코딩 방법은, 각 최적 파티션의 각 영역에 대하여 어느 코딩 전략이 이전에 사용되었는지를 정의하기 위해 제공된 제 1 결정 디코딩 단계, 제 2 모션 디코딩 단계, 제 3 파티션 디코딩 단계, 및 제 4 텍스쳐 디코딩 단계를 포함하는, 디코딩 방법.
제 13 항에 있어서, 상기 제 3 파티션 디코딩 단계는,

N개의 영역들이 있는 경우에 라벨들 1∼N만이 사용되고 각 영역에 대하여 라벨 값을 재할당함으로써 라벨 번호들의 값을 제한하기 위해 제공된 제 1 재라벨링(relabelling) 서브단계, 병합 명령들을 수행하기 위해 제공된 제 2 병합 서브단계, 제 3 인트라 영역들 디코딩 서브단계, 제 4 모션 보상 및 보상된 에러들 디코딩 서브단계, 및 디코딩된 보상 에러들 파티션 라벨링 서브단계를 포함하는, 디코딩 방법.
윤곽들과, 대응하는 라벨들이 연관되어 있는 닫힌 영역들을 원화상들의 연관된 시퀀스에서 식별하는 세그먼트된 화상들 또는 파티션들에 대응하는 신호들을 디코딩하는 시스템에 있어서,

상기 신호들은, 각각의 현재 파티션에 대하여, 이전 파티션의 모션 추정 및 보상과, 보상된 파티션의 시간적 확장에 의해 결정되는 메인 파티션의 영역들, 또는 상기 메인 파티션의 영역들을 병합하거나 재세그먼트화함으로써 생성된 추가 파티션들의 영역들로 구성되는 최적 파티션에 대응하는 코딩된 정보를 구성하고,

상기 디코딩 시스템은, 상기 코팅된 정보를 저장 및 디멀티플렉싱하기 위해 제공된 입력 버퍼, 상기 최적 파티션을 코딩하는데 사용된 전략에 대응하는 정보를 디코딩하기 위해 제공된 결정 디코딩 장치, 모션 디코딩 장치, 파티션 디코딩 장치, 및 텍스쳐 디코딩 장치를 포함하는, 디코딩 시스템.