KR20030081403A

KR20030081403A - 영상의 부호화 및 복호화 방법, 장치 및 그 애플리케이션

Info

Publication number: KR20030081403A
Application number: KR10-2003-7009910A
Authority: KR
Inventors: 샹송헨리; 로랑-샤텐느나탈리; 뷔송알렉산드르
Original assignee: 프랑스 텔레콤
Priority date: 2001-01-26
Filing date: 2002-01-25
Publication date: 2003-10-17
Also published as: US20040151247A1; JP2004520744A; FR2820255A1; CN1288914C; CN1531824A; WO2002060184A1; EP1354482A1; US7512179B2; BR0206798A; KR100922510B1

Abstract

본 발명은, 적어도 두 개의 영상 부호와 모드를 선택적으로 사용하여 영상을 부호화하기 위한 방법에 관한 것이며, 상기 각각의 영상 부호화 모드는 서로 다른 최적화 기준에 기반하여 적어도 하나의 비디오 시퀀스 영상의 압축을 최적화한다.

Description

영상의 부호화 및 복호화 방법, 장치 및 그 애플리케이션{IMAGE CODING AND DECODING METHOD, CORRESPONDING DEVICES AND APPLICATIONS}

현재 제공되는 비디오 부호화 및 복호화 다이어그램은 다음과 같은 두 개의 범주로 나뉜다:

- 동일한 형식의 기술(블록 구조에 기초한 시간축상의 예측 및 이산 코사인 변환)에 기반을 둔 ISO/MPEG 또는 ITU-T에 의해 표준화된 부호화;

- 웨이블릿(wavelet) 부호화, 영역(regional) 부호화, 프랙탈(fractal) 부호화, 메싱(meshing) 부호화 등과 같은 일련의 기술들을 개발하는 연구소에 의해 개발되는 부호화.

최근, MPEG-4 부호화는 표준화된 부호화에서뿐만 아니라 공고된 부호화의 용어로서 무역 표준으로 간주된다.

MPEG-4 또는 IYU-T/H.263++ 형식의 부호화는, 특히, 모든 부호화 연산 및 작동에 대한 지원을 위해 사용되는 고정된 크기의 하드 블록 구조 때문에 그 한계에 이른 것으로 간주된다. 특히, 시퀀스 내의 영상의 시간축 상의 예측은 충분히 개발되지 못했다.

무엇보다도, 공고된 다른 부호화는 아직 충분한 정도의 최적화를 이루지 못하였다.

따라서, 낮은 비트 전송률로 부호화된 비디오 시퀀스를 획득하기 위해, 일반적으로 부호기는 영상의 크기를 감소시키고 원 비디오 시퀀스의 시간적인부표본(subsample)을 생성한다. 그러나, 제2 기술은, 상기 부표본의 수준에 따라 사용자에게 다소간의 문제가 있는 비정상적인 동작을 제공하는 불편함을 갖는다.

이러한 비정상적인 동작을 방지하기 위해, 누락된 영상(부호화되지 않은)는 시간축상의 보간법(temporal interpolation)을 사용한 복호기에서 재생성되어야 한다.

그러나, 영상의 시간축상의 보간법에 대한 종래의 기술은, 특히 이러한 기술이 단일 복호기에서 실행될 때, 만족스러운 결과를 얻을 수 없다. 즉, 이러한 기술은, 블록의 모든 픽셀에 대한 단일 이동 벡터만을 규정하는 블록에 기반을 둔 이동 보상 기술에 관련된 시각적 가공품의 근원이다.

본 발명은 움직이는 영상 시퀀스, 특히 비디오의 비트 전송률(bit rate)을 감소시켜 부호화를 하는 기술분야에 관한 것이다. 매우 많은 비디오 부호화 애플리케이션이 존재한다. 상기 애플리케이션은 다음을 포함한다:

- 디지털 TV 전송

- IP, 모바일, (:스트리밍 IP")와 같은 몇몇 형태의 네트워크 상의 실시간 비디오 전송

- 비디오의 컴퓨터 저장.

특히, 본 발명은 MPEG 형식의 부호화를 실행하는 시스템의 프레임워크(framework)에 적용될 수 있다.MPEG 형식의 부호화는, 시간축상의 예측(temporal prediction)에 기초한 부호화 및 가능한 다양한 크기가 아닌 고정된 크기를 갖는 하드 블록 구조(hard block structure)에 기초한 이산 코사인 변환을 의미한다. 이러한 부호화 패밀리에 대한 두 개의 대표적인 표준은 버전 1~4의 MPEG-4 표준 및 버전 2까지의 ITU-T/H.263이다. 또한, 본 발명은CCITT H26L 권고(예를 들어, 해당 VCEG-N83d1 도큐먼트를 참조)에 의한 프레임워크에 적용될 수 있다.

도 1은 본 발명에 따른 부호화를 도시한 구성도이다.

도 2는 이동에 대한 계층적 메싱 구조를 도시한 예시도이다.

도 3은 삼각 메시에 대한 관계 보간법의 원리를 도시한 도면이다.

도 4는 삼각형들을 커버함으로써 감지되는 공백의 일례를 도시한 예시도이다.

도 5는 대칭 정방 행렬에서 임의의 삼각형 영상을 전송하는 과정을 도시한 도면이다.

도 6은 임의의 삼각형의 직각 이등변 삼각형으로의 변환을 도시한 도면이다.

도 7은 계층적 메싱 및 관련된 4갈래 트리구조에 의한 표시를 도시한 도면이다.

도 8은 계층적 메싱에 대한 부호화 결정의 일례를 도시한 도면이다.

도 9는 본 발명에 따른 이진 문자열의 전체 구조를 도시한 도면이다.

도 10은 본 발명에 따른 복호기의 블록도이다.

본 발명의 목적은 상술한 종래 기술의 한계를 극복하는 것이다.

보다 상세하게는, 본 발명의 목적은, 비트 전송률의 감소 및/또는 종래의 기술에 의해 얻어지는 재생성된 영상의 개선을 가능하게 하는, 영상 데이터의 부호화 및 복호화 기술을 제공하는 것이다.

본 발명에 따르면, 상기 목적은, 다양한 최적화 기준에 따라 적어도 하나의 비디오 시퀀스 영상의 압축을 최적화하는 적어도 두 가지의 영상 부호화 모드를 선택적으로 실행하는 영상 부호화 방법을 통해 달성된다.

본 발명의 유용한 실시예에 따르면, 복호기의 상기 부호화 모드 중의 하나를 선택하는 정보는 다음을 포함하는 그룹에 속하는 적어도 하나의 기술에 따라 복호기에 전달된다:

- 부호화 및 복호화 수준에서 알려진 사전 정의된 선택;

- 적어도 소정의 부호화된 영상 데이터를 갖는 데이터 흐름에 포함된 상기 선택에 대한 표시 정보;

- 상기 부호화된 영상 데이터와는 관계없는 데이터 흐름에 포함된 표시 정보;

- 복호기에 의해 사전 정의된 방법으로 선택의 결정.

상기 방법은, 적어도 다음을 포함하는, 상기 영상에 적용되는 부호화 방법을 선택하는 단계를 포함하는 것이 바람직하다:

- 영상의 광도(photometric) 표시를 최적화하는 제1 부호화;

- 적어도 두 개의 영상 사이의 이동의 표시를 최적화하는 제2 부호화.

즉, 본 발명은 특히, MPEG 형식의 부호화 및 메싱(meshing)에 의한 표시에 기반을 둔 시간축상의 보간법을 사용한 부호화와 같은, 부호화의 혼성화(hybridization)에 의한 새로운 비디오 부호화 방법과, 복호화 방법과, 관련된 이진 표시의 구조를 포함한다.

바람직하게는, 상기 제2 부호화는 적어도 하나의 선행 영상 및/또는 상기 제1 부호화를 이용하여 부호화된 적어도 하나의 후행 영상을 이용한다.

상기 제2 부호화는 상기 제1 부호화를 이용하여 부호화된 직전 영상으로부터 계산된 이동 벡터 필드 및/또는 상기 제1 부호화를 이용하여 부호화된 직후 영상으로부터 계산된 벡터 필드를 사용하는 것이 바람직하다.

바람직하게는, 상기 이동 벡터 필드는 메싱에 적용된다.

이 경우, 상기 이동 벡터 필드는, 상기 제2 부호화를 사용하여 부호화된 영상과 관련된 감소된 이동 벡터 필드를 결정하는데 사용될 수 있다.

본 발명의 바람직한 실시예에 따르면, 상기 선택하는 단계는 N개의 고정된 팩터의 부표본, 즉 상기 제1 부호화를 사용하여 N회 인코딩된 영상의 실행에 기반을 둔다.

바람직하게는, 상기 N은 적어도 하나의 사전 정의된 기준에 따른 변수이다.

특정 실시예에 따르면, 상기 제1 부호화는 영상 블록 및 블록에 의한 시간축 상의 예측에 대한 변환을 실행한다. 예를 들어, 상기 변환은 DCT 형식변환, 아다마르(Hadamard) 변환, 웨이블릿(wavelet) 변화 등이다.

상기 영상 블록은 반드시 정방형일 필요는 없으며, 이용되는 필요 및 수단에 적용되는 임의의 형상을 가질 수 있다.

특히, 상기 제1 부호화는 MPEG-4 또는 H26L 부호화일 수 있다.

상기 H26L 부호화의 경우, I(intra) 형식 영상 및/또는 P(predictable) 형식 영상을 사용하는 것이 바람직하다(B 형식의 영상을 사용하는 것은 바람직하지 않다).

본 발명의 특정한 다른 관점에 따르면, 상기 제2 부호화는 M층의 계층적 메시의 실행에 기반을 두는 것이 바람직하다. 상기 M은 1 이상이며, 예를 들면 삼각 메싱이다.

이 경우, 상기 방법은 폐쇄 영역 또는 공백 영역의 관리 단계를 포함하는 것이 바람직하다.

생성되는 데이터는 단일 흐름으로 그룹화될 수 있다. 바람직하게는, 독립적인 전송경로로 전송될 수 있는 적어도 두 개의 데이터 흐름이 예측될 수 있다.

상기 데이터 흐름은 다음을 포함하는 그룹에 속하는 것이 바람직하다:

- 전체 헤더;

- 상기 제1 부호화에 따라 부호화된 영상 데이터;

- 상기 제2 부호화에 따라 부호화된 영상 데이터.

따라서, 흐름의 전송은 독립적으로 발생한다. 특히, 독립적으로 발생하는 흐름의 전송은 수단 또는 필요에 따라 영상의 연속적 및/또는 부분적인 복호화를 가능하게 한다.

그러므로, 본 발명의 일실시예에 따르면, 다음 측면들이 활용될 수 있다:

- 표준화된 MPEG 또는 ITU-T/H.263 형식 부호화의 구조적인 모듈에 의해 구현되는 최적화;

- 강력한 시간축상의 예측 및 메싱 기반 기술에 관한 관련 에러 부호화.

상기 메싱 기반 기술은, 연속적인 이동 필드를 사용하기 때문에 일반적인 블록의 영향을 회피할 수 있게 한다. 또한, 상기 메싱 기술은 감지되는 "객체(object)"를 공백 영역으로 만들고, 이 영역에 적절하게 적용될 수 있는 에러 부호화를 가능하게 한다. 또한, 이러한 영역에 대해 MPEG 형식의 에러 부호화를 결합함으로써, MPEG에 의해 제공되는 쌍방향 영상(B형식 영상)보다 훨씬 낮은 비용이 소비되는 측면에서 보간법의 효율이 실질적으로 향상된다.

그러므로, 기본적인 정보는 MPEG 형식의 부호화를 사용하여 낮은 시간축 상의 해상도로 양호한 품질을 갖도록 부호화될 수 있으며, 이어 시퀀스의 전체 흐름은 메싱에 의한 보간 모드에서의 부호화를 이용하여 복구될 수 있다.

또한, 본 발명은 다음을 포함한다:

- 상술한 부호화 방법을 사용하여 부호화된 영상 신호를 복호화하는 방법;

- 상술한 부호화 방법을 사용하여 부호화된 영상 신호를 부호화하는 방법;

- 상술한 부호화 방법을 사용하여 부호화된 영상 신호를 복호화하는 장치(바람직하게는, 부호화 동안 실행되는 것들과 유사한 적어도 벡터 필드 부분의 결정 및/또는 적어도 공백 영역의 부분의 결정을 위한 수단을 포함);

- 상술한 부호화 방법을 사용하여 부호화되는 적어도 하나의 영상 신호를 저장하는 장치;

- 상술한 부호화 방법을 사용하여 부호화된 영상 신호의 부호화, 전송 및/또는 복호화 시스템.

바람직하게는, 상기 부호화 모드 중의 하나를 결정하는 것은 다음을 포함하는 그룹에 속하는 기술 가운데 적어도 하나에 따라 복호기에 알려질 수 있다

- 부호화 및 복호화 동안 알려진 사전 정의된 선택;

- 부호화된 영상 데이터의 적어도 일부를 갖는 데이터 흐름에 포함된 선택에 대한 표시 정보;

- 부호화된 영상 데이터와는 관련 없는 데이터 흐름에 포함된 선택에 대한 표시 정보;

- 상기 복호기에 의한 고유한 방법을 통한 선택의 결정;

- 부호화 방법을 사용하여 부호화된 영상 신호를 부호화 및/또는 복호화하기 위한 컴퓨터 프로그램 제품;

- 이와 같은 프로그램에 의해 지원되는 데이터.

또한 본 발명은 상술한 방법에 따라 부호화된 데이터를 포함하는 영상 테이터 신호를 포함한다.

바람직하게는, 상기 신호는, 상기 방법이 실행 중인지를 표시하는 적어도 하나의 지시기(indicator)를 포함한다.

바람직하게는, 상기 신호는 비디오 시퀀스의 시작 및/또는 각각의 신호 프레임에서 프레임 구조를 표시하는 데이터를 포함한다.

바람직하게는, 상기 제2 부호화를 사용하여 부호화된 시퀀스는 상기 제2 부호화에 따라 부호화된 프레임의 수를 지시하는 헤더로 시작한다.

본 발명의 일 실시예에 따르면, 상기 신호는, 분리된 전송 경로로 전송될 수 있는 적어도 두 개의 데이터 흐름을 포함한다.

이러한 경우, 상기 데이터 흐름은 다음을 포함하는 그룹에 속하는 것이 바람직하다:

- 전체 헤더;

- 상기 제1 부호화에 따라 부호화된 영상 데이터;

- 상기 제2 부호화에 따라 부호화된 영상 데이터.

본 발명은, 다양한 영역의 응용분야를 가지며, 특히 다음을 포함하는 그룹에속하는 영역에서 응용분야를 갖는다:

- 디지털 TV;

- IP 네트워크를 통한 실시간 비디오;

- 모바일 네트워크를 통한 실시간 비디오;

- 영상 데이터 저장.

본 발명의 다른 특징과 효과는, 간단한 설명, 본 발명을 한정하지 않는 예시 및 첨부된 도면을 통해 제공되는 본 발명의 바람직한 실시예에 대한 상세한 설명을 통해 보다 명백해질 것이다.

하기에 설명되는 본 발명의 실시예의 본질은 보간 모드(interpolated mode)에서 작동하는 메싱 부호화를 사용하고 MPEG 표준에서 B 모드 또는 B 영상이라고 불리는 MPEG-4와 같은 MPEG 형식 부호화의 혼성화(hybridization)에 있다.

본 명세서에 언급되는 MPEG-4 부호화는, 블록 구조에 기반을 둔 시간축상의 예측과 이산 코사인 변환 및 생성되는 정보에 대한 수량화 및 엔트로픽(entropic) 부호화를 사용한 것과 같은 대등한 기술에 기반을 둔 임의의 부호기에 의해 대체될 수 있다. 특히, ITU-T/H.263++ 부호화는 MPEG-4 부호화를 대체할 수 있다.

부호기에 수신되는 시퀀스의 각각의 영상에 따라, MPEG-4 부호화 모듈을 갖는 부호기 또는 메싱 기반 부호화 모듈을 갖는 부호기의 구체적인 결정 과정(예를 들면, 고정된 팩터의 시간축상의 부표본)을 통해 상기 부호기가 결정된다.

메싱 모드로 부호화된 영상들은, 상기 영상들이 속한 상기 메싱 모드로 부호화된 영상 그룹의 직전 또는 직후에 위치한 mpeg-4 모드로 부호화된 영상를, 상기 영상들의 시간축상의 예측을 위한 기준으로 사용한다.

본 발명의 압축 효율에 대한 핵심은, 메싱 기반 이동 보상이 매우 낮은 부호화 비용으로 매우 강력한 시간축상의 예측을 가능하게 한다는 점이다.

즉, 본 기술은:

- 영상 내에서 다양한 형식의 이동을 이용하고;

- 특히 객체의 이동으로 인해 커버되는 영역과 커버되지 않는 영역을 처리한다.

도 1은 상기 부호기 원리의 개요를 제공한다.

먼저, 입력되는 영상은 주어진 결정 방법에 따라 MPEG 부호화 모듈 또는 메싱 기반 부호화 모듈로 입력된다. 예를 들면, N개의 영상 중 하나가 MPEG로 부호화되고 그 나머지는 메싱 보간 모드로 부호화된다. N_k는 MPEG 모드로 부호화되는 영상의 수를 나타낸다.

모든 나머지 I_kN_k<l<N_k개의 영상은 B 모드로 불리는 보간 모드로 작동하는 메싱 기반 부호기(예를 들면, 삼각 부호기)에 의해 부호화된다. 상기 부호기의 일반적인 원리는 다음과 같다:

1. N_k와 N_k+1영상 사이의 선행 및 후행 이동 필드 계산. 상기 필드는 삼각 메싱의 형태로 모델링된다.

2a. 예측 가능한 영역의 예측: 보간법이 진행되는 동안 It 와 It' 사이의 이동이 예측된다. 상기 이동 벡터의 적용이 변환(예측 가능한 영역에 하나가 존재함을 의미)을 일으키지 못하면, 이동 보상은, I_t+k(t+k는 구간 [t, t']에 속함)를 보상하기 위해 스칼라 값인 k(0≤k≤1)을 사용한 벡터에 가중치를 줌으로써 수행된다.

2b. 예측 불가능한 영역의 예측: 상기 이동 필드의 인식으로부터, 부호화된Il 영상에서 예측 불가능한 공백 영역의 감지.

3. 다음의 세가지 가능한 모드 중의 하나에 따른 상기 공백 영역의 부호화:

- 이동 보상없이 상기 기준 영상(그 이동 필드를 갖는 이동 동안, N_k, N_k+1, 또는 보상된 영상) 중의 하나를 이용한 예측 및 삼각 메싱 기반 기술을 사용한 예측 에러의 부호화.

- 내부 영상(intra-image)의 이동 보상을 이용한 상기 기준 영상(그 이동 필드를 갖는 이동 동안, N_k, N_k+1, 또는 보상된 영상) 중의 하나를 이용한 예측 및 삼각 메싱 기반 기술을 사용한 예측 에러의 부호화.

- 삼각 메싱 기반 기술에 기반한 내부 영상의 부호화.

4. 선택적으로, 공백 영역 주변의 영역에 제한된, 잔여 예측 에러 또는 부호화의 P 모드 MPEG 형식의 부호화.

상기한 바와 같이, 이동 보상은 다음 세가지의 처리를 이용하여 수행된다: 선행 예측, 후행 예측 또는 선행 예측 및 후행 예측.

1) 선행 예측의 이용:

보간법을 실행하는 동안, I_t1및 I_t2사이의 이동이 예측된다. 이동 벡터의 적용이 변환(예측 가능한 영역에 대한)을 발생시키지 못하면, 구간 [t1, t2]에 속하는 m을 갖는 Im을 보상하기 위해 스칼라 값 k=m/(t1+t2)(0<k<1)을 갖는 상기 벡터에 가중치를 줌으로써 이동 보상이 수행된다.

2) 후행 예측의 이용:

보간법을 실행하는 동안, I_t2및 I_t1사이의 이동이 예측된다. 이동 벡터의 적용이 변환(예측 가능한 영역에 대한)을 발생시키지 못하면, 구간 [t1, t2]에 속하는 m을 갖는 Im을 보상하기 위해 스칼라 값 k'=1-m/(t1+t2)(0≤k'≤1)을 갖는 상기 벡터에 가중치를 줌으로써 이동 보상이 수행된다.

3) 두가지 모두 이용:

보간법을 실행하는 동안, I_t1및 I_t2사이와, I_t2및 I_t1사이의 이동이 예측된다. 이동 벡터의 적용이 변환(예측 가능한 영역에 대한)을 발생시키지 못하면, 스칼라 값 k(0≤k≤1)을 갖는 "선행(before)" 벡터에 가중치를 줌으로써 이동 보상이 수행되고, E1이 얻어진다. 마찬가지의 방법으로, 이동 벡터의 적용이 변환(예측 가능한 영역에 대한)을 발생시키지 못하면, 스칼라 값 k'(0≤k'≤1)을 갖는 "후행(after)" 벡터에 가중치를 줌으로써 이동 보상이 수행되고, E2가 얻어진다. 예측된 영상은 E=aE1+(1-a)E2(0≤a≤1)가 된다.

2 비트마다, 예측되는 솔루션 및 관련 쏘스 영상 사이의 PSNR을 계산한 후 최선의 솔루션이 얻어진다.

1. N _k 및 N _k+1 영상 사이의 선행 및 후행 이동 필드의 계산

N_k및 N_k+1영상 사이의 선행 및 후행 이동 필드는, 삼각인 경우 도 2에 도시된 바와 같이 T^b _k및 T^b _k+1의 계층적 메싱의 형태로 계산된다.

이 메싱은 소정의 메시를 분할함으로써 얻어진다. 예를 들면, 이동 예측이 진행되는 동안 소정의 기준에 따라 삼각 메시는 4개의 하위 삼각형으로 분할된다. 각 계층에서, 분할 결정이 수행된다. 또는 각 메시에 대해서는 분할 결정이 실행되지 않는다. 상기 분할이 결정되면, 분할된 메시의 인접하는 메시는, 일정한 메싱 구조를 유지하기 위해 분할된다. 분할 되기전 최초의 메싱(계층구조의 최상층)은 임의의 형태를 갖는다.

도 2에서, 이동 예측자는 삼각형3 및 삼각형8을 분할하도록 결정한다. 이는 삼각형2, 삼각형4, 삼각형7 및 삼각형9의 분할을 일으킨다. 이 과정은 사전 정의된 계층까지 반복된다.

삼각 메싱의 경우, 삼각 메싱 T에 의해 정의되는 이동 필드의 표현은 하기 식에 의해 각 삼각형 e에 대해 주어진다.

·상기 식에서 e는, x, y 좌표의 현재 점(벡터 p)을 포함하는 T의 삼각형 요소를 의미한다.

·{ver(e)}는 i, j, k로 넘버링된 벡터 p_i, 벡터 p_f및 벡터 p_k에 해당하는 세 개의 노드 또는 꼭지점을 의미한다.

·ψ_l(l=i, j, k)은 e_i,j,k삼각형 요소에서 벡터 p(x,y)의 중심

좌표(barycentrical coordinate)를 나타낸다.

이러한 형식의 모델은 완전히 연속적인 필드를 정의한다. 또한, 압축을 위해 필수적인 특징인 표시 정확도의 완전한 제어를 가능하게 한다.

메싱 계층의 각 계층에서, 노드의 이동 벡터는 예측 에러를 최소화하기 위해 계산된다. 예를 들어, 프랑스 특허번호 98 11227 또는 99 15568에 게시된 것과 같은 다양한 메싱 기반 이동 예측이 사용될 수 있다.

여기에서 중요한 점은, 최종 메싱은, 분할에 의한 최초 메싱으로부터의 계층적 처리의 결과이라는 점이다. 이러한 계층적 특성은 노드와 그 근원 노드(parent node)(삽입되는 변의 끝부분) 사이의 노드 이동 벡터의 차등 부호화를 위해 유용하게 사용된다는 점이다. 상기 메싱 구조는 최초 메싱 및 메시 분할 지시자로부터의 정보를 사용하는 복호기에서 재 계산된다.

그러므로, 최종 단계에서는, 두 개의 이동 메싱이 영상의 모든 그룹을 재생성하는 데 사용되는 N_k및 N_k+1영상의 각 그룹으로부터 얻어진다.

2. 공백 영역의 감지

이러한 두 개의 메싱으로부터, 객체의 커버 또는 커버하지 않음으로써 N_k+1영상로부터 얻어지는 N_k영상, 또는 그 반대에서 예측 불가능한 영역인 공백 영역의 폐쇄가 감지된다.

이러한 영역은 노드 벡터에 의해 움직인 후 삼각형을 커버함으로서 간단히 정의된다.

첨부된 도면은 이동 후 삼각형의 커버되지 않음에 따른 기본 공백 감지를 도시한다.

보다 적게 바이어스된 이동 벡터를 얻기 위해, 부호기는 상기 공백 영역에서 삼각형을 비활성화함으로써 이동 예측을 계속할 수 있다.

그러나, 이는 엄격하게 말하면 부호기 작동 방법의 내부적인 특징이며, 결국 T^b _k및 T^b _k+1는부호화 되고 이진 문자열(binary string)에 삽입되는 이동 메싱을 완성한다.

상기 공백 영역은 N_k및 N_k+1영상에서 정의되고, 일단 감지되면, 해당 삼각형은 부호기 및 복호기 내에서 그 결과로서 라벨이 붙는다.

그러나, 부호기는 이 공백 영역이 N_k및 N_k+1영상의 어디에서 발생하는지를 알아야한다. 이러한 영상는, 단순히 현재 영상 및 기준이 되는 N_k및 N_k+1영상 사이의 시간축상의 거리를 이용하기 위해 재표준화(renomalize)되는 노드 이동 벡터를적용함으로서 부호화되도록 상기 영상 상의 T^b _k및 T^b _k+1메싱을 반영함으로써 얻어진다.

3. 공백 영역의 부호화:

각각의 공백 영역에 대해, 가능한 예측을 위한 기준 영상는, 아직 메쉬 커버링이 발생하지 않은 계층에서, T^b _k및 T^b _k+1를 이용한 이동 보상에 의해 l에서 얻어지는 영상인 I_Nk, I_N(k+1)및 I^C ₁가운데 선택된다.

보다 상세하게는, I_Nk및 I_N(k+1)사이의 선택은, 단지 현재 공백 영역을 생성한 T^b _k및 T^b _k+1메싱에 의존한다. 이어, 이 메싱은 영상을 예측하고 I^C ₁을 제공하는데 사용된다. I^C ₁및 I_Nk사이의 선택 또는I^C ₁및I_N(k+1)사이의 선택은 예측 에러 기준에 기반을 둔다: 최소 에러를 발생시키는 상기 영상이 유지된다. 따라서, 유지되는 예측의 선택을 부호화하기 위해 영역마다 2진 흐름 내로 1 비트를 삽입하는 것은 간단하다.

선택된 기준 영상인 I가 아닌 영상을 취한다.

이 영역의 부호화의 나머지 과정은 두 개의 단계를 포함한다;

- 예측 단계;

- 예측 에러 또는 예측이 틀린 경우 원 텍스쳐(texture)를 부호화하는 단계.

3.1 공백 영역 텍스쳐의 잔여 예측

세가지 방법이 배타적으로 사용될 수 있다. 결정은 최소 에러 기준에 기반을 둔다.

방법 1:

상기 공백 영역에서 픽셀 Y, U 및 V 값은 동일한 기준 영상 I₁내에 위치한 픽셀의 값이다. 즉,은 결과 영상이다.와 Il 사이의 예측 에러가 부호화된다.

방법 2:

상기 공백 영역 상의 I₁(부호화되는 영상) 및(방법 1에 의한 예측의 결과) 사이에 이동 예측이 실행된다. 메시가 커버되기 이전에 최종 메싱 계층 T_r(r=k 또는 k+1)로부터 진행되는 결과 메싱은 그 노드 이동이 부호화 되는 것과 같이 부호화된다. 최종적으로, 잔여 예측 에러가 다음에 정의되는 절차에 따라 부호화된다.

방법 3:

더 이상 예측이 실행되지 않으며, 영역의 픽셀의 원래 값이 부호화된다.

4. 텍스쳐 또는 공백 영역의 예측 에러의 부호화

원 텍스쳐 및 예측 에러는 다음과 같은 원리에 의해 동일한 부호화가 이루어진다:

최초 삼각 메싱은, 부호화되는 영역의 예측을 위해 유지되는 Tr 메싱 이동으로부터 정의될 수 있다. 이 최초 메싱을 얻는 방법이 이하 설명된다.

상기 텍스쳐는 다음 중의 선택에 따라 각 메시 상에서 예측될 수 있다:

- 높은 빈도수를 갖는 메시는 이산 코사인 변환(DCT)에 기반하여 부호화된다.

- 보다 부드러운 메시는 종료된 요소의 정확한 모델을 사용하여 부호화된다.

다시 말하면, 계층적인 방법이 메싱을 통한 표시를 부호화하는 비용을 감소시킨다.

이러한 방법은, 메시의 비정상적인 압축해제가 발생시키는 영상 컨텐츠의 국소적인 적용을 가능하게 하는 반면, 유지되는 메시의 일반적인 계층적 구조에 관한 부호화의 비용을 감소시킨다.

상기 영역의 두꺼운 최초 메싱으로부터, 메시는 주어진 계층까지 4개의 삼각 하위 메시로 분할된다.

최종 계층 상에서, 예측 에러의 감소를 가져올 수 있는 경우, 2개의 인접한삼각형에 의해 생성되는 사각형의 대각선의 선택적인 변환이 실행된다.

4.1 공백 영역 상의 텍스쳐 메싱의 초기화

고려되는 영역에서 변환이 발생하기 이전에, 이 메싱은 최종 T_r층(유지되는 방향에 따른 T_k또는 T_k+1의 이동으로부터 발생하는 메싱)에 의해 간단하게 주어진다. 그러므로, 텍스쳐 메싱이 이동 메싱에서 추출되기 때문에, 상기 이동 메싱으로 자연스럽게 삽입되는 텍스쳐 메싱이 얻어진다.

4.2 삼각형 상의 텍스쳐를 위해 사용된 표시

다음의 두가지 표시 방법이 결합된다: 아핀(affine) 보간법 및 삼각 4 이산 코사인 변환

아핀 보간법

삼각 메싱 노드는 광도(photometric)(색, 에러) 정보 및 산각형 내부의 점을 위한 보간법은 아핀 보간법이라 불리우는 라그랑지(Lagrange) 종료 요소에 의해 수행된다.

세 개의 노드,(l=i,j,k)에 의해 정의되는 삼각형 ei,j,k의 내부의 점의값은 다음 식에 의해 제공된다:

상기 식에서(l=i,j,k)는 상기 점의 중심좌표값을 나타낸다.

는 상기 점의 Y, U 또는 V의 광도 요소 중의 하나이거나 상기 요소의 예측 에러일수 있다.

몇몇 방법 특히, 보다 작은 사각형의 방법은 노드 값을 계산하는데 사용될 수 있다.

삼각형에서의 이산 코사인 변환(DCT)

본 방법의 원리는 임의의 삼각형을 직각 이등변 삼각형으로 변환하는데 있다. 이 삼각형의 면적은 대칭 정방 행렬을 제공하기 위해 빗변에 대하여 대칭적으로 나타난다(도 4 참조).

전통적인 이산 코사인 변환(정방형)은 상기 행렬에 적용된다. 변환된 행렬 또한 정방형일 수 있다. 단지 하부 삼각형의 계수는 수량화되고 이어 통계적으로 부호화(엔트로픽(entropic) 부호화)된다.

도 4는 다음과 같은 다양한 단계의 과정을 도시한다: 삼각형 T의 선택, 삼각형 T를 직각 이등변 삼각형 T'로 아핀 변환. 아핀 변환을 실행하였으나, 상기 삼각 픽셀은 더 이상 일반 직교 그래프 상에 위치하지 않고, 상기 기준 삼각형 내부에광도값을 재샘플링하는 것을 추천한다. 이를 위해, 보간법을 이용하여 이미지의 이동 보상을 위한 과정(아핀 변환이 진행되는 동안)과 유사한 과정(예를 들면 쌍일차 방정식(bilinear))이 이용된다.

상기 아핀 변환 F 및 그 역변환 F^-1은 다음 방정식에 의해 정의된다:

삼각형 T'의 광도값 M(i,j)(T'와 대칭적으로 표시된 블록 M의)은 역변환 F^-1에 이은 부호화하기 위한 영상 텍스쳐의 Γ보간법에 의해 얻어진다:

상기 식에서, M(i_Y,j_X) 계수는 변환된 P(x,y)가 F-1(Q)일 때, 점 Q(X,Y)에서의 값이다.

I_Γ은 잠재적으로 비 정수인 좌표의 점에서 영상 값을 계산하는데 사용되는 보간기(interpolator)를 나타낸다.

Γ텍스쳐의 제생성값은 다음 식으로 주어진다:

상기 식에서 I_Γ는 M의 수량화된 형태인 블록 값 M'로부터 보간법이 실행된 텍스쳐를 나타낸다.

이 기술은 0이 아닌 삼각형 영역만 적용될 수 있다. 그러나, 정의에 의해, 이런 형식의 삼각형은 텍스쳐 부호화가 필요없다.

SADCT(이산 코사인 변환이 정용된 형태)에서는 반대로, 역변환 이후에 수량화를 하지 않더라도, 이러한 변환이 완벽한 재생성을 보장하지 않는다.

재생성 에러를 감소시키기 위해, 스케일 요소 α가 삼각형 I에 대한 블록 M_i를 계산하기 위해 도입된다:

·상기 식에서 E는 초과에 의해 완성된 부분이며,

·A_i는 삼각형 i의 영역이다.

사실, α=1은, 이등변 삼각형에 가까운 삼각형에 대해 보다 효과적인 흥미로운 절충안을 제공한다. α<1은 정보 부피를 압축하는 수량화 단계에 결합되어 사용된다.

블록 M_i가 각 삼각형에 대해 한정되면, 전통적인 이산 코사인 변환이 제공되고, 변환된 계수는 일정한 스칼라 수량화 또는 변환된 계수의 빈도수를 갖는 증가하는 수량화와 같은 소정의 가능한 처리를 통해 수량화된다. 또한, 잘알려진 MPEG 또는 JPEG 수량화 행렬이 가능하다.

이산 코사인 변환은 다음과 같이 표현된다:

정의에 의한 f(i,j)=f(j,i) (∀u,v,i,j=0,…,N-1)이므로, F(u,v)=F(v,u)의 관계가 나타난다.

결과적으로, 단지 변환된 행렬의 보다 낮은 부분의 계수만 계산하는 것으로 충분하다.

4.3 텍스쳐의 전체 부호화

상술한 바와 같이, 주어진 계층의 각 삼각형을 4개의 하위 삼각형으로 분할하고 그 변의 중간에 노드를 삽입함으로써 얻어지는 일정한 계층구조 메싱이 사용된다. 이 과정은 최고층에 이를 때까지 반복된다. 이러한 산각 계층은 또한 4갈래의 트리 형태로 부호기에 의해 나타나고 관리된다(도 5참조). 단지 부호화를 위한 영역에 포함되는 삼각형이 사용된다는 점을 주의해야 한다. 기본 최초 메싱의 형성과정은, 부호화를 위한 영역에 속하는 모든 메싱 계층을 보장한다.

공백 영역을 메싱하여 이루어지는 부호화 과정은 다음과 같이 요약될 수 있다:

1. 삽입된 계층적 메싱은, 일반적인 최초 메싱을 생성하고, 이어 반복적으로 4개의 하위 삼각형으로 분할하며 변의 중간에 새로운 노드를 삽입함으로써 부호화하기 위한 영역에서 정의된다.

2. 픽셀 값은, 노드 값을 사용하는 픽셀을 포함하는 삼각형에, 아핀 보간법을 사용하여 함께 근접하여 변동된다.

계층에서 각 삼각형에 대하여, 예측 에러 E가 계산되고, 이어 다양한 표시 및 부호화 방법들이 두 개의 문턱값 σ₁, σ₂에 기반하여 결정된다:

1. E<σ₁이면, 삼각형 상의 아핀 보간법은 충분하다.

2. σ₁<E<σ₂이면, 삼각형의 가장 얇은 분해가, 항상 아핀 보간법을 사용한 양호한 예측을 얻기 위해 사용된다.

3. E>σ₂이면, 삼각형은 텍스쳐화 되고, 아핀 보간법 에러는 이산 코사인 변환을 이용하여 부호화된다.

마지막으로, 가장 얇은 메싱에서, 두 개의 인접한 삼각형에 의해 형성되는 사변형의 대각선의 변형에 으해 생성되는 에러의 감소가 테스트된다. 긍정적인 결과가 나오면, 이 변환은 유효하다.

다른 삼각형에 대해 선택된 부호화 방법에 따르면, 다음의 방법으로 다양한데이터가 부호화된다.

YUV 노드 값은 근원 노드(현재 노드가 삽입되는 변의 끝)의 값을 사용하여 예측되는 최초의 값이다. 노드값과 그 예측되는 노드값이 차이는 수량화의 차이이다.

끝으로, 네갈래의 트리 구조(삼각형의 분할 및 비분할 지시자를 포함하는), 대각선 변환 지시자, YUV의 차등 노드 값 및 수량화된 이산 코사인 변환 계수는 연산 부호기를 사용하여 부호화된고 이진 문자열에 삽입된다.

5. 메싱에 의해 부호화된 프레임의 이진 흐름에서의 부호화된 정보의 요약

N_k+1와 N_k+1-1 사이의 메싱 모드(여기서, N_k와 N_k+1는 선행 및 후속 프레임이며, 각각 MPEG모드로 부호화됨)에서 부호화된 각 그룹의 프레임은 전체적으로 이진 흐름으로 표시된다.

상기 인출된 데이터는 부호화된 형식에서,

부호화된 프레임의 실수(real number)을 포함한, 프레임 그룹 세트에 대한 헤더;

이동 메싱(노드의 구조와 이동벡터) T^b _k와 T^f _k+1; 및,

상기 그룹의 각 화상에 대한 예측 또는 원래 에러텍스쳐(error texture)를 포함한다.

6. 이진 문자열의 전체 구조

전체 이진 문자열은 도 8에 도시된 바와 같이 MPEG 모드로 부호화된 연속 프레임과 메싱모드로 부호화된 프레임 그룹을 포함한다.

부호회된 시퀀스를 나타내는 이진 문자열의 전체 헤더는 하이브리드 부호화(hybrid encoding)의 지시를 포함한다.

상기 이진 문자열 중 메싱 모드로 부호된 프레임 그룹에 해당하는 부분은 실제 부호화된 프레임의 수를 나타내는 헤더(0일 수도 있음)로 시작된다.

상기 부호화된 시퀀스의 전체 헤더, MPEG으로 부호화된 영상 및 보간법 메싱모드로 부호화된 i개 영상의 그룹에 해당하는 각각의 다양한 데이터 흐름(이진 문자열)은 필요에 따라 다른 독립된 경로를 통해 전송될 수 있다. 특히, 부호화 과정은 시퀀스의 계층적(또는 스케일러블(scalable)) 부호화를 허용한다. 즉 복호화시에 총 비트속도의 단지 일부만을 이용할 수 있다.

7. 복호화 과정

도 9는 복호화원리의 개요를 제공한다.

우선, 상기 헤더 복호화로 하이브리드 복호화가 활성될 수 있다.

이어, 상기 복호기는 독립 엔티티에 해당하는, 2진 문자열의 각 부분에 대해 그 부분이 MPEG-4로 부호화된 프레임인지 또는 메싱으로 부호화된 프레임 그룹인지를 인식한다.

MPEG-4 프레임은 MPEG-4 복호화 프레임 모듈에 제공되며, 상기 메싱 모드로 부호화된 프레임 그룹은 메싱을 통해서 상기 복호화 모듈에 제공된다.

7.1 메싱기반 복호화

우선, 상기 N_k<1<N_k+1인 영상그룹 I₁에 대한 T^b _k와 T^f _(k+1)이동 메싱을 복호화한다.

다음으로, 상기 인코더와 동일한 절차에 따라서, 상기 영상에 대한 공백를 검색한다.

이어, 상기 공백외의 픽셀은 영상 I_Nk및 I_Nk+1와 이동필드T^b _k및 T^f _(k+1)를 이용하여 간단히 보간될 수 있다.

상기 인코더 절차와 동일한 절차에 따라서, 각 공백영역에 대해 가장 두꺼운 텍스쳐(계층의 상부)의 메싱을 검색한다.

따라서, 동일한 계층 메싱에 관련된 정보(삼각 분할 지시자, 어핀 보간법 결정 또는 이산 코사인 변환 인코딩, 미분노드의 YUV값과 양자화 이산 코사인 변환 계수)는 복호화되고 이 영역의 픽셀 YUV 값은 재생성된다.

본 발명은, 다양한 영역의 응용분야를 가지며, 특히 디지털 TV와, IP 네트워크를 통한 실시간 비디오와, 모바일 네트워크를 통한 실시간 비디오와, 영상 데이터 저장을 포함하는 그룹에 속하는 영역에서 응용분야를 갖는다. 본 발명의 다른 특징과 효과는, 간단한 설명, 본 발명을 한정하지 않는 예시 및 첨부된 도면을 통해 제공되는 본 발명의 바람직한 실시예에 대한 상세한 설명을 통해 보다 명백해질 것이다.

Claims

샘플이 되는 적어도 하나의 영상의 연속에 의해 분리된 두 영상 I_T1및 I_T2를 선택하는 단계;

영상 부호화의 제1 모드를 통해 상기 연속 영상의 경계를 정하고 영상의 광도 표시를 현저히 최적화하는 상기 I_T1및 I_T2를 부호화하는 단계;

이동 벡터에 영향을 주는 노드로 이루어진 메시에 의해 표현된 적어도 하나의 이동 벡터의 필드에 대한 결정을 기초로, 적어도 두 영상 사이의 이동 표시를 최적화하는 영상 부호화의 제2 모드를 통해 상기 연속 영상의 각 영상을 부호화하여 각 영상이 오직 하나의 부호화 모드에 따라 부호화되도록 하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1항에 있어서,

상기 부호화 모드 중 하나에 대한 선택을 표시하는 한 편의 정보는,

부호화 및 복호화 레벨에서 알려진 사전 정의된 선택;

부호화된 영상 데이터 중 적어도 일부를 갖는 데이터 흐름에 포함된 선택에 대한 한 편의 표시 정보;

부호화된 영상 데이터와 관련 없는 데이터 흐름에 포함된 선택에 대한 한 편의 표시 정보; 및

복호기에 의한 고유한 방법을 통한 상기 선택의 결정; 을 포함하는 그룹에 속한 적어도 하나의 기법에 따라 복호기에 알려진 것을 특징으로 하는 부호화 방법.
제 1항 및 제 2항에 있어서,

영상의 광도 표시를 실질적으로 최적화하는 제1 부호화; 및

적어도 두 영상 사이의 이동의 표시를 실질적으로 최적화하는 제2 부호화; 중에서 상기 영상에 적용되는 부호화 모드를 선택하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.
제 3항에 있어서, 상기 제2 부호화는,

상기 제1 부호화를 이용하여 부호화된 적어도 하나의 선행 영상 및/또는 적어도 하나의 다음 영상을 고려하는 것을 특징으로 하는 부호화 방법.
제 4항에 있어서, 상기 제2 부호화는,

상기 제1 부호화를 이용하여 부호화된 직전의 영상으로부터 계산된 이동 벡터 필드 및/또는 상기 제1 부호화를 이용하여 부호화된 직후의 영상으로부터 계산된 이동 벡터 필드를 고려하는 것을 특징으로 하는 부호화 방법.
제 5항에 있어서,

상기 이동 벡터 필드는 메싱에 적용되는 것을 특징으로 하는 부호화 방법.
제 5항 및 제 6항에 있어서,

상기 이동 벡터 필드는 상기 제2 부호화를 이용하여 부호화된 영상과 관련된, 추론된 이동 벡터 필드를 결정하는데 이용되는 것을 특징으로 하는 부호화 방법.
제 5항 내지 제 7항에 있어서,

상기 제2 부호화는 I_T1영상 및 I_T2이후의 영상 사이의 선행 이동을 예측하며, [t1,t2]에 속한 m을 갖는 적어도 하나의 Im1에서 보간법을 실행하기 위하여 스칼라 값 k=m/(t1+t2)(0<k<1) 만큼의 가중치가, 변환을 발생시키지 않고 상기 이동의 예측 동안에 획득된 이동 벡터에 부여되는 이동 보상과정을 수행하는 것을 특징으로 하는 부호화 방법.
제 5황 내지 제 7항에 있어서,

상기 제2 부호화는 It2 영상 및 It1 이전의 영상 사이의 후행 이동을 예측하며, t1,t2]에 속한 m을 갖는 적어도 하나의 Im2에서 보간법을 실행하기 위하여 스칼라 값 k'=1-m/(t1+t2)(0≤k'≤1) 만큼의 가중치가, 변환을 발생시키지 않고 상기 이동의 예측 동안에 획득된 이동 벡터에 부여되는 이동 보상 위상을 수행하는 것을특징으로 하는 부호화 방법.
제 8항 및 제 9항에 있어서,

0<a<1을 갖는 Im=aE1+(1-a)E2와 같이 예측된 Im 영상을 획득하기 위하여, 후행 예측 및 선행 예측을 수행하는 것을 특징으로 하는 부호화 방법.
제 3항 내지 제 10항에 있어서,

상기 선택 위상은 N개의 고정 팩터 부샘플링의 실행에 기초하고 상기 N개 중 하나의 영상은 상기 제1 부호화를 이용하여 부호화된 것을 특징으로 하는 부호화 방법.
제 11항에 있어서,

N은 2보다 큰 것을 특징으로 하는 부호화 방법.
제 11항 및 제 12항에 있어서,

N은 변수인 것을 특징으로 하는 부호화 방법.
제 3항 내지 제 11항에 있어서,

상기 제1 부호화는 영상 블록 및 블록에 의한 시간축 상의 예측에 대한 변환을 실행하는 것을 특징으로 하는 부호화 방법.
제 14항에 있어서,

상기 제1 부호화는 MPEG-4 또는 H26L 부호화인 것을 특징으로 하는 부호화 방법.
제 15항에 있어서,

상기 MPEG-4 또는 H26L 부호화에 의해 획득된 이미지는 I 타입(intera) 및/또는 P 타입(predictable) 영상을 포함하는 것을 특징으로 하는 부호화 방법.
제 3항 내지 제 16항에 있어서,

상기 제2 부호화는 M 레벨 계층적 메싱에 기초하며, 상기 M은 1 이상인 것을 특징으로 하는 부호화 방법.
제 17항에 있어서,

상기 메싱은 삼각형인 것을 특징으로 하는 부호화 방법.
제 17항 및 제 18항에 있어서,

폐쇄 영역의 관리 위상을 포함하는 것을 특징으로 하는 부호화 방법.
제 1항 내지 제 19항에 있어서,

분리된 전송 경로로 전송될 수 있는 적어도 두 개의 데이터 흐름을 생성하는 것을 특징으로 하는 부호화 방법.
제 20항에 있어서, 상기 데이터 흐름은,

전체 헤더;

상기 제1 부호화에 따라 부호화된 영상 데이터; 및

상기 제2 부호화에 따라 부호화된 영상 데이터; 를 포함하는 그룹에 속하는 것을 특징으로 하는 부호화 방법.
제 1항 내지 제 21항에 기재된 부호화 방법을 이용하여 부호화된 영상 신호를 복호화하는 방법.
제 1항 내지 제 21항에 기재된 부호화 방법을 이용하여 부호화된 영상 신호를 부호화하는 장치.
제 1항 내지 제 21항에 기재된 부호화 방법을 이용하여 부호화된 영상 신호를 복호화하는 장치.
제 24항에 있어서,

부호화 동안 실행된 부분과 유사한, 벡터 필드의 적어도 일 부분 및/또는 폐쇄 영역의 적어도 일 부분을 결정하는 수단을 포함하는 것을 특징으로 하는 복호화 장치.
제 1항 내지 제 21항에 기재된 부호화 과정을 이용하여 부호화된 적어도 하나의 영상 신호를 갖는 저장장치.
제 1항 내지 제 17항에 기재된 부호화 과정을 이용하여 부호화된 영상 신호를 부호화, 전송 및/또는 복호화하는 시스템.
제 27항에 있어서,

상기 부호화 모드 중 하나에 대한 선택을 고려하는 한 편의 정보는,

부호화 및 복호화 레벨에 알려진 사전 정의된 선택;

부호화된 영상 데이터의 적어도 일부를 갖는 데이터 흐름에 포함된 선택에 대한 한 편의 표시 정보;

부호화된 영상 데이터와는 관련 없는 데이터 흐름에 포함된 선택에 대한 한 편의 표시 정보; 및

복호기에 의한 고유한 방법을 통한 상기 선택의 결정;

을 포함하는 그룹에 속한 기술 중 적어도 하나에 따른 상기 복호기에 알려진 것을 특징으로 하는 시스템.
제 1항 내지 제 21항에 기재된 부호화 방법을 이용하여 부호화된 영상 신호를 부호화 및/또는 복호화하는 컴퓨터 프로그램 제품.
제 1항 내지 제 21항에 기재된 부호화 방법을 이용하여 부호화된 영상 신호를 부호화 및/또는 복호화하는 컴퓨터 프로그램을 호스팅하는 데이터 미디어.
제 1항 내지 제 21항에 기재된 과정에 따라 부호화된 데이터를 포함하는 영상 데이터 신호.
제 31항에 있어서,

제 1항 내지 제 21항에 기재된 방법이 활성화되는지 또는 아닌지를 표시하는 적어도 하나의 지시자를 포함하는 것을 특징으로 하는 영상 데이터 신호.
제 31항 및 제 32항에 있어서,

비디오 시퀀스의 시작 및/또는 각 신호 프레임에서 프레임 구조를 표시하는 데이터 요소를 포함하는 것을 특징으로 하는 영상 데이터 신호.
제 31항 내지 제 33항에 있어서,

상기 제2 부호화를 이용하여 부호화된 시퀀스는 상기 제2 부호화에 따라 부호화된 프레임의 개수를 나타내는 헤더로 시작하는 것을 특징으로 하는 영상 데이터 신호.
제 31항 내지 제 34항에 있어서,

분리된 전송 경로로 전송될 수 있는 적어도 두 개의 데이터 흐름을 포함하는 것을 특징으로 하는 영상 데이터 신호.
제 35항에 있어서,

상기 데이터 경로는,

전체 헤더;

상기 제1 부호화에 따라 부호화된 영상 데이터; 및

상기 제2 부후화에 따라 부호화된 영상 데이터; 를 포함하는 그룹에 속하는 것을 특징으로 하는 영상 데이터 신호.
디지털 TV;

IP 네트워크를 통한 실시간 비디오;

모바일에 대한 네트워크를 통한 실시간 비디오; 및

영상 데이터 저장; 을 포함하는 그룹에 속한 도메인 중 적어도 하나에 대한 제 1항 내지 제 21항에 기재된 부호화 방법의 애플리케이션.