KR100703774B1

KR100703774B1 - 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치

Info

Publication number: KR100703774B1
Application number: KR1020050053661A
Authority: KR
Inventors: 차상창; 한우진
Original assignee: 삼성전자주식회사
Priority date: 2005-04-13
Filing date: 2005-06-21
Publication date: 2007-04-06
Also published as: US20060233250A1; KR20060109241A

Abstract

본 발명은 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치에 관한 것이다.

본 발명의 일 실시예에 따른 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 인코딩하는 방법은 다계층 기반의 비디오 인코더에서 입력 프레임과 상기 입력 프레임에서 산출된 기초 계층 프레임을 차분하여 잔차 신호를 구하는 단계, 상기 잔차 신호를 인트라 코딩 방식으로 변환하는 단계, 및 상기 변환된 잔차 신호를 포함하는 향상 계층 프레임을 생성하는 단계를 포함한다.

비디오 압축, 다계층, 인트라 BL 예측, 인트라 예측, 하다마드 변환, 인코딩, 디코딩

Description

인트라 코딩을 선택적으로 적용하여 인트라 ＢＬ 예측 모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치{Method and apparatus for encoding and decoding video signal using intra baselayer prediction mode applying selectively intra coding}

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱을 보여주는 도면이다.

도 2는 상기 3가지 예측 방법을 설명하는 개략도이다.

도 3은 상기 3가지 예측 방법 중 인트라BL 예측을 하는 경우를 보여주는 도면이다.

도 4는 본 발명의 일 실시예에 따른 인트라 BL 예측에 의한 매크로블록을 인트라 예측에서의 인코딩 방법을 적용한 경우를 보여주는 개념도이다.

도 5는 본 발명의 일 실시예에 따른 인트라 BL 예측에 의한 매크로블록을 인트라 예측에서의 디코딩 방법을 적용한 경우를 보여주는 개념도이다.

도 6은 본 발명의 일 실시예에 따른 비디오 인코더의 구조를 보여주는 예시도이다.

도 7은 본 발명의 일 실시예에 따른 비디오 디코더의 구조를 보여주는 예시도이다.

도 8은 본 발명의 일 실시예에 따른 비디오 신호를 인코딩하는 과정을 보여주는 순서도이다.

도 9는 본 발명의 일 실시예에 따른 비디오 신호를 디코딩하는 과정을 보여주는 순서도이다.

도 10은 본 발명의 일 실시예에 따른 인트라 BL 예측시 본 발명의 방식이 적용됨을 나타내기 위한 비트 설정 단위를 보여주는 예시도이다.

<도면의 주요 부분에 대한 부호의 설명>

152 : 변환 계수를 하다마드 변환 시킨 결과

400 : 향상계층 인코더 420 : 변환부

700 : 향상계층 디코더 730 : 역변환부

본 발명은 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 매크로블록을 인코딩 및 디코딩하는 방법 및 장치에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

데이터의 중복을 제거한 후 생성되는 멀티미디어를 전송하기 위해서는, 전송매체가 필요한데 그 성능은 전송매체 별로 차이가 있다. 현재 사용되는 전송매체는 초당 수십 메가비트의 데이터를 전송할 수 있는 초고속통신망부터 초당 384 kbit의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. 이와 같은 환경에서, 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어를 전송할 수 있도록 하는, 즉 스케일러블 비디오 코딩(scalable video coding) 방법이 멀티미디어 환경에 보다 적합하다 할 수 있다. 한편, 멀티미디어를 재생시 재생하는 기기의 크기 또는 기기의 특징에 따라 화면이 4:3 비율 또는 16:9 비율 등 크기가 다양해질 수 있다.

이러한 스케일러블 비디오 코딩이란, 이미 압축된 비트스트림(bit-stream)에 대하여 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라 상기 비트스트림의 일부를 잘라내어 비디오의 해상도, 프레임율, 및 비트율(bit-rate) 등을 조절할 수 있게 해주는 부호화 방식을 의미한다. 이러한 스케일러블 비디오 코딩에 관하여, 이미 MPEG-4(moving picture experts group-21) Part 10에서 그 표준화 작업을 진행 중에 있다. 이 중에서도, 다 계층(multi-layered) 기반으로 스케일러빌리티를 구현하고자 하는 많은 노력들이 있다. 예를 들면, 기초 계층(base layer), 제1 향상 계층(enhanced layer 1), 제2 향상 계층(enhanced layer 2)의 다 계층을 두어, 각각의 계층은 서로 다른 해상도(QCIF, CIF, 2CIF), 또는 서로 다른 프레임율(frame-rate)을 갖도록 구성할 수 있다.

하나의 계층으로 코딩하는 경우와 마찬가지로, 다 계층으로 코딩하는 경우에 있어서도, 각 계층별로 시간적 중복성(temporal redundancy)를 제거하기 위한 모션 벡터(motion vector; MV)를 구할 필요가 있다. 이러한 모션 벡터는 각 계층마다 별도로 검색하여 사용하는 경우(전자)가 있고, 하나의 계층에서 모션 벡터 검색을 한 후 이를 다른 계층에서도 사용(그대로 또는 업/다운 샘플링하여)하는 경우(후자)도 있다. 전자의 경우는 후자의 경우에 비하여 정확한 모션 벡터를 찾음으로써 얻는 이점과, 계층 별로 생성된 모션 벡터가 오버 헤드로 작용하는 단점이 동시에 존재한다. 따라서, 전자의 경우에는 각 계층 별 모션 벡터들 간의 중복성을 보다 효율적으로 제거하는 것이 매우 중요한 과제가 된다.

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱을 보여주는 도면이다. 먼저 기초 계층을 QCIF(Quarter Common Intermediate Format), 15Hz(프레임 레 이트)로 정의하고, 제1 향상 계층을 CIF(Common Intermediate Format), 30hz로, 제2 향상 계층을 SD(Standard Definition), 60hz로 정의한다. 만약 CIF 0.5Mbps 스트림(stream)을 원한다면, 제1 향상 계층의 CIF_30Hz_0.7M에서 비트율(bit-rate)이 0.5M로 되도록 비트스트림을 잘라서 보내면 된다. 이러한 방식으로 공간적, 시간적, SNR 스케일러빌리티를 구현할 수 있다.

도 1에서 보는 바와 같이, 동일한 시간적 위치를 갖는 각 계층에서의 프레임(예: 10, 20, 및 30)은 그 이미지가 유사할 것으로 추정할 수 있다. 따라서, 하위 계층의 텍스쳐로부터(직접 또는 업샘플링 후) 현재 계층의 텍스쳐를 예측하고, 예측된 값과 실제 현재 계층의 텍스쳐와의 차이를 인코딩하는 방법이 알려져 있다. "Scalable Video Model 3.0 of ISO/IEC 21000-13 Scalable Video Coding"(이하 "SVM 3.0"이라 함)에서는 이러한 방법을 인트라 BL 예측(Intra_BL prediction)이라고 정의하고 있다.

이와 같이, SVM 3.0에서는, 기존의 H.264에서 현재 프레임을 구성하는 블록 내지 매크로블록에 대한 예측을 위하여 사용된 인터 예측(inter prediction) 및 방향적 인트라 예측(directional intra prediction)이외에도, 현재 블록과 이에 대응되는 하위 계층 블록 간의 연관성(correlation)을 이용하여 현재 블록을 예측하는 방법을 추가적으로 채택하고 있다. 이러한 예측 방법을 "인트라 BL(Intra_BL) 예측"이라고 하고 이러한 예측을 사용하여 부호화하는 모드를 "인트라 BL 모드"라고 한다.

도 2는 상기 3가지 예측 방법을 설명하는 개략도로서, 현재 프레임(11)의 어 떤 매크로블록(14)에 대하여 인트라 예측을 하는 경우(①)와, 현재 프레임(11)과 다른 시간적 위치에 있는 프레임(12)을 이용하여 인터 예측을 하는 경우(②)와, 상기 매크로블록(14)과 대응되는 기초 계층 프레임(13)의 영역(16)에 대한 텍스쳐 데이터를 이용하여 인트라 BL 예측을 하는 경우(③)를 각각 나타내고 있다.

이와 같이, 상기 스케일러블 비디오 코딩 표준에서는 매크로블록 단위로 상기 세가지 예측 방법 중 유리한 하나의 방법을 선택하여 이용한다.

도 3은 상기 3가지 예측 방법 중 인트라BL 예측을 하는 경우를 보여주는 도면이다. 기초 계층 프레임의 매크로블록(22)을 참조하여 코딩하므로, 원본 매크로블록(21)과 기초 계층 프레임의 매크로블록(22)의 차분에 의한 잔차 신호로 구성된 매크로블록(24)을 인코딩한다. 이 경우, 매크로블록을 구성하는 서브블록들 각각의 잔차 신호를 구하게 된다. 이는 두 프레임 사이의 잔차를 구한다는 점에서 인터 코딩의 방식과 유사하다. 즉, 도 3에서 원본 매크로블록(21)의 서브블록(25)과 기초 계층 프레임의 매크로블록(22)의 서브블록(26)간의 차분에 의한 잔차 신호는 인트라BL 예측을 사용하는 매크로블록(24)의 서브블록(28)을 구성한다.

그런데, 인트라 BL 예측을 사용하는 매크로블록(24)의 서브블록들은 하나의 매크로블록 내에 존재하므로, 서브블록들의 잔차 신호에는 일정한 유사성을 가지게 된다. 따라서, 동일한 매크로블록 내에서의 차분을 구하는 인트라 BL의 경우 서브블록간의 잔차 신호의 유사성을 이용하여 압축 효율을 높이는 방법과 장치가 필요하다.

본 발명의 기술적 과제는 인트라 BL 예측으로 코딩되는 매크로블록 내의 서브블록들의 정보들에 존재하는 유사성을 이용하여 압축율을 높이는 데 있다.

본 발명의 다른 기술적 과제는 비디오 정보를 인트라 BL 모드로 압축시 인트라 예측의 방식을 적용하여 압축율을 높이는데 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 디코딩하는 방법은 다계층 기반의 비디오 디코더에서 기초 계층 프레임과 향상 계층 프레임을 수신하는 단계, 상기 향상 계층 프레임의 잔차 신호가 인트라 코딩된 경우 역변환하는 단계, 및 상기 역변환된 잔차 신호와 상기 기초 계층 프레임의 영상 신호를 가산하여 복원하는 단계를 포함한다.

본 발명의 일 실시예에 따른 인코더는 입력 프레임에서 기초 계층 프레임을 생성하는 기초 계층 인코더, 및 상기 입력 프레임에서 향상 계층 프레임을 생성하는 향상 계층 인코더를 포함하며, 상기 향상 계층 인코더는 향상 계층 프레임의 매크로블록을 생성시 상기 향상 계층 프레임의 매크로블록에 대응하는 기초 계층 프레임의 매크로블록과 상기 입력 프레임의 매크로블록과의 잔차 신호를 인트라 코딩하는 변환부를 포함한다.

본 발명의 일 실시예에 따른 디코더는 기초 계층 프레임을 복원하는 기초 계층 디코더, 및 향상 계층 프레임을 복원하는 향상 계층 디코더를 포함하며, 상기 향상 계층 디코더는 향상 계층 프레임의 매크로블록을 복원시 상기 매크로블록의 잔차 신호가 인트라 코딩된 경우, 역변환하여 상기 역변환된 잔차 신호와 상기 복원된 기초 계층 프레임의 영상 신호를 가산하여 영상 신호를 복원하는 역변환부를 포함한다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다

이하, 본 발명의 실시예들에 의하여 인트라 코딩을 선택적으로 적용하여 인 트라 BL 예측 모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치를 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

도 4는 본 발명의 일 실시예에 따른 인트라 BL 예측에 의한 매크로블록을 인트라 예측에서의 인코딩 방법을 적용한 경우를 보여주는 개념도이다. 인트라 BL 예측에 의한 매크로블록의 코딩은 도 3에서 살펴본 것과 같이, 원본 비디오 프레임의 매크로블록(101)과 기초계층 프레임의 매크로블록(102)간의 차분을 토대로 향상 계층 프레임의 매크로블록(106)을 생성한다. 여기서 각각의 서브블록들은 정보를 압축하기 위해 변환하게 된다. 서브블록을 구성하는 영상 신호 또는 잔차 신호는 DCT 변환(Discrete Cosine Transform), 웨이블릿 변환(Wavelet Transform), 하다마드 변환(Hadamard Transform), 푸리에 변환(Fourier Transform)등의 방식으로 압축하여 변환할 수 있다. 도 4의 예에서는 각각의 서브블록들이 DCT 변환을 수행하는 경우를 보여준다. DCT 변환을 수행하기 위해서는 각 서브블록에서 왼쪽 상측에 DC 성분을 구하고, 이에 따라 AC 성분을 구한다. 서브블록의 DC 성분은 서브블록의 특성이라 할 수 있다. 그런데, 인트라 BL 예측에 의한 매크로블록(105)의 경우, 원본 비디오 프레임의 매크로블록(101)과 기초 계층 프레임의 매크로블록(102)의 차분으로 이루어지며, 그 결과 매크로블록(105)내의 서브블록들은 유사한 정보값을 가지게 된다. 따라서 서브블록(51, 52, 53, ...)들의 DC 성분 사이에도 유사성이 존재 한다. 따라서 인트라 모드 방식에서 적용한 인트라 코딩과 같이 이러한 DC 성분을 151과 같이 취합하여 이들간의 유사성을 제거하여 압축할 수 있다. 도 4에 나타난 바와 같이, 하다마드(Hadarmad) 변환을 적용하여 DC 성분들을 새로이 압축한 결과는 152와 같다.

DC 성분의 구성인 151과 이에 대한 AC 성분으로 매크로블록(105)을 구성하여 인코딩 결과로 보내는 것에 비해, 501보다 압축된 데이터인 152를 보내는 것이 압축율이 높다.

도 5는 본 발명의 일 실시예에 따른 인트라 BL 예측에 의한 매크로블록을 인트라 예측에서의 디코딩 방법을 적용한 경우를 보여주는 개념도이다. 도 4에서 생성한 DC 성분을 하다마드 변환을 통해 압축한 152를 다시 역하다마드변환(Inverse Hadamard Transform)을 통해 DC 성분들을 복원한다. 복원한 DC 성분들(155)과 AC 성분(157)을 결합시켜 매크로블록(205)을 생성한다. 이 매크로블록(205)은 인트라 BL 모드의 매크로블록이므로, 기초계층의 매크로블록(202)과 더해서 영상으로 출력할 매크로블록(201)을 복원할 수 있다.

본 실시예에서 사용되는 '~부'라는 용어, 즉 '~모듈' 또는 '~테이블' 등은 소프트웨어, FPGA(Field Programmable Gate Array) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 기능들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있 다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

도 6은 본 발명의 일 실시예에 따른 비디오 인코더의 구조를 보여주는 예시도이다. 도 6 및 후술하는 도 7의 설명에서는 하나의 기초 계층과 하나의 향상 계층을 사용하는 경우를 예로 들겠지만, 더 많은 계층을 이용하더라도 하위 계층과 현재 계층 간에는 본 발명을 적용할 수 있음은 당업자라면 충분히 알 수 있을 것이다.

상기 비디오 인코더(500)는 크게 향상 계층 인코더(400)와 기초 계층 인코더(300)로 구분될 수 있다. 먼저, 기초 계층 인코더(300)의 구성을 살펴 본다.

다운 샘플러(310)는 입력된 비디오를 기초 계층에 맞는 해상도와 프레임율, 또는 비디오 영상의 크기에 따라 다운 샘플링한다. 해상도면에서의 다운 샘플링은 MPEG 다운 샘플러나 웨이블릿 다운샘플러를 이용할 수 있다. 그리고, 프레임율 면에서의 다운 샘플링은 프레임 스킵 또는 프레임 보간 등의 방법을 통하여 간단히 수행될 수 있다. 비디오 영상의 크기에 따른 다운 샘플링은 원래 입력된 비디오가 16:9이어도 4:3으로 보여지도록 하는 것을 의미한다. 비디오 정보에서 경계 영역에 해당하는 정보를 제거하거나 비디오 정보를 해당 화면 크기에 맞게 축소하는 방식을 사용할 수 있다.

모션 추정부(350)는 기초 계층 프레임에 대해 모션 추정을 수행하여 기초 계층 프레임을 구성하는 파티션 별로 모션 벡터(mv)를 구한다. 이러한 모션 추정은 프레임 버퍼에 저장된 이전의 참조 프레임(Fr')상에서, 현재 프레임(Fc)의 각 파티션과 가장 유사한, 즉 가장 에러가 작은 영역을 찾는 과정으로서, 고정 크기 블록 매칭 방법, 또는 계층적 가변 사이즈 블록 매칭 등 다양한 방법을 사용할 수 있다. 상기 참조 프레임(Fr')은 프레임 버퍼(380)에 의하여 제공될 수 있다. 다만, 도 6의 기초 계층 인코더(300)는 복원된 프레임을 참조 프레임으로 이용하는 방식, 즉 폐루프 부호화 방식을 채택하고 있지만, 이에 한하지 않고 다운 샘플러(310)에 의하여 제공되는 원래 기초 계층 프레임을 참조 프레임으로 이용하는 개루프 부호화 방식을 채택할 수도 있다.

한편 모션 추정부(350)의 모션 벡터(mv)는 가상 영역 프레임 생성부(390)에 전달된다. 이는 현재 프레임의 경계 영역 블록의 모션 벡터가 프레임의 중앙을 향하는 경우, 가상 영역을 부가한 가상 영역 프레임을 생성하기 위함이다.

모션 보상부(360)는 상기 구한 모션 벡터를 이용하여 상기 참조 프레임을 모션 보상(motion compensation)한다. 그리고, 차분기(315)는 기초 계층의 현재 프레임(Fc)과 상기 모션 보상된 참조 프레임을 차분함으로써 잔차 프레임(residual frame)을 생성한다.

변환부(320)는 상기 생성된 잔차 프레임에 대하여, 공간적 변환(spatial transform)을 수행하여 변환 계수(transform coefficient)를 생성한다. 이러한 공간적 변환 방법으로는, DCT(Discrete Cosine Transform), 웨이블릿 변환(wavelet transform) 등의 방법이 주로 이용된다. DCT를 사용하는 경우 상기 변환 계수는 DCT 계수를 의미하고, 웨이블릿 변환을 사용하는 경우 상기 변환 계수는 웨이블릿 계수를 의미한다.

양자화부(330)는 변환부(320)에 의하여 생성되는 변환 계수를 양자화(quantization)한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 DCT 계수를 양자화 테이블에 따라 소정의 구간으로 나누어 불연속적인 값(discrete value)으로 나타내고, 이를 대응되는 인덱스로 매칭(matching)시키는 작업을 의미한다. 이와 같이 양자화된 결과 값을 양자화 계수(quantized coefficient)라고 한다.

엔트로피 부호화부(340)은 양자화부(330)에 의하여 생성된 양자화 계수, 모션 추정부(350)에서 생성된 모션 벡터를 무손실 부호화하여 기초 계층 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 허프만 부호화(Huffman coding), 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등의 다양한 무손실 부호화 방법을 사용할 수 있다.

한편, 역 양자화부(371)는 양자화부(330)에서 출력되는 양자화 계수를 역 양자화한다. 이러한 역 양자화 과정은 양자화 과정의 역에 해당되는 과정으로서, 양자화 과정에서 사용된 양자화 테이블을 이용하여 양자화 과정에서 생성된 인덱스로 부터 그에 매칭되는 값을 복원하는 과정이다.

역 변환부(372)는 상기 역 양자화된 결과 값에 대하여 역 공간적 변환을 수행한다. 이러한 역 공간적 변환은 변환부(320)에서의 변환 과정의 역으로 진행되며, 구체적으로 역 DCT 변환, 역 웨이블릿 변환 등이 이용될 수 있다.

가산기(325)는 모션 보상부(360)의 출력 값과 역 변환부(372)의 출력 값을 가산하여 현재 프레임을 복원(Fc')하고 이를 프레임 버퍼(380)에 제공한다. 프레임 버퍼(380)는 상기 복원된 프레임을 일시 저장하였다고 다른 기초 계층 프레임의 인터 예측을 위하여 참조 프레임으로서 제공한다.

복원된 프레임(Fc')은 업샘플러(395)를 거쳐서 향상 계층 인코더(400)에 제공된다. 물론, 기초 계층의 해상도와 향상 계층의 해상도가 동일하다면 상기 업샘플링 과정은 생략될 수 있다.

다음으로, 향상 계층 인코더(200)의 구성을 살펴 본다. 기초 계층 인코더(300)에서 제공된 프레임과 입력 프레임은 차분기(410)로 입력된다. 차분기(210)는 상기 입력 프레임에서 상기 입력된 가상 영역을 포함하는 기초 계층 프레임을 차분하여 잔차 프레임을 생성한다. 상기 잔차 프레임은 변환부(420), 양자화부(430), 및 엔트로피 부호화부(440)를 거쳐서 향상 계층 비트스트림으로 변환되어 출력된다.

향상 계층 인코더(400)의 변환부(420)는 입력 프레임의 매크로블록과 기초 계층 프레임의 매크로블록의 잔차 신호에 대하여 공간적 변환을 수행하여 변환 계수를 생성한다. 이때, 공간적 변환 방법으로 DCT, 웨이블릿 변환 등이 사용됨은 전 술하였다. DCT 사용시의 DCT 계수 또는 웨이블릿 변환을 사용시 웨이블릿 계수들은 향상 계층의 매크로블록이 가지는 특성상 유사성이 존재한다. 따라서 이들 계수들 사이에 존재하는 유사성을 제거하여 압축율을 높이는 과정을 향상 계층 인코더(400)의 변환부(420)가 수행한다. 압축율을 높이기 위해 도 4에서 예시적으로 살펴본 하다마드 변환을 적용할 수 있다.

그러나 매크로블록내의 서브블록들에 존재하는 변환 계수들에 유사성이 높지 않은 경우가 존재한다. 이 경우에는 변환 계수들을 변환하는 과정을 거칠 필요가 없다. 이 경우에는 시간적 인터 예측과 유사한 방식으로 기초 계층 프레임의 매크로블록과 입력 프레임의 매크로블록 간의 차분 신호로 매크로블록을 구성할 수 있다.

양자화부(430) 및 엔트로피 부호화부(440)의 기능 및 동작은 각각 양자화부(330) 및 엔트로피 부호화부(340)의 그것들과 마찬가지이므로 중복된 설명은 생략하기로 한다.

도 6에서 나타낸 향상 계층 인코더(400)는 기초 계층 프레임에 대해 인트라 BL 예측 결과를 인코딩하는 것을 중심으로 설명하였다. 이외에도 도 2에서 설명한 바와 같이 시간적 인터 예측 또는 방향적 인트라 예측 방법을 선택적으로 인코딩할 수 있음은 당업자라면 이해할 수 있을 것이다.

도 7은 본 발명의 일 실시예에 따른 비디오 디코더의 구조를 보여주는 예시도이다. 상기 비디오 디코더(550)는 크게 향상 계층 디코더(700)와 기초 계층 디코더(600)로 구분될 수 있다. 먼저, 기초 계층 디코더(600)의 구성을 살펴 본다.

엔트로피 복호화부(610)는 기초 계층 비트스트림을 무손실 복호화하여, 기초 계층 프레임의 텍스쳐 데이터와, 모션 데이터(모션 벡터, 파티션 정보, 참조 프레임 번호 등)를 추출한다.

역 양자화부(620)는 상기 텍스쳐 데이터를 역 양자화한다. 이러한 역 양자화 과정은 비디오 인코더(500) 단에서 수행되는 양자화 과정의 역에 해당되는 과정으로서, 양자화 과정에서 사용된 양자화 테이블을 이용하여 양자화 과정에서 생성된 인덱스로부터 그에 매칭되는 값을 복원하는 과정이다.

역 변환부(630)는 상기 역 양자화된 결과 값에 대하여 역 공간적 변환을 수행하여 잔차 프레임을 복원한다. 이러한 역 공간적 변환은 비디오 인코더(500) 단의 변환부(320)에서의 변환 과정의 역으로 진행되며, 구체적으로 역 DCT 변환, 역 웨이블릿 변환 등이 이용될 수 있다.

한편, 엔트로피 복호화부(610)는 모션 벡터(mv)를 포함한 모션 데이터를 모션 보상부(660)에 제공한다.

모션 보상부(660)는 엔트로피 복호화부(610)로부터 제공되는 모션 데이터를 이용하여, 프레임 버퍼(650)으로부터 제공되는 기 복원된 비디오 프레임, 즉 참조 프레임을 모션 보상하여 모션 보상 프레임을 생성한다.

가산기(615)는 역 변환부(630)에서 복원되는 잔차 프레임과 상기 모션 보상부(660)에서 생성된 모션 보상 프레임을 가산하여 기초 계층 비디오 프레임을 복원한다. 복원된 비디오 프레임은 프레임 버퍼(650)에 일시 저장될 수 있으며, 이후의 다른 프레임의 복원을 위하여 모션 보상부(660)에 참조 프레임으로서 제공될 수 있 다.

현재 프레임을 복원한 Fc'는 업샘플러(680)를 거쳐서 향상 계층 디코더(700)에 제공된다. 따라서, 기초 계층의 해상도와 향상 계층의 해상도가 동일하다면 상기 업샘플링 과정은 생략될 수 있다. 만약 기초 계층의 비디오 정보가 향상 계층의 비디오 정보와 비교해서 일부 영역 정보가 제거된 경우라면, 역시 상기 업샘플링 과정은 생략될 것이다.

다음으로, 향상 계층 디코더(700)의 구성을 살펴 본다. 향상 계층 비트스트림이 엔트로피 복호화부(710)에 입력되면, 엔트로피 복호화부(710)는 상기 입력된 비트스트림을 무손실 복호화하여, 비동기 프레임에 대한 텍스쳐 데이터를 추출한다.

그리고, 상기 추출된 텍스쳐 데이터는 역 양자화부(720) 및 역 변환부(730)를 거쳐서 잔차 프레임으로 복원된다. 역 양자화부(720)의 기능 및 동작은 기초 계층 디코더(550)의 역 양자화부(620)와 유사한 방식으로 구성된다.

가산기(715)는 상기 복원된 잔차 프레임과 기초 계층 디코더(600)로부터 제공되는 기초 계층 프레임을 가산하여 프레임을 복원한다.

향상 계층 디코더(700)의 역변환부(730)은 수신한 매크로블록의 향상비트스트림이 인코딩된 방식에 따라 역변환을 수행한다. 인코딩되는 방식은 도 6에서 살펴본 바와 같이, 기초 계층 프레임의 매크로블록과의 차분을 구하는 과정에서 매크로블록 내의 서브블록에 존재하는 DCT 계수 또는 웨이블릿 계수 등과 같은 변환 계수에 유사성을 제거하는 과정이 더 있었는지를 살펴본다.

그 결과 계수들에 유사성을 제거한 과정이 인코딩 과정에 있었다면, 그 역의 과정을 수행한다. 도 5에서 살펴본 바와 같이, 역 하다마드(Inverse Hadamard)변환을 수행하여 DCT 계수 또는 웨이블릿 계수 등과 같은 변환 계수를 복원하고, 이를 토대로 잔차 신호로 구성된 매크로블록을 복원한다. 그 과정은 도 5에서 살펴보았다.

이상 도 7에서 나타낸 향상 계층 디코더(700)는 기초 계층 프레임에 대해 인트라 BL 예측을 통해 디코딩하는 것을 중심으로 설명하였다. 이외에도 도 2에서 설명한 바와 같이 인터 예측 또는 인트라 예측 방법을 선택적으로 선택적으로 이용하여 디코딩할 수 있음은 당업자라면 이해할 수 있을 것이다.

입력 프레임을 수신하여 기초 계층 프레임을 생성한다(S101). 매크로블록 단위로 예측 모드를 달리할 경우, 매크로블록 하나하나에 대해 어떤 예측 모드(시간적 인터 예측, 방향적 인트라 예측, 인트라 BL 예측)가 가장 높은 압축율을 제공하는지 검토한다. 그 결과 인트라 BL 예측 모드인 경우(S105), 기초 계층 프레임의 해당 매크로블록과 입력 프레임의 매크로블록과의 잔차를 구한다(S110). 그리고 잔차 신후에 대해 변환을 수행한다(S111). DCT 변환, 웨이블릿 변환등을 수행할 수 있다. 그 결과 변환 계수들 사이에 유사성이 높은지 판단한다(S120). 기초 계층 프레임과 향상 계층 프레임간에 해상도(resolution)가 바뀌지 않은 경우에는 변환 계수들 사이에 유사성이 높다고 판단할 수 있다. 그렇지 않은 경우, 유사성이 낮을 수 있다. 그러나 이는 일 실시예이며, 실제 변환 계수들 사이의 상관성을 검토하여 일정 한계를 넘어서면 유사성이 높은 것으로 판단하여 S130 단계를 수행할 수 있다. 변환 계수에 존재하는 유사성이 높으면 유사성을 제거한다(S130). 이때에는 전술한 하다마드 변환을 적용할 수 있으며, 또한 DCT, 웨이블릿, 푸리에 변환 등을 적용할 수 있다. 연산 속도를 고려할 경우 하다마드 변환이 가감 연산을 사용하므로 속도가 빠를 수 있다. S120 단계에서 유사성이 높지 않거나, 소정의 기준에 해당되지 않는 경우, S130 단계 없이 S131 단계로 진행한다. 유사성을 제거하였는지 여부를 디코딩 단에 알려주기 위해서 1 bit를 설정할 수 있다.

이렇게 유사성이 제거된 변환 계수와 S111 단계에서 얻은 변환 결과를 가지고 양자화, 엔트로피 과정을 수행한다(S131). 그리고 인트라 BL 예측을 적용한 매크로블록이 포함된 향상 계층 프레임을 전송한다(S132).

한편, S105 단계에서 인트라 BL 예측 모드를 적용하지 않는 경우에는 시간적 인터 예측 모드 또는 공간적 인트라 예측 모드를 적용한다(S108).

도 9는 본 발명의 일 실시예에 따른 비디오 신호를 디코딩하는 과정을 보여주는 순서도이다. 먼저 수신한 비트 스트림에서 기초 계층 프레임과 향상 계층 프레임을 추출한다(S201). 향상 계층 프레임을 구성하는 매크로블록이 인코딩 단계에서 사용한 예측모드가 인트라 BL 모드인지 검토한다(S205). 인트라 BL 예측 모드를 사용하지 않았다면 시간적 인터 예측 모드 또는 공간적 인트라 예측 모드에 따라 역변환을 수행한다(S208). 검토 결과 인트라 BL 예측 모드를 사용한 경우, 매크로블록의 서브블록들에 대한 변환 계수를 추출한다(S210). 그리고 변환 계수 사이의 유사성이 제거되었는지를 검토한다(S215). 이는 도 8에서 살펴본 바와 같이, 특정 비트를 사용하여 판단할 수 있다. 또한, 기초 계층 프레임과 향상 계층 프레임의 해상도가 같을 경우에만 변환 계수의 유사성을 제거하는 경우, 이러한 특정 비트의 사용 없이도 판단할 수 있다. 그 결과 변환 계수 사이에 존재하는 유사성이 제거된 경우에는 역변환으로 변환 계수를 구한다(S220). 이때, 역변환으로는 인코딩 단계에서 수행한 하다마드 변환에 대한 역 하다마드 변환을 예로 들 수 있다. S215 단계에서 유사성이 제거되지 않은 것으로 판단되면 S230 단계로 넘어간다. 변환 계수를 구하면, 변환 계수를 바탕으로 매크로블록의 잔차 신호를 복원한다(S230). 복원한 잔차 신호는 기초 계층 프레임의 매크로블록과 가산하여 비디오 영상의 매크로블록으로 복원한다(S231).

도 10은 본 발명의 일 실시예에 따른 인트라 BL 예측시 본 발명의 방식이 적용됨을 나타내기 위한 비트 설정 단위를 보여주는 예시도이다. 비디오 정보들은 비디오 시퀀스로 구성된다. 비디오 시퀀스는 다수의 프레임(픽쳐)들로 구성된 GOP(Group Of Picture)들로 구성된다. 프레임 또는 픽쳐는 다수의 슬라이스(Slice)로 구성되며, 슬라이스는 다시 다수의 매크로블록으로 구성된다. 매크로블록은 방향적 인트라 예측, 시간적 인터 예측, 그리고 인트라 BL 예측과 같이 세 예측 모드 중에 하나를 선택한다. 따라서 본 발명의 일 실시예에서 제시한 인트라 BL 예측시 인트라 코딩을 수행하는 단위가 매크로블록 단위로 이루어질 수 있다. 그러나, 매크로블록 단위로 인트라 코딩을 수행할 것인지 또는 인터 코딩을 수행할 것인지를 선택하기 위해 1비트의 정보를 추가한다면, 전체 프레임 또는 전체 슬라이스에 많 은 비트수를 필요로 할 수 있다. 따라서, 매크로블록 단위로 설정을 할 수도 있으나, 슬라이스 단위 또는 프레임 단위로도 설정할 수 있다. 도 10에서 나타난 바와 같이, 매크로블록 단위로 설정할 수 있고, 해당 슬라이스를 구성하는 모든 매크로블록에 대해서 설정할 수 있다. 이 경우, 슬라이스 하나에 하나의 비트를 설정하므로, 부가되는 정보를 줄일 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명을 구현함으로써 인트라 BL 예측으로 코딩되는 매크로블록 내의 서브블록들의 정보들에 존재하는 유사성을 이용하여 압축율을 높일 수 있다.

또한, 본 발명을 구현함으로써, 비디오 정보를 인트라 BL 모드로 압축시 인트라 예측의 방식을 적용하여 압축율을 높이고, 이에 따라 네트워크를 통해 전송되는 데이터의 양을 줄일 수 있다.

Claims

다계층 기반의 비디오 인코더에서

(a) 입력 프레임과, 상기 입력 프레임으로부터 산출된 기초 계층 프레임을 차분하여 잔차 신호를 구하는 단계;

(b) 상기 잔차 신호를 인트라 코딩 방식으로 변환하는 단계; 및

(c) 상기 변환된 잔차 신호를 포함하는 향상 계층 프레임을 생성하는 단계를 포함하는, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 인코딩하는 방법.
제 1항에 있어서,

상기 (a) 단계는 상기 입력 프레임을 구성하는 제 1 매크로블록에서 상기 기초 계층 프레임을 구성하며 상기 제 1 매크로블록에 대응하는 제 2 매크로블록을 차분하여 상기 잔차 신호를 구하는 단계를 포함하는, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 인코딩하는 방법.
제 1항에 있어서,

상기 (b) 단계는 상기 잔차 신호 내의 매크로블록을 구성하는 제 1 서브블록을 참조하여 상기 매크로블록 내의 제 2 서브블록을 변환하는 단계를 포함하는, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 인코딩하 는 방법.
제 1항에 있어서,

상기 (b) 단계는 상기 잔차 신호로 이루어진 매크로블록을 구성하는 다수의 서브블록들의 변환 계수를 변환하는 (d) 단계를 포함하는, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 인코딩하는 방법.
제 4항에 있어서,

상기 (d) 단계는 하다마드 변환에 의해 상기 변환 계수를 변환하는, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 인코딩하는 방법.
제 4항에 있어서,

상기 (b) 단계 이후에, 잔차 신호가 인트라 코딩 방식으로 변환되었음을 나타내는 정보를 설정하는 (e) 단계를 더 포함하는, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 인코딩하는 방법.
제 6항에 있어서,

상기 (e) 단계는 매크로블록 단위로 상기 정보를 설정하는 단계인, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 인코딩하는 방 법.
제 6항에 있어서,

상기 (e) 단계는 슬라이스 내의 모든 매크로블록에 대해 정보를 설정하는 단계인, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 인코딩하는 방법.
제 6항에 있어서,

상기 (e) 단계는 프레임 내의 모든 매크로블록에 대해 정보를 설정하는 단계인, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 인코딩하는 방법.
제 1항에 있어서,

상기 인트라 코딩 방식으로 변환한 결과와 인터 코딩 방식으로 변환한 결과를 비교하는 단계를 더 포함하는, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 인코딩하는 방법.
제 10항에 있어서,

상기 (b) 단계 이전에 상기 기초 계층 프레임과 상기 향상 계층 프레임간의 해상도가 동일한지 검토하여, 상기 해상도가 동일한 경우, (b) 단계를 수행하는, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 인코딩하는 방법.
다계층 기반의 비디오 디코더에서

(a) 기초 계층 프레임과 향상 계층 프레임을 수신하는 단계;

(b) 상기 향상 계층 프레임의 잔차 신호가 인트라 코딩된 경우, 상기 잔차 신호를 역변환하는 단계; 및

(c) 상기 역변환된 잔차 신호와 상기 기초 계층 프레임의 영상 신호를 가산하여 복원하는 단계를 포함하는, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 디코딩하는 방법.
제 12항에 있어서,

상기 (b) 단계는 상기 잔차 신호 내에 존재하는 변환 계수를 복원하는 단계; 및

상기 복원된 변환 계수를 적용하여 상기 잔차 신호를 복원하는 단계를 포함하는, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 디코딩하는 방법.
제 12항에 있어서,

상기 (b) 단계는 상기 잔차 신호로 이루어진 매크로블록을 구성하는 다수의 서브블록들의 변환 계수들을 복원하는 (d) 단계;

상기 복원된 변환 계수들을 사용하여 상기 서브블록들을 복원하는 (e) 단계를 포함하는, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 디코딩하는 방법.
제 14항에 있어서,

상기 (d) 단계는 역하다마드 변환에 의해 변환 계수를 복원하는 단계인, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 디코딩하는 방법.
제 12항에 있어서,

상기 (b) 단계 이전에, 상기 잔차 신호가 인트라 코딩 방식으로 변환되었음을 나타내는 정보를 추출하는 단계를 더 포함하는, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 디코딩하는 방법.
제 16항에 있어서,

상기 정보는 매크로블록 단위로 설정된 정보인, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 디코딩하는 방법.
제 16항에 있어서,

상기 정보는 슬라이스 내의 모든 매크로블록에 대해 설정된 정보인, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 디코딩하는 방법.
제 16항에 있어서,

상기 정보는 프레임 내의 모든 매크로블록에 대해 설정된 정보인, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 디코딩하는 방법.
제 12항에 있어서,

상기 (b) 단계 이전에 상기 기초 계층 프레임과 상기 향상 계층 프레임간의 해상도가 동일한지 검토하여, 상기 해상도가 동일한 경우, (b) 단계를 수행하는, 인트라 코딩을 선택적으로 적용하여 인트라 BL 예측 모드의 비디오 신호를 디코딩하는 방법.
입력 프레임으로부터 기초 계층 프레임을 생성하는 기초 계층 인코더; 및

상기 입력 프레임으로부터 향상 계층 프레임을 생성하는 향상 계층 인코더를 포함하며,

상기 향상 계층 인코더는, 상기 향상 계층 프레임의 매크로블록을 생성하는 경우에 상기 향상 계층 프레임의 매크로블록에 대응하는 기초 계층 프레임의 매크로블록과 상기 입력 프레임의 매크로블록과의 잔차 신호를 인트라 코딩하는 변환부를 포함하는, 인코더.
제 21항에 있어서,

상기 변환부는 상기 잔차 신호 내의 매크로블록을 구성하는 제 1 서브블록을 참조하여 상기 매크로블록 내의 제 2 서브블록을 변환하는, 인코더.
제 21항에 있어서,

상기 변환부는 상기 잔차 신호로 이루어진 매크로블록을 구성하는 다수의 서브블록들의 변환 계수를 변환하는, 인코더.
제 23항에 있어서,

상기 변환부는 하다마드 변환에 의해 상기 변환 계수를 변환하는,

인코더.
제 21항에 있어서,

상기 변환부는 상기 잔차 신호가 인트라 코딩 방식으로 변환되었음을 나타내는 정보를 설정하는, 인코더.
제 25항에 있어서,

상기 정보는 매크로블록 단위로 설정된 정보인, 인코더.
제 25항에 있어서,

상기 정보는 슬라이스 내의 모든 매크로블록에 대해 설정된 정보인, 인코더.
제 25항에 있어서,

상기 정보는 프레임 내의 모든 매크로블록에 대해 설정된 정보인, 인코더.
제 21항에 있어서,

상기 변환부는 인트라 코딩 방식으로 변환한 결과와 인터 코딩 방식으로 변환한 결과를 비교하는, 인코더.
제 29항에 있어서,

상기 변환부는 상기 기초 계층 프레임과 상기 향상 계층 프레임간의 해상도가 동일한지 검토하여, 상기 해상도가 동일한 경우, 상기 잔차 신호를 인트라 코딩하는, 인코더.
기초 계층 프레임을 복원하는 기초 계층 디코더; 및

향상 계층 프레임을 복원하는 향상 계층 디코더를 포함하며,

상기 향상 계층 디코더는 향상 계층 프레임의 매크로블록을 복원시 상기 매크로블록의 잔차 신호가 인트라 코딩된 경우, 상기 잔차 신호를 역변환하고 상기 역변환된 잔차 신호와 상기 복원된 기초 계층 프레임의 영상 신호를 가산하여 영상 신호를 복원하는 역변환부를 포함하는, 디코더.
제 31항에 있어서,

상기 역변환부는 상기 잔차 신호 내에 존재하는 변환 계수를 복원하여 상기 복원된 변환 계수를 적용하여 상기 잔차 신호를 복원하는, 디코더.
제 31항에 있어서,

상기 역변환부는 상기 잔차 신호로 이루어진 매크로블록을 구성하는 다수의 서브블록들의 변환 계수를 복원하여 상기 복원된 변환 계수를 사용하여 상기 서브블록을 복원하는, 디코더.
제 33항에 있어서,

상기 역변환부는 역하다마드 변환에 의해 변환 계수를 변환하는, 디코더.
제 31항에 있어서,

상기 향상 계층 디코더는 상기 잔차 신호가 인트라 코딩을 이용하여 변환되었다는 정보를 추출하는, 디코더.
제 35항에 있어서,

상기 정보는 매크로블록 단위로 설정된 정보인, 디코더.
제 35항에 있어서,

상기 정보는 슬라이스 내의 모든 매크로블록에 대해 설정된 정보인, 디코더.
제 35항에 있어서,

상기 정보는 프레임 내의 모든 매크로블록에 대해 설정된 정보인, 디코더.
제 31항에 있어서,

상기 역변환부는 상기 기초 계층 프레임과 상기 향상 계층 프레임간의 해상도가 동일한지 검토하여, 상기 해상도가 동일한 경우, (b) 단계를 수행하는, 디코더.