KR20060085150A - 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치 - Google Patents

Abstract

본 발명은, 보조 레이어의 내부(intra) 모드 블록의 예측정보를 이용하여 영상신호를 엔코딩하고 그에 따라 엔코딩된 영상데이터를 디코딩하는 방법 및 장치에 관한 것으로서, 영상신호를 스케일러블한 MCTF방식으로 엔코딩하여 인핸스드 레이어의 비트 스트림을 출력함과 동시에 상기 영상신호를 기 지정된 방식으로 엔코딩하여 베이스 레이어의 비트 스트림을 출력하되, MCTF 방식으로 엔코딩할 때, 상기 베이스 레이어의 비트 스트림에 포함되어 있는 내부모드로 코딩된 대응블록의 예측정보에 근거하여, 상기 영상신호의 임의의 프레임내에 포함되어 있는 영상블록에 대해, 그 영상블록의 인접화소를 이용하여 내부모드로 코딩한다.

MCTF, 엔코딩, 레이어, 내부모드, 예측모드, 예측방향, 분할, inter-layer, intra mode

Description

베이스 레이어의 내부모드 블록의 예측정보를 이용하여 영상신호를 엔코딩/디코딩하는 방법 및 장치 {Method and apparatus for encoding/decoding video signal using prediction information of intra-mode macro blocks of base layer}

도 1은, 동일 시간상의 베이스 레이어의 확대된 프레임 내의 동일한 위치의 블록을 인핸스드 레이어의 예측영상으로 만드는 종래의 과정의 예를 도시한 것이고,

도 2는 본 발명에 따른 영상신호 코딩방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이고,

도 3은 도 2의 MCTF 엔코더내의 영상 추정/예측과 갱신동작을 수행하는 구성을 도시한 것이고,

도 4a 내지 4c는, 본 발명의 일 실시예에 따라, 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 인핸스드 레이어의 매크로 블록을 내부모드로 코딩하는 과정의 예를 각기 도시한 것이고,

도 5a 내지 5c는, 본 발명의 다른 일 실시예에 따라, 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 인핸스드 레이어의 매크로 블록을 내부모드로 코딩하는 과정의 예를 각기 도시한 것이고,

도 6은 도 2의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 블록도이고,

도 7은 도 6의 MCTF 디코더내의 역예측 그리고 역갱신 동작을 수행하는 구성를 도시한 것이다.

<도면의 주요부분에 대한 부호의 설명>

100: MCTF 엔코더 102: 추정/예측기

103: 갱신기 105, 240: 베이스 레이어 디코더

110: 텍스처 엔코더 120: 모션 코딩부

130: 먹서 150: 베이스레이어 엔코더

200: 디먹서 210: 텍스처 디코더

220: 모션 디코딩부 230: MCTF 디코더

231: 역갱신기 232: 역예측기

234: 배열기 235: 모션벡터 디코더

본 발명은, 영상신호의 스케일러블(scalable) 엔코딩 및 디코딩에 관한 것으로, 특히, MCTF (Motion Compensated Temporal Filter) 방식에 의한 스케일러블 코딩 시에, 베이스 레이어(base layer)의 내부 모드(intra mode) 블록의 예측정보를 이용하여 영상신호를 엔코딩하고 그에 따라 엔코딩된 영상데이터를 디코딩하는 방법 및 장치에 관한 것이다.

현재 널리 사용되고 있는 휴대폰과 노트북, 그리고 앞으로 널리 사용하게 될 이동(mobile) TV 와 핸드 PC 등이 무선으로 송수신하는 디지털 영상신호에 대해서는 TV신호를 위한 대역폭과 같은 넓은 대역을 할당하기가 여의치 않다. 따라서, 이와 같은 이동성 휴대장치를 위한 영상 압축방식에 사용될 표준은 좀 더 영상신호의 압축 효율이 높아야만 한다.

더욱이, 상기와 같은 이동성 휴대장치는 자신이 처리 또는 표현(presentation)할 수 있는 능력이 다양할 수 밖에 없다. 따라서, 압축된 영상이 그만큼 다양하게 사전준비되어야만 하는 데, 이는 동일한 하나의 영상원(source)을, 초당 전송 프레임수, 해상도, 픽셀당 비트수 등 다양한 변수들의 조합된 값에 대해 구비하고 있어야 함을 의미하므로 컨텐츠 제공자에게 많은 부담이 될 수 밖에 없다.

이러한 이유로, 컨텐츠 제공자는 하나의 영상원에 대해 고속 비트레이트의 압축 영상 데이터를 구비해 두고, 상기와 같은 이동성 장치가 요청하면 원시 영상을 디코딩한 다음, 요청한 장치의 영상처리 능력(capability)에 맞는 영상 데이터로 적절히 엔코딩하는 과정을 수행하여 제공한다. 하지만 이와 같은 방식에는 트랜스코딩(transcoding)(디코딩+엔코딩) 과정이 필히 수반되므로 이동성 장치가 요청한 영상을 제공함에 있어서 다소 시간 지연이 발생한다. 또한 트랜스코딩도 목표 엔코딩이 다양함에 따라 복잡한 하드웨어의 디바이스와 알고리즘을 필요로 한다.

이와 같은 불리한 점들을 해소하기 위해 제안된 것이 스케일러블 영상 코덱(SVC:Scalable Video Codec)이다. 이 방식은 영상신호를 엔코딩함에 있어, 최고 화질로 엔코딩하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스( 시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스 )를 디코딩해 사용해도 저화질의 영상 표현이 가능하도록 하는 방식이다. MCTF (Motion Compensated Temporal Filter) 방식이 상기와 같은 스케일러블 영상코덱에 사용하기 위해 제안된 엔코딩 방식이다.

그런데, 앞서 언급한 바와 같이 스케일러블 방식인 MCTF로 엔코딩된 픽처 시퀀스는 그 부분 시퀀스만을 수신하여 처리함으로써도 저화질의 영상 표현이 가능하지만, 비트레이트(bitrate)가 낮아지는 경우 화질저하가 크게 나타난다. 이를 해소하기 위해서 낮은 전송률을 위한 별도의 보조 픽처 시퀀스, 예를 들어 소화면과 초당 프레임수 등이 낮은 픽처 시퀀스를 제공할 수도 있다. 보조 시퀀스를 베이스 레이어(base layer)로, 주 픽처 시퀀스를 인핸스드(enhanced)( 또는 인핸스먼트(enhancement) ) 레이어라고 부른다. 그런데, 베이스 레이어와 인핸스드 레이어는 동일한 영상신호원을 엔코딩하는 것이므로 양 레이어의 영상신호에는 잉여정보( 리던던시(redundancy) )가 존재한다.

따라서, MCTF방식에 의해 엔코딩되는 인핸스드 레이어의 코딩율(coding rate)을 높이기 위해, 베이스 레이어의 임의 영상 프레임을 기준으로 하여 그와 동시간의 인핸스드 레이어의 영상 프레임을 예측영상으로 만든다. 도 1은 이에 대한 과정을 도식적으로 나타낸 것이다.

도 1에 예시된 과정을 설명하면, 베이스 레이어의 소정갯수의 매크로 블록들을 한 화면으로 구성하여 그 화면을 업샘플링(upsampling)하여 인핸스드 레이어의 영상 프레임의 크기와 동일하게 확대한 다음(S10), 그 확대된 화면(B100)에서, 현재 예측 영상을 만들고자 하는 인핸스드 레이어의 프레임(E100)( 이 프레임은 확대된 베이스 레이어의 화면과 상호 동시간이다 )내의 매크로 블록(EM10)과 동 위치에 있는 매크로 블록(BM10)이 내부모드(intra mode)로 코딩되어 있으면 그 매크로 블록(BM10)을 기준으로 하여, 상기 인핸스드 레이어의 매크로 블록(EM10)에 대해 예측동작(prediction)을 행한다(S11).

즉, 상기 베이스 레이어의 내부모드의 매크로 블록(BM10)에 대해 주변 인접라인의 픽셀값을 이용하여 원래의 블록 이미지로 복구한 후 그 복구된 화소값과의 차이값( 또는 에러값 ), 즉 레지듀얼(residual)이 상기 인핸스드 레이어의 매크로 블록(EM10)에 엔코딩되게 한다.

그런데, 상기와 같이 베이스 레이어의 내부모드 블록의 원래 이미지를 이용하는 방법은, 인핸스드 레이어의 임의의 프레임을 엔코딩할 때, 그 프레임내의 영 상블록에 이용하고자하는 베이스 레이어의 내부모드의 블록을 그 예측정보(prediction information)에 따라 원래의 이미지로 먼저 복구하여야 한다. 하지만, 이는 상당한 하드웨어의 복잡도를 필요로 한다.

본 발명은 상기의 문제점을 해소하기 위해 창작된 것으로서, 그 목적은 영상을 스케일러블 방식으로 엔코딩함에 있어서, 베이스 레이어의 내부모드 블록의 이미지를 복구하지 않고 그 블록의 예측정보를 이용하여 영상신호를 예측영상으로 코딩하는 방법 및 장치를 제공하는 것이다.

본 발명은 또한, 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 엔코딩된 블록을 갖는 데이터 스트림을 디코딩하는 방법 및 장치를 제공함을 목적으로 한다.

상기한 목적을 달성하기 위해 본 발명은, 영상신호를 스케일러블한 MCTF방식으로 엔코딩하여 제 1레이어의 비트 스트림을 출력함과 동시에 상기 영상신호를 기 지정된 방식으로 엔코딩하여 제 2레이어의 비트 스트림을 출력하되, MCTF 방식으로 엔코딩할 때, 상기 제 2레이어의 비트 스트림에 포함되어 있는 내부모드로 코딩된 제 1블록의 예측정보에 근거하여, 상기 영상신호의 임의의 프레임내에 포함되어 있는 영상 블록에 대해, 그 영상 블록의 인접화소를 이용하여 내부모드로 코딩하는 것을 특징으로 한다.

본 발명에 따른 일 실시예에서는, 상기 예측정보는 예측모드(Prediction Mode)와 예측방향(DoP:Direction of Prediction)에 대한 정보로 구분된다.

본 발명에 따른 일 실시예에서는, 상기 제 2레이어의 프레임은 상기 제 1레이어의 프레임의 화면크기보다 작은 소화면 프레임으로 엔코딩한다.

본 발명에 따른 일 실시예에서는, 상기 제 1블록의 예측모드에 근거하여 상기 영상블록을 복수개의 셀로 분할하고, 분할된 셀의 소정갯수의 그룹마다, 그 그룹과 대응되는, 상기 제 1블록내의 부분영역의 예측방향을 그 그룹내의 각 셀에 동일하게 적용하여 해당 셀의 각 화소값 차이를 코딩한다.

본 발명에 따른 다른 일 실시예에서는, 상기 제 1블록의 예측모드에서 지정된 크기에, 상기 제 2레이어 대비 상기 제 1레이어의 화면크기 비를 곱한 크기로 상기 영상블록을 복수개의 셀로 분할하고, 각 분할된 셀에 대해, 그 셀과 대응되는, 상기 제 1블록내의 부분영역의 예측방향을 적용하여 해당 셀의 각 화소값 차이를 코딩한다.

본 발명에 따른 또 다른 실시예에서는, 상기 영상블록에 대해, 상기 제 1블록의 예측정보에 근거하여 구한 에러데이터와 상기 제 1블록 또는 그 일부영역의 에러 데이터의 차이값을 상기 영상블록에 코딩한다.

이하, 본 발명의 바람직한 실시예에 대해 첨부도면을 참조하여 상세히 설명한다.

도 2는 본 발명에 따른 영상신호의 스케일러블(scalable) 코딩방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이다.

도 2의 영상신호 엔코딩 장치는, 본 발명이 적용되는, 입력 영상신호를 MCTF 방식에 의해 각 매크로 블록(macro block) 단위로 엔코딩하고 적절한 관리정보를 생성하는 MCTF 엔코더(100), 상기 엔코딩된 각 매크로 블록의 정보를 압축된 비트열로 변환하는 텍스처(Texture) 코딩부(110), 상기 MCTF 엔코더(100)에 의해 얻어지는 영상블록들의 모션 벡터들(motion vectors)을 지정된 방식에 의해 압축된 비트열로 코딩하는 모션 코딩부(120), 입력 영상신호를 지정된 방식, 예를 들어 MPEG 1, 2, 또는4, 또는 H.261, H.263 또는 H.264방식으로 엔코딩하여 소화면, 예를 들어 원래 크기의 25%크기인 픽처들의 시퀀스를 생성하는 베이스레이어(BL) 엔코더(150), 상기 텍스처 코딩부(110)의 출력 데이터와 상기 BL 엔코더(150)의 소화면 시퀀스와 상기 모션 코딩부(120)의 출력 벡터 데이터를 기 지정된 포맷으로 인캡슐(encapsulate)한 다음 기 지정된 전송포맷으로 상호 먹싱하여 출력하는 먹서(130)를 포함하여 구성된다.

상기 MCTF 엔코더(100)는, 임의 영상 프레임내의 매크로 블록에 대하여 모션 추정(motion estimation)과 예측(prediction) 동작을 수행하며, 또한 인접 프레임내의 매크로 블록과의 이미지 차에 대해서 그 매크로 블록에 더하는 갱신(update) 동작을 수행한다.

상기 MCTF 엔코더(100)는, 입력 영상 프레임 시퀀스를, 예를 들어 기수 및 우수 프레임으로 분리한 후 추정/예측과 갱신동작을 수차, 예를 들어 하나의 GOP( Group of Pictures )에 L프레임( 갱신동작에 의한 결과 프레임 )의 수가 1개가 될 때까지 수행하는 데, 도 3의 구성은, 그 중 한 단계( 'MCTF 레벨'이라고도 한다 )의 추정/예측 및 갱신동작에 관련된 구성을 도시한 것이다.

도 3의 구성은, 상기 베이스레이어 엔코더(150)의 엔코딩된 소화면 시퀀스의 베이스 레이어 스트림에서 프레임율(frame rate), 매크로 블록의 모드와 같은 엔코딩 정보를 추출하는 베이스 레이어(BL) 디코더(105), 전 또는 후로 인접된 프레임에서, 모션추정(motion estimation)을 통해, 레지듀얼(residual) 데이터로 코딩할 프레임내의 각 매크로 블록에 대한 기준블록을 찾고 실제 매크로블록과의 이미지 차( 각 대응화소의 차값 )를 코딩하고, 그 기준블록에 대한 모션 벡터를 직접 산출하거나, 또는 상기 BL 디코더(105)에 의해 추출되는 각 매크로 블록의 정보를 이용하여 코딩하는 추정/예측기(102), 상기 모션 추정에 의해 그 기준 블록이 찾아진 경우의 매크로 블록에 대해서는 상기 구해진 이미지 차를 정규화(normalize)한 후, 해당 기준 블록에 더하는 갱신(update) 동작을 수행하는 갱신기(103)를 포함하고 있다. 상기 갱신기(103)가 수행하는 동작을 'U' 동작(opeation)이라 하고 'U'동작에 의해 생성된 프레임을 'L' 프레임이라 한다.

도 3의 추정/예측기(102)와 갱신기(103)는 영상 프레임이 아니고 하나의 프레임이 분할된 복수 개의 슬라이스(slice)에 대해 병렬적으로 동시에 수행할 수도 있으며, 상기 추정/예측기(102)에 의해 만들어지는 이미지 차를 갖는 프레임( 또는 슬라이스 )을 'H' 프레임(슬라이스)이라 한다. 'H' 프레임(슬라이스)에 있는 차값의 데이터는 영상신호의 고주파 성분을 반영한다. 이하의 실시예에서 사용되는 '프 레임'의 용어는, 슬라이스로 대체하여도 기술의 등가성이 유지되는 경우에는 슬라이스의 의미를 당연히 포함하는 것으로 사용된다.

상기 추정/예측기(102)는 입력되는 영상 프레임들( 또는 전단계에서 얻어진 L프레임들 )의 각각에 대해서, 기 정해진 크기의 매크로블록(macro-block)으로 분할한 다음, 각 분할된 매크로 블록의 이미지와 가장 높은 상관성(correlation)을 갖는 블록을 시간적으로(temporally) 인접된 전/후 프레임에서 찾아서 이에 근거한 매크로 블록의 예측영상을 만들고 모션벡터를 구하는 과정을 수행한다. 만약, 적정한 문턱값이상의 상관성을 갖는 블록을 찾지 못하고 상기 BL 디코더(105)로부터 제공되는 엔코딩정보에 동시간의 프레임에 대한 정보가 없거나 동시간의 프레임내의 대응블록( 프레임내에서의 상대적 위치가 동일한 블록 )이 내부모드(intra mode)가 아니면 현재의 매크로 블록에 대해 인접 화소값을 이용하여 내부모드로 코딩한다. 이와 같은 동작을 'P' 동작(opeation)이라 하며, 이 'P'동작에 의해 생성되는 프레임이 곧 'H'프레임이다. 이 과정은 기 공지된 기술로서 이에 대한 자세한 설명은 본 발명과 직접적인 관련이 없으므로 생략하고, 본 발명에 따라, 동시간의 베이스 레이어 프레임의 내부모드 블록의 예측정보를 이용하여, 모션추정이 되지않은 매크로 블록을 예측 이미지, 즉 레지듀얼 데이터로 만드는 도 4a 내지 4c 그리고 도 5a 내지 5c의 예시적 과정을 참조하여 상세히 설명한다.

먼저, 도 4a 및 4c에 예시된 본 발명의 일 실시예를 설명한다.

만약, 상기 BL 디코더(105)로부터 제공되는 엔코딩 정보로부터 동시간의 프레임내의 대응블록이 내부모드인 것으로 파악되면, 상기 추정/예측기(102)는 그 대 응블록의 예측모드와 예측방향(DoP)을 확인한다. 여기서 대응블록이란, 인핸스드 레이어와 베이스 레이어의 화면크기가 동일한 경우에는, 인핸스드 레이어의 현재의 매크로 블록과 프레임상에서의 상대적 위치가 동일한 블록을, 인핸스드 레이어가 베이스 레이어의 화면크기보다 큰 경우에는, 베이스 레이어의 프레임을 인핸스드 레이어의 프레임크기로 확대(scaling)했을 때 인핸스드 레이어의 현재 매크로 블록을 커버하는 이미지 영역을 갖는 블록을 의미한다.

본 발명의 일 실시예에서는, 상기 MCTF 엔코더(100)에 의해 엔코딩되는 프레임의 화면크기가 상기 BL 엔코더(150)에 의해 엔코딩되는 프레임의 화면크기의 4배로서, 서로 상이한 화면크기를 갖는다.

본 발명에 따른 일 실시예에서는, 상기 베이스 레이어 엔코더(150)가, 내부모드에 대해 도 4a 내지 4c에 각각 도시된 intra 4x4, intra 8x8 그리고 intra 16x16의 내부모드 유형, 즉 예측모드를 사용하며, intra 4x4, intra 8x8 유형에 대해서는 9가지의, intra 16x16 유형에는 4가지의 DoP( 예를 들어, 도면에서 화살표의 방향 )를 사용한다.

상기 추정/예측기(102)는 예측모드를 확인한 후, 베이스 레이어의 그 예측모드에 따라 현재의 매크로 블록(401)을 셀로 분할한다. 즉, 베이스 레이어의 예측모드가 도 4a에서와 같이 intra 4x4의 유형이면 현재의 매크로 블록(401)을 4x4의 크기를 갖는 셀들로 분할하고, 도 4b에서와 같이 intra 8x8의 모드이면, 현재의 매크로 블록(401)을 8x8의 크기를 갖는 셀들로 분할하고, 도 4c에서와 같이 intra 16x16의 모드이면, 현재의 매크로 블록(401)을 16x16의 크기를 갖는 셀(cell)들로 분할하여, 각 셀들에 대해서 베이스 레이어의 대응 매크로 블록의 DoP 정보를 이용하여 코딩한다.

그런데, 본 발명에 따른 일 실시예에서는, 상기 인핸스드 레이어의 매크로 블록(401)이 베이스 레이어의 대응 매크로 블록 1/4의 이미지에 해당하는 화소들을 갖는데, 현재의 매크로 블록(401)을 베이스 레이어의 대응 매크로 블록의 예측모드와 동일하게 셀로 분할하였으므로, 이용할 DoP 정보의 수가 대응 블록에서 사용된 것보다 더 많이, 즉 4배가 필요하다. 즉, 현재 매크로 블록(401)에 대응되는, 베이스 레이어의 매크로 블록의 1/4 부분블록(402)에는, 도 4a의 intra 4x4 유형인 경우 4개의 DoP 정보가, 도 4b의 intra 8x8 유형에서는 1개의 DoP 정보가 포함되어 있는 데, 각각의 경우에 대해서 분할된 현재 매크로 블록의 셀수는 16개와 4개로서, 이용할 수 있는 DoP 수보다 분할된 셀의 수가 레이어간 화면크기 비율, 예를 들어 4배만큼 많다.

따라서, 상기 추정/예측기(102)는 현재의 매크로 블록(401)의 분할 셀들에 대해서 4개씩을 그룹핑하여, 1/4 부분블록(402)내에서 각 셀 그룹에 대응되는 영역이 갖는 DoP를 동일하게 이용하여 내부모드 코딩을 한다. 예를 들어, 도 4a의 예에서는, 좌상단 셀그룹(401a)의 각 4개의 셀은 대응블록내의 1/4부분 블록(402)의 좌상단 셀(402a)의 DoP 정보를 동일하게 이용하여 각각 내부모드 코딩되고, 도 4b의 예에서는, 셀그룹(401a)( 이는 매크로 블록(401)의 크기와 동일 )내의 4개의 각 셀이, 그 셀그룹(401a)에 대응되는 베이스 레이어의 1/4부분블록(402)의 DoP 정보를 동일하게 이용하여 각각 내부모드 코딩된다. 매크로 블록의 다른 셀그룹 또는 다른 매크로 블록에 대해서도 마찬가지이다.

내부모드 코딩은 정해진 DoP에 따라, 인접된 좌 및/또는 상단의 픽셀라인의 화소값을 적절히 선택하여 그 평균을 기준으로 한 각 화소의 차이값( 레지듀얼(residual) )을 코딩하거나 또는 인접된 두 라인에 있는 화소값을 DoP에 따라 적절히 인터폴레이션(interpolation)한 값과의 차이값(레지듀얼)을 코딩한다.

한편, 베이스 레이어의 대응블록이 도 4c의 예와 같이, intra 16x16으로 코딩되어 있으면, 즉 16x16의 하나의 매크로 블록 전체에 대해 하나의 DoP(41)에 따라 코딩되어 있으면, 상기 추정/예측기(102)는 현재의 매크로 블록(401) 뿐만 아니라 그 매크로 블록(401)과 접한, 모두 동일한 대응블록(41)을 갖는 3개의 매크로 블록들도 대응블록(410)의 DoP(41)를 동일하게 이용하여 각각 내부코딩한다.

본 발명에 따른 다른 실시예에서는, 상기 추정/예측기(102)는 현재 매크로 블록의 대응블록에 대한 예측모드와, 베이스 레이어의 프레임대비 자신이 코딩하는 프레임의 화면크기 비율에 근거하여 현재의 매크로 블록(401)을 셀로 분할한다.

인핸스드 레이어 프레임의 화면크기가 베이스 레이어 프레임의 4배인 조건하에서, 베이스 레이어의 내부모드 블록이 도 5a에서와 같이 intra 4x4의 모드이면 현재의 매크로 블록(501)을 그 모드의 4배에 해당하는 8x8의 크기를 갖는 셀들로 분할하고, 도 5b에서와 같이 intra 8x8의 모드이면, 그 모드의 4배에 해당하는 크기는 곧 현재 매크로 블록(501)의 크기이므로 분할하지 않는다. 현재 매크로 블록의 대응블록의 내부모드 유형이 intra 16x16인 도 5c의 경우에도 마찬가지이다.

본 실시예에 따라 매크로 블록이 분할되는 경우, 도 5a에 예시된 바와 같이, 분할된 각 셀은 대응블록의 4x4 부분영역의 DoP정보와 일대일로 대응되므로, 상기 추정/예측기(102)는 분할된 매크로 블록(501)의 각 셀에 대해 상호 위치대응되는 4x4 영역의 DoP정보를 이용하여 내부코딩한다.

그런데, 이와 같이 베이스 레이어의 임의 매크로 블록에서 내부코딩된 모드보다 더 큰 크기를 갖는 모드를 사용하게 되면, 예를 들어 베이스 레이어가 intra 8x8을 사용하였을 때 인핸스드 레이어가 그 상위인 intra 16x16을 사용하게 되면 동일한 DoP를 이용할 수 없는 경우가 발생한다. 예를 들어, 도 5b에 예시된 바와 같이 베이스 레이어의 대응블록이 intra 8x8 모드로 코딩되어 있고, 현재 매크로 블록(501)에 대응되는 대응블록내의 1/4 부분블록(502)이 대각선 DoP(52)를 가지는 경우, 현재 매크로 블록(501)은 intra 16x16 모드로 대각선 DoP를 사용하여야 하는 데, intra 16x16 모드가 갖는 4개의 DoP에는 대각선 DoP가 정의되어 있지 않아 이용할 수 없다.

따라서, 상기 추정/예측기(102)는 대응블록이 갖고 있는 DoP 정보를 이용할 수 없을 때는 도 5b에서와 같이 현재 매크로 블록(501)에 대해 방향에 무관하게, 인접된 두 라인에 있는 화소값 및/또는 고정값, 예를 들어 128을 더한 값의 평균을 기준으로 한 DC 코딩 또는 플레인(plane) 코딩을 사용한다.

도 5c에서와 같이 대응 블록이 intra 16x16 모드로 코딩되어 있는 경우에는, 현재 매크로 블록(501)을 분할할 수 없고, 현재 매크로 블록(501)을 포함하는 인접 3개의 블록이 동일한 대응블록(510)을 가지므로 4개의 매크로 블록에 대해 대응블록(510)의 하나의 DoP(53)를 공통으로 사용하여 내부 코딩을 하게 된다. 이는 도 4c의 경우와 동일하다.

상기와 같은 내부모드 코딩후에, 상기 추정/예측기(102)는 베이스 레이어의 대응블록의 DoP를 이용하여 코딩하였음을 알리는 모드 정보를, 매크로 블록의 헤더정보내에, 예를 들어 블록모드에 기록한다. 이 때의 모드 정보는, 베이스 레이어의 내부모드 블록의 예측정보를 이용하지 않고 인핸스드 레이어의 인접화소를 이용하여 코딩한 내부모드를 지시하는 정보와는 구별되는 정보이다.

본 발명에 따른 다른 일 실시예에서는, 현재의 매크로 블록에 대해 도 4a 내지 4c 또는 5a 내지 5c와 같은 방식으로 내부 코딩한 레지듀얼 블록을 임시로 저장한 후, 그 임시블록과 베이스 레이어의 대응블록 또는 대응블록의 일부영역과의 각 화소의 차이값을 상기 매크로 블록에 코딩할 수도 있다. 즉, 각기 내부모드 코딩된 에러데이터간의 차이가 코딩된다. 이를 위해서는, 상기 BL 디코더(105)가 베이스 레이어 스트림으로부터의 엔코딩 정보의 추출외에 엔코딩된 영상 프레임도 제공한다. 그리고, 인핸스드 레이어와 베이스 레이어의 화면크기가 상이하면 그 비율에 따라 디코딩된 베이스 레이어의 프레임을 업샘플링을 통해 프레임 크기를 확대하여 상기 추정/예측기(102)에 제공하게 된다.

지금까지 설명한 방법에 의해 엔코딩된 데이터 스트림은 유선 또는 무선으로 디코딩 장치에 전부 또는 일부( 채널 용량예 따라 )가 전송되거나 기록매체를 매개로 하여 전달되며, 디코딩 장치는 이후 설명하는 방법에 따라 원래의 인핸스드 레이어 및/또는 베이스 레이어의 영상신호를 복원하게 된다.

도 6은 도 2의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 블 록도이다. 도 6의 디코딩 장치는, 수신되는 데이터 스트림에서 압축된 모션 벡터 스트림과 압축된 매크로 블록 정보 스트림을 분리하는 디먹서(200), 압축된 매크로 블록 정보 스트림을 원래의 비압축 상태로 복원하는 텍스처 디코딩부(210), 압축된 모션 벡터 스트림을 원래의 비압축 상태로 복원하는 모션 디코딩부(220), 압축해제된 매크로 블록 정보 스트림과 모션 벡터 스트림을 MCTF 방식에 따라 원래의 영상신호로 역변환하는 MCTF 디코더(230), 상기 베이스 레이어 스트림을 정해진 방식, 예를 들어 MPEG4 또는 H.264방식에 의해 디코딩하는 베이스 레이어 디코더(240)를 포함하여 구성된다. 상기 BL 디코더(240)는, 입력되는 베이스 레이어 스트림을 디코딩함과 동시에, 스트림내의 헤더정보를 상기 MCTF 디코더(230)에 제공하여 필요한 베이스 레이어의 엔코딩 정보, 예를 들어 내부모드 블록의 예측 정보 등을 이용할 수 있게 한다.

상기 MCTF 디코더(230)는, 입력되는 스트림으로부터 원래의 프레임 시퀀스를 복원하기 위한 도 7의 구성을 포함한다.

도 7의 MCTF 디코더(230)는, MCTF 레벨 N의 H와 L프레임 시퀀스를 레벨 N-1의 L 프레임 시퀀스로 복원하는 구성이다. 도 7에는, 입력되는 H 프레임의 각 화소의 차값을 입력되는 L프레임에서 감하는 역갱신기(231), H프레임의 이미지 차가 감해진 L프레임과 그 H프레임을 사용하여 원래의 이미지를 갖는 L프레임을 복원하는 역 예측기(232), 입력되는 모션 벡터 스트림을 디코딩하여 H프레임내의 각 매크로 블록의 모션벡터 정보를 각 단(stage)의 역 예측기(232 등)에 제공하는 모션 벡터 디코더(235), 그리고 상기 역 예측기(232)에 의해 완성된 L프레임을 상기 역갱신기 (231)의 출력 L프레임 사이에 간삽시켜 정상 순서의 L프레임 시퀀스로 만드는 배열기(234)를 포함한다.

상기 배열기(234)에 의해 출력되는 L 프레임은 레벨 N-1의 L프레임 시퀀스(701)가 되고 이는 입력되는 N-1레벨의 H프레임 시퀀스(702)와 함께 다음 단의 역갱신기와 역 예측기에 의해 L프레임 시퀀스로 다시 복원되며, 이 과정이 엔코딩시의 MCTF 레벨만큼 수행됨으로써 원래의 영상 프레임 시퀀스로 복원된다.

레벨 N에서의 H프레임의 L프레임으로의 복원과정을 본 발명과 관련하여 보다 상세히 설명하면, 먼저, 상기 역갱신기(231)는, 임의의 L프레임에 대해, 그 프레임내에 블록을 기준블록으로 하여 이미지 차를 구한 모든 H프레임내의 매크로 블록의 에러값을 상기 L프레임의 해당 블록에서 감하는 동작을 수행한다.

상기 역 예측기(232)는, 하나의 H프레임내에서, 헤더가 베이스 레이어의 대응블록의 예측정보를 이용하여 내부코딩되었음을 지시하는 매크로 블록을 제외하고는, 상기 모션 벡터 디코더(235)로부터 제공되는 모션벡터 정보에 근거해서 기 공지된 방식에 따라서 매크로 블록을 원래의 화소값으로 복구하는 동작을 수행한다.

만약, 베이스 레이어의 대응블록의 예측정보를 이용하여 내부코딩된 것으로 그 헤더정보가 지시하고 있는 매크로 블록에 대해서는 원 이미지를 복원하기 위해, 상기 BL 디코더(240)로부터 제공되는 베이스 레이어의 대응블록의 예측모드와 DoP정보를 먼저 확인하고, 그에 따라 내부모드로 코딩된 현재 매크로 블록의 원 화소값을 복원한다.

먼저, 베이스 레이어의 내부모드의 대응블록의 예측모드와 동일한 크기로 셀 을 분할하여 DoP를 이용한 도 4a 내지 4c의 실시예의 경우에는, 상기 역 예측기(232)도 대응블록의 예측모드(intra 4x4 또는 intra 8x8)와 동일모드로 현재 매크로 블록을 셀로 분할하여, 베이스 레이어의 대응블록의 DoP정보를 중복하여, 예를 들어 화면크기 비율이 4이면 4회 중복하여 상호 인접된 4개의 분할 셀들에 각각 적용하여 해당 셀의 원래의 화소값을 구하고, 분할할 수 없는 예측모드, 즉 intra 16x16이면( 도 4c의 경우 ) 그 대응블록의 DoP를 그대로 사용하여 현재 매크로 블록의 원래의 화소값을 복원한다.

대응블록의 DoP를 이용하여 원래의 화소값을 복원하는 방법은, 앞서 복구된 인접 매크로 블록 또는 셀의 원래의 화소값으로부터, 해당 DoP에 따라 각 화소에 적용된 기준값을 구한 후 그 기준값과 그 화소의 현재 차값을 더하여 원래의 화소값으로 복원한다. 경우에 따라서는, 현재 매크로 블록에 인접된 매크로 블록이 프레임간 모드인 경우에도 그와 인접된 라인의 화소값을 128로 대체하지 않고 복원된, 즉 디코딩된 화소값을 상기 기준값을 구하는 데 사용할 수도 있다. 현재 매크로 블록에 접한 앞선 3블록( 좌측, 상단, 그리고 좌상단 블록 )은 디코딩 순서에 있어서 현재 블록에 앞서서 먼저 복원되므로 프레임간 모드인 경우에도 원래 화소값을 사용하는 데는 문제가 없다.

베이스 레이어의 대응블록의 예측모드의 크기에 화면크기 비율, 예를 들어 4를 곱한 모드로 셀을 분할하여 DoP를 이용한 도 5a 내지 5c의 실시예의 경우에는, 상기 역 예측기(232)는 대응블록의 예측모드가 intra 4x4이면 8x8의 셀로 분할하여, 대응블록내에서 상호 대응되는 4x4영역의 DoP정보를 일대일 각각 적용하여 해 당 셀의 원래의 화소값을 구하고( 도 5a의 경우 ), 분할할 수 없는 예측모드, 즉 intra 8x8 및 intra 16x16이면( 도 5b 및 5c의 경우 ) 그 대응블록의 DoP를 그대로 사용하여 현재 매크로 블록의 원래의 화소값을 복원한다. 그런데, 베이스 레이어의 블록에 대해 적용된 예측모드의 상위 모드가 인핸스드 레이어의 블록에 적용되므로, 도 5b에서와 같이 베이스 레이어의 블록에 적용된 DoP를 현재의 매크로 블록에 적용할 수 없는 경우가 발생할 수도 있다. 이 때에는 상기 역 예측기(232)는 미리 지정된 방식, 예를 들면 DC 또는 플레인 예측의 역동작을 수행하여 원래의 화소값을 복원하게 된다.

만약, 베이스 레이어의 내부모드 블록의 예측정보를 이용하는 인핸스드 레이어의 블록에 대해 에러데이터간의 차이를 코딩하는 실시예에서는, 먼저, 현재 매크로 블록의 각 화소값에 베이스 레이어의 대응블록 또는 대응블록의 일부영역의 대응 화소값을 각기 더한 후에, 상기 대응블록의 예측정보를 이용하여 원래의 화소값을 복원하는 전술한 동작을 행하게 된다. 이를 위해서는, 상기 BL 디코더(240)가 디코딩전의 베이스 레이어 프레임도 상기 MCTF 디코더(230)에 제공하는 데, 인핸스드 레이어와 베이스 레이어의 화면크기가 상이하면 그 비율에 따라 베이스 레이어의 프레임을 확대하여 제공하게 된다.

하나의 H프레임에 대해, 소정단위, 예를 들어 슬라이스(slice) 단위로 병렬적으로 수행되어 그 프레임내의 모든 매크로 블록들이 원래의 이미지를 가지게 된 다음 이들이 모두 조합됨으로써 하나의 완전한 영상 프레임을 구성하게 된다.

이러한 방법에 따라, 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 MCTF방식으로 엔코딩된 데이터 스트림이 완전한 영상 프레임 시퀀스로 복구된다. 전술한 디코딩 장치는, 이동통신 단말기 등에 실장되거나 또는 기록매체를 재생하는 장치에 실장될 수 있다.

본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.

상술한 바와 같이, MCTF 엔코딩에 있어서, 인핸스드 레이어의 프레임외에 저성능 디코더를 위해 제공되는 베이스 레이어의 엔코딩 정보를 이용하여 내부모드 블록을 만들게 되면 엔코딩장치의 하드웨어 복잡도를 감소시킬 수 있다.

Claims (40)

1. 입력 영상신호를 엔코딩하는 장치에 있어서,

   상기 영상신호를 스케일러블한 제 1방식으로 엔코딩하여 제 1레이어의 비트 스트림을 출력하는 제 1엔코더와,

   상기 영상신호를 지정된 제 2방식으로 엔코딩하여 제 2레이어의 비트 스트림을 출력하는 제 2엔코더를 포함하여 구성되되,

   상기 제 1엔코더는,

   상기 제 2레이어의 비트 스트림에서 추출된 엔코딩정보에 포함되어 있는 내부모드로 코딩된 제 1블록의 예측정보에 근거하여, 상기 영상신호의 임의의 프레임내에 포함되어 있는 영상 블록을, 그 영상 블록의 인접화소를 이용하여 내부모드로 코딩하는 수단을 포함하여 구성되는 것을 특징으로 하는 장치.
2. 제 1항에 있어서,

   상기 제 1블록은, 상기 임의의 프레임과는 동시간의 제 2레이어의 프레임내에서, 상기 영상블록과 동위치에 있는 블록이거나 또는 동위치의 영역을 포함하는 블록인 것을 특징으로 하는 장치.
3. 제 1항에 있어서,

   상기 예측정보는, 예측모드와 예측방향에 대한 정보를 포함하는 것을 특징으 로 하는 장치.
4. 제 3항에 있어서,

   상기 예측모드는 intra 4x4, intra 8x8 및 intra 16x16 중에서 선택되는 하나인 것을 특징으로 하는 장치.
5. 제 3항에 있어서,

   상기 수단은, 상기 예측모드에 근거하여 상기 영상블록을 복수개의 셀로 분할하고, 분할된 셀의 소정갯수의 그룹마다, 그 그룹과 대응되는, 상기 제 1블록내의 부분영역의 예측방향을 그 그룹내의 각 셀에 동일하게 적용하여 해당 셀의 각 화소값 차이를 코딩하는 것을 특징으로 하는 장치.
6. 제 3항에 있어서,

   상기 수단은, 상기 예측모드에서 지정된 크기에, 상기 제 2레이어 대비 상기 제 1레이어의 화면크기 비를 곱한 크기로 상기 영상블록을 복수개의 셀로 분할하고, 각 분할된 셀에 대해, 그 셀과 대응되는, 상기 제 1블록내의 부분영역의 예측방향을 적용하여 해당 셀의 각 화소값 차이를 코딩하는 것을 특징으로 하는 장치.
7. 제 3항에 있어서,

   상기 수단은, 상기 예측모드에 근거해서 상기 영상블록을 분할 할 수 없을 때는, 상기 제 1블록 또는 상기 제 1블록의 부분영역에 대한 예측방향을 상기 영상블록 전체에 적용하여 각 화소값 차이를 코딩하는 것을 특징으로 하는 장치.
8. 제 7항에 있어서,

   상기 수단은, 상기 제 1블록의 부분영역에 대한 예측방향이 상기 영상블록 전체에 적용할 수 없는 예측방향인 경우에는 DC 예측 또는 플레인 예측을 적용하여 상기 영상블록을 내부 코딩하는 것을 특징으로 하는 장치.
9. 제 1항에 있어서,

   상기 수단은, 상기 영상블록에 대해 상기 제 2 레이어의 대응블록의 예측정보를 이용하여 내부코딩되었음을 나타내는 정보를 상기 영상블록의 헤더정보에 포함시켜 기록하는 동작을 더 수행하는 것을 특징으로 하는 장치.
10. 제 1항에 있어서,

    상기 디코더는 상기 제 2레이어의 엔코딩된 영상 프레임을 상기 제 1엔코더에 추가도 제공하되,

    상기 수단은, 상기 영상블록에 대해, 상기 제 1블록의 예측정보에 근거하여 구한 에러데이터와 상기 제 1블록 또는 그 일부영역의 에러 데이터의 차이값을 상기 영상블록에 코딩하는 것을 특징으로 하는 장치.
11. 입력 영상신호를 엔코딩하는 방법에 있어서,

    상기 영상신호를 스케일러블한 제 1방식으로 엔코딩하여 제 1레이어의 비트 스트림을 출력하는 단계와,

    상기 영상신호를 지정된 제 2방식으로 엔코딩하여 제 2레이어의 비트 스트림을 출력하는 단계를 포함하여 구성되되,

    상기 제 1방식으로 엔코딩하는 단계는,

    상기 제 2레이어의 비트 스트림에 포함되어 있는 내부모드로 코딩된 제 1블록의 예측정보에 근거하여, 상기 영상신호의 임의의 프레임내에 포함되어 있는 영상 블록을, 그 영상 블록에 인접된 화소를 이용하여 내부모드로 코딩하는 과정을 포함하여 이루어지는 것을 특징으로 하는 방법.
12. 제 11항에 있어서,

    상기 제 1블록은, 상기 임의의 프레임과는 동시간의 제 2레이어의 프레임내에서, 상기 영상블록과 동위치에 있는 블록이거나 또는 동위치의 영역을 포함하는 블록인 것을 특징으로 하는 방법.
13. 제 11항에 있어서,

    상기 예측정보는, 예측모드와 예측방향에 대한 정보를 포함하는 것을 특징으로 하는 방법.
14. 제 13항에 있어서,

    상기 예측모드는 intra 4x4, intra 8x8 및 intra 16x16 중에서 선택되는 하나인 것을 특징으로 하는 방법.
15. 제 13항에 있어서,

    상기 과정은, 상기 예측모드에 근거하여 상기 영상블록을 복수개의 셀로 분할하고, 분할된 셀의 소정갯수의 그룹마다, 그 그룹과 대응되는, 상기 제 1블록내의 부분영역의 예측방향을 그 그룹내의 각 셀에 동일하게 적용하여 해당 셀의 각 화소값 차이를 코딩하는 것을 특징으로 하는 방법.
16. 제 13항에 있어서,

    상기 과정은, 상기 예측모드에서 지정된 크기에, 상기 제 2레이어 대비 상기 제 1레이어의 화면크기 비를 곱한 크기로 상기 영상블록을 복수개의 셀로 분할하고, 각 분할된 셀에 대해, 그 셀과 대응되는, 상기 제 1블록내의 부분영역의 예측방향을 적용하여 해당 셀의 각 화소값 차이를 코딩하는 것을 특징으로 하는 방법.
17. 제 13항에 있어서,

    상기 과정은, 상기 예측모드에 근거해서 상기 영상블록을 분할 할 수 없을 때는, 상기 제 1블록 또는 상기 제 1블록의 부분영역에 대한 예측방향을 상기 영상블록 전체에 적용하여 각 화소값 차이를 코딩하는 것을 특징으로 하는 방법.
18. 제 17항에 있어서,

    상기 과정은, 상기 제 1블록의 부분영역에 대한 예측방향이 상기 영상블록 전체에 적용할 수 없는 예측방향인 경우에는 DC 예측 또는 플레인 예측을 적용하여 상기 영상블록을 내부 코딩하는 것을 특징으로 하는 방법.
19. 제 11항에 있어서,

    상기 제 1방식으로 엔코딩하는 단계는, 상기 영상블록에 대해 상기 제 2 레이어의 대응블록의 예측정보를 이용하여 내부코딩되었음을 나타내는 정보를 상기 영상블록의 헤더정보에 포함시켜 기록하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 방법.
20. 제 11항에 있어서,

    상기 과정은, 상기 영상블록에 대해, 상기 제 1블록의 예측정보에 근거하여 구한 에러데이터와 상기 제 1블록 또는 그 일부영역의 에러 데이터의 차이값을 상기 영상블록에 코딩하는 것을 특징으로 하는 방법.
21. 차값의 화소를 가진 프레임을 포함하는 제 1레이어의 비트 스트림을 수신하여 영상신호로 디코딩하는 장치에 있어서,

    상기 제 1레이어의 비트 스트림을 스케일러블한 제 1방식으로 디코딩하여 원 래의 이미지를 갖는 영상 프레임들로 복원 출력하는 제 1디코더와,

    제 2레이어의 비트 스트림을 수신하여 그 비트 스트림에서 엔코딩 정보를 추출하여 상기 제 1디코더에 제공하는 제 2디코더를 포함하여 구성되되,

    상기 제 1디코더는,

    상기 엔코딩 정보에 포함되어 있는 내부모드로 코딩된 제 1블록의 예측정보에 근거하여, 상기 제 1레이어의 비트 스트림내의 임의의 프레임에 포함되어 있는 대상 블록에 대해, 그 대상 블록의 인접화소를 이용하여 상기 대상 블록의 차값의 화소를 원래의 화소값으로 복원하는 수단을 포함하여 구성되는 것을 특징으로 하는 장치.
22. 제 21항에 있어서,

    상기 제 1블록은, 상기 임의의 프레임과는 동시간의 제 2레이어의 프레임내에서, 상기 영상블록과 동위치에 있는 블록이거나 또는 동위치의 영역을 포함하는 블록인 것을 특징으로 하는 장치.
23. 제 21항에 있어서,

    상기 예측정보는, 예측모드와 예측방향에 대한 정보를 포함하는 것을 특징으로 하는 장치.
24. 제 23항에 있어서,

    상기 예측모드는 intra 4x4, intra 8x8 및 intra 16x16 중에서 선택되는 하나인 것을 특징으로 하는 장치.
25. 제 23항에 있어서,

    상기 수단은, 상기 예측모드에 근거하여 상기 대상블록을 복수개의 셀로 분할하고, 분할된 셀의 소정갯수의 그룹마다, 그 그룹과 대응되는, 상기 제 1블록내의 부분영역의 예측방향을 그 그룹내의 각 셀에 동일하게 적용하여 해당 셀의 차값의 화소를 원래의 화소값으로 복원하는 것을 특징으로 하는 장치.
26. 제 23항에 있어서,

    상기 수단은, 상기 예측모드에서 지정된 크기에, 상기 제 2레이어 대비 상기 제 1레이어의 화면크기 비를 곱한 크기로 상기 대상블록을 복수개의 셀로 분할하고, 각 분할된 셀에 대해, 그 셀과 대응되는, 상기 제 1블록내의 부분영역의 예측방향을 적용하여 해당 셀의 차값의 화소를 원래의 화소값으로 복원하는 것을 특징으로 하는 장치.
27. 제 23항에 있어서,

    상기 수단은, 상기 예측모드에 근거해서 상기 대상블록을 분할 할 수 없을 때는, 상기 제 1블록 또는 상기 제 1블록의 부분영역에 대한 예측방향을 상기 대상블록 전체에 적용하여 그 블록의 차값의 화소를 원래의 화소값으로 복원하는 것을 특징으로 하는 장치.
28. 제 27항에 있어서,

    상기 수단은, 상기 제 1블록의 부분영역에 대한 예측방향이 상기 대상블록 전체에 적용할 수 없는 예측방향인 경우에는, DC 예측 또는 플레인 예측을 역으로 수행하여 상기 대상블록의 차값의 화소를 원래의 화소값으로 복원하는 것을 특징으로 하는 장치.
29. 제 21항에 있어서,

    상기 수단은, 상기 대상블록의 헤더정보가, 상기 제 2레이어의 대응블록의 예측정보를 이용하여 내부코딩되었음을 지시하고 있는 경우에, 상기 제 1블록의 예측정보를 이용하여 상기 대상블록의 원래의 화소값을 복원하는 과정을 수행하는 것을 특징으로 하는 장치.
30. 제 21항에 있어서,

    상기 수단은, 상기 대상블록내의 데이터에 상기 제 1블록 또는 그 일부영역의 데이터를 가산한 후, 상기 제 1블록의 예측정보에 근거하여 그 대상 블록의 인접화소를 이용하여 상기 가산된 대상 블록을 원래의 화소값으로 복원하는 것을 특징으로 하는 장치.
31. 차값의 화소를 가진 프레임을 포함하는 제 1레이어의 비트 스트림을 수신하여 영상신호로 디코딩하는 방법에 있어서,

    제 2레이어의 입력 비트 스트림에서 추출되어 제공되는 엔코딩 정보를 이용하여 상기 제 1레이어의 비트 스트림을 스케일러블한 제 1방식으로 디코딩함으로써 원래의 이미지를 갖는 영상 프레임들로 복원 출력하는 단계를 포함하여 이루어지되,

    상기 복원 출력단계는,

    상기 엔코딩 정보에 포함되어 있는 내부모드로 코딩된 제 1블록의 예측정보에 근거하여, 상기 제 1레이어의 비트 스트림내의 임의의 프레임에 포함되어 있는 대상 블록에 대해, 그 대상 블록의 인접화소를 이용하여 상기 대상 블록의 차값의 화소를 원래의 화소값으로 복원하는 과정을 포함하여 이루어지는 것을 특징으로 하는 방법.
32. 제 31항에 있어서,

    상기 제 1블록은, 상기 임의의 프레임과는 동시간의 제 2레이어의 프레임내에서, 상기 영상블록과 동위치에 있는 블록이거나 또는 동위치의 영역을 포함하는 블록인 것을 특징으로 하는 방법.
33. 제 31항에 있어서,

    상기 예측정보는, 예측모드와 예측방향에 대한 정보를 포함하는 것을 특징으 로 하는 방법.
34. 제 33항에 있어서,

    상기 예측모드는 intra 4x4, intra 8x8 및 intra 16x16 중에서 선택되는 하나인 것을 특징으로 하는 방법.
35. 제 33항에 있어서,

    상기 과정은, 상기 예측모드에 근거하여 상기 대상블록을 복수개의 셀로 분할하고, 분할된 셀의 소정갯수의 그룹마다, 그 그룹과 대응되는, 상기 제 1블록내의 부분영역의 예측방향을 그 그룹내의 각 셀에 동일하게 적용하여 해당 셀의 차값의 화소를 원래의 화소값으로 복원하는 것을 특징으로 하는 방법.
36. 제 33항에 있어서,

    상기 과정은, 상기 예측모드에서 지정된 크기에, 상기 제 2레이어 대비 상기 제 1레이어의 화면크기 비를 곱한 크기로 상기 대상블록을 복수개의 셀로 분할하고, 각 분할된 셀에 대해, 그 셀과 대응되는, 상기 제 1블록내의 부분영역의 예측방향을 적용하여 해당 셀의 차값의 화소를 원래의 화소값으로 복원하는 것을 특징으로 하는 방법.
37. 제 33항에 있어서,

    상기 과정은, 상기 예측모드에 근거해서 상기 대상블록을 분할 할 수 없을 때는, 상기 제 1블록 또는 상기 제 1블록의 부분영역에 대한 예측방향을 상기 대상블록 전체에 적용하여 그 블록의 차값의 화소를 원래의 화소값으로 복원하는 것을 특징으로 하는 방법.
38. 제 37항에 있어서,

    상기 과정은, 상기 제 1블록의 부분영역에 대한 예측방향이 상기 대상블록 전체에 적용할 수 없는 예측방향인 경우에는, DC 예측 또는 플레인 예측을 역으로 수행하여 상기 대상블록의 차값의 화소를 원래의 화소값으로 복원하는 것을 특징으로 하는 방법.
39. 제 31항에 있어서,

    상기 과정은, 상기 대상블록의 헤더정보가, 상기 제 2레이어의 대응블록의 예측정보를 이용하여 내부코딩되었음을 지시하고 있는 경우에 수행되는 것을 특징으로 하는 방법.
40. 제 31항에 있어서,

    상기 과정은, 상기 대상블록내의 데이터에 상기 제 1블록 또는 그 일부영역의 데이터를 가산한 후, 상기 제 1블록의 예측정보에 근거하여 그 대상 블록의 인접화소를 이용하여 상기 가산된 대상 블록을 원래의 화소값으로 복원하는 것을 특 징으로 하는 방법.

Images