KR20110008653A

KR20110008653A - 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법

Info

Publication number: KR20110008653A
Application number: KR1020090066103A
Authority: KR
Inventors: 최웅일; 김대희
Original assignee: 삼성전자주식회사
Priority date: 2009-07-20
Filing date: 2009-07-20
Publication date: 2011-01-27
Also published as: US20110013697A1; WO2011010858A2; CN102474619A; WO2011010858A3; EP2441266A2; EP2441266A4

Abstract

본 발명은 동영상 등을 처리하는 영상 압축 코덱에서 압축률의 향상을 위해 움직임 벡터를 예측하는 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법에 대한 것으로서, 본 발명의 실시 예에 따라 영상 부호화를 위한 움직임 벡터의 차분 부호화 시 이용되는 움직임 벡터의 예측 방법은 예측 움직임 벡터를 구하고자 하는 타겟 블록의 주변 블록들에 대한 움직임 벡터 리스트를 생성하는 과정과; 상기 움직임 벡터 리스트에 포함된 움직임 벡터들간의 거리를 각각 계산하는 과정과; 상기 움직임 벡터들간의 거리가 큰 순서로 해당 움직임 벡터를 제거하여 상기 움직임 벡터 리스트를 업데이트하는 과정과; 상기 업데이트된 움직임 벡터 리스트에서 상기 타겟 블록과 상관도가 가장 높은 움직임 벡터를 상기 타겟 블록과 관련된 예측 움직임 벡터로 결정하는 과정을 포함한다.

움직임 벡터, PMV, 예측, 움직임 벡터 리스트

Description

움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법{METHOD AND APPARATUS FOR PREDICTING MOTION VECTOR AND METHOD AND APPARATUS OF ENCODING/DECODING A PICTURE USING THE SAME}

본 발명은 영상 부호화 및 복호화 기술에 대한 것으로서, 특히 동영상 등을 처리하는 영상 압축 코덱에서 압축률의 향상을 위해 움직임 벡터를 예측하는 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법에 대한 것이다.

일반적으로 동영상 압축 기술에서 영상은 MⅹN 픽셀 블록 크기의 매크로 블록(macro block) 단위로 처리된다. 동영상 처리 시 매크로 블록은 인트라 모드(Intra mode) 또는 인터 모드(Inter mode) 중에서 하나의 모드로 부호화/복호화된다. 상기 매크로 블록이란 소정 크기로 설정된 픽셀 블록들의 집합으로서, 하나의 프레임은 복수의 매크로 블록들로 구성된다. 상기 매크로 블록을 이용하는 대표적인 영상 압축기술로는 MPEG, H.26x 등의 압축 표준이 있다.

동영상 압축의 기본적인 개념은 원본 영상 데이터에서 공간적, 시간적으로 중복되는 데이터를 제거하는 것이다. 상기 인트라 모드는 공간적인 중복성을 제거 하는 방식, 즉 현재 프레임에서 소정 크기의 매크로 블록 내에 있는 픽셀들 간의 중복성을 제거하는 방식이다. 상기 인터 모드는 시간적인 중복성을 제거하는 방식, 즉 인접한 두 프레임 내의 대응하는 매크로 블록 간의 움직임 추정(motion estimation)을 통하여, 현재 프레임과 이전의 또는 미래의 참조 프레임간에 매크로 블록의 차이를 추정하는 방식이다. 상기 움직임 추정은 현재 프레임에서 부호화하려는 매크로 블록과 유사한 참조 프레임의 매크로 블록을 탐색하여 찾는 과정이며, 영상 부호화 시 상기 움직임 추정을 통해 찾아진 참조 프레임의 매크로 블록을 이용하여 움직임 보상(Motion Compensation)을 수행한다. 영상 부호화기는 찾아진 참조 프레임의 매크로 블록과 현재 프레임의 매크로 블록간의 차를 참조 프레임의 위치를 나타내는 움직임 벡터와 함께 엔트로피 부호화하여 전송한다. 일반적으로 상기 움직임 벡터(Motion Vector : 이하, "MV")는 참조 프레임에서 찾아진 매크로 블록의 현재 프레임에서 매크로 블록에 대한 변위(displacement)로 정의된다.

종래 기술에서는 상기 MV의 부호화를 위해 타겟 매크로 블록과 주변 매크로 블록간의 MV의 상관도(correlation)가 높다는 특징을 이용하여 상기 주변 매크로 블록으로부터 이른바 예측 움직임 벡터(Predictive Motion Vector : 이하, "PMV")를 구하고, 상기 PMV와 해당 매크로 블록의 MV간 차분 움직임 벡터(Differential Motion Vector : 이하, "DMV")를 엔트로피(entropy) 부호화한다. 상기 PMV를 결정하여 상기 DMV를 구하는 과정을 차분 부호화라 부른다.

종래 기술에서 상기 PMV는 일반적으로 주변 매크로 블록들의 MV들의 중간값(median value)으로 구해진다. 예를 들어 상기 PMV는 중간값의 연산을 위해 주어 진 매크로 블록으로부터 좌측, 상측, 상우측의 3개 주변 매크로 블록들의 MV들을 이용하여 구해진다.

즉 도 1은 종래 기술에서 예측 움직임 벡터(PMV)를 구하는 방식을 설명하기 위한 도면이다. 도 1에서 참조 번호 101은 DMV를 구하고자 하는 타겟 매크로 블록이고, 참조 번호 103 내지 107은 PMV를 구하는데 이용되는 주변 매크로 블록들을 나타낸 것이다.

도 1에서 현재 부호화할 MV가 위치한 타겟 매크로 블록을 블록 E(101)라고 가정하면, 블록 E(101)을 기준으로 좌측 블록 A(103), 상측 블록 B(105), 그리고 상우측 블록 C(107)의 MV들이 상기 PMV를 구하는데 이용된다. 종래 기술에서 부호화기(도시되지 않음)는 상기 3개 블록들(103, 105, 107)의 MV들의 x, y 성분에 대해 각각 중간값을 계산하고, 그 중간값을 상기 타겟 매크로 블록과 관련된 PMV로 결정한다.

상기한 종래 기술의 경우 주변 매크로 블록들 가운데 인트라 모드로 부호화 되는 등의 이유로 MV가 없는 블록이 존재할 경우 즉, PMV를 구하는데 이용되는 MV의 개수가 3개 미만인 경우에는 중간값을 구할 수 없으며, 결과적으로 타겟 매크로 블록과 관련된 PMV를 구할 수 없는 상황이 발생된다. 또한 종래 기술의 경우 상기와 같이 타겟 매크로 블록을 기준으로 좌측 블록, 상측 블록, 및 상우측 블록의 MV들은 PMV를 구하는데 이용할 수 있지만, 그 MV들을 제외한 다른 주변 매크로 블록은 MV가 있어도 전혀 이용할 수 없게 된다.

따라서 주변 매크로 블록의 개수와 위치에 무관하게 타겟 매크로 블록과 관 련된 PMV를 용이하게 구하기 위한 방안이 요망된다.

본 발명은 움직임 벡터의 차분 부호화 시 이용되는 예측 움직임 벡터를 용이하게 결정할 수 있는 움직임 벡터 예측 방법을 제공한다.

또한 본 발명은 주변 블록의 개수와 위치에 따라 가변적으로 움직임 벡터를 예측하는 움직임 벡터 예측 방법을 제공한다.

또한 본 발명은 상기 움직임 벡터 예측 방법을 이용한 영상 부호화 장치 및 방법을 제공한다.

본 발명의 실시 예에 따라 영상 부호화를 위한 움직임 벡터의 차분 부호화 시 이용되는 움직임 벡터의 예측 방법은 예측 움직임 벡터를 구하고자 하는 타겟 블록의 주변 블록들에 대한 움직임 벡터 리스트를 생성하는 과정과; 상기 움직임 벡터 리스트에 포함된 움직임 벡터들간의 거리를 각각 계산하는 과정과; 상기 움직임 벡터들간의 거리가 큰 순서로 해당 움직임 벡터를 제거하여 상기 움직임 벡터 리스트를 업데이트하는 과정과; 상기 업데이트된 움직임 벡터 리스트에서 상기 타겟 블록과 상관도가 가장 높은 움직임 벡터를 상기 타겟 블록과 관련된 예측 움직임 벡터로 결정하는 과정을 포함한다.

또한 본 발명의 실시 예에 따라 예측 움직임 벡터를 이용하여 영상 부호화를 수행하는 영상 부호화 장치는 정해진 영상 부호화 방식에 따라 입력 영상을 부호화하는 영상 코덱과; 상기 영상 코덱을 통해 부호화된 영상과 관련된 움직임 벡터 정보를 엔트로피 부호화하는 엔트로피 부호화기과; 상기 움직임 벡터 정보의 생성을 위한 예측 움직임 벡터를 구하고자 하는 타겟 블록의 주변 블록들에 대한 움직임 벡터 리스트를 생성하고, 상기 움직임 벡터 리스트에 포함된 움직임 벡터들간의 거리를 각각 계산하며, 상기 움직임 벡터들간의 거리가 큰 순서로 해당 움직임 벡터를 제거하여 상기 움직임 벡터 리스트를 업데이트하고, 상기 업데이트된 움직임 벡터 리스트에서 상기 타겟 블록과 상관도가 가장 높은 움직임 벡터를 상기 타겟 블록과 관련된 예측 움직임 벡터로 결정하는 수단을 포함한다.

또한 본 발명의 실시 예에 따라 예측 움직임 벡터를 이용하여 영상 복호화를 수행하는 영상 복호화 장치는 부호화된 영상을 정해진 영상 복호화 방식에 따라 복호화하는 영상 코덱과; 상기 영상 코덱을 통해 복호화되는 영상과 관련된 움직임 벡터 정보를 엔트로피 복호화하는 엔트로피 복호화기과; 상기 움직임 벡터 정보와 더하여 해당 영상의 타겟 블록에 대한 움직임 벡터를 계산하도록 상기 예측 움직임 벡터를 구하고자 하는 상기 타겟 블록의 주변 블록들에 대한 움직임 벡터 리스트를 생성하고, 상기 움직임 벡터 리스트에 포함된 움직임 벡터들간의 거리를 각각 계산하며, 상기 움직임 벡터들간의 거리가 큰 순서로 해당 움직임 벡터를 제거하여 상기 움직임 벡터 리스트를 업데이트하고, 상기 업데이트된 움직임 벡터 리스트에서 상기 타겟 블록과 상관도가 가장 높은 움직임 벡터를 상기 타겟 블록과 관련된 예측 움직임 벡터로 결정하는 수단을 포함한다.

하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 이하 첨부된 도면을 참조하여 상기한 본 발명의 실시 예를 구체적으로 설명하기로 한다.

먼저 본 발명에서 사용되는 용어를 간략히 정의하면, 본 발명에서 "블록"이라 함은 MⅹN 블록의 크기를 갖는 매크로 블록과, 상기 매크로 블록을 구성하는 다수의 픽셀 블록들에서 각 픽셀 블록을 포함하는 의미로 해석하기로 한다. 예를 들어 16ⅹ16 블록의 크기를 매크로 블록은 8ⅹ8 블록의 크기를 갖는 4 개의 픽셀 블록으로 구성될 수 있다.

상기한 종래 기술에서는 매크로 블록 단위로 PMV를 구하였으나, 본 발명의 실시 예서는 매크로 블록 단위의 PMV는 물론 매크로 블록을 구성하는 각 픽셀 블록에 대해서도 PMV를 구할 수 있다. 따라서 본 발명의 실시 예에서 "주변 블록"이라 함은 PMV를 구하고자 하는 타겟 블록의 주변에 위치하는 주변 매크로 블록 또는 주변 매크로 블록내 픽셀 블록이 될 수 있다. 또한 타겟 블록이 매크로 블록인 경우 주변 블록은 매크로 블록은 물론 주변매크로 블록내 픽셀 블록을 이용하여 PMV를 구할 수 있으며, 타겟 블록이 매크로 블록내 픽셀 블록인 경우 주변 매크로 블록내 픽셀 블록을 이용하여 PMV를 구할 수 있다.

도 2 내지 도 6은 본 발명의 실시 예에 따라 타겟 블록과 관련된 PMV를 구하는데 이용되는 주변 블록들의 위치에 대한 다양한 실시 예를 나타낸 것이다.

도 2 내지 도 6의 실시 예에서 매크로 블록은 16ⅹ16 블록, 매크로 블록내 각 픽셀 블록은 8ⅹ8 블록의 크기를 가짐을 가정한다. 그러나 매크로 블록과 픽셀 블록의 크기는 다양한 크기를 가질 수 있다.

먼저 도 2는 타겟 블록이 매크로 블록인 경우 타겟 매크로 블록(201)의 주변 블록으로 주변 매크로 블록들의 픽셀 블록들(203~211)을 이용한 예를 나타낸 것이다. 종래 기술에서 중간값을 이용한 PMV 결정 시 고정되게 3 개의 주변 블록을 이용하였으나, 본 발명의 경우 도 2와 같이 위치된 3 개 이상의 주변 블록을 이용하여 PMV를 구할 수 있다.

도 3 내지 도 6은 타겟 블록이 매크로 블록내 픽셀 블록인 경우 주변 블록으로 주변 매크로 블록들의 픽셀 블록들을 이용한 예를 나타낸 것으로서, 매크로 블록내 타겟 블록(301, 401, 501, 601)의 위치에 따라 다양한 위치의 주변 블록들이 PMV를 구하는데 이용될 수 있음을 예시하고 있다.

도 3의 실시 예의 경우 5 개의 주변 블록들(305~313)을 이용하여 PMV를 구할 경우 주변 블록들(305~313)의 위치를 나타낸 것이며, 타겟 블록(301)의 좌하측 주변 블록(305)까지 PMV를 구하는데 이용될 수 있음을 나타내고 있다. 도 4 내지 도 6의 실시 예 또한 도 1의 종래 기술에서 설명한 주변 블록들의 위치와 다르게 타겟 블록(401, 501, 601)의 위치에 따라 가변적인 위치를 갖도록 주변 블록들(403~409, 503~509, 603~607)의 위치가 선택됨을 알 수 있다. 상기한 도 2 내지 도 6의 실시 예와 같이 본 발명은 PMV 결정 시 이용되는 주변 블록의 개수는 물론 타겟 블록과 주변 블록의 크기와 위치에 제한을 두지 않고, 타겟 블록과 관련된 PMV를 구함을 알 수 있다.

도 2 내지 도 6의 실시 예에서 설명한 타겟 블록과 주변 블록의 크기 및 위치는 임의로 결정된 것이 아니라 타겟 블록에 대해 최적의 PMV를 구하도록 실험적 으로 결정된 것이다. 그러나 타겟 블록과 주변 블록의 크기 및 위치가 도 2 및 도 6의 실시 예로 반드시 한정되는 것은 아니며, 아래 설명될 본 발명의 움직임 벡터 예측 방법이 적용되는 범위 내에서 타겟 블록과 주변 블록의 크기 및 위치는 적절하게 변형하여 실시할 수 있을 것이다.

이하 도 7 및 도 8을 참조하여 주변 블록들의 MV들을 타겟 블록의 MV와 상관도가 높은 순서로 리스팅하여 상기 타겟 블록과 관련된 PMV를 구하는 본 발명의 실시 예에 따른 움직임 벡터 예측 방법을 설명하기로 한다. 그리고 상기 움직임 벡터 예측 방법은 인터 모드에 따라 움직임 벡터를 이용하여 부호화/복호화를 수행하는 각종 영상 부호화기/호화기에 적용될 수 있다.

도 7은 본 발명의 실시 예에 따라 주변 블록들의 위치별로 MV 리스트를 매핑하는 테이블의 일 구성 예를 나타낸 것이다.

도 7의 매핑 테이블에서 좌측은 타겟 블록의 MV와 확률적으로 상관도가 높은 순서로 주변 블록들의 MV들을 리스팅한 것이고, 우측은 상기 리스트링된 MV들에 대응되는 주변 블록들의 위치(Pred_A ~ Pred_E)를 나타낸 것이다.

일 예로 현재 타겟 블록과 가장 상관도가 높은 MV를 갖는 주변 블록이 타겟블록의 좌측 블록(Pred_A)이라고 가정하면, 상기 좌측 블록(Pred_A)을 0 번째 움직임 벡터, MV[0]에 매핑시킨다. 이러한 방식으로 상관도가 높은 주변 블록에서 낮은 주변 블록의 순서로 MV 리스트를 정렬하여 생성한 후, 상기 생성된 MV 리스트에서 해당 타겟 블록과 관련된 PMV를 결정한다. 만일 특정 주변 블록에 움직임 벡터가 존재하지 않는 경우, 해당 주변 블록은 MV 리스트에 포함되지 않는다. 예를 들어 도 7의 매핑 테이블에서 만약 Pred_A와 Pred_B가 인트라 모드로 부호화되어 MV가 존재하지 않는다면, Pred_A와 Pred_B는 매핑 테이블에 포함되지 않고, Pred_C가 MV[0]로 매핑되고, Pred_D가 MV[1]로 매핑되는 방식으로 MV 리스트를 생성하게 된다.

도 8은 본 발명의 실시 예에 따라 엔트로피 부호화를 위한 예측 움직임 벡터(PMV)를 결정(예측)하는 과정을 나타낸 순서도로서, 이는 상기한 MV 리스트에서 MV간 거리의 계산 값이 큰 순서로 해당 MV를 제거하는 방식으로 타겟 블록과 관련된 PMV를 결정하는 과정을 나타낸 것이다.

도 8의 801 단계에서 영상 부호화기/복호화기는 PMV 결정을 위해 도 7의 방식으로 주변 블록들의 MV들을 리스팅하여 생성된 MV 리스트를 입력 받는다. 상기 MV 리스트에서 PMV 결정에 이용될 수 있는 최대 MV의 개수는 부호화기/복호화기에서 미리 정해진 값을 이용함을 가정한다. 따라서 MV 리스트는 최대 N 개의 움직임벡터 MV[0], MV[1],..., MV[N-1]로 구성될 것이다.

803 단계에서 영상 부호화기/복호화기는 MV 리스트내 다수의 MV들에 대해 MV간 거리를 각각 계산하고, 805 단계에서 MV 리스트내 MV들의 현재 개수가 2보다 큰지 판단한다. 만약 상기 805 단계에서 상기 MV들의 현재 개수가 2보다 큰 경우에는 807 단계에서 MV 리스트내 MV간 거리의 계산값이 큰 순서로 해당 MV를 리스트에서 제거하고, 809 단계에서 MV 리스트를 업데이트한다.

여기서 MV간 거리를 계산하는 방식을 설명하면, 영상 부호화기/복호화기는 MV의 x 축 성분, y 축 성분별로 아래 <수학식 1>을 이용하여 MV간 거리를 계산한다.

<수학식 1>

Dist_x[k] = |MV_x[k] - MV_x[k+1]|

Dist_y[k] = |MV_y[k] - MV_y[k+1]|

상기 <수학식 1>에서 Dist_x[k]는 MV 리스트에서 인접한 두 MV들간에 x 축 성분의 차이고, Dist_y[k]는 인접한 두 MV들간에 x 축 성분의 차이다. 상기 <수학식 1>은 k번째 MV와 k+1번째 MV간의 거리를 계산하는 식임을 알 수 있으며, 이와 같이 MV간 거리는 MV 리스트내 인접한 MV간에 거리를 계산한다.

상기 <수학식 1>을 이용하여 MV 리스트내 MV간 거리 Dist[k]를 계산한 다음 거리가 먼 순서로 즉, 상기 <수학식 1>의 계산값이 큰 순서로 해당되는 두 개의 MV를 MV리스트에서 제거한다. 예를 들어 Dist[k]가 가장 거리가 멀 경우, MV[k] 및 MV[k+1]이 MV 리스트에서 제거된다. 상기와 같이 현재 MV 리스트에서 가장 거리가 먼 두 개의 MV를 제거하면, MV 리스트는 업데이트된다.

그리고 상기 805 단계 내지 809 단계의 동작은 MV 리스트내 MV의 개수가 2개 이하로 될 때까지 반복하여 수행되며, 이러한 동작에 따라 가장 가까운 거리의 MV들로 구성된 MV 리스트를 이용하여 PMV를 결정(예측)할 수 있게 된다.

이후 805 단계에서 MV 리스트내 남은 MV의 개수가 2 개보다 작거나 같은 경우로 확인되면, 811 단계에서 MV 리스트내 남은 MV가 있는 지 확인한다. 상기 811 단계에서 남아 있는 MV가 있는 경우 813 단계로 진행하여 영상 부호화기/복호화기는 도 7의 MV 리스트에서 MV[0]을 PMV로 결정하고, 상기 811 단계에서 남아 있는 MV가 없는 경우 영상 부호화기/복호화기는 PMV를 0으로 결정한다.

상기한 도 8의 과정들은 MV의 x, y 성분별로 수행된다. 즉 입력된 MV 리스트로부터 거리를 기반으로 MV 리스트를 업데이트하고, PMV를 결정하기까지의 모든 과정을 x, y 성분별로 수행된다.

그리고 하기 <표 1>은 도 7의 MV 리스트에서 최대 3개의 움직임 벡터만을 이용하여 PMV를 결정하는 경우 프로그램 코드의 일 구성 예를 나타낸 것이다. 이 경우 MV 리스트에 포함되는 최대 MV의 개수 N은 3이 된다. 따라서 MV[0], MV[1]간 거리인 Dist[0]과, MV[1], MV[2]간 거리인 Dist[1]을 비교해서 PMV를 결정한다. 만약 Dist[0]이 Dist[1]보다 작은 경우 MV리스트에서 MV[1], MV[2]가 제거되므로 MV[0]이 PMV로 결정된다. 반대로 Dist[0]이 Dist[1]보다 큰 경우 MV 리스트에서 MV[0], MV[1]이 제거되며, MV 리스트의 업데이트 시 MV[2]가 MV[0]되므로 결국 PMV로 사용되는 움직임 벡터는 MV[2]가 된다.

따라서 상기한 본 발명의 실시 예에 의하면, PMV 결정 시 주변 블록의 개수는 물론 타겟 블록과 주변 블록의 크기와 위치에 제한을 두지 않고, 타겟 블록과 관련된 PMV를 결정할 수 있다.

도 9는 본 발명의 실시 예에 따른 움직임 벡터 예측 방법이 적용된 영상 부호화기의 일 구성 예를 나타낸 것이다.

도 9의 영상 부호화기는 기본 계층과 향상 계층을 포함하는 계층 구조로 구성되어 입력 영상을 부호화하여 기본 계층 비트열(basement layer bitstream)과, 향상 계층 비트열(enhancement layer bitstream)을 출력한다. 상기 기본 계층의 영상과 상기 향상 계층의 영상은 서로 다른 해상도, 영상 사이즈, 또는 시점(view point)을 갖는 영상이 될 수 있다.

도 9의 실시 예에서 입력 영상과 향상 계층에서 처리되는 영상은 고해상도, 큰 사이즈 또는 일 시점의 영상이고, 기본 계층에서 처리되는 영상은 저해상도, 작은 사이즈 또는 다른 시점의 영상임을 가정한다. 도 9에서 포맷 하향 변환기(format down-conversion)(901)는 입력 영상을 기본 계층의 영상 포맷으로 하향 변환하고, 기본 계층 부호화기(903)는 입력된 기본 계층의 영상을 예컨대, VC-1, H.264, MPEG-4 Part 2 Visual, MPEG-2 Part 2 Video, AVS, JPEG2000 등과 같은 기존 영상 코덱 중 임의의 영상 코덱을 이용하여 기존 방식에 따라 부호화한 기본 계층 비트열로 출력한다. 또한 상기 기본 계층 부호화기(903)는 상기 기본 계층 영상의 부호화 과정에서 재구성된 기본 계층 영상을 포맷 상향 변환기(905)로 출력한다.

도 9에서 포맷 상향 변환기(format up-conversion)(905)는 상기 재구성된 기본 계층 영상을 향상 계층의 영상 포맷으로 상향 변환하여 출력한다. 그리고 상기 포맷 하향 변환기(901)로 입력되는 입력 영상은 감산기(907)로도 입력된다. 상기 감산기(907)는 입력 영상에서 상기 포맷 상향 변환된 영상을 감산한 잔차 데이터를 출력하며, 잔차 부호화기(909)는 입력된 잔차 데이터를 잔차 부호화하여 향상 계층 비트열로 출력한다.

도 9에서 상기 포맷 하향 변환기(901)와 상기 포맷 상향 변환기(905)는 인터 모드의 영상 처리 시 각각 해당 계층에서 도 2 내지 도 8에서 설명한 움직임 벡터 예측 방법에 따라 PMV를 결정하는 수단을 포함한다. 그리고 상기 결정된 PMV는 엔트로피 부호화 시 입력 정보의 하나인 DMV의 계산 시 이용된다. 도 9에서 상기 움직임 벡터 예측 방법에 따라 PMV를 결정하는 수단을 별도의 구성 요소로 포함하는 것도 가능할 것이다.

도 10은 본 발명의 실시 예에 따른 움직임 벡터 예측 방법이 적용된 영상 복호화기의 일 구성 예를 나타낸 것이다.

도 10의 영상 복호화기는 기본 계층과 향상 계층을 포함하는 계층 구조로 구성되어 도 9의 부호화기를 통해 부호화된 기본 계층 비트열과 향상 계층 비트열을 복호화하여 각각 재구성된 기본 계층 영상과 재구성된 향상 계층 영상을 출력한다. 상기 기본 계층의 영상과 상기 향상 계층의 영상은 서로 다른 해상도, 영상 사이즈, 또는 시점을 갖는 영상이 될 수 있다.

도 10의 실시 예에서 입력 영상과 향상 계층에서 처리되는 영상은 고해상도, 큰 사이즈 또는 일 시점의 영상이고, 기본 계층에서 처리되는 영상은 저해상도, 작은 사이즈 또는 다른 시점의 영상임을 가정한다. 도 10에서 기본 계층 복호화기(1001)는 입력된 기본 계층 비트열을 도 9의 기본 계층 부호화기(901)에서 사용된 임의의 영상 코덱에 상응하는 방식으로 복호화하여 재구성된 기본 계층 영상을 출력한다. 또한 상기 기본 계층 복호화기(1001)를 통해 재구성된 기본 계층 영상은 포맷 상향 변환기(1003)로도 출력된다. 도 10에서 상기 포맷 상향 변환기(1003)는 상기 재구성된 기본 계층 영상을 향상 계층의 영상 포맷으로 상향 변환하여 출력한다. 한편 도 10에서 잔차 복호화기(1005)는 입력된 향상 계층 비트열을 잔차 복호화한 잔차 영상을 출력하고, 상기 잔차 영상은 가산기(1007)를 통해 상기 포맷 상향 변환된 영상과 더해져서 재구성된 향상 계층 영상으로 출력된다.

도 10에서 상기 포맷 상향 변환기(1003)은 인터 모드의 영상 처리 시 각각 해당 계층에서 도 2 내지 도 8에서 설명한 움직임 벡터 예측 방법에 따라 PMV를 결정하는 수단을 포함한다. 그리고 상기 결정된 PMV는 엔트로피 부호화 후 DMV와 더해져 타겟 블록의 MV를 구하는데 이용된다. 도 10에서 상기 움직임 벡터 예측 방법에 따라 PMV를 결정하는 수단을 별도의 구성 요소로 포함하는 것도 가능할 것이다.

또한 도 9 및 도 10의 실시 예에서는 본 발명의 움직임 벡터 예측 방법이 계층 구조의 부호화기/복호화기에 적용되는 예를 설명한 것이며, 본 발명의 움직임 벡터 예측 방법은 MPEG x, H.26x 표준을 포함하여 움직임 벡터를 이용하는 다양한 영상 부호화기/복호화기에 적용될 수 있다.

이 경우 영상 부호화 장치는 정해진 영상 부호화 방식에 따라 입력 영상을 부호화하는 영상 코덱과, 상기 영상 코덱을 통해 부호화된 영상과 관련된 움직임 벡터 정보를 엔트로피 부호화하는 엔트로피 부호화기와, 상기 도 2 내지 도 8의 실시 예에 따라 PMV를 결정(예측)하는 수단을 포함한다. 또한 영상 복호화 장치는 부호화된 영상을 정해진 영상 복호화 방식에 따라 복호화하는 영상 코덱과, 상기 영상 코덱을 통해 복호화되는 영상과 관련된 움직임 벡터 정보를 엔트로피 복호화하는 엔트로피 복호화기와, 상기 도 2 내지 도 8의 실시 예에 따라 PMV를 결정(예측)하는 수단을 포함한다.

도 1은 종래 기술에서 예측 움직임 벡터(PMV)를 구하는 방식을 설명하기 위한 도면,

도 2 내지 도 6은 본 발명의 실시 예에 따라 타겟 블록과 관련된 PMV를 구하는데 이용되는 주변 블록들의 위치에 대한 다양한 실시 예를 나타낸 도면,

도 7은 본 발명의 실시 예에 따라 주변 블록들의 위치별로 MV 리스트를 매핑하는 테이블의 일 구성 예를 나타낸 도면,

도 8은 본 발명의 실시 예에 따라 엔트로피 부호화를 위한 PMV를 결정(예측)하는 과정을 나타낸 순서도,

도 9는 본 발명의 실시 예에 따른 움직임 벡터 예측 방법이 적용된 영상 부호화기의 일 구성 예를 나타낸 블록도,

도 10은 본 발명의 실시 예에 따른 움직임 벡터 예측 방법이 적용된 영상 복호화기의 일 구성 예를 나타낸 블록도.

Claims

영상 부호화를 위한 움직임 벡터의 차분 부호화 시 이용되는 움직임 벡터의 예측 방법에 있어서,

예측 움직임 벡터를 구하고자 하는 타겟 블록의 주변 블록들에 대한 움직임 벡터 리스트를 생성하는 과정;

상기 움직임 벡터 리스트에 포함된 움직임 벡터들간의 거리를 각각 계산하는 과정;

상기 움직임 벡터들간의 거리가 큰 순서로 해당 움직임 벡터를 제거하여 상기 움직임 벡터 리스트를 업데이트하는 과정; 및

상기 업데이트된 움직임 벡터 리스트에서 상기 타겟 블록과 상관도가 가장 높은 움직임 벡터를 상기 타겟 블록과 관련된 예측 움직임 벡터로 결정하는 과정을 포함하는 움직임 벡터 예측 방법.
제 1 항에 있어서,

상기 움직임 벡터 리스트를 생성하는 과정은,

상기 주변 블록들에 대한 움직임 벡터들을 상기 상관도가 높은 순서로 정렬하는 과정을 더 포함하는 움직임 벡터 예측 방법.
제 1 항에 있어서,

상기 움직임 벡터 리스트를 업데이트하는 과정은,

잔여 움직임 벡터의 수가 미리 정해진 개수 이하가 될 때까지 상기 움직임 벡터 리스트의 업데이트를 반복하여 수행하는 과정을 더 포함하는 움직임 벡터 예측 방법.
제 1 항에 있어서,

상기 미리 정해진 개수는 2인 움직임 벡터 예측 방법.
제 3 항에 있어서,

상기 움직임 벡터 리스트를 업데이트한 후,

잔여 움직임 벡터의 개수가 0인 경우 상기 예측 움직임 벡터를 0으로 결정하는 과정을 더 포함하는 움직임 벡터 예측 방법.
제 1 항에 있어서,

상기 해당 움직임 벡터의 제거는 상기 움직임 벡터 리스트에서 인접한 두 개 의 움직임 벡터들간에 거리들을 각각 대소 비교하여 수행되는 움직임 벡터 예측 방법.
제 6 항에 있어서,

상기 움직임 벡터 리스트를 업데이트하는 과정은,

상기 움직임 벡터 리스트에서 상기 대소 비교 결과 가장 큰 값을 갖는 거리에 해당되는 두 개의 움직임 벡터를 제거하는 과정을 더 포함하는 움직임 벡터 예측 방법.
제 1 항에 있어서,

상기 타겟 블록은 매크로 블록 또는 상기 매크로 블록내 픽셀 블록 중 하나인 움직임 벡터 예측 방법.
제 1 항에 있어서,

상기 주변 블록들은 상기 타겟 블록의 주변 매크로 블록들내 픽셀 블록들인 움직임 벡터 예측 방법.
제 1 항에 있어서,

상기 주변 블록들의 수는 3개 이상인 움직임 벡터 예측 방법.
예측 움직임 벡터를 이용하여 영상 부호화를 수행하는 영상 부호화 장치에 있어서,

정해진 영상 부호화 방식에 따라 입력 영상을 부호화하는 영상 코덱;

상기 영상 코덱을 통해 부호화된 영상과 관련된 움직임 벡터 정보를 엔트로피 부호화하는 엔트로피 부호화기; 및

상기 움직임 벡터 정보의 생성을 위한 예측 움직임 벡터를 구하고자 하는 타겟 블록의 주변 블록들에 대한 움직임 벡터 리스트를 생성하고, 상기 움직임 벡터 리스트에 포함된 움직임 벡터들간의 거리를 각각 계산하며, 상기 움직임 벡터들간의 거리가 큰 순서로 해당 움직임 벡터를 제거하여 상기 움직임 벡터 리스트를 업데이트하고, 상기 업데이트된 움직임 벡터 리스트에서 상기 타겟 블록과 상관도가 가장 높은 움직임 벡터를 상기 타겟 블록과 관련된 예측 움직임 벡터로 결정하는 수단을 포함하는 영상 부호화 장치.
제 11 항에 있어서,

상기 수단은 상기 주변 블록들에 대한 움직임 벡터들의 상기 상관도가 높은 순서로 상기 움직임 벡터 리스트내 움직임 벡터들을 정렬하는 영상 부호화 장치.
제 11 항에 있어서,

상기 수단은 상기 움직임 벡터 리스트내 잔여 움직임 벡터의 수가 미리 정해진 개수 이하가 될 때까지 반복하여 상기 움직임 벡터 리스트를 업데이트하는 영상 부호화 장치.
예측 움직임 벡터를 이용하여 영상 복호화를 수행하는 영상 복호화 장치에 있어서,

부호화된 영상을 정해진 영상 복호화 방식에 따라 복호화하는 영상 코덱;

상기 영상 코덱을 통해 복호화되는 영상과 관련된 움직임 벡터 정보를 엔트로피 복호화하는 엔트로피 복호화기; 및

상기 움직임 벡터 정보와 더하여 해당 영상의 타겟 블록에 대한 움직임 벡터를 계산하도록 상기 예측 움직임 벡터를 구하고자 하는 상기 타겟 블록의 주변 블록들에 대한 움직임 벡터 리스트를 생성하고, 상기 움직임 벡터 리스트에 포함된 움직임 벡터들간의 거리를 각각 계산하며, 상기 움직임 벡터들간의 거리가 큰 순서로 해당 움직임 벡터를 제거하여 상기 움직임 벡터 리스트를 업데이트하고, 상기 업데이트된 움직임 벡터 리스트에서 상기 타겟 블록과 상관도가 가장 높은 움직임 벡터를 상기 타겟 블록과 관련된 예측 움직임 벡터로 결정하는 수단을 포함하는 영상 복호화 장치.
제 14 항에 있어서,

상기 수단은 상기 주변 블록들에 대한 움직임 벡터들의 상기 상관도가 높은 순서로 상기 움직임 벡터 리스트내 움직임 벡터들을 정렬하는 영상 복호화 장치.
제 14 항에 있어서,

상기 수단은 상기 움직임 벡터 리스트내 잔여 움직임 벡터의 수가 미리 정해진 개수 이하가 될 때까지 반복하여 상기 움직임 벡터 리스트를 업데이트하는 영상 복호화 장치.