KR100244291B1

KR100244291B1 - 동영상 움직임 벡터 코딩 방법

Info

Publication number: KR100244291B1
Application number: KR1019970036230A
Authority: KR
Inventors: 이영수; 김성득; 나종범; 김현문
Original assignee: 구본준; 엘지반도체주식회사
Priority date: 1997-07-30
Filing date: 1997-07-30
Publication date: 2000-02-01
Also published as: KR19990012726A; US6289049B1; DE19734882C2; JPH1169357A; JP2920208B2; DE19734882A1

Abstract

본 발명은 MPEG-4에 대응하는 움직임 벡터 코딩에서 전체 비트율을 줄이는데 적당하도록한 동영상 움직임 벡터 코딩 방법에 관한 것으로,매크로 블록에 대한 탐색 모드가 8×8모드로 선택되면 해당 매크로 블록을 구성하는 4개의 8×8블록에서 첫 번째 블록의 움직임 벡터 예측 후보를 탐색하는 단계와,해당 8×8블록의 제 1,2,3 움직임 벡터 예측 후보의 탐색이 완료면 순차적으로 블록2,블록3,블록4들의 각각의 제 1,2,3 움직임 벡터 예측 후보를 탐색하는 단계와,첫 번째 8×8 블록의 움직임 벡터 중간 예측값(MV_{MedianPrediction)}이 움직임 벡터 바운드내에 있는지를 비교하여 바운드내에 있다면 움직임 벡터 중간 예측값을 해당 8×8블록을 부호화하기 위한 예측값으로 결정하는 단계와,상기 판단 단계에서 움직임 벡터 중간 예측값이 바운드내에 있지않다면 선택적으로 제 1,2,3 움직임 벡터 예측 후보중에서 바운드내에 있는 예측 후보의 벡터값 또는 움직임 벡터 중간 예측값을 해당 8×8블록을 부호화하기 위한 예측값(PMV)으로 결정하는 단계와,움직임 벡터 중간 예측값이 바운드내에 있는지 없는지를 판단하여 예측값을 결정하는 단계를 해당 매크로 블록의 전체 8×8블록에 대하여 반복하는 단계를 포함하여 이루어진다.

Description

동영상 움직임 벡터 코딩 방법

본 발명은 MPEG-4에 대응하는 움직임 벡터 코딩에 관한 것으로, 특히 동영상의 부호화 과정에서 전체 비트율을 줄이는데 적당하도록한 동영상 움직임 벡터 코딩 방법에 관한 것이다.

현재, 표준화 작업이 진행되고 있는 MPEG(Moving Picture Expert Group)-4의 개략적인 추진 내용은 다음과 같다.

MPEG-4는 지금까지 적용되어진 MPEG-1,MPEG-2의 기능과는 전혀 다른 기능을 추구하는 것으로 통신,컴퓨터,방송 등의 기술 영역이 무너져 멀티화되고 있는 현재의 추세에 대응하기 위한 것이다.

즉, 독립적으로 기술 혁신을 이루어온 각각의 기술 영역을 모두 포괄할 수 있는 융합 기술 영역의 기능 실현과 그 응용 분야의 개척을 목표로 한다.

MPEG-4가 추구하는 방향은 초저비트율에서 AV 부호화를 가능케하는 기술 그리고 지금까지와는 전혀 다른 새로운 기능의 실현 등의 두가지로 크게 나눌 수 있다.

초저비트율에서 AV 부호화를 가능하게 하기 위한 방법으로 시도되고 있는 것으로는 첫째, MPEG-1,2에서 사용되어진 DCT변환 기술을 사용하지 않는 전혀 새로운 부호화 기술 예를들면, 블록 경계에서의 일그러짐이 적고 부호화 효율이 높은 Wavelet부호화 방식 등을 들 수 있다.

그리고 둘째, MPEG-1,2에서의 부호화가 매크로 블록 단위의 움직임 보상을 한것과는 달리 블록 기반이 아닌 다른 방식으로 움직임 보상을 하는 것을 들 수 있다.

셋째, 경계내 부호화(Contour Coding)와 객체 지향 부호화(Object Oriented Coding)방식을 포함하는 영역 기반 부호화(Region Based Coding)를 들 수 있다.

넷째, 1/1000 이상의 압축률을 실현할 수 있는 프랙탈(Fractal) 부호화 방식을 들 수 있다.

그리고 MPEG-4에서 지금까지 충분히 실현되지 못하고 있는 기능을 구현하기 위하여 추진하는 새로운 기능으로는 다음의 여덟가지를 들 수 있다.

부호화 효율의 개선,내용에 맞추는 스케일러빌리티,내용 조작과 비트열 편집,에러 내성의 개선,멀티미디어 데이터베이스의 액세스,복수의 동기 데이터 부호화,자연 데이터와 합성 데이터의 하이브리드 부호화,초저비트율에서의 랜덤 액세스성의 개선 등 이다.

이하, 첨부된 도면을 참고하여 종래 기술의 움직임 벡터 코딩 방법에 관하여 설명하면 다음과 같다.

도 1은 일반적인 8×8 모드에서의 움직임 벡터 추정 제한 범위를 나타낸 매트릭스이고, 도 2a내지 도 2d는 8×8 모드에서의 움직임 벡터 예측의 후보를 나타낸 구성도이다. 그리고 도 3은 움직임 벡터의 중간값 예측에서 제한 범위를 넘는 경우의 예를 나타낸 구성도이다.

현재 표준화가 진행중인 MPEG-4에서 정수단위의 픽셀 움직임 추정(Integer pixel motion Estimation)시에 수행되는 8×8 블록별 서치 동작은 16×16 움직임 벡터를 중심으로 ±2 픽셀의 서치 윈도우내에서 수행되도록 하고 있다.

그러므로 특정의 매크로 블록이 8×8 모드로 선택되었을 때 매크로 블록내의 4개의 블록에 대한 각 움직임 벡터는 일정한 바운드(bound)내에 모두 들어오게 된다.

도 1에 나타낸 매트릭스가 8×8 모드로 선택된 매크로 블록의 4개의 블록 움직임 벡터가 가리킬 수 있는 바운드를 보여준다.

이러한 4개의 움직임 벡터들의 바운드는 움직임 벡터(Motion vector)의 코딩 효율을 올리는데 크게 기여한다.

바운드내에 있는 4개의 각 블록에 해당하는 움직임 벡터의 구성들은 인접한 3개의 후보 움직임 벡터의 중간값(Median value)을 예측치로 하여 차성분(MVDx,MVDy)이 부호화된다.

이를 식으로 표현하면

p_x= Median(MV1_x,MV2_x,MV3_x)

P_y= Median(MV1_y,MV2_y,MV3_y)이고, MVDx = MV_x- P_x, MVDy = MV_y- P_y이다.

도 1에서 움직임 벡터 추정의 제한 범위를 나타내었으나 이는 다음의 사항을 이유로 하여 완변하게 MPEG-4의 VM(Verification Model)을 지원하지 못한다.

도 2에서와 같이, 8×8 모드 매크로 블록에서의 움직임 벡터 예측 후보를 보면 중간값 예측치로 사용되는 움직임 벡터값이 8×8 모드에서의 움직임 벡터 제한 범위를 넘게되는 경우는 블록1을 제외하면 블록2에 해당하는 MVD2뿐이다.

도 2는 MPEG-4에서 움직임 벡터의 추정을 위한 알고리듬에 따라 8×8 모드에서의 움직임 벡터의 후보를 나타낸 것이다.

이 경우에 세 개의 움직임 벡터 예측 후보중 단하나만의 8×8 모드로 선택된 매크로 블록내에 속해 있으므로 중간값으로 구해진 예측치로부터 얻어지는 MVD2의 절대치는 제한 범위 5.0을 넘을 수 있다.

움직임 벡터 제한 범위를 넘게되는 경우 즉,중간값으로 인한 예측치가 제한 범위 밖에 있는 경우가 발생하는데, 블록2의 MV를 MV_CurrentBlock(해당 블록의 움직임 벡터)로,블록2의 MV1을 MV_{InsideMBPrediction}(바운드내의 움직임 벡터 예측값)로,블록2의 중간값 예측치 Median(MV1,MV2,MV3)를 MV_{MedianPrediction}로 정의하였을 경우 도 3에서와 같이, MV_{MedianPrediction}가 제한 범위를 넘어 바로 인접한 점에 놓인 경우를 보인다.

바운드내에 있는 4개의 각 블록에 해당하는 움직임 벡터의 구성들은 인접한 3개의 후보 움직임 벡터의 중간값(Median value)을 예측치로 하여 차성분(MVDx,MVDy)(MVD:Motion Vector Differential)을 부호화하는 종래 기술의 동영상 움직임 벡터 코딩 방법에서는 움직임 벡터 제한 범위를 넘게되는 경우 즉,중간값으로 인한 예측치가 제한 범위 밖에 있는 경우가 발생하여 비트량의 손실을 가져오는 문제점이 있다.

본 발명은 상기와 같은 종래 기술의 동영상 움직임 벡터 코딩 방법의 문제를 해결하기위하여 안출한 것으로,동영상의 부호화 과정에서 전체 비트율을 줄이는데 적당하도록한 동영상 움직임 벡터 코딩 방법을 제공하는데 그 목적이 있다.

도 1은 일반적인 8×8 모드에서의 움직임 벡터 추정 제한 범위를 나타낸 매트릭스

도 2a내지 도 2d는 8×8 모드에서의 움직임 벡터 예측의 후보를 나타낸 구성도

도 3은 움직임 벡터의 중간값 예측에서 제한 범위를 넘는 경우의 예를 나타낸 구성도

도 4는 본 발명에 따른 움직임 벡터 코딩 과정을 나타낸 플로우차트

도 5a내지 도 5d는 본 발명에 따른 움직임 벡터 코딩에 의한 비트율 변화를 나타낸 결과 테이블

동영상의 부호화 과정에서 전체 비트율을 줄이는데 적당하도록한 본 발명의 동영상 움직임 벡터 코딩 방법은 매크로 블록에 대한 탐색 모드가 8×8모드로 선택되면 해당 매크로 블록을 구성하는 4개의 8×8블록에서 첫 번째 블록의 움직임 벡터 예측 후보를 탐색하는 단계와,해당 8×8블록의 제 1,2,3 움직임 벡터 예측 후보의 탐색이 완료면 순차적으로 블록2,블록3,블록4들의 각각의 제 1,2,3 움직임 벡터 예측 후보를 탐색하는 단계와,첫 번째 8×8 블록의 움직임 벡터 중간 예측값(MV_{MedianPrediction)}이 움직임 벡터 바운드내에 있는지를 비교하여 바운드내에 있다면 움직임 벡터 중간 예측값을 해당 8×8블록을 부호화하기 위한 예측값으로 결정하는 단계와,상기 판단 단계에서 움직임 벡터 중간 예측값이 바운드내에 있지않다면 선택적으로 제 1,2,3 움직임 벡터 예측 후보중에서 바운드내에 있는 예측 후보의 벡터값 또는 움직임 벡터 중간 예측값을 해당 8×8블록을 부호화하기 위한 예측값(PMV)으로 결정하는 단계와,움직임 벡터 중간 예측값이 바운드내에 있는지 없는지를 판단하여 예측값을 결정하는 단계를 해당 매크로 블록의 전체 8×8블록에 대하여 반복하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

이하, 첨부된 도면을 참고하여 본 발명의 동영상 움직임 벡터 코딩 방법에 관하여 상세히 설명하면 다음과 같다.

도 4는 본 발명에 따른 움직임 벡터 코딩 과정을 나타낸 플로우차트이고, 도 5a내지 도 5d는 본 발명에 따른 움직임 벡터 코딩에 의한 비트율 변화를 나타낸 결과 테이블이다.

움직임 벡터 제한 범위를 넘게되는 경우 즉,중간값으로 인한 예측치가 제한 범위 밖에 있는 경우에서 MV_CurrentBlock가 제한 범위 내에서 균일한 확률 분포를 가진다고 가정하고,MV_{MedianPrediction}또는 MV_{InsideMBPrediction}가 예측 대상(Predictor)로 사용되었을 때 발생하는 비트량의 기대치는 다음과 같다.

비트량 기대치(E(R(MV_CurrentBlock-MV_{MedianPrediction}))

= (R(0.5)+R(1.0)+R(1.5)+R(2.0)+R(2.5)+R(3.0)+ .... +R(10.5))/21

= (3+4+5+7+3*10+11*11)/21 = 194/21 = 9.238(f_code = 1 일 때),

(2*4+2*5+2*6+2*8+6*9+6*11+12)/21 = 178/21 = 8.476(f_code = 2 일 때),

(4*5+4*6+4*7+4*9+5*10)/21 = 154/21 = 7.333(f_code = 3일 때)

비트량 기대치E(R(MV_CurrentBlock- MV_{InsideMBPrediction}))

= (R(0)+2*(R(0.5)+R(1.0)+R(1.5)+ .... +R(5.0)))/21

= (1+2*(3+4+5+7+3*8+3*10))/21 = 147/21 =7(f_code = 1일 때),

(1+2*(2*4+2*5+2*6+2*8+2*9))/21 = 129/21 =6.143(f_code = 2일 때),

(1+2*(4*5+4*6+2*7))/21 = 117/21 = 5.571(f_code = 3일 때)

이다.

여기서, R(MVD)는 MVD에 대해 발생되는 비트량을 나타낸다.

확률적으로 볼 때 MV_{MedianPrediction}가 움직임 벡터 바운드를 넘어서게 되면 모든 f_코드에 대해서 각 컴포넌트(Component)당 대략 2비트 정도의 비트량이 증가하는 것을 알 수 있다.

본 발명은 이와 같이 MV_{MedianPrediction}가 움직임 벡터 바운드를 넘어서는 경우 발생하는 비트량 증가를 막기 위한 것으로, 중간값 예측 대상(Median Predictor)으로 사용되는 MV_{MedianPrediction}가 규정하는 바운드를 벗어날 경우에는 선택적으로MV_{InsideMBPrediction}를 예측값으로 사용하는 것이다.

즉, 블록2(규정하는 바운드를 벗어난 경우)에 대한 움직임 벡터 예측값(Motion Vector Prediction:PMV) 선택 부분을 다음과 같이 변경하는 것이다.

PMV = Median(MV1,MV2,MV3)

if(ABS(PMV - MV1) 〉 THR)PMV = MV1

여기서, THR은 8×8 모드에서 실제 움직임 벡터 제한범위를 나타낸다. THR의 최대치는 5.0이다. 그리고 상기 움직임 예측 후보가 규정하는 바운드를 벗어나는 경우는 현재의 MFEG-4에서 두 번째 8×8 블록(도 2b)일 경우가 많다. 그러므로 본 발명의 실시예에서는 블록 2의 경우에만 상기와 같은 THR과 비교하는 알고리듬에 적용한다.

이와 같은 원리를 이용한 본 발명의 동영상 움직임 벡터 코딩 방법에 관하여 도 4를 참고하여 설명하면 다음과 같다.

도 4는 본 발명의 움직임 벡터 코딩의 실시예를 나타낸 플로우 차트이다.

먼저, 움직임 벡터 코딩을 위한 매크로 블록에 대한 탐색 모드를 8×8모드로 선택한다.(401S)

이어, 해당 매크로 블록을 구성하는 4개의 8×8블록에서 첫 번째 블록(블록 1)의 움직임 벡터 예측 후보를 탐색한다.(402S)

해당 8×8블록의 제 1,2,3 움직임 벡터 예측 후보의 탐색이 끝났는가를 판단하고(403S) 블록 1의 움직임 벡터 예측 후보의 탐색이 끝났다면 순차적으로 블록2,블록3,블록4들의 각각의 제 1,2,3 움직임 벡터 예측 후보(MV1)(MV2)(MV3)의 탐색을 한다.(404S)

이어, 첫 번째 8×8 블록의 움직임 벡터 중간 예측값(MV_{MedianPrediction)}이 움직임 벡터 바운드내에 있는지를 비교한다.(405S)

상기 405S에서의 비교에서 움직임 벡터 중간 예측값이 바운드내에 있는가를 판단하여(406S) 바운드내에 있다면 움직임 벡터 중간 예측값을 해당 8×8블록을 부호화하기 위한 예측값으로 결정한다.(407S)

상기 판단 단계에서 움직임 벡터 중간 예측값이 바운드내에 있지않다면 움직임 벡터 중간값 - 바운드내에 있는 예측후보의 벡터값의 절대치를 설정된 드레시홀드값(THR)과 비교한다.(408S)

비교 결과 설정된 THR이 크다면 제 1,2,3 움직임 벡터 예측 후보중에서 바운드내에 있는 예측 후보의 벡터값을 해당 8×8블록을 부호화하기 위한 예측값으로 결정한다.(409S)

비교 결과 설정된 THR이 작다면 움직임 벡터 중간 예측값을 해당 8×8블록을 부호화하기 위한 예측값으로 결정한다.(407S)

상기와 같은 움직임 벡터 중간 예측값이 바운드내에 있는지 없는지를 판단하고 설정된 THR과 비교하여 예측값을 결정하는 단계를 해당 매크로 블록의 전체 8×8블록에 대하여 반복한다.(410S)

이와 같이 예측값이 결정되면 전체 움직임 벡터에서의 예측값 차성분이 코딩된다.

이와 같은 본 발명의 동영상 움직임 벡터 코딩 방법은 8×8 모드로 선택되는 경우 MV_{MedianPrediction}가 움직임 벡터 바운드를 넘어서는 경우 발생하는 비트량 증가를 막기 위한 것으로, 중간값 예측 대상(Median Predictor)으로 사용되는 MV_{MedianPrediction}가 규정하는 THR을 벗어날 경우에는 MV_{InsideMBPrediction}를 예측값으로 사용하여 부호화시에 비트량의 증가를 억제하는 것이다.

이와 같은 본 발명의 움직임 벡터 코딩 기술을 이용한 실시예에 관하여 설명하면 다음과 같다.

본 발명에 따른 움직임 벡터 코딩 기술을 이용하여 실제 움직임 벡터 코딩을하였을때의 비트량을 나타낸 것으로 그 실시 조건은 다음과 같다.

첫째, 양자화 파라미터(Quantization parameter:QP)는 각 시퀀스에 대해 한값으로 고정되고,스킵된 매크로 블록의 움직임 벡터는 계산량에 포함하지 않는다.

둘째, 확장 예측 모드로 시퀀스 리솔루션 포맷은 QCIF(Quarter Common Intermediate Format)(176×144), 프레임율은 10Hz(300프레임)이다.

셋째, f_code=1(MV탐색 영역:-16.0 ∼ +15.5) 그리고 부호화 기법은 No shape coding(rectangular)으로 한다.

도 5a와 도 5b의 테이블은 본 발명의 예측값 결정에 따라 바운드를 벗어나는 움직임 예측값을 갖는 블록(MVD2)을 부호화했을 경우의 결과를 나타낸 것이고(도 5a는 QP=10,도 5b는 QP=20), 도 5c와 도 5d는 전체 움직임 벡터를 부호화 하였을 경우의 결과를 나타낸 것이다(도 5c는 QP=10,도 5d는 QP=20).

그 결과를 보면, MFEG-4 비디오 VM 5.0보다 효율적으로 움직임 벡터의 코딩이 이루어지는 것(비트량 증가 억제)을 알 수 있다. 이는 움직임 벡터의 코딩의 효율성을 높여 VM 6.0에 적용할 수 있음을 보여주는 것이다.

중간값 예측 대상(Median Predictor)으로 사용되는 MV_{MedianPrediction}가 규정하는 바운드를 벗어날 경우에는 선택적으로 MV_{InsideMBPrediction}를 예측값으로 사용하여 움직임 벡터 코딩시에 비트량을 증가를 막아 보다 효율적인 코딩이 이루어지게 하는 효과가 있다.

Claims

매크로 블록에 대한 탐색 모드가 8×8모드로 선택되면 해당 매크로 블록을 구성하는 4개의 8×8블록에서 첫 번째 블록의 움직임 벡터 예측 후보를 탐색하는 단계와,

해당 8×8블록의 제 1,2,3 움직임 벡터 예측 후보(MV1)(MV2)(MV3)의 탐색이 완료면 순차적으로 블록2,블록3,블록4들의 각각의 제 1,2,3 움직임 벡터 예측 후보를 탐색하는 단계와,

첫 번째 8×8 블록의 움직임 벡터 중간 예측값(MV_{MedianPrediction)}이 움직임 벡터 바운드내에 있는지를 비교하여 바운드내에 있다면 움직임 벡터 중간 예측값을 해당 8×8블록을 부호화하기 위한 예측값으로 결정하는 단계와,

상기 판단 단계에서 움직임 벡터 중간 예측값이 바운드내에 있지않다면 선택적으로 제 1,2,3 움직임 벡터 예측 후보중에서 바운드내에 있는 예측 후보의 벡터값 또는 움직임 벡터 중간 예측값을 해당 8×8블록을 부호화하기 위한 예측값(PMV)으로 결정하는 단계와,

움직임 벡터 중간 예측값이 바운드내에 있는지 없는지를 판단하여 예측값을 결정하는 단계를 해당 매크로 블록의 전체 8×8블록에 대하여 반복하는 단계를 포함하여 이루어지는 것을 특징으로 하는 동영상 움직임 벡터 코딩 방법.
제 1 항에 있어서, 움직임 벡터 중간 예측값이 바운드내에 있지않다면 움직임 벡터 예측값(PMV)의 결정은 움직임 벡터 중간값 - 바운드내에 있는 예측후보의 벡터값의 절대치를 설정된 드레시홀드값(THR)과 비교하여 THR이 작다면 제 1,2,3 움직임 벡터 예측 후보중에서 바운드내에 있는 예측 후보의 벡터값을 해당 8×8블록을 부호화하기 위한 예측값으로 결정하는 것을 특징으로 하는 동영상 움직임 벡터 코딩 방법.
제 2 항에 있어서, 움직임 벡터 제한 범위(THR)의 최대치는 5.0인 것을 특징으로 하는 동영상 움직임 벡터 코딩 방법.
제 1 항에 있어서, 움직임 벡터 중간 예측값이 바운드내에 있지않다면 움직임 벡터 예측값(PMV)의 결정은 움직임 벡터 중간값 - 바운드내에 있는 예측후보의 벡터값의 절대치를 설정된 드레시홀드값(THR)과 비교하여 THR이 크다면 움직임 벡터 중간 예측값을 해당 8×8블록을 부호화하기 위한 예측값으로 결정하는 것을 특징으로 하는 동영상 벡터 코딩 방법.
제 4 항에 있어서, 움직임 벡터 제한 범위(THR)의 최대치는 5.0인 것을 특징으로 하는 동영상 움직임 벡터 코딩 방법.
제 1 항에 있어서, 움직임 벡터 중간값 - 바운드내에 있는 예측후보의 벡터값의 절대치를 설정된 드레시홀드값(THR)과 비교하여 THR이 작은 경우는 MPEG-4의 움직임 벡터 예측 후보 탐색 알고리듬에 따라 해당 매크로 블록에서 두 번째로 탐색되는 8×8블록(Block 2)인 것을 특징으로 하는 동영상 움직임 벡터 코딩 방법.