KR100226722B1 - 동영상 움직임 벡터 추정 방법 - Google Patents

Abstract

본 발명은 MPEG-4에 대응하는 움직임 벡터 추정에서 움직임 벡터의 계산을 바이리니어 보간(Bilinear Interpolation)을 선택적으로 이용하는 방법으로 하여 계산량과 복잡도를 개선하는데 적당하도록한 동영상 움직임 벡터 추정 방법에 관한 것으로 그 구성은 모든 매크로 블록들의 Y성분에 대해 움직임 추정을 하는 단계와,움직임 벡터가 구해지면 부호화 예측 모드를 결정하는 단계와,상기 부호화 예측 모드가 INTER모드로 결정된 블록들에 대해 halfpel탐색을 하는 단계와,16×16블록의 움직임 벡터(MV₁₆)와 주위 블록들의 움직임 벡터들을 이용해 바이리니어 보간을 한 움직임 벡터(

Description

동영상 움직임 벡터 추정 방법

본 발명은 MPEG-4에 대응하는 움직임 벡터 추정에 관한 것으로, 특히 움직임 벡터의 계산을 바이리니어 보간(Bilinear Interpolation)을 선택적으로 이용하는 방법으로 하여 계산량과 복잡도를 개선하는데 적당하도록한 동영상 움직임 벡터 추정 방법에 관한 것이다.

현재, 표준화 작업이 진행되고 있는 MPEG(Moving Picture Expert Group)-4의 개략적인 추진 내용은 다음과 같다.

MPEG-4는 지금까지 적용되어진 MPEG-1,MPEG-2의 기능과는 전혀 다른 기능을 추구하는 것으로 통신,컴퓨터,방송 등의 기술 영역이 무너져 멀티화되고 있는 현재의 추세에 대응하기 위한 것이다.

즉, 독립적으로 기술 혁신을 이루어온 각각의 기술 영역을 모두 포괄할 수 있는 융합 기술 영역의 기능 실현과 그 응용 분야의 개척을 목표로 한다.

MPEG-4가 추구하는 방향은 초저비트율에서 AV 부호화를 가능케하는 기술 그리고 지금까지와는 전혀 다른 새로운 기능의 실현 등의 두가지로 크게 나눌 수 있다.

초저비트율에서 AV 부호화를 가능하게 하기 위한 방법으로 시도되고 있는 것으로는 첫째, MPEG-1,2에서 사용되어진 DCT변환 기술을 사용하지 않는 전혀 새로운 부호화 기술 예를들면, 블록 경계에서의 일그러짐이 적고 부호화 효율이 높은 Wavelet부호화 방식 등을 들 수 있다.

그리고 둘째, MPEG-1,2에서의 부호화가 매크로 블록 단위의 움직임 보상을 한것과는 달리 블록 기반이 아닌 다른 방식으로 움직임 보상을 하는 것을 들 수 있다.

셋째, 경계내 부호화(Contour Coding)와 객체 지향 부호화(Object Oriented Coding)방식을 포함하는 영역 기반 부호화(Region Based Coding)를 들 수 있다.

넷째, 1/1000 이상의 압축률을 실현할 수 있는 프랙탈(Fractal) 부호화 방식을 들 수 있다.

그리고 MPEG-4에서 지금까지 충분히 실현되지 못하고 있는 기능을 구현하기 위하여 추진하는 새로운 기능으로는 다음의 여덟가지를 들 수 있다.

부호화 효율의 개선,내용에 맞추는 스케일러빌리티,내용 조작과 비트열 편집,에러 내성의 개선,멀티미디어 데이터베이스의 액세스,복수의 동기 데이터 부호화,자연 데이터와 합성 데이터의 하이브리드 부호화,초저비트율에서의 랜덤 액세스성의 개선 등 이다.

이하, 첨부된 도면을 참고하여 종래 기술의 동영상 움직임 벡터 추정 방법에 관하여 설명하면 다음과 같다.

도 1a내지 도 1c는 종래 기술의 OBMC에 따른 픽셀 가중값을 갖는 8×8블록의 매트릭스이다.

MPEG-4의 표준화 과정에서 제시되고 있는 움직임 벡터 추정 및 보상 방법들로는 샤프社의 다중모드 왜곡 예측(Multimode warping prediction)을 이용한 움직임 추정 및 보상 방법과 노키아社의 가변 블록크기(Variable block size) 움직임 추정 기법등이 있다.

이러한 방법들은 최적의 방법으로 우수한 특성을 갖고 있기는 하나 구조상 많은 계산량과 큰 복잡도 등의 문제를 갖고 있다.

현재, MPEG 규격하의 움직임 벡터(VM) 추정 방법의 확장 모드(Advanced mode)에서는 16×16 매크로 블록 단위로 움직임 추정을 하며 오류가 비교적 큰 부분에 대해서는 8×8블록 단위의 움직임 추정을 하는 2단계 움직임 추정 기법을 채택하고 있다. 그리고 움직임 보상 기법으로는 H.263에 이미 적용되고 있는 블록 겹침 움직임 보상(Overlapped Block Motion Compensation : OBMC)을 이용하고 있다.

상기한 움직임 추정 및 보상 기술은 움직임 추정부에서 발생하는 블록화 현상을 제거하는데 상당히 효과적이다.

이러한 움직임 추정 및 보상 기술의 구체적인 동작 흐름은 다음과 같다.

먼저, 확장 모드가 on상태가 되면 16×16 매크로 블록 크기로 움직임 벡터를 찾은 상태에서 8×8 블록의 움직임 벡터를 찾게되는데 그 중심점을 기존에 구한 16×16 매크로 블록의 움직임 벡터에 두고 x,y방향으로 ±2.5 픽셀 서치를 하여 8×8 블록의 움직임 벡터를 구한다.

그리고 OBMC과정을 거치게 되는데 기준 프레임의 픽셀 값을 P(i,j),새로운 픽셀 값을

라고 하면,

이다.

도 1a내지 도 1c는 OBMC과정에서의 픽셀 가중값을 나타낸 것으로 이와 같은 움직임 추정 및 보상 방법은 움직임 추정부에서 발생하는 블록화 현상을 효과적으로 차단할 수 있는 기술이다.

2단계의 움직임 추정 기법을 채택하고 움직임 보상 기법으로는 블록 겹침 움직임 보상을 이용하고 있는 종래 기술에 있어서는 움직임 추정을 16×16 매크로 블록 단위로 하고 오류가 비교적 큰 부분에 대해서는 다시 8×8블록 단위의 움직임 추정을 하는 2단계 움직임 추정 기법을 채택하고 있어 계산량이 많고 복잡하여 효율성이 떨어진다. 이는 초저비트율에서의 AV(Audio/Video)부호화를 가능케 하고, 새로운 기능의 실현 등의 목적을 갖고 추진되는 MPEG-4에 적절하게 대응하지 못하는 문제를 야기시키게 된다.

본 발명은 이와 같은 종래 기술의 움직임 벡터 추정 기술의 문제를 해결하기 위한 것으로, 움직임 벡터의 계산을 바이리니어 보간(Bilinear Interpolation)을 선택적으로 이용하는 방법으로 하여 계산량과 복잡도를 개선하는데 적당하도록한 동영상 움직임 벡터 추정 방법을 제공하는데 그 목적이 있다.

도 1a내지 도 1c는 종래 기술의 OBMC에 따른 픽셀 가중값을 갖는 8×8블록의 매트릭스

도 2a와 도 2b는 본 발명에 따른 매크로 블록의 매트릭스 및 움직임 벡터 추정 방법을 나타낸 구성도

도 3a와 도 3b는 본 발명에 따른 움직임 벡터 추정 방법을 나타낸 순서도

도 4a와 도 4b는 본 발명의 움직임 벡터 추정 방법의 실시 조건 테이블

도 5a내지 도 5c는 본 발명의 움직임 벡터 추정 방법의 실시 결과 테이블

MPEG-4 비디오 VM에서 움직임 벡터의 계산을 바이리니어 보간을 선택적으로 이용하는 방법으로 하여 계산량과 복잡도를 개선한 본 발명의 동영상 움직임 벡터 추정 방법은 모든 매크로 블록들의 Y성분에 대해 움직임 추정을 하는 단계와,움직임 벡터가 구해지면 부호화 예측 모드를 결정하는 단계와,상기 부호화 예측 모드가 INTER모드로 결정된 블록들에 대해 halfpel탐색을 하는 단계와,16×16블록의 움직임 벡터(MV₁₆)와 주위 블록들의 움직임 벡터들을 이용해 바이리니어 보간을 한 움직임 벡터(

)중 해당 8×8 블록에 대한 SAD가 작은 벡터를 초기 움직임 벡터로 선택하는 단계와,8×8블록들의 초기 움직임 벡터가 모두 정해지면 각각에 대하여 ±2의 탐색 영역에서 국소적인 탐색을 하는 단계와,다시 ±0.5의 halfpel탐색을 하여 최종적인 움직임 벡터를 찾아 그를 이용하여 8×8 블록 단위로 움직임을 예측하거나 16×16블록 단위로 움직임을 예측하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

이하, 첨부된 도면을 참고하여 본 발명의 동영상 움직임 벡터 추정 방법에 관하여 상세히 설명하면 다음과 같다.

도 2a와 도 2b는 본 발명에 따른 매크로 블록의 매트릭스 및 움직임 벡터 추정 방법을 나타낸 구성도이고,도 3은 본 발명에 따른 움직임 벡터 추정 방법을 나타낸 순서도이다.

본 발명의 움직임 추정 방법은 8×8 블록의 움직임 벡터를 추정하는데 있어 바이리니어 보간을 이용하여 확장 모드(Advanced mode)(MPEG 권고안 H.263의 버전업된 모드를 지칭) 에서의 움직임 벡터의 추정 방법을 개선한 것으로 그 기술 구성은 다음과 같다.

즉, 초기 움직임 벡터로 현재 매크로 블록의 움직임 벡터만을 택하는 것이 아니라 현재 블록의 움직임 벡터와 그 주위 블록들의 움직임 벡터들을 바이리니어 보간한 움직임 벡터중에서 선택적으로 적용하는 것이다.

다중모드 왜곡 예측(Multimode warping prediction)을 이용한 움직임 추정 및 보상에서 처럼 8×8블록 내의 모든 화소들에 대해 바이리니어 보간을 하지 않고 8×8 블록의 중심 화소의 움직임 벡터만을 바이리니어 보간하기 때문에 계산량은 그리 크지 않다.

또한 매크로 블록내에 여러 운동체가 있는 경우 초기 움직임 벡터로써 주위 움직임 벡터들을 이용하여 바이리니어 보간한 벡터를 채택하는 것이 매크로 블록의 움직임 벡터를 채택하는 것보다 더 정확할 수 있다.

도 2a는 본 발명에 따라 매크로 블록내의 4개의 8×8블록들의 초기 움직임 벡터들을 구하는 것을 나타낸 것이다.

즉, 초기 움직임 벡터를 구하는 것이 기존 VM(Verification Model)의 확장 모드에서와 같이 모두 16×16 블록의 움직임 벡터를 채택하는 것이 아니고 오류(Summation Absolute Differential: SAD)가 더 적다면 바이리니어 보간한 움직임 벡터를 채택하여 사용하는 것이다. 그리고 나서 각 8×8블록의 움직임 벡터를 중심으로 하는 좁은 영역의 탐색을 한다. 이때, 탐색은 복원된 이전 VOP(Video Object Plan)에 대해서 행해진다.

4개의 8×8 MV에 의한 오류가 16×16 MV에 의한 오류보다 작다면 그 매크로 블록은 8×8 블록 단위로 움직임 보상을 하며, 그렇지 않다면 16×16 블록 단위의 움직임 보상을 한다.

상기와 같은 본 발명의 동영상 움직임 벡터 추정 방법에 관하여 보다 상세히 설명하면 다음과 같다.

먼저, 모든 매크로 블록들의 Y(휘도)성분에 대해 정수 단위의 움직임 추정을 한다.(301S)

움직임 추정을 위한 비교는 현재 블록과 이전 오리지날 VOP(original VOP)에서 찾아진 블록 사이에서 행해진다. 여기서 이전 오리지날 VOP는 VM에서 제안한 기법에 의해 패딩된다.

f_code(예측 프레임의 간격을 나타낸는 코드)에 따른 탐색 영역에서 전역 탐색을 하며 이때 쓰이는 기준은 SAD(매칭 오류)이며 그를 구하는 식은 다음과 같다.

여기서,

실제 영상에서는(0,0)벡터가 많으므로 SAD₁₆(0,0)의 값은 의도적으로 다음값 만큼 줄인다.

여기서, N_B는 매크로 블록내의 화소들중 VOP내에 포함되어 있는 화소들의 수 이다.

이와 같이, 현재 매크로 블록의 정수 단위의 움직임 벡터가 구해지면 다음의 파라미터를 가지고 부화화 예측 모드를 결정하게 된다.(302S)

부호화 예측 모드는

의 파라미터에 의해 결정된다.

즉, 상기 A값에 따라 INTRA모드 또는 INTER모드 인지를 결정한다.

이와 같이 부호화 예측 모드가 결정되면 INTER모드로 결정된 블록들에 대해 halfpel탐색(반화소 단위의 움직임 벡터 추정)을 한다.

이때, MFEG-4 비디오 VM에서의 보편적인 탐색법을 찾아 복원된 이전 VOP에 대해 탐색을 한다.(303S)

그리고 각 매크로 블록의 움직임 벡터가 halfpel단위까지 찾아지면 매크로 블록내의 네 개의 8×8블록들의 움직임 벡터들을 찾는다. 탐색 영역은 확장 모드에서 8×8탐색을 할 때 탐색 영역인±2이다.

상기한 303S 이후의 과정을 상세히 설명하면 다음과 같다. 기존에 제시된 VM과는 달리 탐색이 복원된 이전 VOP에서 행해진다는 점과 탐색의 초기점이 16×16블록의 움직임 벡터로 고정된 것이 아니라 16×16블록의 움직임 벡터(MV₁₆)와 주위 블록들의 움직임 벡터들을 이용해 바이리니어 보간을 한 움직임 벡터(

)중 해당 8×8 블록에 대한 SAD가 작은 벡터를 택한다.

이때,

는 halfpel단위로 라운딩되고 바이리니어 보간된 움직임 벡터가 많이 선택될수록 움직임 벡터 필드의 엔트로피가 증가하여 움직임 벡터의 정보량이 증가하게 된다.

그러므로 움직임 벡터의 정보량의 증가를 막기 위하여

에 의한 오류(

)보다 MV₁₆에 의한 오류(

)사이에서 다음의 기준을 가지고 초기 움직임 벡터를 결정한다.

이면

를 선택하고 그렇지 않다면 MV₁₆을 선택한다.(304S)

이와 같은 기준으로 나머지 세 개의 8×8 블록의 초기 움직임 벡터를 결정한다.(305S)

네 개의 8×8블록들의 초기 움직임 벡터가 정해지면 각각에 대하여 ±2의 탐색 영역에서 국소적인 탐색을 한다.(306S)

그리고 ±0.5의 halfpel탐색을 하여 최종적인 움직임 벡터를 찾는다.(307S)

이어, 최종적인 움직임 벡터가 찾아지면 네 개의 8×8블록의 오류(

)의 합과 MV₁₆에 의한 오류(SAD₁₆)를 다음의 기준으로 비교한다.(308S)

이면 최종적으로 찾아진 네 개의 8×8의 움직임 벡터들을 이용하여 8×8 블록 단위로 움직임을 예측하고(309S) 그렇지 않으면 16×16블록 단위로 움직임을 예측한다.(310S)

이와 같은 본 발명의 움직임 벡터 추정 방법은 8×8 모드로 선택되는 경우 간단한 바이리니어 보간에 의한 움직임 벡터 계산으로 VM보다 효과적으로 매크로 블록의 특성에 맞는 움직임 탐색을 할뿐만 아니라 이전 오리지날 VOP에서 국소적인 탐색을 하지 않고 실제 최종적인 움직임 보상에 이용되는 복원된 이전 VOP에서 국소적인 탐색을 하기 때문에 VM의 확장 모드보다 현저히 블록화 현상이 감소한다.

이때, 원 영상이 아닌 복원된 영상이긴 하지만 국소적인 탐색 영역이 전체 탐색 영역에 비해 상당히 작기 때문에 국소적인 최소치에 빠질 염려는 없다.

이와 같은 본 발명의 움직임 추정 기술의 원리를 이용한 실시예에 관하여 설명하면 다음과 같다.

도 4a와 도 4b는 본 발명의 움직임 추정 방법의 실시 조건 테이블이고,도 5a내지 도 5c는 본 발명의 움직임 추정 방법의 실시 결과 테이블이다.

본 발명에 따른 동영상 움직임 벡터 추정 기술을 이용하여 실제 움직임 추정을 한 것으로 그 실시 조건은 다음과 같다.

첫째, 양자화 파라미터(Quantization parameter:QP)는 각 시퀀스에 대해 한 값으로 고정되고, 모든 화소들의 움직임 벡터는 halfpel단위 까지 H.263 양자화 테이블을 이용하여 양자화한다.

둘째, 움직임 추정에는 P-VOP(Predicitive-Video Object Plan)만 이용하고 초기 VOP는 I-VOP(Intra-Video Object Plan)를 사용한다.

셋째, INTRA AC/DC 예측이 이용되고 디블록킹 필터는 off상태로 한다.

이와 같은 조건으로 부호화 과정을 도 4a 및 도 4b의 실시 조건 테이블과 같은 내용을 가지고 진행하고 디코딩한 한 결과가 도 5a내지 도 5c의 테이블의 내용이다.

도 5a는 디블록킹 필터를 사용하지 않았을 경우의 결과이고, 도 5b는 루프 필터를 사용하였을 경우의 결과이다. 그리고 도 5c는 포스트 필터를 사용하였을 경우의 결과이다.

그 결과를 보면, VM에서와 거의 같은 왜곡율(rate-distortion)을 나타내고,

저속 및 고속의 어플리케이션에서의 디코딩된 영상에서 블록화 현상이 없고,한계 해상도를 개선한 영상을 만들 수 있음을 알 수 있다.

이와 같은 본 발명의 동영상 움직임 벡터 추정 방법에 의한 부호화 과정은 MFEG-4 비디오 VM 4.0과는 달리 OBMC를 사용하지 않으므로 계산량을 크게 줄여 복잡도를 감소시키는 효과가 있고, 신택스상의 변화가 없어 VM에의 적용성을 높이는 효과가 있다.

Claims (9)

1. 모든 매크로 블록들의 Y성분에 대해 움직임 추정을 하는 단계와,

   움직임 벡터가 구해지면 부호화 예측 모드를 결정하는 단계와,

   상기 부호화 예측 모드가 INTER모드로 결정된 블록들에 대해 halfpel탐색을 하는 단계와,

   16×16블록의 움직임 벡터(MV₁₆)와 주위 블록들의 움직임 벡터들을 이용해 바이리니어 보간을 한 움직임 벡터(

   

   )중 해당 8×8 블록에 대한 SAD가 작은 벡터를 초기 움직임 벡터로 선택하는 단계와,

   8×8블록들의 초기 움직임 벡터가 모두 정해지면 각각에 대하여 ±2의 탐색 영역에서 국소적인 탐색을 하는 단계와,

   다시 ±0.5의 halfpel탐색을 하여 최종적인 움직임 벡터를 찾아 그를 이용하여 8×8 블록 단위로 움직임을 예측하거나 16×16블록 단위로 움직임을 예측하는 단계를 포함하여 이루어지는 것을 특징으로 하는 동영상 움직임 벡터 추정 방법.
2. 제 1 항에 있어서, 모든 매크로 블록의 Y성분에 대한 움직임 추정을 위한 비교는 현재 블록과 이전 오리지날 VOP(original VOP)에서 찾아진 블록 사이에서 정수 단위로 진행하는 것을 특징으로 하는 동영상 움직임 벡터 추정 방법.
3. 제 2 항에 있어서, 이전 오리지날 VOP는 MFEG-4 비디오 VM에 따라 패딩하는 것을 특징으로 하는 동영상 움직임 벡터 추정 방법.
4. 제 1 항에 있어서, 모든 매크로 블록의 Y성분에 대한 움직임 추정을 f_code에 따른 영역의 전역에서,

   

   여기서,

   

   을 기준으로 하여 탐색을 하는 것을 특징으로 하는 동영상 움직임 벡터 추정 방법.
5. 제 4 항에 있어서, 움직임 벡터를 구하기 위한 SAD값중에 SAD₁₆(0,0)의 값을

   

   (N_B는 매크로 블록내의 화소들중 VOP내에 포함되어 있는 화소들의 수)만큼 줄이는 것을 특징으로 하는 동영상 움직임 벡터 추정 방법.
6. 제 1 항에 있어서, 부호화 예측 모드의 결정을

   

   의 파라미터에 의해 INTRA모드 또는 INTER모드 인지를 결정하는 것을 특징으로 하는 동영상 움직임 벡터 추정 방법.
7. 제 6 항에 있어서, 부호화 예측 모드가 INTER모드로 결정된 블록들에 대한 halfpel탐색은 MFEG-4 비디오 VM에따라 복원된 이전 VOP에 대해 진행하는 것을 특징으로 하는 동영상 움직임 벡터 추정 방법.
8. 제 1 항에 있어서, 초기 움직임 벡터의 결정은

   

   이면

   

   를 선택하고 그렇지 않다면 MV₁₆을 선택하는 것을 특징으로 하는 동영상 움직임 벡터의 추정 방법.
9. 제 1 항에 있어서, 최종적인 움직임 벡터를 찾은후 움직임 벡터의 예측 및 보상을 네 개의 8×8블록의 오류(

   

   )의 합과 MV₁₆에 의한 오류(SAD₁₆)를 비교하여

   

   이면 네 개의 8×8의 움직임 벡터들을 이용하여 8×8 블록 단위로 움직임을 예측하고 그렇지 않으면 16×16블록 단위로 움직임을 예측하는 것을 특징으로 하는 동영상 움직임 벡터 추정 방법.

Images