KR0180171B1 - 블록 움직임 추정 방법 - Google Patents

Abstract

본 발명은 블록 움직임 추정 방법에 관한 것으로, 연속되는 프레임의 전역 움직임을 추정하기 위한 소정 크기의 블록 단위를 설정하는 블록 설정 단계와; 이 설정된 상기 블록 단위로 움직임 추정을 하여 정합오차를 구하되, 정합오차가 기준치 보다 작은 블록은 움직임 벡터를 결정하고, 정합오차가 기준치 보다 큰 블록은 다시 4등분하여 작은 블록 단위로 분할하는 블록 분할 단계 및; 이 분할된 블록 단위로 다시 상기 블록 분할 단계를 반복적으로 수행하여 모든 블록에 대해 움직임 벡터가 결정되었거나 블록 단위가 기설정된 최소 블록 크기에 이르렀을 때까지 반복 수행하게 되는 반복 수행 단계로 구성되어, 연속적인 프레임간의 전역적인 움직임을 용이하게 탐색하도록 된 것이다.

Description

블록 움직임 추정 방법

제1도는 본 발명에 따른 블록 움직임 추정 방법의 순서를 도시한 도면.

제2도는 본 발명의 블록 움직임의 정합오차에 따른 블록의 분할을 설명하기 위한 도면.

제3도는 재분할된 블록의 움직임 벡터를 구하는 것을 설명하기 위한 도면이다.

본 발명은 블록 움직임(block motion) 추정 방법에 관한 것으로, MPEG의 동영 상부호화에서 영상의 움직임을 추정, 보상하고 부호화하는 움직임 보상을 위한 움직임 벡터를 찾는 블록 움직임 추정 방법에 관한 것이다.

음성, 영상 등의 신호처리 방식의 디지털화 추세에 따라 최근 들어 영상 신호를 디지털 방식으로 구현하려는 연구가 활발히 진행되고, 특히 영상 신호를 디지털 방식으로 표현했을 경우 저장, 통신, 처리 과정 등에서 유리한 장점을 가지고 있으나 데이터 양이 방대하기 때문에 데이터 양을 줄이는 압축기술이 필수적으로 요구되고 있다.

영상 압축 알고리즘에서도 움직임 추정 및 보상은 연속된 프레임 사이에 존재하는 시간 중복성을 제거함으로써 얻어지는 데이터 압축 방법이다.

영상 신호의 압축은 영상 신호의 가장 큰 특징의 하나로 지적되는 시공간 중복성을 제거함으로써 이루어지는 것으로, 공간 중복성을 제거하는 방법으로는 변환 부호화 방식의 일종인 DCT(Discrete Cosine Transform)를 이용하여 화상이 갖고 있는 에너지를 집중시키는 기법이 사용되고, 시간 중복성을 제거하는 방법으로는 연속되는 프레임간의 움직임 예측 보상(interframe motion estimation compensation)이 주로 사용되고 있다.

이때 대부분의 영상 신호 부호화는 프레임을 일정한 크기로 나눈 매크로 블록 예컨대, 16X16 또는 8X8 등의 블록 단위로 변환 부호화(transform coding)와 양자화(quantization)가 수행되고, 이어서 비손실형 부호기의 일종인 RLC(run length coder), VLC(variable length coder)를 거쳐 채널로 전송되게 된다.

시간의 중복성을 제거하는 프레임 사이의 예측 부호화는 연속되는 두 프레임 내 화상들의 움직임을 탐지하여 이를 프레임 메모리를 통해 보상한 후 보상된 데이터를 현재 프레임의 예측치로 사용하는 기법으로 가능하게 되는데, 움직임 추정은 이전 프레임 내의 화상이 현재 프레임 내에서 이동한 정도, 즉 화상 움직임의 크기와 방향을 추출하는 과정을 일컫는다.

움직임을 추정하는 여러 가지 알고리즘 중에서 현재 프레임의 한 매크로 블록과 이에 해당하는 이전 화상 내의 매크로 블록 주위로 일정 크기의 탐색 영역을 정의하고, 이 정의된 탐색영역 내부로 현재 프레임의 매크로 블록을 이동시키면서 가장 잘 정합(matching)되는 부분을 찾아 정합되는 정도와 방향(motion vector)을 계산하는 블록 정합방식 (BMA:Block Matching Algorithm)이 가장 보편적으로 사용되고 있다.

움직임 추정은 영상 부호화기 내에서 가장 많은 연산이 요구되는 부분으로 가장 빠르게 동작해야 할 부분이기 때문에, 결과를 빠르게 얻고자 하는 다양한 탐색기법이 제안되고 있으나, 탐색 영역 내부 전체를 탐색해가면서 가장 잘 정합되는 부분을 찾는 전 탐색 방식(Full Search algorithm)이 아직은 가장 보편적으로 사용되는 방법이다.

그러나 상기와 같이 일정한 크기의 매크로 블록을 이용하여 움직임 벡터를 찾게 되는 경우 카메라를 좌측에서 우측 또는 우측에서 좌측으로 수평 이동시키는 팬닝과 같은 전역 움직임이 발생되는 경우 이를 예측하는데 있어서 매우 취약하였다.

이에 본 발명은 상기한 문제점을 해결하기 위한 것으로, 움직임 추정을 수행하는 블록의 크기를 단계적으로 변화시키면서 움직임 벡터의 연속성을 유지하여 움직임 벡터를 찾게 되는 블록 움직임 추정 방법을 제공하는 데 그 목적이 있다.

상기한 목적을 달성하기 위한 본 발명은, 연속되는 프레임의 전역 움직임을 추정하기 위한 소정 크기의 블록 단위를 설정하는 블록 설정 단계와; 이 설정된 상기 블록 단위로 움직임 추정을 하여 정합오차를 구하되, 정합오차가 기준치 보다 작은 블록은 움직임 벡터를 결정하고, 정합오차가 기준치보다 큰 블록은 다시 4등분하여 작은 블록 단위로 분할하는 블록 분할단계 및; 이 분할된 블록 단위로 다시 상기 블록 분할 단계를 반복적으로 수행하여 모든 블록에 대해 움직임 벡터가 결정되었거나 블록 단위가 기 설정된 최소 블록 크기에 이르렀을 때까지 반복 수행하게 되는 반복 수행 단계로 된 것을 특징으로 한다.

상기와 같은 구성으로 된 본 발명에 의하면, 기존의 8X8 또는 16X16등과 같은 일정한 매크로 블록 단위 대신에 프레임의 전역 움직임을 예측하기 용이한 대규모의 블록 단위로 설정하여 움직임 벡터를 탐색하면서 정합오차가 큰 블록은 단계적으로 블록의 크기를 줄여가면서 움직임 벡터를 탐색하게 되므으로써, 연속적인 프레임간에 전역 움직임을 예측하기 용이하고, 또한 이러한 전역 움직임에 대한 블록 매칭의 수행과정을 줄여 줄 수 있어 탐색시간을 줄여 주는 효과가 있다.

이하 본 발명을 첨부된 도면을 참조하여 상세히 설명한다.

제1도는 본 발명에 따른 블록 분할 방법을 도시한 순서도로서, 연속되는 프레임의 전역 움직임을 추정하기 위한 소정 크기의 블록 단위를 설정하는 블록 설정 단계와; 이 설정된 상기 블록 단위로 움직임 추정을 하여 정합오차를 구하되, 정합오차가 기준치보다 작은 블록은 움직임 벡터를 결정하고, 정합오차가 기준치 보다 큰 블록은 다시 4등분하여 작은 블록 단위로 분할하는 단계 블록 분할단계 및; 이 분할된 블록 단위로 다시 상기 블록 분할 단계를 반복적으로 수행하여 모든 블록에 대해 움직임 벡터가 결정되었거나 블록 단위가 기 설정된 최소 블록 크기에 이르렀을 때까지 반복 수행하게 되는 반복 수행 단계로 구성되어 있다.

제2도는 본 발명에 따른 블록 분할 방법을 설명하기 위한 도면으로서, 맨처음 전역 움직임을 측정할 수 있도록 블록의 크기를 소정 크기로 하여 예컨대 B1 내지 B6으로 크게 분할한다.

그런 다음 각 블록을 임의의 구역을 탐색영역으로 정의하고, 이 정의된 탐색 영역 내부로 현재 프레임의 매크로 블록을 이동시키면서 가장 잘 정합되는 부분을 찾아 정합되는 정도와 방향(motion vector)을 계산하게 된다.

이 때 상기 블록에 대한 정합의 정도 즉 정합오차가 기준치 값보다 적은 B1 및 B6은 해당 블록에 대한 움직임 벡터가 결정된 것이므로, 이 블록에 대한 더 이상의 분할은 필요 없게 되는 것이다.

그러나 만약에 블록의 정합오차가 기준치 보다 크게된 B2, B3, B4, B5는 이 영역 내에는 여러 움직임이 있는 것으로 간주하여 영역을 다시 4등분으로 분할하여 다시 움직임 벡터를 찾는다.

이 때 큰 정합오차를 갖는 B2에 속하는 B21이 작은 정합오차를 갖고 있는 인접한 B1의 움직임과 동일할 경우가 있으므로, 바로 이 영역이 등분된 상태에서 다시 움직임을 찾지 않고 B1의 블록 움직임을 우선 조사하여 이 움직임에 의한 정합오차가 B2의 움직임에 의한 정합오차보다 작으면 이 움직임 값으로 대체한 후 이 움직임을 기준으로 다시 움직임을 찾는다.

이는 우선 전역 움직임의 흐름을 유지하여 지역 최소(local minimum)에 빠지지 않게 하기 위해서이다.

제3도는 상기 B21의 움직임이 변화하는 예를 나타낸 것으로 우선 B2의 움직임 보다 이웃하는 B1의 움직임이 작은 정합오차를 생성하여 MV(B1)으로 치환되고 다시 이 움직임은 블록 매칭을 이용하여 새로이 갱신된다.

이와 같은 동작은 정합오차가 기준치 이상인 모든 블록에 대하여 적용되며, 블록의 등분은 기 설정된 최소 블록 크기에 이를 때까지 반복하게 된다.

이와 같이 구성된 본 발명에 의하면, 종래의 일정한 최소 매크로 블록으로 한정된 탐색 범위에서 움직임 벡터를 찾게 되는 경우 전역 움직임을 예측할 수 없었던 것에 비해, 본 발명은 가능한 한 전역 움직임을 예측할 수 있도록 다단계로 블록 단위를 변화시켜 가면서 각 블록에 대한 움직임을 탐색하게 되므으로써 최초 블록 단위의 크기를 크게하므으로써 전역 움직임을 예측할 수 있을 뿐 아니라 점차 블록 단위의 규모를 줄여가므으로써 미세한 블록의 움직임도 탐색할 수 있게 해주는 효과가 있는 것이다.

이상에서 서술된 것은 모든 점에서 단순한 예시에 불과한 것이고, 이를 가지고 한정적으로 해석해서는 안되며, 단지 본 발명의 진정한 정신 및 범위 내에 존재하는 변형예는 모두 본 발명의 청구 범위에 속하는 것이다.

Claims (1)

1. 연속되는 프레임의 전역 움직임을 추정하기 위한 소정 크기의 블록 단위를 설정하는 블록 설정 단계와; 이 설정된 상기 블록 단위로 움직임 추정을 하여 정합오차를 구하되, 정합오차가 기준치 보다 작은 블록은 움직임 벡터를 결정하고, 정합오차가 기준치보다 큰 블록은 다시 4등분하여 작은 블록 단위로 분할하는 블록 분할단계 및; 이 분할된 블록 단위로 다시 상기 블록 분할 단계를 반복적으로 수행하여 모든 블록에 대해 움직임 벡터가 결정되었거나 블록 단위가 기 설정된 최소 블록 크기에 이르렀을 때까지 반복 수행하게 되는 반복 수행 단계로 구성된 블록 움직임 추정 방법.