KR100382540B1

KR100382540B1 - 움직임추정방법

Info

Publication number: KR100382540B1
Application number: KR1019980020071A
Authority: KR
Inventors: 이영수
Original assignee: 주식회사 하이닉스반도체
Priority date: 1998-05-30
Filing date: 1998-05-30
Publication date: 2005-09-20
Also published as: KR19990086890A

Abstract

시간축의 중복성을 제거하기 위하여 움직임 벡터를 구한 후 픽쳐 사이에서 가장 비슷한 블록을 찾는 움직임 추정 방법에 관한 것으로서, 특히 이미 구해진 다수개의 주변 매크로 블록의 움직임 벡터들의 중간값을 구하는 제 1 단계와, 상기 중간값을 기준으로 주어진 탐색 영역에서 현재 매크로 블록의 움직임 벡터를 구하여 움직임 추정을 수행하는 제 2 단계로 이루어져, 주변 움직임 벡터에 의해 구해진 새로운 탐색 영역을 이용하여 움직임 벡터를 구한 후 움직임 추정을 함으로써, 움직임이 빠른 동화상에서 움직임 추정 능력이 향상되었으며 향후 적은 계산량으로 빠르게 움직이는 움직임 벡터를 찾아야 하는 제품등에 응용할 수 있다. 특히, 제한된 엔코더의 성능에서나 실시간 처리를 요하는 경우에 있어서는 적은 탐색 영역에서 움직임 벡터를 찾아야 하는데, 이 경우에도 보다 정확한 움직임 벡터를 찾아낼 수 있다.

Description

움직임 추정 방법{MOTION ESTIMATION METHOD}

본 발명은 동영상 압축에 관한 것으로서, 특히 MPEG(Moving Picture Experts Group) 엔코더에서의 움직임 추정(Motion estimation) 방법에 관한 것이다.

멀티미디어를 지원해주는 핵심 요소로는 디지털화와 더불어 화상 압축 기술이 있다. 최근들어 정보의 디지탈화가 급속도로 발전하고 있으며, 이에 따라 화상 압축 기술이 매우 중요하게 부각되고 있다.

동화상 전문가 그룹(Moving Pictures Expert Group ; MPEG)은 멀티미디어 환경에 가장 핵심 기술인 디지털 동영상의 압축 부호화를 위한 국제적인 표준안이다.

이때, 시간에 따라 변화하는 비디오 시퀀스를 효율적으로 압축하기 위해서는 영상 데이터가 갖고 있는 2차원 공간상의 중복성뿐만 아니라 시간축의 중복성 제거가 절대적으로 필요하므로, MPEG 비디오 압축 알고리즘은 두 가지 기본 기술을 바탕으로 한다. 즉, 시간 중복성(Temporal Redundancy)을 줄이기 위해서 블록 단위의 움직임 추정 및 보상을 이용하고, 공간 중복성(Spatial Redundancy)을 줄이기 위해서 이산 코사인 변환(Discrete Cosine Transform ; DCT)을 이용한다.

도 1은 일반적인 동화상 압축 특히, MPEG 엔코더의 구성 블록도로서, DCT부(11)는 2차원 축변환을 통해서 데이터의 상관성을 제거하는데, 이를 위해 픽쳐를 블록 단위로 나눈 후 나누어진 각각의 블록을 DCT식에 따라 축변환시킨다. 이렇게 축변환된 데이터들은 한쪽 방향(저역 쪽)으로 몰리는 경향이 있는데 이렇게 몰려진 데이터들만을 양자화부(12)에서 양자화한 후 가변 길이 코딩(Variable Length Coding ; VLC)부(13)로 출력된다. 상기 VLC부(13)는 자주 나오는 값은 적은 수의 비트로, 드물게 나오는 값은 많은 수의 비트로 표시하여 전체 비트 수를 줄인 후 선입선출(FIFO) 메모리(17)를 통해 전송한다. 또한, 상기 양자화된 데이터는 다시 역양자화부(14)에서 역양자화되고 IDCT부(15)에서 IDCT된 후 움직임 추정 및 보상(motion estimation/motion compensation ; ME/MC)부(16)로 출력된다.

한편, 시간축으로 연속된 픽쳐들은 주로 화면의 중앙 부분에서 사람이나 물체의 움직임이 있기 때문에 움직임 추정 및 보상부(16)에서는 이러한 성질을 이용하여 시간축의 중복성을 제거한다. 즉, 화면의 변하지 않은 부분이나 움직였다 하더라도 비슷한 부분을 바로 전 픽쳐에서 가져와서 채움으로써 전송해야 할 데이터량을 큰 폭으로 줄일 수 있다.

예컨대, 상기 IDCT부(15)의 출력과 상기 움직임 추정 및 보상부(16)의 출력을 더해서 프레임 메모리에 저장하면 현재 입력되는 픽쳐의 움직임 추정시 프레임 메모리에 저장된 데이터가 바로 전 픽쳐가 된다.

이렇게 픽쳐 사이에서 가장 비슷한 블록을 찾는 일을 움직임 추정(Motion Estimation)이라 하며, 얼마만큼 움직였는가 하는 변위를 나타내는 것을 움직임 벡터(Motion vector ; MV)라 한다.

그리고, 상기 움직임 보상 과정은 전방향(Forward), 후방향(Backword) 예측 (Prediction) 블록들을 이용하는데, 두 가지의 움직임 보상 프레임이 있다. P-프레임은 전방향 예측만으로 움직임 보상이 이루어지며 그 자체로 다음 P-프레임을 예측하는데 사용된다. 또한, B-프레임(양 방향에서 예측된 프레임)의 전방향 및 후방향 예측을 위해서도 사용된다. 그러나, B-프레임은 그 자체로서 예측을 위해 사용되지는 않는다.

즉, I(Intra) 픽쳐는 임의의 화면을 압축 부호화할 때 기준이 되는 화면으로 원 신호를 블록마다 DCT 변환과 양자화 과정을 적용하여 공간 방향의 중복성만을 제거한다. P(Predicted) 픽쳐는 I, P-픽쳐로부터 원본 화면과 가장 가깝게 예측해 내는 것으로 이미 부호화된 I-픽쳐 또는 P-픽쳐와의 움직임 보상간 예측 오차 신호와 움직임 벡터는 매크로 블록마다 부호화되고, 예측 오차 신호는 블록마다 DCT 연산 후 양자화, VLC된다. B(Bi-Directional) 픽쳐는 이전 I-, P-픽쳐에서만 예측하여 화면을 구성하는 것, 그 다음 I-, P-픽쳐에서 역방향으로 예측하는 것, 이 두가지 방법(전방향, 후방향)을 평균하는 화면을 만들어 세가지 중 원본과 가장 비슷하게 예측된 화면을 선택하는 다소 복잡한 픽쳐이다.

이는 I 픽쳐는 그대로 DCT부(11)로 입력되어 DCT를 하고, I나 P 픽쳐는 움직임 추정 및 움직임 보상부(16)에서 움직임 보상을 한 후 현재 입력되는 신호와의 차이를 DCT부(11)로 출력하여 DCT를 한다.

이와 같이 상기 움직임 추정 및 보상부(16)는 연속되는 동화상의 전송에 있어서 현재의 프레임이 이전 프레임과 상당한 연관성이 있음을 이용한 것으로서, 화상 처리를 16×16 매크로 블록 단위로 나누어 주어진 탐색 영역내에서 이전 프레임의 픽셀들과 비교하여 가장 근사치의 움직임 벡터를 찾으며 여기서 구해진 움직임 벡터만으로도 원 영상의 상당 부분을 유사하게 복원시킬 수 있다.

상기 움직임 벡터에 의해 복원된 영상은 특히 움직임이 적은 배경 화면등에서 효과가 커서 거의 원 영상에 가까운 화질을 얻을 수 있다. 그러나, 움직임이 급격히 변하는 부분에 있어서는 원 영상과 차이가 커지며 이런 경우 움직임 벡터를 사용하지 않고 인트라 코딩을 하거나 차분치를 보상하기 위해 추가 화소 정보를 코딩하여 보냄으로서 원 영상에 가까운 화질을 복원할 수 있게 한다. 그러므로 움직임 벡터를 얼마나 잘 찾느냐에 따라 압축율을 더 높일 수 있다.

도 2는 일반적으로 사용하는 움직임 추정 방법으로서, f_code 값에 의해 탐색 영역이 결정되고 그 범위내에서 이전 프레임과의 차분치가 가장 적은 위치 벡터를 찾는다. 여기서, 상기 f_code 값은 엔코더의 능력에 따라 정해진다. 즉, f_code값이 클수록 탐색 영역이 넓어져 움직임이 빠른 움직임 벡터도 잘 찾을 수 있지만 계산량이 많아지기 때문에 엔코더의 성능이나 움직임 벡터의 빠르기를 고려하여 적절한 탐색 영역을 선택해야 한다.

예를 들면, 탐색 영역 변화에 따른 움직임 추정 계산량의 증가는 다음과 같다.

f_code = 1일 때 탐색 범위 : x,y 각 방향으로 [-8 ∼ 7]

(각 픽셀당 16×16의 덧셈과 뺄셈 수행) × 16 × 16 = 65,536회의 덧셈, 뺄셈 수행 + 256회의 비교 수행.

f_code = 2일 때 탐색 범위 : x,y 각 방향으로 [-16 ∼ 15]

(각 픽셀당 16×16의 덧셈과 뺄셈 수행) × 32 × 32 = 262,114회의 덧셈, 뺄셈 수행 + 1024회의 비교 수행.

따라서, f_code 값이 1씩 증가할 때마다 계산량이 4배씩 증가함을 알 수 있다.

이와 같이 동영상 압축에 있어서 얼마나 효율적으로 움직임 벡터를 찾느냐하는 것이 압축율이나 화질에 영향을 크게 미친다. 특히 로우 비트레이트(Low bitrate)일수록 움직임 추정의 중요성은 더욱 커지며 보다 정확한 움직임 벡터를 찾기 위해서 탐색 영역을 넓혀야 한다. 그러나 탐색 영역을 넓히면 그만큼 계산량이 증가하는 문제가 발생한다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 이전에 구해진 주변 3개의 매크로 블록의 움직임 벡터중 중간 값을 기준으로 주어진 탐색 범위에서 움직임 벡터를 찾음으로써, 적은 탐색 영역에서도 보다 정확한 움직임 벡터를 찾는 움직임 추정 방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 움직임 추정 방법은, 이미 구해진 다수개의 주변 매크로 블록의 움직임 벡터들의 중간값을 구하는 제 1 단계와, 상기 중간값을 기준으로 주어진 탐색 영역에서 현재 매크로 블록의 움직임 벡터를 구하여 움직임 추정을 수행하는 제 2 단계로 이루어짐을 특징으로 한다.

상기 제 1 단계는 현 매크로 블록과 가장 연관성이 많은 다수개의 이전 매크로 블록의 움직임 벡터들로 정의함을 특징으로 한다.

상기 제 1 단계의 다수개의 주변 매크로 블록의 움직임 벡터는 현 매크로 블록의 바로 전에 위치하는 매크로 블록의 움직임 벡터(MV1), 현 매크로 블록의 바로 위에 위치하는 매크로 블록의 움직임 벡터(MV2), 그 다음 매크로 블록의 움직임 벡터(MV3)로 정의됨을 특징으로 한다.

상기 제 1 단계의 다수개의 주변 매크로 블록의 움직임 벡터는 현 매크로 블록의 바로 전에 위치하는 매크로 블록의 움직임 벡터(MV1), 현 매크로 블록의 바로 위에 위치하는 매크로 블록의 움직임 벡터(MV2), 현재 매크로 블록의 위치에 대응하는 이전 프레임의 움직임 벡터(MV3)로 정의됨을 특징으로 한다.

상기 제 2 단계는 상기 중간 값과 현재 위치의 값 중 이전 프레임과의 차분치가 적은 값을 기준으로 하여 주어진 탐색 영역에서 움직임 벡터를 찾음을 특징으로 한다.

상기 제 2 단계는 상기 중간값에 대한 SAD(Sum of Absolute Difference)과 현재 매크로블록의 SAD 값을 구한 후 그중 SAD 값이 작은 위치를 기준으로 주어진 탐색 영역에서 움직임 벡터를 찾음을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명한다.

동영상 압축에 있어서 효율적인 움직임 추정은 동영상 압축율을 높이며 화질의 향상을 가져온다. 이때, 제한된 엔코더의 성능에서나 실시간 처리를 요하는 경우에 있어서는 적은 탐색 영역에서 효과적으로 실제 움직임 벡터를 찾아야 한다. 특히, 로우 비트레이트일수록 움직임 추정의 중요성은 더욱 커지며 이를 위해 보다 정확한 움직임 벡터를 찾아야 한다.

따라서, 본 발명은 주변 매크로 블록의 움직임 벡터들은 상호 연관성을 가지고 있음을 이용하여 움직임 벡터를 찾는다.

도 3은 본 발명에 따른 움직임 추정 방법의 실시예를 나타낸 것으로서, 현재 매크로 블록의 움직임 벡터를 구할 때 이웃하는 3개의 후보 벡터(MV1,MV2.MV3)로부터 중간값을 구한다. 상기 3개의 후보 벡터(MV1,MV2,MV3)는 이전에 이미 구해진 움직임 벡터로서, 현 매크로 블록의 바로 전 매크로 블록의 움직임 벡터(MV1), 현 매크로 블록의 바로 위에 위치하는 매크로 블록의 움직임 벡터(MV2), 그 다음 매크로 블록의 움직임 벡터(MV3)로서, 현 매크로 블록의 움직임 벡터와 가장 많은 연관성을 갖고 있다.

그리고 나서, 상기와 같은 3개의 후보 벡터(MV1,MV2,MV3)중에서 x 좌표의 중간값과 y 좌표의 중간값을 각각 찾는다. 예를 들어, MV1의 x,y 값이 {4,7}, MV2의 x,y 값이 {5,6}, MV3의 x,y 값이 {3,5}이라면, 중간값은 {4,6}가 된다. 상기 중간값에 대한 SAD(Sum of Absolute Difference)과 현재 매크로블록의 SAD 값을 구한 후 그중 SAD 값이 작은 위치를 기준으로 주어진 탐색 영역에서 움직임 벡터를 찾는다. 즉, 상기 중간 값과 현재 위치의 값 중 이전 프레임과의 차분치가 적은 값을 기준으로 하여 주어진 탐색 영역에서 움직임 벡터를 찾는다.

이는 구해진 중간값의 움직임 방향이 현 매크로 블록의 움직임 방향과 반대이거나 움직임이 없는 정지 상태를 고려한 것으로, 움직임이 없거나 움직임 방향이 반대이면 현재 위치의 값을 기준으로 주어진 탐색 영역에서 움직임 벡터를 찾고, 움직임 방향이 비슷한 경우에는 중간값을 기준으로 주어진 탐색 영역에서 움직임 벡터를 찾는다.

여기서, 중간값을 기준으로 움직임 벡터를 찾을 때를 보면, 도 3에서와 같이 f_code 값은 그대로 유지된 채 탐색 영역만 중간값으로 찾은 기준점을 중심으로 변함을 알 수 있다. 이것은 움직임이 빠르고 탐색 영역이 적은 경우 효과가 크다.

도 4는 도 3의 움직임 추정 과정을 흐름도로 나타낸 것이다.

이와 같이 본 발명은 움직임이 비슷한 경우에는 움직임 탐색 영역을 기존의 0을 중심으로 주어진 탐색 범위에서 찾는 것보다 주변 블록의 움직임 벡터가 현재 블록의 움직임 벡터와 많은 연관성을 가지는 점을 이용하여 이전에 구해진 주변 3개의 움직임 벡터중 중간 값을 기준으로 주어진 탐색 범위에서 움직임 벡터를 찾음으로써 적은 탐색 영역에서도 보다 정확한 움직임 벡터를 찾아낼 수 있으며 특히, 로우 비트 레이트의 움직임이 많은 동화상 압축에 적용하면 좋은 화질을 얻을 수 있다.

도 5는 본 발명에 따른 움직임 추정 방법의 다른 실시예로서, 도 3과 다른점은 3번째 후보 벡터(MV3)의 정의로서, 도 5는 MV3를 현재 매크로 블록의 위치에 대응하는 이전 프레임의 움직임 벡터를 정의하였다. 그리고 나서, 상기 3개의 후보 벡터(MV1,MV2.MV3)로부터 중간값을 구하고, 상기 중간값에 대한 SAD과 현재 매크로블록의 SAD 값을 구한 후 그중 SAD 값이 작은 위치를 기준으로 주어진 탐색 영역에서 움직임 벡터를 찾는다. 이후 과정은 도 3과 동일하다.

이것은 현재 구하고자 하는 움직임 벡터가 이전 프레임의 대응하는 위치의 움직임 벡터와 가장 많은 연관성을 가짐을 이용한 것으로 실제 실험에 있어서도 도 3의 방법보다 도 5의 방법이 효율이 더 좋다는 것을 알 수 있다. 이는 도 6과 도 7을 보면 알 수 있다.

도 6과 도 7은 기존의 움직임 추정 방법과 본 발명에 따른 움직임 추정 방법에 의한 실험 결과를 표로 나타낸 것으로서, 실험 조건은 로우 비트레이트의 제한된 성능의 엔코더로 가정하였다. 여기서, 도 6은 도 3의 실험 결과이고, 도 7은 도 5의 실험 결과이다. 그러나, 도 5는 이전 프레임의 움직임 벡터를 저장하고 있어야 하므로 메모리의 공간을 차지하는 단점이 있다.

본 발명은 제한된 성능을 갖는 엔코더에서 빠르게 움직이는 동화상의 압축에 적용할 때 큰 효과를 가지며, 특히 기존의 MPEG-2와 현재 진행중인 MPEG-4 모두에 적용할 수 있다.

이상에서와 같이 본 발명에 따른 움직임 추정 방법에 의하면, 주변 움직임 벡터에 의해 구해진 새로운 탐색 영역을 이용하여 움직임 벡터를 구한 후 움직임 추정을 함으로써, 움직임이 빠른 동화상에서 움직임 추정 능력이 향상되었으며 향후 적은 계산량으로 빠르게 움직이는 움직임 벡터를 찾아야 하는 제품등에 응용할 수 있다.

특히, 제한된 엔코더의 성능에서나 실시간 처리를 요하는 경우에 있어서는 적은 탐색 영역에서 움직임 벡터를 찾아야 하는데, 이 경우에도 보다 정확한 움직임 벡터를 찾아낼 수 있으며, 로우 비트 레이트의 움직임이 많은 동화상 압축에 적용하면 좋은 화질을 얻을 수 있다.

도 1은 일반적인 MPEG 엔코더의 구성 블록도

도 2는 종래의 움직임 추정 방법에서 움직임 벡터를 찾는 과정을 나타낸 도면

도 3은 본 발명에 따른 움직임 추정 방법에서 현 매크로 블록의 움직임 벡터를 찾는 과정의 일실시예를 나타낸 도면

도 4는 도 3의 움직임 추정 과정을 나타낸 흐름도

도 5는 본 발명에 따른 움직임 추정 방법에서 현 매크로 블록의 움직임 벡터를 찾는 과정의 다른 실시예를 나타낸 도면

도 6은 도 3의 움직임 추정 방법에 의한 실험 결과를 표로 나타낸 도면

도 7은 도 5의 움직임 추정 방법에 의한 실험 결과를 표로 나타낸 도면

도면의 주요부분에 대한 부호의 설명

11 : DCT부 12 : 양자화부

13 : VLC부 14 : 역 양자화부

15 : IDCT부 16 : 움직임 추정 및 보상부

17 : FIFO

Claims

시간축의 중복성을 제거하기 위하여 움직임 벡터를 찾아 픽쳐 사이에서 가장 비슷한 블록을 찾는 움직임 추정 방법에 있어서,

이미 구해진 다수개의 주변 매크로 블록의 움직임 벡터들의 중간값을 구하는 제 1 단계와,

상기 중간값을 기준으로 상기 중간 값과 현재 위치의 값 중 이전 프레임과의 차분치가 적은 값을 기준으로 하여 주어진 탐색 영역, 또는 상기 중간값에 대한 SAD(Sum of Absolute Difference) 값과 현재 매크로블록의 SAD 값을 구한 후 그중 SAD 값이 작은 위치를 기준으로 하여 주어진 탐색 영역에서 현재 매크로 블록의 움직임 벡터를 구하여 움직임 추정을 수행하는 제 2 단계로 이루어짐을 특징으로 하는 움직임 추정 방법.
제 1 항에 있어서, 상기 제 1 단계의 다수개의 주변 매크로 블록의 움직임 벡터는

현 매크로 블록의 바로 전에 위치하는 매크로 블록의 움직임 벡터(MV1), 현 매크로 블록의 바로 위에 위치하는 매크로 블록의 움직임 벡터(MV2), 그 다음 매크로 블록의 움직임 벡터(MV3)로 정의됨을 특징으로 하는 움직임 추정 방법.
제 1 항에 있어서, 상기 제 1 단계의 다수개의 주변 매크로 블록의 움직임 벡터는

현 매크로 블록의 바로 전에 위치하는 매크로 블록의 움직임 벡터(MV1), 현 매크로 블록의 바로 위에 위치하는 매크로 블록의 움직임 벡터(MV2), 현재 매크로 블록의 위치에 대응하는 이전 프레임의 움직임 벡터(MV3)로 정의됨을 특징으로 하는 움직임 추정 방법.