KR950009699B1

KR950009699B1 - 움직임벡터 검출방법 및 장치

Info

Publication number: KR950009699B1
Application number: KR1019920009947A
Authority: KR
Inventors: 김상호
Original assignee: 대우전자주식회사; 배순훈
Priority date: 1992-06-09
Filing date: 1992-06-09
Publication date: 1995-08-26
Also published as: JP2928708B2; JPH0634651A; US5327232A; KR940001732A

Abstract

내용 없음.

Description

움직임벡터 검출방법 및 장치

제1도는 디지탈 비디오신호를 압축하기 위한 부호화장치의 전형적인 블럭도이고,

제2도는 본 발명에 따라 구성된 제1도의 움직임추정기의 상세 블럭도이고,

제3도는 본 발명에 따른 움직임벡터 검출방법을 설명하기 위한 흐름도이다.

* 도면의 주요부분에 대한 부호의 설명

2 : 감산기 4 : DCT부

6 : 양자화기 8 : 역양자화기

10 : 역 DCT부 12 : 가산기

14 : 프레임 기억장치 16 : 움직임 추정부

18 : 움직임보상부 22 : 움직임벡터 메모리

24 : 프로세서 어레이 26 : 차(Difference)값 메모리

28 : 차값 비교기 30 : 움직임벡터 검출기

본 발명은 움직임보상을 이용한 영상부호화장치에 관한 것으로, 특히 전송되는 데이타의 압축효율이 증대되도록 움직임벡터를 정확하게 검출하기 위한 움직임벡터 검출방법 및 장치에 관한 것이다.

일반적으로 영상 부호화장치(Coding)는 영상전화기(Video-telephone), 영상회의(Teleconference) 및 고선명 텔레비젼(High Defintion Television:HDTV) 시스템과 같은 디지탈 비디오신호처리장치에 사용되는 것으로, 제한된 전송대역을 통해 다량의 디지탈 데이타를 전송할 수 있도록 데이타를 압축하여 전송하는 장치이다.

이러한 영상부호화장치에 사용되는 영상압축기술은 MPEG(Moving Piccure Experts Group) 등에서 여러가지를 제안하고 있으나 그 중에서 현재 가장 많이 이용되고 있는 것은 이산코사인 변환(Discrete Cosine Transform : 이하 DCT라 함)을 이용하여 프레임내 공간적인 상관성을 줄이는 변환부호화방식 및 움직임보상(Motion Compensation)을 이용한 프레임간 시간적인 상관성을 줄이는 움직임보상 부호화방식을 이용한 영상압축기술이다.

특히 움직임보상 부호화방식은 데이타 압축처리를 효율적으로 처리하기 위하여 현재 프레임(Current Frame)과 이전 프레임(Previous Frame) 간의 움직임추정을 토대로 현재 프레임의 데이타를 이전 프레임 데이타로 부터 예측(Predict)하여 처리하는 기술로서, 현재 프레임과 이전 프레임 간의 움직임 정도에 따라 검출된 움직임벡터(Motion Vector)만큼 이전 프레임을 이동시킨 뒤, 현재 프레임과의 차를 검출하고 검출된 차값을 부호화하도록 하는 것이다. 이러한 움직임 보상 부호화방식에서는 얼마만큼 정확한 움직임벡터를 구해주느냐에 따라서 프레임간(Inter-Frame) 부호화의 효율이 결정되며 보내야 할 데이타의 량이 증가되거나 감소되기도 한다.

따라서 1990년 7월 MPEG의 Simulation Model Editiorial Group에서는 블럭매칭 알고리즘(Block Matching Algorithom)을 이용한 움직임벡터 검출방법을 제안한 바 있었다.

이 블럭매칭 알고리즘에 의한 움직임벡터 검출방법을 구현하기 위하여 현재 프레임은 다수의 동일한 사이즈로 이루어진 서치블럭(Search Block)으로 분리되고, 이전 프레임은 서치블럭과 대응되는 수의 서치영역(Search Region)으로 분리된다. 그리고 현재 프레임으로 부터 선택된 서치블럭은 이전 프레임의 대응되는 서치영역에 포함되어 있는 상술한 서치블럭과 동일한 사이즈를 갖는 모든 가능한 후보블럭(Candidate Block 또는 서브브영역(Subregion))과 비교되고, 비교블럭 각각에 대하여 블럭 각각에 존재하는 픽셀의 평균휘도레벨의 절대 차(Absolute Difference : 이하 AD라 함)가 계산된다. 그리고 계산된 AD들 중 가장 작은 값을 찾고, 가장 작은 값을 갖는 후보블럭(또는 서브영역)과 서치블럭 간의 픽셀의 변위로 움직임벡터를 유도한다. 상술한 움직임벡터 유도과정은 상기 현재 프레임 내의 다음 서치블럭과 그에 대응하는 이전 프레임 내의 서칭영역에 대해서도 마찬가지로 반복된다.

이러한 움직임추정에 있어서, 선택된 서치블럭에 대응되는 전 서치영역에 걸쳐 단 한 개의 최저 AD값이 발견된 경우에는 별 문제가 없으나 때때로 동일한 값을 갖는 다수의 최저 AD가 발견되는 경우가 발생된다. 이 때, MPEG에서 제안된 블럭매칭 알고리즘에서는 다수의 AD들 중 무조건 가장 먼저 검출된 최저 AD값을 갖는 서브영역을 선택하여 움직임벡터를 검출하기 때문에 검출된 움직임벡터가 서치블럭과 대응하는 서치영역 간의 다수의 상관성을 고려하였다고 볼 수 없으며 이러한 이유로 검출된 움직임벡터에 오차가 발생될 수 있는 문제가 있었다.

따라서 본 발명의 목적은 보다 효율적인 데이타 압축을 수행하기 위하여 연속적인 필드 또는 프레임 간의 움직임벡터 검출시, 다수의 상관성을 고려하여 정확하게 움직임벡터를 검출하기 위한 움직임벡터 검출방법 및 장치를 제공하는데 있다.

상기 목적을 달성하기 위하여 본 발명에 따른 방법은, 현재 프레임이 다수의 동일 크기의 서치블럭으로 분리되고, 상기 현재보다 한 프레임 앞선 이전 프레임이 상기 서치블럭에 각각 대응하는 수의 서치영역으로 분리되고, 각각의 서치영역은 상기 서치블럭과 같은 크기의 서브영역(또는 후보블럭)으로 분리되어 비디오 신호의 이전 프레임과 현재 프레임 간의 움직임을 나타내는 움직임벡터를 검출하는 방법에 있어서 : 소정의 움직임 벡터를 준비하는 과정 ; 상기 현재 프레임으로 부터 주어진 서치블럭가 상기 이전 프레임의 대응하는 서치영역에서 선택된 상기 서브영역들을 비교하고, 상기 서치블럭에 존재하는 픽셀과 선택된 상기 서브영역에 존재하는 픽셀 간의 평균휘도레벨 차의 절대값(AD)을 계산하는 과정 ; 상기 대응하는 서치영역 내의 나머지 서브영역의 각각에 대하여 상기 차의 절대값을 계산하는 과정을 반복하여 다수의 상기 평균휘도레벨의 차 절대값(AD)을 구하는 과정 ; 상기 다수의 차 절대값(AD) 중 가장 작은 값(MIN)을 선택하고, 가장 작은 값(MIN)과 같은 값을 갖는 모든 최저가 절대값을 구하는 과정 ; 상기 움직임벡터 준비과정에서 준비된 상기 소정의 움직임벡터를 상기 각각의 최저차 절대값으로 부터 유도된 각각의 움직임벡터와 비교하여 상기 소정의 움직임벡터에 대하여 상기 각각의 움직임벡터 중의 최저차 절대값을 갖는 움직임벡터를 상기 현재 프레임 내의 상기 서츠블럭의 움직임벡터로 결정하는 과정 ; 상기 결정된 움직임벡터를 다음 순번의 서치영역의 상기 소정 움직임벡터로 준비하기 위하여 저장하는 과정 ; 모든 현재 프레임과 모든 이전 프레임 간 움직임벡터를 결정하기 위하여 상술한 전 과정을 반복하는 과정을 포함함을 특징한다.

상기 목적을 달성하기 위하여 본 발명에 다른 장치는, 현재 프레임이 다수의 동일 크기의 서치블럭으로 분리되고, 상기 현재보다 한 프레임 앞선 이전 프레임이 상기 서치블럭에 각각 대응하는 수의 서치영역으로 분리되고, 각각의 서치영역은 상기 서치블럭과 같은 크기의 서브영역으로 분리되어 비디오신호의 이전 프레임과 현재 프레임 간의 움직임을 나타내는 움직임벡터를 검출하는 장치에 있어서 : 주어진 서치블럭을 그것에 대응되는 서치영역 내의 다수의 서브영역 각각과 순차적으로 비교하고, 주어진 서치블럭 내에 존재하는 픽셀과 각 상기 서브영역 간의 다수의 평균휘도레벨의 차의 절대값(AD)을 계산하기 위한 프로세서 어레이 ; 다수의 차의 절대값(AD)을 저장하기 위한 차값 메모리 ; 상기 차값 메모리에 저장된 다수의 차 절대값 각각을 비교하고, 동일한 최저값을 갖는 절대값을 구하는 차값 비교기 ; 소정의 움직임벡터를 저장하는 움직임벡터 메모리 ; 상기 소정의 움직임벡터의 상기 동일한 최저차 절대값을 부터 유도된 각각의 움직임벡터를 비교하여 상기 소정의 움직임벡터에 대하여 최소차의 절대값을 갖는 움직임벡터를 상기 현재 프레임 내의 상기 서치블럭의 움직임벡터로 출력하고, 상기 검출된 움직임벡터를 상기 현재 프레임 내의 다음 서치블럭에 대하여 검출되는 동일한 최저차의 절대값과 비교하기 위하여 상기 소정의 움직임벡터로 저장할 수 있도록 상기 움직임벡터메모리로 제공하기 위한 움직임벡터 검출기를 포함함을 특징으로 한다.

이하, 본 발명은 첨부된 도면을 참조하여 상세히 설명한다.

제1도는 디지탈 비디오신호를 압축하기 위하여 본 발명에 따른 움직임 추정기(16)를 포함하는 영상부호화장치의 블럭도로서, DCT에 의한 프레임 내의 상관성을 줄이는 부호화과정과 프레임 간의 상관성을 줄이는 움직임보상 부호화과정이 결합되어 이루어지도록 감산기(2), DCT부(4), 양자화기(6), 역양자화기(8), 역DCT부(10), 가산기(12), 프레임 기억장치(14), 움직임보상부(18), 움직임추정부(16)로 구성된다.

1프레임으로 구성되는 입력 비디오신호는 미도시된 입력메모리(또는 프레임버퍼)로 부터 소정의 블럭으로 그룹화되어 순차적으로 독출되어 움직임 추정부(16)와 감산기(2)로 제공된다. 이와 동시에 현재 프레임 보다 1프레임 앞선 1프레임의 이전 비디오신호가 프레임메모리(14)로 부터 독출(Read Out)되어 움직임 추정부(16)로 제공된다.

움직임 추정부(16)는 입력메모리(미도시됨)와 프레임메모리(14)로 부터 각각 독출된 이전 프레임신호와 현재 프레임 간의 비교에 의하여 현재 프레임이 이전 프레임에 비해 어느 방향으로 얼마나 움직였는지를 나타내는 움직임벡터를 검출한다. 움직임보상부(18)는 프레임 기억장치(14)로 부터 제공되는 이전 프레임을 움직임 추정부(16)로 부터 출력되는 움직임벡터 만큼 이동시켜 감산기(2)와 가산기(12)로 출력한다.

감산기(2)는 입력되는 비디오신호 블럭과 움직임보상부(18)로 부터 제공된 비디오신호 블럭 간의 차를 계산한다. 감산기(2)로 부터 출력된 신호는 DCT부(4)에 의해 주파수영역의 변환계수로 변환함으로써 프레임 내의 상관성을 제거한다. 양자화기(6)는 DCT부(4)에서 출력된 신호를 적응 양자화한다.

양자화기(6)의 출력신호는 역양자화기(8)에 의해 역양자화되고, 역DCT부(10)에 의해 역이산여현변환되어 원래의 신호로 복원된다. 가산기(12)는 역DCT부(10)의 출력신호와 움직임보상부(18)로 부터 출력되는 신호를 결합한다. 가산기(12)의 출력신호는 프레임메모리(14)로 기록된다.

제2도는 본 발명에 따라 순차적으로 전송되는 비디오신호로 부터 정확히 움직임벡터를 검출하기 위한 제1도에 도시된 움직임 추정기(1)의 상세한 블럭도로서, 프로세서 어레이(24), 차값 메모리(26), 차값 비교기(28), 움직임벡터 메모리(22) 및 움직임벡터 검출기(30)로 구성되어 다음과 같이 동작된다.

입력 비디오신호의 현재 프레임과 이전 비디오신호의 이전 프레임은 프로세서 어레이(24)로 제공된다. 여기서 현재 프레임은 동일한 사이즈의 다수의 서치블럭(Search Block)을 갖고 이전 프레임은 대응되는 수의 서치영역(Search Region)을 갖으며, 서치영역은 상술한 서치블럭과 동일한 사이즈의 복수의 서브영역(Subregion)을 갖는다. 프로세서 어레이(24)는 현재 프레임으로 부터 취해진 서치블럭과 이전 프레임에서 그것에 대응되는 서치영역 내에서 순차적으로 선택된 서브영역을 비교하고, 비교된 서치영역과 다수의 서브영역 간의 픽셀의 평균휘도레벨차의 절대값(Absolute Difference : 이하 AD라 함)을 계산한다. 계산된 결과는 차값 메모리(Difference Memory ; 26)로 전송된다.

차값 비교기(Difference Comparator ; 28)는 차값 메모리(26)에 저장된 다수의 AD(차의 절대값)들을 순차적으로 비교하여 최저 AD를 검출한다. 이 때, 현재까지 검출된 최저 AD와 동일한 값을 갖는 AD가 다수 검출될 수 있다. 차값 비교기(28)는 각각의 최저 AD와 관련된 각각의 움직임벡터를 움직임벡터 검출기(30)로 제공한다.

움직임벡터 검출기(30)는 움직임벡터메모리(22)에 저장되어 있는 소정의 움직임벡터를 기준으로 연속되는 프레임 간에 보다 많은 상관성을 갖는 정확한 움직임벡터를 검출한다. 본 발명에 따라 상술한 소정의 움직임벡터는 현재 프레임 내의 선행 서치블럭의 움직임벡터와 현재 프레임 내의 서치블럭에 대응하는 위치에 있는 이전 프레임 내의 서치블럭의 움직임벡터 중 어느 하나가 된다.

움직임벡터 검출기(30)는 움직임벡터 메모리(22)에 저장되어 있는 소정의 움직임벡터와 상기 동일한 값을 갖는 각각의 최저 AD에 대한 각각의 움직임벡터들 간의 차를 비교하여 가장 근접된 최저 AD의 움직임벡터를 가장 적합한 움직임벡터로 검출한다. 검출된 움직임벡터는 제1도의 움직임보상부(18)로 제공되고, 현재 프레임에 다음 서치블럭에서 검출이 가능한 최저 AD 등과 비교하기 위한 소정의 움직임벡터로 사용하기 위하여 움직임벡터 메모리(22)로도 제공된다.

제3도는 제2도에 보인 것처럼 움직임추정기(16)에서 이루어지는 움직임벡터를 검출하는 방법을 설명하는 흐름도이다.

단계 S2에서, 현재 프레임의 서치블럭과 이전 프레임의 사각형 블럭이 예를 들어 16*16화소 블럭 사이즈로 각각 규정되어 선택되고 그 사각형 블럭의 중심점을 좌표(a, b)로 설정한다. 또한 움직임벡터 메모리(22)에 저장되어 있는 상술한 소정의 움직임벡터값을 MV_-1로 준비한다.

단계 S4에서, 중심좌표에 상당하는 이전 프레이에 대한 서치영역의 범위가 초기화된다. 본 발명에 있어서, 움직임벡터의 서치범위는 X, Y[±7, ±7]이 되고, 여기서 X 및 Y는 수평 및 수직방향을 나타낸다.

단계 S6에서, 계산된 차 절대값 AD들 중 가장 작은 값(MIN)과 이것에 대응하여 검출된 움직임벡터 MV가 초기화된다. 여기서 가장 작은 값(MIN)은 다음과 같이 표현된다.

MIN=AD(a, b)

단계 S8에서, 중심좌표(a, b)를 수평 및 수직방향으로 1씩 증가되도록 이동시켜 이동된 중심좌표(a+X, b+Y)를 갖는 대응되는 서치영역 내의 후보블럭(Subregion)과 서치블럭에 존재하는 픽셀의 휘도레벨의 AD(a+X, b+Y)를 계산한다.

단계 S10에서, 각각의 증가된 값 X, Y가 서치범위[±7, ±7] 내에 있는지를 체크한다. 만일 각각의 증가된 값 X, Y가 서치범위 내에 있으면, 단계 S12로 진행된다. 그러나 증가된 값 X, Y가 서치범위 내에 존재하지 않으면 단계 S18로 진행된다.

단계 S12에서, 계산된 AD(a+X, b+Y)를 현재까지 발견된 최저차 MIN과 비교한다. 본 발명에 따른 단계 S12의 비교결과는 다음과 같은 3가지 경우로 나눌 수 있다. 즉, 그 1번째 경우가 계산된 AD(a+X, b+Y)는 최저차 MIN 보다 큰 경우(AD＞MIN)이고, 3번째 경우가 계산된 AD(a+X, b+Y)가 최저차 MIN과 같은 경우(AD=MIN)이다.

1번째 경우에, 단계 S14로 진행되어 최저차 MIN은 계산된 AD(a+X, b+Y)로 대체한다. 즉, 최저차 값 MIN은 계산된 AD(a+X, b+Y)로 갱신된다. 여기서 새로운 최저차 AD(a+X, b+Y)를 갖는 움직임벡터 MV(a+X, b+Y)를 현재 움직임벡터로 한다. 그후, 서치범위 내에 새로운 위치로 좌표를 시프트하기 위해 단계 S8로 리턴된다.

2번째 경우에, 최적차 값 MIN과 움직임벡터 MV는 변하지 않고 단계 S8로 리턴된다.

3번째 경우에, 단계 S15로 진행되어 단계 S2에서 준비된 이전 움직임벡터 MV_-1과 AD(a+X, b+Y)를 갖는 움직임벡터 MV(a+X, b+Y) 간의 절대차 D1이 계산되고, 또한 소정 움직임벡터 MV_-1와 현재 최저값 MIN을 갖는 움직임벡터 MV 간의 절대차 D2가 계산된다. 그리고 계산된 D1과 D2값을 비교하여 D1이 D2보다 작으면(D1＜D2), 단계 S16이 진행되며 움직임벡터 MV가 MV(a+X, b+Y)로 대체되고, 단계 S6로 리턴된다. 그러나 D1이 D2보다 높으면 직접 단계 S8로 리턴된다. 이 때 최저차 MIN은 차 절대치 AD(a+X, b+Y)와 동일하기 때문에 변경되지 않는다.

단계 S10에서 주어진 서치블럭에 대하여 선택된 서치영역 내의 다수의 전 서브영역(또는 후보블럭)에 대하여 서치가 종료되면, 단계 S18로 진행되어 상술한 과정을 통하여 남아 있는 움직임벡터를 현재 서치블럭의 최종적으로 결정된 움직임벡터로 하여 제1도에 도시된 움직임보상부(18)와 제2도에 보인 움직임벡터 메모리(22)로 제공한다. 그리고 상술한 바와 같은 처리를 현재 프레임의 다음 서치블럭과 그것에 대응하는 이전 프레임의 대응되는 서치영역에 대하여 반복한다.

상술한 바와 움직임벡터를 검출하는 장치 및 방법을 제공함으로써, 종전에 비해 좀더 정확한 움직임벡터를 검출하여 데이타 압출효율을 증대시키는 효과가 있다.

Claims

현재 프레임이 다수의 동일 크기의 서치블럭으로 분리되고, 상기 현재보다 한 프레임 앞선 이전 프레임이 상기 서치블럭에 각각 대응하는 수의 서치영역으로 분리되고, 각각의 서치영역은 상기 서치블럭과 같은 크기의 서브영역(또는 후보블럭)으로 분리되어 비디오신호의 이전 프레임과 현재 프레임 간의 움직임을 나타내는 움직임벡터를 검출하는 방법에 있어서 : 소정의 움직임벡터를 준비하는 과정 ; 상기 현재 프레임으로 부터 주어진 서치블럭과 상기 이전 프레임의 대응하는 서치영역에서 선택된 상기 서브영역들을 비교하고, 상기 서치블럭에 존재하는 픽셀과 선택된 상기 서브영역에 존재하는 픽셀 간의 평균휘도레벨 차의 절대값(AD)을 계산하는 과정 ; 상기 대응하는 서치영역 내의 나머지 서브영역의 각각에 대하여 상기 차의 절대값을 계산하는 과정을 반복하여 다수의 상기 평균휘도레벨의 차 절대값(AD)을 구하는 과정 ; 상기 다수의 차 절대값(AD) 중 가장 작은 값(MIN)을 선택하고, 가장 작은 값(MIN)과 같은 값을 갖는 모든 최저차 절대값을 구하는 과정 ; 상기 움직임벡터 준비과정에서 준비된 상기 소정의 움직임벡터를 상기 각각의 최저차 절대값으로 부터 유도된 각각의 움직임벡터와 비교하여 상기 소정의 움직임벡터에 대하여 상기 각각의 움직임벡터 중의 최저차 절대값을 갖는 움직임벡터를 상기 현재 프레임 내의 상기 서치블럭의 움직임벡터로 결정하는 과정 ; 상기 결정된 움직임벡터를 다음 순번의 서치영역의 상기 소정 움직임벡터로 준비하기 위하여 저장하는 과정 ; 모든 현재 프레임과 모든 이전 프레임 간 움직임벡터를 결정하기 위하여 상술한 전 과정을 반복하는 과정을 포함함을 특징으로 하는 움직임벡터 검출방법.
현재 프레임이 다수의 동일 크기의 서치블럭으로 분리되고, 상기 현재보다 한 프레임 앞선 이전 프레임이 상기 서치블럭에 각각 대응하는 수의 서치영역으로 분리되고, 각각의 서치영역은 상기 서치블럭과 같은 크기의 서브영역으로 분리되어 비디오신호의 이전 프레임과 현재 프레임 간의 움직임을 나타내는 움직임벡터를 검출하는 장치에 있어서 ; 주어진 서치블럭을 그것에 대응되는 서치영역 내의 다수의 서브영역 각각과 순차적으로 비교하고, 주어진 서치블럭 내에 존재하는 픽셀과 각 상기 서브영역 간의 다수의 평균휘도레벨의 차의 절대값(AD)을 계산하기 위한 프로세서 어레이(24) ; 다수의 차의 절대값(AD)을 저장하기 위한 차값 메모리(26) ; 상기 차값 메모리(26)에 저장된 다수의 차 절대값 각각을 비교하고, 동일한 최저값을 갖는 절대값을 구하는 차값 비교기(28) ; 소정의 움직임벡터를 저장하는 움직임벡터 메모리(22) ; 상기 소정의 움직임벡터와 상기 동일한 최저차 절대값으로 부터 유도된 각각의 움직임벡터를 비교하여 상기 소정의 움직임벡터에 대하여 최소차의 절대값을 갖는 움직임벡터를 상기 현재 프레임 내의 상기 서치블럭의 움직임벡터로 출력하고, 상기 검출된 움직임벡터를 상기 현재 프레임 내의 다음 서치블럭에 대하여 검출되는 동일한 최저차의 절대값과 비교하기 위하여 상기 소정의 움직임벡터로 저장할 수 있도록 상기 움직임벡터 메모리(22)로 제공하기 위한 움직임벡터 검출기(30)를 포함함을 특징으로 하는 움직임벡터 검출장치.