KR100266161B1 - 디지털 영상을 위한 움직임 추정방법(Method of Predicting Motion for Digital Image) - Google Patents

디지털 영상을 위한 움직임 추정방법(Method of Predicting Motion for Digital Image) Download PDF

Info

Publication number
KR100266161B1
KR100266161B1 KR1019970057612A KR19970057612A KR100266161B1 KR 100266161 B1 KR100266161 B1 KR 100266161B1 KR 1019970057612 A KR1019970057612 A KR 1019970057612A KR 19970057612 A KR19970057612 A KR 19970057612A KR 100266161 B1 KR100266161 B1 KR 100266161B1
Authority
KR
South Korea
Prior art keywords
image
motion
hierarchical
layer
position information
Prior art date
Application number
KR1019970057612A
Other languages
English (en)
Other versions
KR19990038003A (ko
Inventor
임경원
이희섭
Original Assignee
구자홍
엘지전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자주식회사 filed Critical 구자홍
Priority to KR1019970057612A priority Critical patent/KR100266161B1/ko
Priority to US09/182,203 priority patent/US6332002B1/en
Publication of KR19990038003A publication Critical patent/KR19990038003A/ko
Application granted granted Critical
Publication of KR100266161B1 publication Critical patent/KR100266161B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 디지털 영상을 부호화할 때 단화소 단위의 움직임 추정의 계산량을 줄일 수 있는 디지털 영상을 위한 움직임 추정 방법에 관한 것이다.
본 발명의 디지털 영상을 위한 움직임 추정 방법은 다수의 계층 영상들 중 최상위 계층 영상에서 그의 기준블록과 그 기준블록에 인접한 상기 기준블록 크기의 블록들과 부분적으로 중첩되는 영역을 포함하는 특정블록을 이용하여 입력영상에 대한 계층영상과 유사한 영상이 위치하는 이전영상에 대한 계층 영상 상의 위치에 관한 위치정보를 검출하고 그 위치정보에 근거하여 단화소 단위의 초기 움직임을 추정하는 단계와, 다수의 계층 영상들 중 나머지 계층 영상에서 상기 위치 정보를 중심으로 하는 일정크기의 국부영역을 탐색하여 입력영상에 대한 계층 영상과 유사한 영상이 위치하는 이전 영상에 대한 계층 영상상의 위치 정보를 종속적으로 검출하고, 그 검출된 위치정보에 근거하여 단화소 단위의 움직임을 반복 추정하여 최하위 계층에서의 위치정보를 발생하는 단계와, 최하위 계층의 위치정보를 기준으로 반화소 탐색범위 내에서 입력영상과 유사한 영상이 위치하는 복호된 영상 상의 위치에 관한 위치 정보를 검출하여 그 검출된 위치정보를 기초로 반화소 단위의 움직임을 추정하는 단계를 포함한다.

Description

디지털 영상을 위한 움직임 추정방법(Method of Prediciting Motion for Digital Image)
본 발명은 디지털 영상의 부호화에 관한 것으로, 특히 부호화기에 이용되는 디지털 영상을 위한 움직임 추정 방법에 관한 것이다.
통상, 동영상 압축 표준인 MPEG(Motion Picture Experts Group)-2 방식의 부호화기는 매크로블럭(Macroblock)을 기본 단위로 신호 압축을 수행한다. 하나의 매크로 블록은 16×16화소(Pixel)의 휘도신호(Y)블록과 8×8 화소의 색차신호(Cr 및 Cb)블럭으로 구성되게 된다.
영상압축을 위한 첫 단계는 임의의 입력 영상으로부터 매크로블록을 추출하는 것이다. 이를 위하여, 색체계 변환, 색신호 성분 추림(Decimation), 그리고 블록 분할의 세가지 동작이 필요하다. 여기서, 색체계 변환(Color Space Conversion)은 카메라로부터 입력되어 디지털 형태로 변환된 RGB 영상의 중복성을 줄이기 위하여 YCrCb 체계로 변환하는 것을 말한다. 색신호 성분 추림(Chrominance Component Decimation)은 Y신호가 영상의 명암을 나타내는 신호로서 주파수 대역도 넓고 시각적으로 인식이 잘 되는데 비하여, Cr 및 Cb 신호는 색상을 나타내는 신호로서 인식도가 Y신호에 비하여 낮기 때문에 이를 수평, 수직 방향으로 추림하여 사용하는 것을 말한다. 예를 들어, 4:2:0 포맷(Format) 영상의 경우 추림정도(Decimation Factor)는 수평 및 수직으로 각각 2:1 이다. 그리고, 블럭 분할(Block Partitioning)은 상기 색체계 변환과 색신호 성분 추림을 통해 얻어진 YCrCb 영상을 부호화하기에 적합한 크기로 분할하는 것으로써, Y 신호의 경우 16×16 화소 단위로 분할하게 되며 Cr 및 Cb 신호는 8×8 단위로 분할하게 된다.
그 다음 단계는 전체 영상으로부터 규칙적으로 추출된 매크로블록을 움직임 추정 및 보상하는 것이다. 이는 시간적으로 인접한 비디오 영상에 대하여 중복되는 부호화 과정을 제거하기 위한 것이다. 이하, 도 1에 도시된 MPEG-2 부호화기를 참조하여 움직임 추정 장치 및 방법을 상세히 살펴보기로 한다.
도 1은 일반적인 MPEG-2 부호화기를 도시한 블록도로써, 통상 MPEG-2 부호화기는 입력라인(1)에 접속된 프레임 메모리(Frame Memory, 2)와, 입력라인(1) 및 프레임 메모리(2)와 프레임 딜레이(18)에 접속되어 입력영상의 움직임을 추정 및 보상하는 움직임 예측부(20)를 구비한다.
프레임메모리(2)는 입력라인(1)을 통해 입력되는 시간적으로 인접한 이전영상을 저장하는 기능을 갖는다. 움직임 예측부(20)는 입력라인(1)과 프레임메모리 (2)에 접속된 제1 움직임 추정부(Motion Estimator 1 : 22)와, 입력라인(1) 및 제1 움직임 추정부(22)와 프레임 딜레이(18)에 접속된 제2 움직임 추정부(Motion Estimator 2 : 24)와, 제2 움직임 추정부(24)와 프레임 딜레이(18)에 접속된 움직임 보상부(Motion Compensator : 26 ) 로 구성된다. 움직임 예측부(20)에서 제1 움직임 추정부(22)는 입력라인(1)을 통한 입력영상에서 매크로블록의 Y 신호 블록에 대하여 프레임 메모리(2)에 저장된 이전영상으로부터 가장 유사한 블록의 위치를 검출한다. 이때, 검출된 위치는 제2 움직임 추정부(24)를 위한 기준위치로 사용되게 된다. 제2 움직임 추정부(24)는 입력라인(1)을 통한 입력영상과 프레임 딜레이(18)의 복원영상을 입력받아 복원영상에서 제1 움직임 추정부(22)로부터 입력된 기준위치를 중심으로 매크로블럭의 Y 신호와 가장 유사한 블록의 위치를 검출한다.
MPEG-2 부호화기는 여기서 검출된 위치를 복호화기 쪽으로 전송하므로써, 복호화기는 수신된 위치정보를 바탕으로 부호화기에서 참조하였던 복원영상과 정확히 일치하는 영상을 얻을수 있게 된다. 움직임 보상부(26)는 제2 움직임 추정부(24)로부터 발생된 최종 위치정보를 바탕으로 프레임 딜레이(18)의 복원 영상으로부터 매크로블럭과 가장 유사한 블록을 추출한다.
그리고, 도1의 MPEG-2 부호화기는 프레임 메모리(2)의 입력 영상과 움직임 보상기(Motion Compensator, 26)의 복원영상 간의 차신호를 출력하는 감산기(4)와, 감산기(4)의 차신호를 부호화하는 이산코사인변환(Discreter cosine tansform : 이하, DCT 라함) 부(6), 양자화기(Quantization, 8 ), 가변길이 부호화기(Variable Length Coder : 이하, VLC라 함, 30)와, VLC(30)로부터 입력되는 비트 스트림을 선입선출(First In First Out) 방식으로 출력하는 버퍼(32)와, 프레임 메모리(2)와 버퍼(32)로부터의 데이터 양을 참조하여 양자화기(8)와 역양자화기(12)의 양자화수의 크기를 조절하므로써 비트 발생율을 제어하는 비트율 제어부(10)를 구비한다.
또한, 도1의 MPEG-2 부호화기는 상기 양자화기(8)에서 양자화된 데이터를 복호하는 역양자화기(Inverse Quantization, 12) 및 역 이산코사인변환부(Inverse DCT : 이하, IDCT라 함, 14)와, IDCT(14)와 움직임 보상부(26)의 출력영상의 합신호를 출력하는 가산기(16)와, 가산기 (16)의 합신호를 저장하는 프레임 딜레이(18)를 더 구비한다.
도1의 구성에서 감산기(4)는 입력라인(1)을 통해 프레임 메모리(2)에 저장된 영상의 매크로블록과 움직임 보상기(26)에서 추출된 복원 영상의 블록간의 차영상 (Difference Image)을 DCT부(6)로 출력한다.
DCT부(6)는 감산기(4)로부터의 차 영상을 8×8 화소 단위로 DCT 변환 하고 양자화기(6)에서 양자화므로써, 시간적으로 인접한 영상간의 중복성을 제거하게 된다.
즉, 차 영상에 존재하는 공간영역의 상관성을 제거하게 된다.
역양자화기(12) 및 IDCT부(6)는 양자화기(8)에서 부호화된 차 영상에 대하여 복호화기에서 수행되는 영상 복원과정과 동일한 연산을 수행하므로써, 복호화기와 동일한 차 영상 신호를 복원한다. 여기서, 양자화기(6)와 역양자화기(12)는 비트율 제어부(10)에서 크기가 조절된 양자화수(Qp)를 사용하여 양자화 및 역양자화를 각각 수행한다. 가산기(16)는 IDCT(14)로부터 복원된 차 영상과 움직임 보상기(26)의 예측 영상을 합하여 프레임딜레이(18)에 저장한다.
프레임딜레이(18)에 저장되는 영상은 다음에 입력될 영상을 예측하기 위한 새로운 복원영상으로 이용된다.
통상, 비월주사방식의 영상의 한 프레임은 1/60초 마다 번갈아서 발생되는 두 필드, 즉 상위 필드(Top Field)와 하위 필드(Bottom Field)를 조합한 형태로 구성된다. 따라서, MPEG-2 동영상 압축 표준은 비월주사 방식의 영상에 대해서 효과적으로 적용될 수 있도록 프레임뿐만 아니라 필드 영상에 대해서도 움직임을 추정한다.
도2는 도1의 움직임 예측부(20)에서 제1 및 제2 움직임 추정부(22, 24)를 상세히 도시한 블록도이다.
제1 및 제2 움직임 추정부(22, 24) 각각은 5가지 경로(Path), 즉 프레임 (Frame), 상위필드 대 상위필드(Top-to-top), 하위필드 대 상위필드(Bottom-to-top), 상위필드 대 하위필드(Top-to-bottom), 하위필드 대 하위필드(Bottom-to-bottom)의 경로에 대한 움직임 추정동작을 동시에 수행한다. 제1 움직임 추정부 (22)는 입력되는 영상과 이전 입력영상으로부터 상기 5가지 경로에 대한 단화소 단위의 움직임 추정을 수행한다. 여기서, 탐색영역에 해당하는 영상은 MPEG-2 부호화기의 부호화 순서에 따라 프레임 메모리(2)에서 지연된 이전 영상이다. 제1 움직임 추정부(22)는 단화소 단위로 움직임 추정을 할 때 5-경로 각각에 대하여 도3에 도시된 블록 정합 알고리즘(Block Matching Algorithm)을 사용한다.
도3에서 (a)는 현재 입력되는 영상(It)을 나타내고, (b)는 이전 입력영상(It-1)을 나타낸다. 블록 정합 알고리즘이란 현재 입력되는 영상(It)의 특정 블록(Bt)에 대하여 가장 유사한 블록을 이전 입력영상(It-1)으로부터 찾아내는 과정을 말한다. 도3의 입력영상에서 블록의 크기(Nb)는 MPEG-2의 영상의 경우 16이다.
상세히 하면, 우선 입력영상(It)에서 기준위치(x, y)의 특정블럭(Bt)에 대하여 유사한 블록을 찾기 위한 국부영역을 이전 입력영상(It-1)에서 정한다. 이때, 이전 입력영상(It-1)에서 국부영역의 크기는 기준위치(x,t)를 중심으로 하여 수평으로 x-S∼x＋S＋NB-2, 수직으로 y-S∼y+S++NB-2에 해당한다. 그 다음, 입력영상(It)의 특정블럭(BT)과 가장 유사한 블록을 찾기위한 기준으로 평균 절대 오차(Mean Absoute Difference : MAD)를 사용한다. 이를 수식으로 표현하면 다음과 같다.
[수식1]
Figure kpo00001
이와 같이, 이전 입력영상(It-1)의 국부영역 내에서 임의의 위치(u, v)마다 NB×NB크기의 임의의 블록(Bt-1)과 특정블록(Bt) 간의 평균 절대 오차(MAD)를 계산한다. 이어서, 평균 절대 오차(MAD)가 가장 적은 블록(Bt-1)의 위치((u,v)*)를 검출한다. 이때, 입력영상의 기준위치(x, y)로부터 이전 입력영상의 검출 위치((u,v)*)까지의 변위를 단화소 단위 의 움직임 벡터(Motion Vector : 이하, MV라 함)라고 한다.
그리고, 상기 평균 절대 오차(MAD)를 계산하는 수식으로부터 단화소 단위의 벡터리(MV)를 구하기 위해서는 5-경로 각각에 대하여 다음 수식과 같이 지수적으로 증가하는 계산이 요구됨을 알 수 있다.
[수식2]
Figure kpo00002
상위필드 대 상위필드, 하위필드 대 상위필드, 상위필드 대 하위필드, 하위필드 대 하위필드 :
Figure kpo00003
여기서, M은 단위 화소당 평균 절대 오차를 계산하는데 요구되는 계산량이다. 따라서, 단화소 단위의 움직임 벡터(MV)를 구하기 위하여 초당 요구되는 계산량은 화면의 크기를 W×H라 하고 프레임 속도(Frame Rate)를 30 frame/sec라 할 때 다음 수식과 같다.
[수식3]
Figure kpo00004
제2 움직임 추정부(24)는 반화소 움직임 벡터 검출부(21)와, 제1 및 제2 멀티플렉서(Multiplexer : 23, 25)와, 제2 가산기(27)와, 필드/프레임 결정부(29)로 구성된다. 제2 움직임 추정부(24)에서 반화소 움직임 벡터 검출부(21)는 상기 제1 움직임 추정부(22)로부터 출력되는 5-경로의 단화소 움직임 벡터 각각을 기준으로 하여 5-경로에 대한 반화소 단위의 움직임 벡터를 검출한다. 이때, 사용되는 탐색영역은 도1의 프레임 딜레이(18)에 저장된 이미 복호화된 영상이다. 다시 말하여, 도1의 제2 움직임 추정부(24)는 반화소 단위의 움직임 추정을 수행할 때 프레임딜레이(18)의 복호화된 영상을 사용함으로써, 부호화기 및 복호화기가 동일한 예측화상을 사용할 수 있게 된다. 제1 멀티플렉서(23)는 반화소 움직임 벡터 검출부(21)로부터 출력되는 상위필드 경로의 움직임 벡터와 하위필드 대하위 필드 경로의 움직임 벡터를 선택적으로 절환하여 가산기(27)로 출력한다. 제2 멀티플렉서(25)는 반화소 움직임 벡터 검출부(21)로부터 출력되는 상위필드 대 하위필드 경로의 움직임 벡터와 하위필드 대 하위필드 경로의 움직임 벡터를 선택적으로 절환하여 가산기(27)로 출력한다. 가산기 (27)는 제1 및 제2 멀티플렉서(23, 25)로부터 출력되는 필드의 반화소 움직임 벡터를 합하여 필드/프레임 결정부(29)로 출력한다. 필드/프레임 결정부(29)는 반화소 움직임 벡터 검출부(21)로부터 출력되는 프레임의 반화소 움직임 벡터 값과 가산기(27)로부터 출력되는 필드의 반화소 움직임 벡터 값을 비교하여 움직임 벡터 값이 적은 쪽을 선택하여 움직임 보상기(26)로 출력한다. 다시 말하여, 제2 움직임 추정부(24)는 프레임 단위의 움직임 추정을 했을 때 발생하는 움직임 보상오차와 필드 단위의 움직임 추정을 했을 때 발생하는 움직임 보상오차를 비교하여 오차가 적은 쪽을 선택한다. 예를 들어, 필드 단위의 움직임 보상오차가 적은 경우는 스포츠(Sports) 영상과 같이 프레임을 구성하는 두 필드 사이에 화면의 내용이 급격히 변할 때이다.
제2 움직임 추정부(24)는 도 4에 도시된 바와 같이 단화소 단위의 움직임 벡터를 중심으로 ±0.5점에 위치하는 9개의 반화소에 대해 가장 오차가 적은 블록의 위치를 검출하므로써, 반화소 단위의 움직임을 추정한다. 이때, 위치를 검출하는 방법으로는 상기 제1 움직임 추정부(22)의 단화소 움직임 추정방법과 마찬가지로 블록 정합 알고리즘을 사용한다. 여기서, 도4에 도시된 9개의 각 위치에 대응되는 블록을 계산하는데 사용되는 수식은 다음과 같다.
[수식4]
Figure kpo00005
상기 수식으로부터 5-경로 각각에 대한 방화소 단위의 움직임을 추정할 때 쓰이는 계산량은 다음과 같다.
[수식5]
Figure kpo00006
상위필드 대 상위필드, 하위필드 대 상위필드, 상위필드 대 하위필드, 하위 필드 대 하위필드 :
Figure kpo00007
여기서, L은 반화소 위치의 한 화소를 만드는데 요구되는 계산량이다. 상기 수식으로부터 반화소 단위의 움직임 추정을 위해서 요구되는 전체 계산량은 3×NB×NB×8×(M+L)이며, 초당 요구되는 계산량은 화면의 크기를 W×H라 하고 프레임 속도(Frame Rate)를 30 frame/sec 라 할 때 다음 수식과 같다.
[수식6]
Figure kpo00008
따라서, 단화소 움직임 추정을 위해서 초당 요구되는 계산량과 반화소 움직임 추정을 위해서 초당 요구되는 계산량의 비는 다음 수식과 같다.
[수식7]
Figure kpo00009
상기 수식에서 탐색영역이 증가할수록 (즉, S가 증가할 수록)단화소 단위의 탐색이 반화소 단위의 탐색보다 많은 계산을 요구하며 이러한 차이가 지수적으로 벌어짐을 알 수 있다.
그런데, 단화소 단위의 움직임 추정을 위하여 움직임 추정 영역 내의 모든 위치를 탐색할 경우 상기에서 언급했듯이 탐색영역의 크기가 증가함에 따라 단화소 단위의 움직임 추정을 위해 막대한 계산량이 요구되게 된다. 이에 따라, 단화소 단위의 움직임을 추정을 위한 계산량을 줄이는 방안이 요구되고 있다.
따라서, 본 발명의 목적은 디지털 영상을 부호화할 때 단화소 단위의 움직임 추정의 계산량을 줄일 수 있는 디지털 영상을 위한 움직임 추정 방법을 제공하는 것이다.
본 발명의 다른 목적은 움직임 추정을 위한 계산량을 줄임에 따른 움직임 추정 성능의 저하를 극소화 할 수 있는 디지털 영상을 위한 움직임 추정 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 움직임 추정을 위한 계산량을 줄이므로써, 시스템 구현시 복잡도를 최소화 할 수 있는 디지털 영상을 위한 움직임 추정 방법을 제공하는 것이다.
제1도는 종래의 MPEG-2 부호화기를 도시한 블록도.
제2도는 제1도의 구성에서 움직임 추정부를 상세히 도시한 블록도.
제3도는 통상의 단화소 단위의 움직임 추정 방법을 나타내는 도면.
제4도는 통상의 반화소 단위의 움직임 추정 방법을 나타내는 도면.
제5도는 본 발명의 디지털 영상을 위한 움직임 방법에서 게층적 블록 정합 알고리즘을 이용한 단화소 움직임 추정방법을 나타내는 도면.
제6도는 제5도의 레이어 3에서 움직임 추정을 위해 사용되는 블록을 상세히 도시한 도면.
제7도는 본 발명의 움직임 추정 방법을 설명하기 위한 움직임 추정 장치를 도시한 블록도.
제8도는 본 발명의 다른 실시예에 따른 움직임 추정 방법을 나타내는 도면.
* 도면의 주요부분에 대한 부호의 설명
2 : 프레임 메모리 4 : 감산기
6 : 이산코사인변환부(DCT) 8 : 양자화기(Q)
10 : 비트율 제어부 12 : 역양자화기(IQ)
14 : 역 이산코사인변환부(IDCT) 16, 27, 68 : 가산기
18 : 프레임 딜레이 20 : 움직임 예측부
22, 50 : 제1 움직임 추정부 24, 60 : 제 2 움직임 추정부
26 : 움직임 보상기 30 : 가변길이 부호화기(VLC)
32 : 버퍼(FIFO) 21, 62 : 반화소 움직임 벡터 검출부
23, 25, 64, 66 : 멀티플렉서 29, 70 : 필드/프레임 결정부
상기 목적을 달성하기 위하여, 본 발명의 한 특징에 따른 디지탈 영상을 위한 움직임 추정방법은 다수의 계층 영상들 중 최상위 계층 영상에서 그의 기준블록과 그 기준블록에 인접한 상기 기준블록 크기의 블록들과 부분적으로 중첩되는 영역을 포함하는 특정블록을 이용하여 입력영상에 대한 계층영상과 유사한 영상이 위치하는 이전영상에 대한 계층 영상 상의 위치에 관한 위치정보를 검출하고 그 위치 정보에 근거하여 단화소 단위의 초기 움직임을 추정하는 단계와, 다수의 계층 영상들 중 나머지 계층 영상에서 상기 위치 정보를 중심으로 하는 일정크기의 국부영역을 탐색하여 입력영상에 대한 계층 영상과 유사한 영상이 위치하는 이전 영상에 대한 계층 영상 상의 위치정보를 종속적으로 검출하고, 그 검출된 위치정보에 근거하여 단화소 단위의 움직임을 반복 추정하여 최하위 계층에서의 위치정보를 발생하는 단계와, 최하위 계층의 위치정보를 기준으로 반화소 탐색범위 내에서 입력영상과 유사한 영상이 위치하는 복호된 영상 상의 위치에 관한 위치 정보를 검출하여 그 검출된 위치정보를 기초로 반화소 단위의 움직임을 추정하는 단계를 포함한다.
본 발명의 다른 특징에 따른 디지털 영상을 위한 움직임 추정 방법은 다수의 계층 영상들 중 최상위 계층 영상에서 그의 기준블록과 그 기준블록에 인접한 상기 기준블록 크기의 블록들과 부분적으로 중첩되는 영역을 포함하는 특정블록을 이용하여 입력영상에 대한 계층영상과 유사한 영상이 위치하는 이전영상에 대한 계층 영상 상의 위치에 관한 다수개의 위치정보를 검출하고 그 다수개의 위치정보에 근거하여 다수개의 단화소 단위의 초기 움직임 벡터를 검출하는 단계와, 다수의 계층 영상들 중 나머지 계층 영상에서 상기 다수개의 위치정보를 중심으로 하는 다수개의 국부영역을 탐색하여 입력영상에 대한 계층 영상과 유사한 영상이 위치하는 이전 영상에 대한 계층 영상 상의 다수개의 위치정보를 종속적으로 검출하여 그 다수개의 위치정보에 근거한 단화소 단위의 움직임을 반복 추정하고, 각 계층에서 상기 다수개의 위치정보를 가장 유사한 순으로 선택하여 감소시켜 최하위 계층에서 최종적으로 하나의 단화소 단위의 위치정보를 검출하는 단계와, 최하위 계층의 위치정보를 기준으로 반화소 탐색범위 내에서 입력영상과 유사한 영상이 위치하는 복호된 영상 상의 위치에 관한 위치정보를 검출하여 그 검출된 위치정보를 기초로 반화소 단위의 움직임을 추정하는 단계를 포함한다.
상기 목적외에 본 발명의 다른 목적 및 특징들은 첨부도면을 참조한 실시예에 대한 설명을 통하여 명백하게 드러나게 될 것이다.
이하, 도5 내지 도8을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하기로 한다.
도5는 본 발명의 움직임 추정 방법에서 계층적 블록 정합 알고리즘을 이용하여 단화소 단위의 움직임을 추정하는 방법을 계층별로 나타내는 것이다.
도5를 참조하면, 본 발명의 움직임 추정 방법은 단화소 단위의 움직임 추정을 위한 계산량을 줄이기 위해 모두 4단계로 구성되는 계층적 블록 정합 알고리즘을 제안한다. 제안된 계층적 블록 정합 알고리즘은 다위 영상으로부터 재구성된 계층적 구조의 영상을 움직임 추정에 사용한다. 계층적 구조의 영상은 단위 영상에 연속적인 필터링(Filtering)과 서브-샘플링(Sub-sampling)을 적용하여 구성할 수 있다. 다시 말하여, 도 5에서 레이어ｌ+1 영상을 구성하기 위해서는 레이어ｌ영상을 필터링 및 서브-샘플링 한다. 여기서, 레이어 ｌ+1 영상은 레이어 ｌ영상에 비하여 수평, 수직 방향의 화소 수가 1/2로 줄어든 영상이다. 따라서, 각 레이어 에서의 기준 블록의 크기는 각각 16×16, 8×8, 4×4, 2×2에 해당한다. 이러한 계층적 구조의 영상을 사용하여 단 화소 단위의 움직임 추정을 하는 과정을 살펴보면 다음과 같다.
도6은 레이어 3에서 움직임 추정을 위해 사용되는 블록을 도시한 것이다.
레이어 3(ｌ=3)에서의 움직임 추정은 원영상의 크기가 수평, 수직으로 1/8씩 줄어든 영상을 가지고 움직임 추정을 한다. 움직임 추정방법은 1/8로 줄어든 탐색 영역 전체에 대하여 줄어든 블록을 사용하여 블록 정합 오차를 계산하고, 비교한다.
레이어 3에서 움직임 추정의 특징은 기준블록(즉, 2×2화소)보다 큰 블록 (즉, 4×4화소)에 대하여 움직임 벡터를 찾는 것이다. 다시말하여, 도6에 도시된 바와 같이 인접하는 8개의 2×2블록과 중첩되도록 4×4블록을 정한다. 그리고, 정해진 4×4블록에 대하여 초기 움직임 벡터를 구함으로서 블록 단위로 움직임 벡터의 공간적인 연속성을 보장할 수 있게 된다. 일반적인 비디오 영상에서 화면 내의 물체는 공간적으로 연속적인 움직임을 가지므로 4×4 블록을 사용하면 실제 움직임에 가까운 초기 벡터를 정할 수 있다. 블록 정합 알고리즘의 계산량이 단위 블록 크기의 제곱과 탐색영역 크기의 제곱의 곱에 비례하기 때문에, 레이어 3에서 탐색영역은 1/8만큼 줄어들고, 단위 블록의 크기는 1/4 만큼 줄어들므로 전체 계산량은 (1/8)2×(1/4)2만큼 감소된다. 즉, 레이어 3에서 요구되는 계산량은 다음 수식과 같다.
[수식8]
Figure kpo00010
레이어 2(l=2)에서의 움직임 추정은 상기 레이어 3에서 검출된 초기 움직임 벡터의 정확도를 향상시키기 위하여 레이어 3에서 검출된 움직임 벡터를 중심으로 하는 국부영역에 대하여 블록 정합 방법을 적용한다. 레이어 2에서 국부영역의 크기는 보통 ±정도로 정해지는데, 이 크기는 전체 탐색영역에 비하여 무시할 수 있을 만큼 작기 때문에 레이어 2에서는 계산량의 큰 증가없이 움직임 벡터의 정확도를 높일 수 있다. 레이어 2에서 요구되는 계산량은 다음 수식과 같다.
[수식9]
Figure kpo00011
레이어 1(l=1)에서의 움직임 추정은 레이어 2에서의 움직임 추정과 동일한 방법으로 레이어 2에서 검출된 움직임 벡터를 중심으로 하는 국부영역(±2)에 대하여 움직임 추정을 수행한다. 레이어 1에서 요구되는 계산량은 다음 수식과 같다.
[수식10]
Figure kpo00012
레이어 0(l=0)에서의 움직임 추정은 레이어 1에서의 움직임 추정방법과 마찬가지로 레이어 1에서 검출된 움직임 벡터를 중심으로 하는 국부영역(±2)에 대하여 움직임 추정을 수행한다. 레이어 0에서 요구되는 계산량은 다음 수식과 같다.
[수식11]
Clayer0= NB2×52×M
상기 레이어 10, 1, 2에서의 움직임 벡터는 상위 레이어의 움직임 벡터로부터 다음 수식과 같은 관계를 가지고 검출된다.
[수식12]
MV1=2×MVL+1+ΔMVL, L=0, 1, 2,
여기서, ΔMV1은 레이어 1에서의 국부 움직임 벡터(Local Motion Vector)이다.
도7은 상기 4단계의 계층적 블록 정합 알고리즘을 이용한 움직임 추정방법을 설명하는 움직임 추정 장치를 도시한 블록도이다.
도7의 움직임 주정 장치는 입력영상으로부터 단화소 단취의 움직임 추정을 4단계로 수행하는 제1 움직임 추정부(50)와, 제1 움직임 추정부(50)의 단화소 단위의 움직임 벡터를 기준으로 반화소 단취의 움직임 추정을 수행하는 제2 움직임 추정부(60)를 구비한다.
제1 움직임 추정부(50)는 상기 계층적 블록 정합 알고리즘을 사용하여 단화소 단취의 움직임 추정을 4단계로 수행한다. 제2 움직임 추정부(60)는 반화소 움직임 검출부(62)와, 제1 및 제2 멀티플렉서(Multiplexer : 64, 66)와, 제2 가산기(68)와, 필드/프레임 결정부(70)로 구성된다. 제2 움직임 추정부(60)에서 반화소 움직임 벡터 검출부(62)는 상기 제1 움직임 추정부(50)의 가장 하위 레이어(즉, 레이어 0)에서 검출된 움직임 벡터를 기준으로 복원영상을 탐색하여 반화소 단위의 움직임 추정을 수행한다. 제1 멀티플렉서(64)는 반화소 움직임 검출부(62)로부터 출력되는 상위필드 대 상위필드 경로의 움직임 벡터와 하위필드 대 상위필드 경로의 움직임 벡터를 선택적으로 절환하여 제2 가산기(68)로 출력한다. 제2 멀티플렉서(66)는 반화소 움직임 검출부(62)로부터 출력되는 상위필드 대 하위필드의 움직임 벡터와 하위필드 대 하위필드의 움직임 벡터를 선택적으로 절환하여 제2 가산기(68)로 출력한다. 제2 가산기(68)는 제1 및 제2 멀티플렉서(64, 66)로부터 출력되는 필드의 반화소 움직임 벡터를 합하여 필드/프레임 결정부(70)로 출력한다. 필드/프레임 결정부(70)은 반화소 움직임 검출부(62)로부터 출력되는 프레임의 반화소 움직임 벡터 값과 제2 가산기(68)로부터 출력되는 필드의 반화소 움직임 벡터값을 비교하여 움직임 벡터값이 적은 쪽을 선택하여 출력한다.
여기서, 제2 움직임 추정부(60)의 반화소 단위의 움직임 추정을 하나의 레이어로 보면 전체적으로 5단계로 구성된 움직임 추정기법이 구현되게 됨을 알 수 있다. 계층적 블록 정합 알고리즘을 사용할 때 얻는 계산량의 감소 효과를 정리하기 위하여 도7에 도시된 바와 같이 필드/프레임 움직임 추정을 모두 하는 경우에 대하여 계층적 탐색 방법이 요구하는 계산량은 다음 수식과 같다.
[수식13]
Figure kpo00013
상기 수식 13으로부터 CFSBMA를 전역 탐색 알고리즘에서 요구되는 계산량이라 할 때, 전역 탐색 알리고즘을 계층적 블록 정합 알고리즘으로 대치할 때 얻을 수 있는 계산량 감소효과는 다음 수식과 같다.
[수식14]
Figure kpo00014
일반적으로 MPEG-2에서 대상으로 하고 있는 움직임 추정 영역의 크기 S는 32이상이 되므로, 상기 수식 14로부터 계산량의 감소 효과는 대략 1/512이 된다.
도8은 본 발명의 다른 실시예에 따른 움직임 추정 방법을 나타내는 것이다.
상기 계층적 블록 정합 알고리즘을 이용한 움직임 추정 방법은 각 계층별로 최소의 오차를 갖는 하나의 움직임 벡터를 구해서 다음 단계의 탐색을 위하여 그 벡터를 다음 계층으로 넘겨주는 구조이다. 여기서, 탐색의 정확도를 높이기 위하여 각 계층에서 복수의 움직임 벡터를 선택해 이것들을 다음 계층에서 다시 탐색하게 하는 일반적인 구조로 확장 적용할 수 있다. 각 계층에서 복수의 움직임 벡터를 선택하는 방법은 대응되는 MAD 값이 가장 작은 움직임 벡터부터 MAD 값이 증가하는 순으로 복수 개의 움직임 벡터를 선택하는 것이다. 다시 말하여, 도8에 도시된 바와 같이 우선 레이어 0의 탐색점으로부터 MAD가 작은 순으로 NO 개의 움직임 벡터를 구하고, 레이어 1에서 NO 번의 국부적 탐색을 통해 생기는 (5×5)×NO 개의 탐색 위치중 MAD가 가장 작은 N1개를 골라 레이어 2에 넘겨주고, 레이어 2에서는 같은 방법으로 N2개를 골라 레이어3에 넘겨 주면 레이어 3에서는 (5×5×)×N2번의 국부적 탐색을 통해 최종적으로 하나의 움직임 벡터를 찾아내는 것이다.
각 계층별로 최적의 움직임 벡터만을 선택하는 방법, 즉 NO=N1=N2= 1인 경우는 하드웨어 구현이 용이한 것이 장점이고, No, N1, N2를 다중으로 정하면 하드웨어 복잡도는 다소 올라가지만 움직임 추정 정확도는 그만큼 올라가게 되는 장점이 있다.
이와 같이, 계층적 블록정합 알고리즘을 이용하여 단화소 단위의 움직임을 추정하므로써, 움직임 추정성능의 저하없이 움직임 추정과정의 계산량이 현저히 감소되는 효과가 있다.
상술한 바와 같이, 본 발명의 디지털 영상을 위한 움직임 추정 방법에 의하면, 계층적 블록 정합 알고리즘을 이용하여 단화소 움직임을 계층적으로 추정하여 계산량을 줄이므로써, 움직임 추정의 계산량이 현저히 감소되어 시스템 구현시 복잡도 최소화되는 효과가 있다. 또한, 계층적으로 움직임 추정함으로써, 계산량의 감소에 따른 움직임 성능의 저하를 극소화 할 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여 져야만 할 것이다.

Claims (2)

  1. 입력영상과 이전영상 각각에 대하여 해상도에 따른 다수의 계층 영상들을 마련하여 상기 입력영상에 대한 다수의 계층 영상들과 상기 이전영상에 대한 다수의 계층 영상으로부터 상기 입력영상에 대한 계층 영상과 유사한 영상이 위치하는 위치정보를 종속적으로 검출하여 움직임을 추정하는 방법에 있어서, 상기 다수의 계층 영상들 중 최상위 계층 영상에서 그의 기준블록과 그기준 블록에 인접한 상기 기준블록 크기의 블록들과 부분적으로 중첩되는 영역을 포함하는 특정블록을 이용하여 상기 입력영상에 대한 계층영상과 유사한 영상이 위치하는 상기 이전영상에 대한 계층 영상 상의 위치에 관한 위치정보를 검출하고 그 위치정보에 근거하여 단화소 단위의 초기 움직임을 추정하는 단계와, 상기 다수의 계층 영상들 중 나머지 계층 영상에서 상기 위치정보를 중심으로 하는 국부영역을 탐색하여 상기 입력영상에 대한 계층 영상과 유사한 영상이 위치하는 상기 이전영상에 대한 계층 영상 상의 위치정보를 종속적으로 검출하고, 그 검출된 위치정보에 근거하여 단화소 단위의 움직임을 반복추정하여 최하위 계층에서의 위치정보를 발생하는 단계와, 상기 최하위 계층의 위치정보를 기준으로 반화소 탐색범위내에서 상기 입력 영상과 유사한 영상이 위치하는 복호된 영상 상의 위치에 관한 위치정보를 검출하여 그 검출된 위치정보를 기초로 반화소 단위의 움직임을 추정하는 단계를 포함하는 것을 특징으로 하는 디지털 영상을 위한 움직임 추정방법.
  2. 입력영상과 이전영상 각각에 대하여 해상도에 따른 다수의 계층 영상들을 마련하여 상기 입력영상에 대한 다수의 계층 영상들과 상기 이전영상에 대한 다수의 계층 영상으로부터 상기 입력영상에 대한 계층 영상과 유사한 영상이 위치하는 위치정보를 종속적으로 검출하여 움직임을 추정하는 방법에 있어서, 상기 다수의 계층 영상들 중 최상위 계층 영상에서 그의 기준블록과 그 기준블록에 인접한 상기 기준블록 크기의 블록들과 부분적으로 중첩되는 영역을 포함하는 특정블록을 이용하여 상기 입력영상에 대한 계층영상과 유사한 영상이 위치하는 상기 이전영상에 대한 계층 영상 상의 위치에 관한 다수개의 위치정보를 검출하고 그 다수개의 위치정보에 근거하여 다수개의 단화소 단위의 초기 움직임 벡터를 검출하는 단계와, 상기 다수의 계층 영상들 중 나머지 계층 영상에서 상기 다수개의 위치정보를 중심으로 하는 다수개의 국부영역을 탐색하여 상기 입력영상에 대한 계층 영상과 유사한 영상이 위치하는 상기 이전영상에 대한 계층 영상 상의 다수개의 위치정보를 종속적으로 검출하여 그 다수개의 위치정보에 근거한 단화소 단위의 움직임을 반복 추정하고, 각 계층에서 상기 다수개의 위치정보를 가장 유사한 순으로 선택하여 감소시켜 최하위 계층에서 최종적으로 하나의 단화소 단위의 위치정보를 검출하는 단계와, 상기 최하위 계층의 위치정보를 기준으로 반화소 탐색범위 내에서 상기 입력 영상과 유사한 영상이 위치하는 복호된 영상 상의 위치에 관한 위치정보를 검출하여 그 검출된 위치정보를 기초로 반화소 단위의 움직임을 추정하는 단계를 포함하는 것을 특징으로 하는 디지털 영상을 위한 움직임 추정방법.
KR1019970057612A 1997-11-01 1997-11-01 디지털 영상을 위한 움직임 추정방법(Method of Predicting Motion for Digital Image) KR100266161B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1019970057612A KR100266161B1 (ko) 1997-11-01 1997-11-01 디지털 영상을 위한 움직임 추정방법(Method of Predicting Motion for Digital Image)
US09/182,203 US6332002B1 (en) 1997-11-01 1998-10-30 Motion prediction apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970057612A KR100266161B1 (ko) 1997-11-01 1997-11-01 디지털 영상을 위한 움직임 추정방법(Method of Predicting Motion for Digital Image)

Publications (2)

Publication Number Publication Date
KR19990038003A KR19990038003A (ko) 1999-06-05
KR100266161B1 true KR100266161B1 (ko) 2000-09-15

Family

ID=19523997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970057612A KR100266161B1 (ko) 1997-11-01 1997-11-01 디지털 영상을 위한 움직임 추정방법(Method of Predicting Motion for Digital Image)

Country Status (1)

Country Link
KR (1) KR100266161B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010044566A2 (ko) * 2008-10-15 2010-04-22 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치
KR20190030489A (ko) * 2017-09-14 2019-03-22 국방과학연구소 영상 부호화 장치의 다방향 계층적 움직임 추정방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9300970B2 (en) 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
KR101456499B1 (ko) * 2010-07-09 2014-11-03 삼성전자주식회사 움직임 벡터의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR102581361B1 (ko) * 2016-08-26 2023-09-20 엘지디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010044566A2 (ko) * 2008-10-15 2010-04-22 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치
WO2010044566A3 (ko) * 2008-10-15 2010-07-08 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치
US9615091B2 (en) 2008-10-15 2017-04-04 Sk Telecom Co., Ltd. Motion picture encoding/decoding apparatus, and method and apparatus for hybrid block motion compensation/overlapped block motion compensation for same
KR20190030489A (ko) * 2017-09-14 2019-03-22 국방과학연구소 영상 부호화 장치의 다방향 계층적 움직임 추정방법
KR102089433B1 (ko) * 2017-09-14 2020-03-16 국방과학연구소 영상 부호화 장치의 다방향 계층적 움직임 추정방법

Also Published As

Publication number Publication date
KR19990038003A (ko) 1999-06-05

Similar Documents

Publication Publication Date Title
KR100251548B1 (ko) 디지털영상을위한움직임추정장치및방법
KR100803611B1 (ko) 영상의 부호화, 복호화 방법 및 장치
US6404814B1 (en) Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
JP2744871B2 (ja) 画像信号符号化方法および画像信号符号化装置
KR0178231B1 (ko) 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치
JP3386142B2 (ja) 画像復号装置および画像復号方法
US20040114688A1 (en) Device for and method of estimating motion in video encoder
JP4198206B2 (ja) 動き依存予測を使用したビデオ情報の圧縮方法と装置
KR100209793B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
KR100739281B1 (ko) 움직임 추정 방법 및 장치
KR950009699B1 (ko) 움직임벡터 검출방법 및 장치
KR20000076522A (ko) 직교 변환 영역의 블록 매칭을 사용한 모션 추정
JPH09179987A (ja) 動きベクトル検出方法及び動きベクトル検出装置
JPH0870460A (ja) 動き大小に適応する動き補償符号化方法及びその装置
JP3519441B2 (ja) 動画像伝送装置
JPH10322705A (ja) 動き検出及び動き補償予測回路
KR100266161B1 (ko) 디지털 영상을 위한 움직임 추정방법(Method of Predicting Motion for Digital Image)
JP3681784B2 (ja) 映像信号符号化装置
JPH06165164A (ja) 動画像処理装置
KR100262962B1 (ko) 움직임 추정방법 및 장치
KR100240620B1 (ko) 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치
JP2000308066A (ja) 動画像符号化装置および動画像符号化方法
JP2000059786A (ja) 動き検出装置及び方法
KR100382540B1 (ko) 움직임추정방법
KR100635009B1 (ko) 화면 전체의 움직임을 고려한 움직임예측방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20060502

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee