KR100242406B1 - 디지탈 비디오 동화상의 움직임 보상 방법 - Google Patents

Abstract

본 발명은 움직임 백터를 계산하는 방법 및 장치를 제공하는 데 있다. 본 발명의 방법 및 장치는 움직임 궤적값(motion trajectory value) 및 최초 베이스 가중치(base weights)를 계산하여, x가 탐색 윈도우의 왼쪽 에지로부터 현재의 매크로블럭(current macroblock)의 수평 오프셋이고, y가 탐색 윈도우의 상부 에지로 부터 현재의 매크로블럭의 수직 오프셋일 때, 이들 x 및 y 값의 쌍이 최초 베이스 가중치로서 사용되는 경우, 움직임 추정(motion estimation)을 통해 현재의 매크로 블럭으로 부터 최단 거리를 갖는 최정합 매크로블럭이 생성될 수 있도록 한다. 최초 베이스 가중치가 0으로 설정되면, 움직임 추정을 통해 탐색 회로에 의해 야기된 최초의 최정합 매크로블럭이 생성된다. 또한, 본 발명은 움직임 추정을 위해 움직인 궤적에 가장 근접한 최정합 매크로블럭이 선택될 수 있도록 최초 베이스 가중치를 설정하는 방안을 제공한다.

Description

디지탈 비디오 동화상의 움직임 보상 방법

본 발명은 디지탈 화상의 압축에 관한 것으로, 특히 화상들(pictures) 간의 중복성(redundancy)을 감소시키는 시간 압축에 관한 것이다. 화상들 간의 중복성은 움직임 벡터(motion vector)를 이용함으로써 줄어들거나 혹은 제거될 수 있다. 보다 구체적으로, 본 발명은 불연속성 및 급격한 변동을 제거하고 압축률을 향상시키는 데 유용한 평균화(averaging) 또는 바이어싱(biasing)을 이용한 움직임 추정(motion estimation)에 관한 것이다.

지난 10년 동안, 전세계적 전자 통신 시스템의 출현으로 정보를 제공하고 수신할 수 있는 방법이 급속도로 발전되어 왔다. 특히, 실시간 비디오 및 비디오 시스템의 성능은 최근 몇 년 동안 급속도로 발전되어 왔다. 주문형 비디오 및 화상 회의와 같은 서비스를 가입자에게 제공하는 데에는 상당량의 네트워크 대역폭이 요구된다. 실제, 네트워크 대역폭은 자주 이러한 시스템의 효율성을 저해시키는 주된 장벽이었다.

압축 시스템은 네트워크에 의해 야기된 이러한 문제점들을 해결하기 위해 출현된 것이다. 이러한 압축 시스템은 화상 시퀀스(picture sequence)의 중복성을 제거함으로써 전송되어야 할 비디오 및 오디오의 데이타 양을 감소시키고 있다.

화상 시퀀스는 수신측에서 압축해제되어 실시간으로 디스플레이될 수 있다.

현재의 비디오 압축 표준의 일예로는 MPEG(Moving Picture Experts Group) 표준이 있다. MPEG 표준에서는 주어진 한 화상 내에서의 비디오 압축 뿐만 아니라 화상들 간의 비디오 압축을 정의(define)하고 있다. 한 화상 내의 비디오 압축은 이산 코사인 변환(discrete cosine transform), 양자화(quantization), 가변길이 코딩(variable length coding), 허프만 코딩(Huffman coding)에 의해 디지탈 화상을 시간 영역(time domain)에서 주파수 영역(frequency domain)으로 변환함으로써 달성된다. 화상들 간의 비디오 압축은 움직임 추정(motion estimation)으로 일컬어지는 프로세스에 의해 이루어지며, 이 프로세스 동안 화상 엘리먼트(펠(pel))의 세트를 한 쪽 화상에서 다른 쪽 화상으로 변환(translation)을 기술하는 데 움직임 벡터가 사용된다.

본 발명의 주된 목적은 이전 화상 내의 최정합 매크로블럭(best match macroblock)과 현재의 화상 내의 매크로블럭 간의 움직인 벡터가 이들 두 매크로블럭 간의 실제 움직임 궤적에 근접하도록 하는 상기 움직임 벡터를 발생시키는 최정합 매크로블럭을 탐색하는 방법을 제공하는 데 있다.

본 발명의 다른 목적은 향상된 화상간 압축(inter-picture compression)을 제공하는 데 있다.

본 발명의 이러한 목적 및 다른 목적들은 본 발명의 방법 및 장치에 의해 달성된다.

MPEG2 표준에 따른 기본적인 움직임 추정의 단위(basic motion estimation unit)는 매크로블럭이다. 16×16 픽셀(pixel)로 정의되는 하나의 매크로블럭은 매우 작은 화상 세그먼트이다. 이러한 작은 화상 세그먼트가 비교적 큰 탐색 윈도우에 대해 매핑되면, 기준 화상에는 동일한 예측 차분값(prediction difference)이나 매우 유사한 예측 차분값을 갖는 다수의 매크로블럭이 존재할 수 있다. 이 경우, 인코더는 기준 화상 내의 실질적인 최정합 매크로블럭을 결정해야 한다. “예측 차분값”은 현재의 매크로블럭과 기준 화상 매크로블럭 내의 대응하는 개별픽셀들 간의 차분값의 절대값의 누산값이다. 즉,

여기서, c_i,j는 현재 화상 매크로블럭의 i, j 픽셀의 픽셀값이고, r_i,j는 기준 화상 매크로블럭의 대응하는 i, j 픽셀의 픽셀값이다. 바람직한 실시예에 따르면, 움직임 추정은 상부 픽셀에서 하부 픽셀로, 왼쪽 열에서 오른쪽 열로, 즉, 순차적인 방식으로 수행된다. 가장 작은 예측 차분값이 둘 이상의 기준 매크로블럭에서 획득되는 경우, 최정합 매크로블럭은 본 시스템에 의해 제일 먼저 계산되는 매크로블럭이거나, 현재의 매크로블럭으로부터 최단 거리를 생성하는 매크로블럭이거나, 움직임 경로에 가장 근접함 매크로블럭일 수 있다. 움직임은 상이한 방향을 가질 수 있으므로, 최초로 계산된 매크로블럭의 선택은 랜덤한 결정을 나타내지만, 가장 근접한 매크로블럭의 선택은 양호한 결과를 나타낼 수 있다. 그러나, 본 발명에서는 융통성있는 인코더를 위해, 궤적에 기초하여 움직임을 선택할 수 있는 방안이 사용되고 있다.

본 발명의 방법 및 장치에 따르면, 움직인 궤적값 및 베이스 가중치들(base weights)이 인코더의 온칩 회로(on chip circuitry) 또는 마이크로코드에 의해 계산될 수 있고, 상이한 베이스 가중치들이 온칩 회로 내에 설정될 수 있다. 이전 화상으로부터의 움직임 궤적값은 현재 화상에서 예상되는 움직임의 방향 및 크기를 나타낸다. 이전 화상 내의 모든 매크로블럭에 대한 움직임 백터의 평균인 이전 평균 움직임 벡터는 움직임 궤적값의 하나의 예이다. 탐색 윈도우는 현재의 매크로블럭이 마치 윈도우 중앙에 위치되는 것처럼 결정된다. 이러한 탐색 윈도우는 화상의 에지들을 따른 영역 중 최소 영역이다. 움직임 벡터는 두가지 성분, 즉, x 또는 수평 성분과 y 또는 수직 성분을 갖는다. x는 현재의 매크로블럭 위치로부터의 수평 변위 또는 이동을 나타내고, y는 현재의 매크로블럭 위치로부터의 수직 변위 또는 이동을 나타낸다. 움직임이 현재 매크로블럭의 우측 방향으로 이루어지면, x는 포지티브 값을 갖는다. 움직임이 현재의 매크로블럭의 아래 방향으로 이루어지면, y는 포지티브 값을 갖는다. 이전 화상의 평균 움직임 벡터(x, y)가 네가티브이며, 베이스 가중치는 바람직하게 화상의 좌측 상부 코너(upper left hand corner) 방향으로 바이어스되도록 계산된다. 베이스 가중치는 두가지 성분, 즉, 수평 및 수직 성분을 갖는다. 최초 베이스 가중치는 바로 윈도우의 좌측 상부 코너에 적용된다. 베이스 가중치는 최초 위치로부터 이격된 수직 또는 수평의 펠 거리(vertical or horizontal pel distance) 각각에 대해 가변적인 단위 가중치(variable unit weight)에 의해, 전형적으로, +/-1씩 조정된다. 베이스 가중치는 움직임 궤적값의 위치에서 “0”값을 갖는다.

x는 탐색 윈도우의 좌측 에지로부터의 현재 매크로블럭의 수평 오프셋 값이고, y는 탐색 윈도우의 상부 에지로부터의 현재 매크로블럭의 수직 오프셋 값을 갖는 것으로 한다. x 및 y값의 쌍이 베이스 가중치로서 사용되며, 움직임 추정을 통해 현재 매크로블럭으로부터 최단 거리를 갖는 매크로블럭이 생성된다.

베이스 가중치가 0으로 설정되면, 움직임 추정을 통해 탐색 회로가 최초로 만나는 최정합 매크로블럭이 생성된다.

본 발명은 첨부된 도면을 참조하면 더욱 명확하게 이해될 것이다.

제1도는 MPEG2에 일반적으로 적용되는 인코더(11)의 흐름 블럭도.

제2도는 본 발명에서 사용되는 세가지 유형의 화상, 즉 I, P, 및 B 화상을 디스플레이 및 전송 순서와 포워드 및 백워드 움직임 예측을 일예로하여 도시한 도면.

제3도는 현재의 프레임 혹은 화상 내의 움직임 추정 블럭으로부터 후속 혹은 이전의 플레임 혹은 화상 내의 최정합 블럭을 도시한 도면.

제4도는 움직임 벡터에 따라 이전 화상 내의 블럭 위치로부터 새로운 화상으로의 블럭 이동과 그 움직임 벡터를 사용한 후에 조정된 이전 화상의 블럭을 도시한 도면.

제5도는 네가티브 및 포지티브 평균 움직임 벡터의 성분에 대해 탐색 윈도우를 통한 매크로블럭 베이스 가중치의 조정 방법을 도시한 도면.

제6도는 25회의 탐색중 4회의 대표적인 탐색에 대한 최정합 매크로블럭의 탐색 수행 방법을 도시한 도면.

제7도는 최정합 매크로블럭에 대한 탐색이 수행되는 방법을 도시한 도면.

* 도면의 주요부분에 대한 부호의 설명

11 : 인코더 21 : 이산 코사인 변환기

23 : 양자화기 25 : 가변 길이 코더

29 : 역 양자화기 31 : 역 이산 코사인 변환기

41 : 움직임 보상기 42 : 프레임 메모리

43 : 움직임 추정 유닛

제1도는 MPEG2에 일반적으로 적용되는 인코더(11)를 도시한 도면으로서, 이 인코더(11)는 이산 코사인 변환기(21)와, 양자화기(23)와, 가변 길이 코더(25)와, 역 양자화기(29)와, 역 이산 코사인 변환기(31)와, 움직임 보상기(41)와, 프레임 메모리(42)와, 움직임 추정 유닛(43)을 포함하고 있다. 데이타 경로(data path)는 i^th화상 입력(111)과, 차분 데이타(112)와, 움직임 벡터(113)와, 화상 출력(121)과, 움직임 추정 및 보상을 위한 피드백 화상(131)과, 움직임 보상된 화상(101)을 포함한다. 제1도에서, i^th화상은 프레임 메모리 또는 프레임 저장매체(42) 내에 존재하고, i+1^th화상은 움직임 추정 유닛에 의해 인코딩되는 것으로 가정한다.

제2도는 I, P, B 화상을 디스플레이 순서 및 전송 순서와, 포워드 움직임 예측 및 백워드 움직임 예측의 예로 도시한 도면이다.

제3도는 현재 프레임 또는 화상의 움직임 추정 블럭으로부터 후속 또는 이전 프레임 혹은 화상의 최정합 블럭을 탐색하는 도면이다. 엘리먼트(211, 211′)는 이들 화상에서의 동일한 위치를 나타낸다.

제4도는 움직임 벡터에 따라 이전 화상의 블럭의 위치에서 새로운 화상으로의 블럭 이동과, 움직임 벡터를 사용한 후에 조정된 이전 화상의 블럭을 도시한 도면이다.

제5도는 네가티브 및 포지티브의 평균 움직임 벡터 성분의 경우에 대해 탐색 윈도우를 통한 매크로블럭 베이스 가중치의 조정 방안을 도시한 도면이다.

제6도는 25회 탐색 중 4회의 대표적인 탐색에 대해 최정합 매크로블럭의 탐색 수행 방안을 도시한 도면이다. ‘*’ 부호는 탐색 윈도우가 형성되는 현재 블럭의 상부 좌측 픽셀의 위치를 나타낸다. 프로세상은 4×4 블럭으로 수행된다. 도시된 탐색 윈도우의 크기는 수평 및 수직 방향으로 +/-2이다. 도시된 바와 같이, 전체 25개의 최정합가능한 위치에 대해서는 라인당 5개의 수평 위치와 5개의 수직 라인이 존재한다.

제7도는 최정합 매크로블럭에 대한 탐색이 어떻게 수행되는지를 나타낸 흐름도이다. m×n 매크로블럭 및 a×b 탐색 윈도우에 대한 흐름도에서, c는 현재의 픽셀값이고, r은 기준 픽셀값이고, PD는 예측 차분값을 나타내고, PD(b)는 최적의 예측 차분값이고, MV는 움직임 벡터이다.

본 발명은 MPEG 및 HDTV에 적합한 인코더 및 인코딩 프로세스에 관한 것으로, 특히 평균화(averaging) 및/또는 바이어싱(biasing)을 이용한 움직임 추정에 관한 것이다. 평균화 및 바이어싱은 불연속성 및 급격한 변화를 제거하는데 유용하고 압축을 향상시킨다. 인코더에 의해 수행되는 인코딩 기능은 데이타 입력, 공간 압축, 움직임 추정, 매크로블럭 모드 발생, 데이타 재구성, 엔트로피 코딩(entropy coding), 데이타 출력 등을 포함한다. 움직임 추정 및 보상은 시간적 압축 기능이다. 이들 움직임 추정 및 보상은 고도의 연산을 필요로 하는 반복적인 기능으로서, 역 이산 코사인 변환, 역 양자화, 움직임 보상, 특히 서로 시변위(displaced in Time)되는 화상들 간에서 최정합 매크로블럭의 탐색 등의 광범위한 재구성 프로세싱(intensive reconstructive processing)을 포함한다.

특히, 본 발명은 움직임 추정, 보상, 예측에 관한 것으로, 특히 최정합 매크로블럭을 탐색하고 이어서 움직임 벡터를 계산하는 것에 관한 것이다. 움직임 보상은 현재의 화상을 매크로블럭과 같은 블럭으로 분할해서 이전에 제공된 화상내에 유사한 내용을 갖는 인접 블럭을 탐색함으로써 시간적 중복성(temporal redundancy)을 이용하고 있다. 현재 블럭의 펠과 기준 화상으로부터 추출된 예측 블럭 펠 간의 차분만이 전송을 위해 압축된 후 전송된다.

움직임 보상 및 예측의 가장 단순한 방안은 “I”화상의 모든 픽셀의 휘도(luminance) 및 색차(chrominance) 신호, 즉, 세기 및 색상을 기록하고, 후속 화상의 지정된 모든 픽셀에 대한 휘도 및 색차 신호, 즉, 세기 및 색상의 변동을 기록하는 것이다. 그러나, 이러한 방안은 전송 매체의 대역폭, 메모리, 프로세서 성능, 프로세싱 시간 등의 측면에서 비효율적인데, 그 이유는 객체(objects)가 화상들 사이로 이동하며, 픽셀의 내용이 한 쪽 화상의 위치에서 후속 화상의 다른 위치로 이동하기 때문이다. 보다 개선된 방안은 이전 또는 후속 화상을 움직임 벡터등과 함께 이용해서 픽셀들의 블럭이 후속 또는 이전 화상(들) 내의 어디에 존재하는지를 예측하고, 그 결과를 “예측된 화상” 또는 “P” 화상으로서 기록하는 기법이다. 특히, 이 방안에서는 i^th의 픽셀 혹은 픽셀의 매크로블럭이 i+1^th또는 i+1^th화상 내의 어디에 존재하는지를 최적으로 추정 또는 예측하는 단계를 포함하고 있다. 또한, 이 방안은 후속 화상 및 이전 화상 모두를 사용해서 픽셀들의 블럭이 중간 화상 또는 “B”화상 내의 어디에 존재하는지를 예측하는 단계를 포함하고 있다.

화상 인코딩 순서(picture encoding order) 및 화상 전송 순서(picture transmission order)는 화상 디스플레이 순서와 반드시 일치할 필요가 없다는 것에 유의하여야 한다. 이러한 사실이 제2도에 도시되어 있다. I-P-B 시스템, 즉, 인트라-예측-양방향 화상 시스템(intra-predicted-bidirectional picture systems)의 경우, 입력 화상의 전송 순서는 인코딩 순서와는 상이하고, 입력 화상은 인코딩을 위해 사용될 때까지 임시 저장된다. 버퍼는 입력 화상이 사용될 때 까지 저장한다.

제1도에는 MPEG2에 적용되는 인코딩의 전형적인 흐름도가 예시되어 있다. 이 흐름도에서 i^th화상 및 i+1^th화상의 이미지들은 움직임 벡터를 생성하기 위해 프로세싱된다. 움직임 벡터는 픽셀들의 매크로블럭이 이전 및/또는 후속 화상 내의 어디에 존재하는지를 예측한다. 전체 이미지(full images) 대신 움직임 벡터를 사용하는 것이 MPEG 및 HDTV 표준에서의 시간적 압축의 주요 특징이다. 제1도에 도시된 바와 같이, 생성된 움직임 벡터는 픽셀의 매크로블럭을 i^th화상에서 i+1^th화상으로 변환(translation)시키는데 사용된다.

제1도에 도시된 바와 같이, 인코딩 프로세스시 i^th및 i+1^th화상의 이미지들은 움직임 벡터를 생성시키기 위해 인코더(11)에서 프로세싱된다. 움직임 벡터는, 예를 들어 i+1^th화상 및 그 후속 화상이 인코딩되어 전송되는 형태를 갖는다. 후속하는 화상의 입력 이미지(111)는 인코더 내의 움직임 추정 유닛(43)으로 전송된다. 움직임 벡터(113)는 움직임 추정 유닛(43)의 출력으로서 형성된다. 움직임 보상 유닛(41)은 이들 움직임 벡터를 사용하여 이전 화상 및/또는 후속 화상으로부터 기준 데이타(reference data)로 일컬어지는 매크로블럭 데이타를 검색한 다음 이를 출력한다. 움직임 보상 유닛(41)의 하나의 출력은 움직임 추정 유닛(43)으로부터의 출력과 네가티브 합산되어, 이산 코사인 변환기(21)의 입력으로 제공된다. 이산 코사인 변환기(21)의 출력은 양자화기(Quantizer)(23)에서 양자화된다. 양자화기(23)의 출력은 2개의 출력(121, 131)으로 분할되며, 양자화기(23)의 출력들 중 하나의 출력(121)의 전송 전에 다른 압축 및 프로세싱을 위해 다운스트림 엘리먼트(downstream element), 즉 실행 길이 인코더(run length encoder)(25)로 제공되며, 양자화기(23)의 다른 출력(131)은 인코딩된 매크로블럭 픽셀의 재구성을 통해 프레임 메모리(42)에 제공된다. 예시 목적을 위해 도시된 인코더에서, 상기 출력(131)은 차분 매크로블럭의 손실된 버전을 반영하기 위해 역양자화기(inverse quantization)(29) 및 역 이산 코사인 변환기(inverse discrete cosine transform)(31)를 통해 제공된다. 이 데이타는 움직임 보상 유닛(41)의 출력과 가산되고, 그 후 가산된 데이타는 원래의 화상의 손실된 버전을 프레임 메모리(42)에 반영한다.

제2도를 참조하면, 3가지 유형의 화상이 도시되어 있다. 이들 유형의 화상들 중 “인트라 화상(Intra pictures)” 또는 “I”화상들은 모두 인코딩되어 전송되며, 움직임 벡터가 정의될 필요가 없다. 이들 “I”화상은 움직임 벡터의 소스로서 기능한다. 이들 유형의 화상들 중 “예측된 화상(Predicted pictures)” 또는 “P” 화상들은 움직임 벡터에 의해 이전 화상으로부터 형성되며, 다른 후속 화상에 대한 움직임 벡터의 소스로서 기능한다. 마지막으로, 이들 유형의 화상들중 “양방향 화상(Bidirectional pictures)” 또는 “B”화상은 움직인 벡터에 의해 다른 두화상들, 즉, 이전 화상 및 후속 화상으로부터 형성되며, 움직임 벡터의 소스로서는 기능하지 않는다. 움직임 벡터는 “I” 화상 및“P” 화상으로부터 발생되며, “P” 및 “B” 화상을 형성하는데 사용된다.

제3도에 도시된 바와 같이, 움직임 추정을 수행하는 하나의 방안은 후속 화상의 영역(region) 전체에 걸쳐 i^th화상의 매크로블럭(211)을 탐색하여 최적의 정합 매크로블럭(213)을 검출하는 방안이다. 이러한 방안으로 매크로블럭을 변환하면, 제4도에 도시된 바와 같이, i+1^th화상에 대한 매크로블럭의 패턴이 생성된다. 이러한 방식으로 i+1^th화상을 생성하기 위해 i^th화상은 예를 들어, 움직임 벡터 및 차분 데이타 만큼의 작은 정도로 약간 변경된다. 인코딩되는 것은 움직임 벡터 및 차분 데이타이며 i+1^th화상 자체가 인코딩되는 것은 아니다. 움직임 벡터는 이미지의 위치를 한쪽 화상에서 다른 쪽 화상으로 변환시키고 차분 데이타는 색차, 휘도, 채도(saturation) 상의 변화, 즉 세이딩(shading) 및 조도(illumination) 상의 변화를 일으킨다.

제3도을 참조하면, i+1^th화상과 동일한 i^th화상의 위치에 양호한 정합을 찾기 시작한다. 탐색 윈도우(search window)는 i^th화상에서 생성된다. 이 탐색 윈도우 내에서 최적의 정합이 탐색된다. 최적의 정합이 검출되면, 매크로블럭에 대한 최정합 움직임 백터가 코딩된다. 최정합 매크로블럭의 코딩에서는 y 방향의 픽셀 및 x 방향의 픽셀이 다음 화상에서 얼마만큼 변위되어 최정합하는지를 나타내는 움직임 벡터를 포함한다. “예측 오차(prediction error)”로 또한 일컬어지는 차분 데이타가 또한 인코딩된다. 이러한 차분 데이타는 현재의 매크로블럭과 최정합 기준 매크로블럭 간의 색차 및 휘도의 차분을 나타낸다.

전술한 바와 같이, 디지탈 이미지의 시간 영역 압축(time domain compression)시 비디오 움직임 추정은 한 프레임의 위치(픽셀 또는 매크로블럭) x₁,y₁에서 후속 프레임의 위치(픽셀 또는 매크로블럭) x₂,y₂로 향하는 이미지의 움직이 벡터에 따라 달라진다. 움직임 추정 알고리즘 및 장치는 프레임 간에 객체(objects)의 변환을 정확히 정의하는 움직임 벡터의 세트를 검출한다.

움직임 추정 알고리즘 및 장치는 “이전 프레임” 또는 픽셀의 “기준” 블럭(매크로블럭)에 근사적으로 정합하는 “현재 프레임” 블럭(매크로블럭)의 픽셀을 검출한다. 이것은 “예측 차분값”을 최소화함으로써 행해진다. 픽셀 또는 매크로블럭의 차분값, 즉, 앞에서 정의한 바와 같은 예측 차분값의 절대값의 누적은 탐색 윈도우의 모든 기준 매크로블럭에 대해 계산된다. 어떤 경우, 나머지 매크로블럭보다 매우 낮은 예측 차분값을 갖는 기준 매크로블럭이 존재할 수 있다. 이 매크로블럭은 움직임 추정, 즉, 움직임 벡터의 시점으로서 선택된다. x 및 y는 스크린에서 영상의 이동을 매핑한다. 하나의 문제점은 이동된 매크로블럭이 비디오의 진정한 움직임 궤적이 아닐 수 있다는 데 있다. 이는 세기 변동(intensity changes), 잡음, 주밍(zooming), 스케일링(scaling), 고속 움직임 또는 카메라 또는 시스템에 의해 발생된 몇몇 다른 비정상 동작(anomaly)으로 인해 야기될 수 있다. 그 결과, 움직임 추정 알고리즘에 의해 계산된 움직임 궤적은 비디오 이미지 시퀀스의 일부 세그먼트에서 불규칙한 동작을 가질 수 있다.

움직임 궤적을 부드럽게 하고 압축을 향상시키기 위해, 본 발명의 방안은 인접 매크로블럭간에 “의사”움직임 벡터의 발생을 촉진하고 있다. 이것은 계산시 “베이스 가중치(base weights)”를 추가함으로써 달성된다. 베이스 가중치는 프레임간의 움직임에 대응하여 바이어싱 효과(biasing effect)를 갖는다. “베이스 가중치”는 앞서 기술되었다.

움직임 벡터는 차분적으로 코딩되므로, 픽셀의 차분값의 절대값의 누적값이 탐색 윈도우의 최소 차분값에 거의 근접하게 되면, 동일하거나 유사한 움직임 벡터를 갖는 기준 매크로블럭을 선택하는 것이 바람직하다. 이것은 이전의 평균 움직임 벡터 및 베이스 가중치와 같은 움직임 궤적값을 사용함으로써 달성될 수 있다.

이전 평균 움직임 벡터는 이전 화상 내의 모든 매크로블럭에 대한 움직임 벡터들의 평균이다. 이전 평균 움직임 벡터는 수평 및 수직 성분으로 분할되며, 이들 성분은 독립적으로 포지티브 또는 네가티브 값을 가질 수 있다. 최초의 베이스 가중치는 이전 평균 움직임 벡터 및 탐색 윈도우의 크기에 기초하여 설정되는 수이다. 베이스 가중치는 탐색 윈도우 내의 각각의 위치에 대해 조정된다. 본 발명의 방법 및 장치에 사용되는 알고리즘은 이전 프레임 내의 모든 매크로블럭의 모든 움직임 벡터의 평균인 “이전 평균 움직임 벡터”를 계산함으로써 개시된다.

제2개시점은 표 1에 도시된 바와 같이, “이전 평균 움직임 벡터” 및 탐색 윈도우의 크기의 함수인 “최초 베이스 가중치”이다.

베이스 가중치에 대한 최초값은 “이전 평균 움직임 벡터”에 대응하는 위치에서 베이스 가중치의 값이 영(zero)이 되도록 설정된다. 이들 베이스 가중치를 조정하는 방법은 최초값이 설정된 후에 베이스 가중치가 “0”이 될 때까지 감소시키고, 그 후에 증가시키는 것이다. 움직임 추정 회로에서, 수평 증분/감소 및 수직 증분/감소를 위해 가산기가 설치된다. 움직임 계산이 한 쪽 매크로블럭 유닛에서 다음 매크로블럭 유닛으로 진행되며, 베이스 가중치의 값은 단위 가중치 값씩 증분/감소되어 예측 차분값에 가산된다. 이전 평균 움직임 벡터로부터 위치가 더욱 멀어지게 되면, 누적된 픽셀 차분값에 가산되는 베이스 가중치는 더욱 커지게 된다. 이로 인해, 이전 평균 움직인 벡터에 대응하는 위치쪽으로 바이어싱되는 바람직한 결과를 얻게 된다.

베이스 가중치는 거의 동일한 예측 차분값을 갖는 매크로블럭의 세트로부터 선택을 위해 사용된다. 그 이유는 가장 낮은 예측 차분값을 갖는 둘 이상의 매크로블럭이 존재하거나 혹은 가장 낮은 예측 차분값에 근접한 다수의 매크로블럭이 존재하는 경우가 흔하기 때문이다. 이 경우, 어느 기준 매크로블럭이 움직임 추정을 위해 사용될 최적의 후보(best candidate) 인지가 불분명해진다. 본 발명에 따르면, 베이스 가중치는 각각이 매크로블럭의 예측 차분값에 가산된다. 이러한 베이스 가중치는 알려진 움직임 궤적으로부터 후보(candidate) 기준 매크로블럭의 변위량에 비례한다.

본 발명의 방안은 가변적인 단위 가중치 값 또는 미리 설정된 단위 가중치 값을 사용함으로써 융통성을 제공한다. 단위 가중치 값은 기준 매크로블럭의 위치가 한 위치씩 이동될 때 베이스 가중치가 증분 또는 감소되는 크기이다. 단위 가중치의 값을 변경함으로써 바이어싱의 크기가 조정될 수 있다. 단위 가중치가 증분되면, 결과적으로 움직임 궤적 위치쪽으로 보다 강하게 바이어싱된다. 보다 큰 베이스 가중치가 예측 차분값에 가산될 수록 결과는 움직임 궤적으로부터 보다 멀어지기 때문이다.

이하, 표 1은 이전 평균 움직인 벡터 및 베이스 가중치가 어떻게 사용되는지 를 나타낸 것이다. 표에는 수평 방향만이 도시되어 있다. 물론 수직 방향에 대해서도 다음과 같이 유사하게 수행될 수 있음을 이해할 것이다.

표 1의 변수는 다음과 같다.

j = 탐색 윈도우 사이즈의 크기(+/-8인 경우, j = 8)

m = 평균 움직임 벡터의 크기

w = 최초 베이스 가중치

u = 단위 가중치의 값(u = 1)

4가지의 경우가 제시된다.

제5도는 표 1에 도시된 각각의 경우에 대해 베이스 가중치가 탐색 윈도우 전체에 걸쳐 어떻게 조정되는지를 도시한 것이다.

제6도는 25회의 탐색 중 4회의 탐색에 대해 최정합 매크로블럭의 탐색 방안을 도시한 것이다. ‘*’부호는 탐색 윈도우가 형성되는 현재 블럭의 상부 좌측 픽셀의 위치를 나타낸다. 제6도에는 4×4 블럭에 의해 프로세싱이 도시되어 있다.

도시된 탐색 윈도우의 크기는 수평 및 수직 방향으로 +/-2이다. 도시된 바와 같이, 라인당 5개의 사용가능한 수평 위치와 5개의 수직 라인이 존재하며, 전체적으로 25개의 최정합 위치가 존재한다.

제7도에는 최정합 매크로블럭에 대한 탐색이 수행되는 방안의 흐름도가 도시되어 있다. 이 흐름도에서, m×n 매크로블럭 및 a×b 탐색 윈도우에 대해 c는 현재의 픽셀값이고, r은 기준 픽셀값이고, PD는 예측 차분값이고, PD(b)는 최적의 예측 차분값이고, MV는 움직임 벡터이다. 블럭 1은 초기화 블럭으로서, PB(b)는 최대값으로 초기화되고, x는 0으로 초기화되고, y는 0으로 최기화된다. 블럭 2에서 누산식 PD(x, y)는 다음과 같이 주어진다 :

PD(x, y)는 예측 차분값의 합, 즉 매크로블럭의 크기를 계산한다. 이때, i는 0에서 m-1까지 또한 j는 0에서 n-1까지의 값을 가진다.

블럭 3에서는 예측 차분값이 지금까지 검출된 최적의 예측 차분값보다 작은 지의 여부를 테스트한다. 테스트 결과, 최적의 예측 차분값보다 작으면, 블럭 4에 도시된 바와 같이, 예측 차분값은 새로 계산된 값으로 설정되고, 움직임 벡터는 x, y로 설정된다. 그후, 블럭 5에서 x?〈a-m의 조건을 만족하는지를 테스트한다. 이 조건이 만족되면, 블럭 6에 도시된 바와 같이 x는 증분되고, 새로운 x값은 블럭 2의 누산식에 반영된다. 조건이 만족되지 않으면, 블럭 7에서 x는 0으로 설정되고, 블럭 8에서 y?〈b-n의 조건을 만족하는지를 테스트한다. 블럭 8의 조건이 만족되면, 블럭 9에서 y가 증분되고, 새로운 y 값은 블럭 2의 누산식에 반영된다. 그렇지 않으면 알고리즘은 종료된다.

본 발명의 방법 및 장치에 따르면, 평균 움직임 벡터 및 베이스 가중치는 인코더의 온칩 회로(pn chip circuitry) 및 마이크로코드에 의해 계산되며, 상이한 최초 베이스 가중치들이 상기 온칩 회로 또는 마이크로코드 내에 설정될 수 있다.

x가 탐색 윈도우의 좌측 에지로부터의 현재 매크로블럭의 수평 오프셋이고, y가 탐색 윈도우의 상부 에지로부터의 현재 매크로블럭의 수직 오프셋인 것으로 가정한다. 이러한 x 및 y의 값의 쌍이 최초 베이스 가중치로서 사용되면, 움직임 추정을 통해 현재의 매크로블럭으로부터 가장 짧은 거리를 갖는 최정합 매크로블럭을 얻을 수 있다. 최초 베이스 가중치가 0으로 설정되면, 움직임 추정을 통해 탐색 회로가 만나는 첫번째 최정합 매크로블럭이 생성된다. 최초 베이스 가중치가 평균 움직임 벡터로 설정되면, 움직임 추정을 통해 원래의 움직임 벡터에 가장 근접하는 최정합 매크로블럭이 생성된다.

따라서, 본 발명은 이전 화상의 최정합 매크로블럭과 현재 화상의 매크로블럭간의 움직인 벡터가 이들 두 매크로블럭간의 실제 움직임 궤적에 근접하도록 하고, 향상된 화상간 압축을 제공한다.

본 발명은 소정의 바람직한 실시예들로 기술되었지만, 본 발명의 영역을 이들 실시예로 제한하고자 의도된 것은 아니며 다만 첨부된 특허 청구범위로 제한되어짐을 이해하여야 한다.

Claims (4)

1. 이전 화상(a previous picture)의 최정합 기준 매크로블럭(a best match reference macroblock)과 현재 화상(a current picture)의 각각의 매크로블럭들 간의 변위차를 정의하는 움직임 벡터의 세트(a set of motion vectors)를 형성하는 디지탈 비디오의 동화상(a digital bideo motion picture scene)의 움직임 보상 방법에 있어서, ① 상기 이전 화상 내의 상기 모든 매크로블럭들에 대해 움직임 벡터들의 평균으로서 움직임 궤적값(a motion trajectory value)을 정의하는 단계 - 상기 이전 평균 움직임 벡터는 서로 직교하는 x 및 y 성분을 갖는다 - 와, ② 절대 픽셀 차분값(an absolute pixel difference)을 정의하는 단계와, ③ 상기 이전 평균 움직임 벡터 및 탐색 윈도우 크기의 함수로서 제로값 혹은 포지티브값의 베이스 가중치(zero-valued or positive-valued base weights)를 정의하는 단계- 상기 이전 평균 움직임 벡터의 원점에 대응하는 위치에서의 상기 베이스 가중치의 값은 제로이다-를 포함하는 디지탈 비디오 동화상의 움직임 보상 방법.
2. 제1항에 있어서, 상기 탐색 윈도우를 통해 이동함으로써 최정합 매크로블럭을 탐색하는 동안 상기 베이스 가중치들을 조정하고 상기 베이스 가중치들을 상기 절대 픽셀 차분값에 가산하는 단계-이로써, 상기 최정합 매크로블럭은, 2이상의 매크로블럭이 최적의 예측 차분값을 갖고 있는 경우와 상기 평균 움직임 벡터가 상기 탐색 윈도우 크기와 동일한 경우에는, 그 중 상기 현재의 매크로블럭으로부터 최단 거리에 있는 매크로블럭일 것이고, 상기 베이스 가중치가 제로일 경우에는 상기 탐색시 발견된 최초의 최정합 매크로블럭일 것임-를 포함하는 디지탈 비디오 동화상의 움직임 보상 방법.
3. 제1항에 있어서, 상기 움직 궤적값은 상기 이전 평균 움직임 벡터인 디지탈 비디오 동화상의 움직임 보상 방법.
4. 제1항에 있어서, 상기 베이스 가중치들을 제로(zero)까지 감소시킨 후에 상기 베이스 가중치들을 증분시키는 단계를 포함하는 디지탈 비디오 동화상의 움직임 보상 방법.