KR20020046059A

KR20020046059A - 움직임 추정 최적화 방법 및 장치

Info

Publication number: KR20020046059A
Application number: KR1020000075553A
Authority: KR
Inventors: 정영안
Original assignee: 엘지전자 주식회사
Priority date: 2000-12-12
Filing date: 2000-12-12
Publication date: 2002-06-20
Also published as: US6950470B2; KR100778468B1; US20020113902A1

Abstract

본 발명은 움직임 추정 최적화 방법 및 장치에 관한 것으로 특히, 탐색 화소를 소정개 화소 단위로 모듈화하고 그 화소 모듈들중 일부 모듈을 일정 규칙에 의해 선택하여 SAD 계산을 수행함으로써 처리 속도를 향상시킴과 더불어 화질 저하를 최소화하도록 함에 목적이 있다. 이러한 목적을 위하여 본 발명은 움직임 추정 방법에 있어서, N*N 크기의 매크로 블럭를 이루는 탐색 화소를 소정개 단위씩 모듈화하는 단계와, 상기에서의 화소 모듈들중 일정 규칙에 의해 일부만을 선택하는 단계와, 상기에서 선택된 화소 모듈을 이용하여 SAD 계산을 수행하는 단계를 수행하여 움직임 추정을 최적화하는 것을 특징으로 한다.

Description

움직임 추정 최적화 방법 및 장치{AN OPTIMIZATION OF MOTION ESTIMATION METHOD AND APPARATUS}

본 발명은 영상 처리 시스템에 관한 것으로 특히, 동영상 부호화에 있어서 움직임 추정 최적화 방법 및 장치에 관한 것이다.

현재 고속 인터넷 망을 통한 멀티미디어 응용 서비스에 대한 관심 증대와 더불어 ADSL(Asymmetric Digital Subscriber Line : 비대칭 디지털 가입자 회선) 망을 이용한 동영상 서비스의 필요성이 증대되고 있다.

ADSL 망은 현재의 전화선을 그대로 사용하면서 고속 데이터 통신과 일반 전화를 동시에 이용할 수 있는 것이 특징이다.

따라서, ADSL 망을 통한 동영상 서비스를 위해서는 고속의 비디오 코덱 구현이 필수적이다.

비디오 코덱은 현재 표준화가 진행중인 MPEG4 및 영상 전화 시스템용 비디오 압축 표준인 ITU-T H.26x(H.263, H.263+, H.263++, H.26L), MPEG2 등으로 구현 가능하며 이러한 기법들은 모두 영상의 시간적 상관성을 이용하기 위해서 움직임 추정 방법을 이용하는데, 복잡도 측면에서 전체 코덱 성능 즉, 초당 부호화할 수 있는 프레임 수에 영향을 미치게 된다.

현재 표준화되었거나 표준화되고 있는 대부분의 동영상 부호화기는 도1의 신호 흐름도와 같이, 프레임 부호화, 움직임 추정/보상 및 엔트로피 코딩(Entropy Coding)을 수행하는데, 첫번째 프레임(I-프레임)은 이산 코사인 변환(DCT ; DiscreteCosine Transform), 양자화(Quantization), 가변장 부호화(VLC ; Variable Length Coding) 과정을 거쳐 부호화하고 나머지 프레임들은 P-프레임 부호화 과정을 통해 움직임 추정 및 보상하게 된다.

일반적으로 P-프레임 부호화 과정은 정수 화소 단위의 움직임 추정, 각각의 매크로 블럭에 대한 모드 결정 및 반화소 단위의 움직임 추정의 일련의 과정으로 이루어지는데, 이의 동작을 설명하면 다음과 같다.

먼저, 각각의 매크로 블럭에 대해 정수 화소 단위의 움직임 추정을 행한 후 그 매크로 블럭에 대해 INTRA 모드인지 또는 INTER 모드인지를 판단하게 된다.

이에 따라, INTRA 모드로 판단되면 매크로 블럭에 대해 I-프레임 부호화와 동일한 방법으로 부호화하며, 이 경우 움직임 추정 및 보상은 필요없다.

반대로, INTER 모드로 결정되면 매크로 블럭에 대해 움직임을 추정하여 움직임 벡터를 구한 후 움직임 보상을 실행하고 그때의 움직임 보상 에러값을 INTRA 모드인 경우와 동일한 방법으로 부호화하게 된다.

만일, 움직임 벡터를 구하지 못하거나 움직임 추정 및 보상이 실패한 경우 해당 매크로 블럭의 텍스쳐 정보를 복호기로 전송하게 된다.

이에 따라, 복호기는 움직임 벡터에 의한 예측 블럭과 부호화된 에러 블럭을 더하여 재구성된 영상을 얻게 된다.

한편, 움직임 추정 과정에는 정해진 탐색 영역에서 현재 영상과 이전 영상과의 비슷한 정도를 추정하는 SAD(Sum of the Absolute Difference) 계산 과정을 포함하게되며, 그때의 계산식은 아래와 같다.

여기서, SAD(x,y)는 탐색 영역 x,y 에서의 누적 예측 에러를 나타낸다.

따라서, 가장 작은 SAD 값을 갖는 위치(x,y)를 최종 움직임 벡터로 선택하게 된다.

그런데, SAD 계산은 반화소 움직임 추정 과정에서도 동일하게 사용하므로 SAD 계산 과정은 비디오 코덱의 움직임 추정 수행 속도에 직접적으로 영향을 끼치는 중요한 요소이다.

그러나, 종래에는 도2의 예시도에 도시된 바와 같이 16*16의 매크로 블럭 단위 즉, 256개의 탐색 화소를 이용하여 SAD 계산을 수행함으로 처리 속도가 저하되는 문제점이 있다.

따라서, 본 발명은 종래의 문제점을 개선하기 위하여 탐색 화소를 소정개 화소 단위로 모듈화하고 그 화소 모듈들중 일부 모듈을 일정 규칙에 의해 선택하여 SAD 계산을 수행함으로써 처리 속도를 향상시킴과 더불어 화질 저하를 최소화하도록 창안한 움직임 추정 최적화 방법 및 장치를 제공함에 목적이 있다.

또한, 본 발명의 다른 목적은 낮은 복잡도의 움직임 추정 기법을 통해 저속망을 통한 영상 전송 시스템에 적용하도록 함에 있다.

도1은 일반적인 동영상 부호화시의 신호 흐름도.

도2는 종래 기술에서의 탐색 영역 결정 방법을 보인 예시도.

도3은 본 발명의 일실시예에서 탐색 영역 결정을 보인 예시도.

도4는 본 발명의 다른 실시예에서 탐색 영역 결정을 보인 예시도.

도5는 본 발명의 실시예를 위한 움직임 예측기의 상세 회로도.

* 도면의 주요부분에 대한 부호 설명 *

510,520,560 : 레지스터531∼534 : 감산기

541∼544 : 절대값 산출기550 : 덧셈기

본 발명은 상기의 목적을 달성하기 위하여 움직임 추정 방법에 있어서, N*N 크기의 매크로 블럭를 이루는 탐색 화소를 소정개 단위씩 모듈화하는 단계와, 상기에서의화소 모듈들중 일정 규칙에 의해 일부만을 선택하는 단계와, 상기에서 선택된 화소 모듈을 이용하여 SAD 계산을 수행하는 단계를 수행하여 움직임 추정을 최적화하는 것을 특징으로 한다.

상기에서 일정 규칙에 의해 모듈 선택 단계는 각 라인에서 짝수 또는 홀수 번째의 모듈을 선택하면서 홀수번째 라인과 짝수번째 라인에서 선택되는 화소 모듈의 순서가 서로 상반되도록 하거나 또는 홀수 또는 짝수 번째 라인에서만 홀수 또는 짝수 번째의 모듈만을 선택하도록 구성함을 특징으로 한다.

한편, 본 발명은 상기의 목적을 달성하기 위하여 움직임 추정 장치에 있어서, 현재 및 이전 영상 프레임의 매크로 블럭의 탐색 화소를 소정개씩 모듈화하여 일정 규칙에 의해 임의의 화소 모듈을 선택하고 상기에서 선택된 현재 및 이전 영상 프레임에 대한 화소 모듈을 대응하는 모듈별로 비교하여 그 비교 결과의 절대값을 구한 다음 각각의 절대값을 합산하여 움직임 벡터를 산출하는 움직임 예측기를 구비하여 구성함을 특징으로 한다.

상기 움직임 예측기는 현재 및 이전 영상 프레임의 소정개의 화소 모듈을 일정 규칙에 의해 선택적으로 각기 저장하는 제1,제2 레지스터와, 상기 제1,제2 레지스터의 대응하는 모듈별로 감산하는 소정개의 감산기와, 상기 소정개의 감산기의 감산값에 대한 절대값을 산출하는 소정개의 절대값 산출기와, 상기에서 소정개의 절대값 산출기에서의 절대값들을 모두 합산하는 덧셈기와, 이 덧셈기의 합산값을 저장하여 움직임 벡터로 출력하는 제3 레지스터를 구비하여 구성함을 특징으로 한다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

도5는 본 발명의 실시예를 위한 움직임 예측기의 상세 회로도로서 이에 도시한 바와 같이, 현재 및 이전 영상 프레임에서의 4개의 화소로 이루어진 화소 모듈을 일정 규칙에 의해 선택적으로 각기 저장하는 레지스터(510)(520)와, 상기 레지스터(510)(520)에 저장된 화소 모듈을 대응하는 모듈별로 감산하는 4개의 감산기(531∼534)와, 상기 감산기(531)(534)의 감산값에 대한 절대값을 산출하는 4개의 절대값 산출기(541∼544)와, 상기 절대값 산출기(541∼544)에서의 절대값들을 모두 합산하는 덧셈기(550)와, 이 덧셈기(550)의 합산값을 저장하여 움직임 벡터로 출력하는 레지스터(560)로 구성한다.

이와같이 구성한 본 발명의 실시예에 대한 동작 및 작용 효과를 설명하면 다음과 같다.

본 발명의 실시예를 위한 장치는 Trimedia와 같은 DSPCPU 패밀리의 칩으로 구현할 수 있다.

일반적으로 Trimedia와 같은 DSPCPU 패밀리는 VLIW(Very Long Instruction Word) 구조를 가지는데, 멀티미디어 응용을 위해 다양한 명령(Instruction)을 제공하며 하나의 명령은 한 사이클동안 여러 개의 오퍼레이션(Operation)을 제공하게 된다.

따라서, 여러 개의 오퍼레이션을 하나씩 처리하는 것보다는 여러 개를 모아서 병렬 처리하는 경우 가장 큰 성능을 발휘하게 된다.

그 대표적인 예로 하나의 Unsigned 캐릭터(8bits)인 화소를 Unsigned 명령(32bits)으로 치환하여 4개의 화소를 한번에 Load/Store 및 다른 복합 연산 등을 수행하는 것이다.

여기서, SAD 계산을 수행하기 위하여 사용하는 DSPCPU 오퍼레이션인 UME8UU는 32비트 데이터에 대해 8비트씩 4개의 차의 절대값을 구하는 연산자이다.

따라서, 본 발명의 실시예에서는 보다 빠른 SAD 계산을 위하여 탐색 화소를 4개씩 묶은 화소 모듈 단위로 처리하게 되는데, 이의 동작을 설명하면 다음과 같다.

본 발명의 실시예를 위한 움직임 추정 장치는 현재의 입력 비디오 영상에 대해 이산 코사인 변환(DCT), 양자화(Q)를 순차적으로 수행한 후 가변장 부호화(VLC)와 같은 엔트로피 코딩(Entropy Coding)을 통해 부호화할 때 움직임 예측기가 현재 및 이전 영상 프레임의 매크로 블럭의 화소를 4개씩 모듈화하여 일정 규칙에 의해 임의의 화소 모듈을 선택하고 상기에서 선택된 현재 및 이전 영상 프레임 각각의 4개의 화소 모듈을 대응하는 모듈별로 감산하여 그 각각의 감산값의 절대값을 구한 다음 각각의 절대값을 합산하여 움직임 벡터를 산출하게 된다.

즉, 본 발명의 실시예에 구비되는 움직임 예측기는 도5의 회로도와 같이 구성하는데 우선, 현재 및 이전 영상 프레임에 대해 4개씩의 화소로 묶어 각각의 화소 모듈을 구성하고 그 화소 모듈들중 4개의 화소 모듈을 일정 규칙에 의해 선택하여 레지스터(510)(520)에 각기 저장하게 된다.

여기서, 레지스터(510)(520)에 저장되는 화소 모듈을 일정 규칙에 의해 선택하는 방법은 도3 및 도4의 예시도에 도시한 바와 같다.

즉, 도3은 각 라인에서 홀수 또는 짝수 번째의 화소 모듈을 선택하면서 홀수 번째 라인과 짝수 번째 라인에서 선택되는 화소 모듈의 순서가 서로 상반되도록 하는 경우를 도시한 것으로, 도3(a)는 홀수번째 라인에서 홀수번째 화소 모듈을 선택하고짝수번째 라인에서 짝수 번째 화소 모듈을 선택하는 경우를 보인 예시도이고 도3(b)는 홀수번째 라인에서 짝수번째 화소 모듈을 선택하고 짝수번째 라인에서 홀수번째 화소 모듈을 선택하는 경우를 보인 예시도이다.

이에 따라, 감산기(531∼534)가 레지스터(510)(520)에 저장된 4개의 화소 모듈을 대응하는 모듈별로 감산하고 절대값 산출기(541∼544)가 상기에서의 각각의 감산값에 대해 절대값을 산출하면 덧셈기(550)가 상기 4개의 절대값을 합산하여 그 합산값을 레지스터(560)에 저장하게 된다.

따라서, 레지스터(560)의 저장값을 움직임 벡터로 하여 출력하게 된다.

예를 들어, 레지스터(510)에는 '0x05050505', 레지스터(520)에는 '0x01010101'이 저장된 경우 감산기(531∼534), 절대값 산출기(541∼544) 및 덧셈기(550)에서 순차적으로 연산되면 레지스터(560)에는 '16'이 저장되며 이 값이 움직임 벡터로 출력된다.

또한, 본 발명의 다른 실시예로서 하나의 라인을 건너뛰면서 해당 라인에서 홀수 또는 짝수번째 화소 모듈을 선택하고 그 선택된 화소 모듈을 탐색 영역으로 하여 SAD 계산을 수행하도록 구성할 수 있다.

예를 들어, 도4는 홀수 또는 짝수 번째 라인에서만 홀수 번째의 화소 모듈을 선택하는 경우를 도시한 것으로, 도4(a)는 홀수 번째 라인에서만 홀수 번째의 화소 모듈을 선택하는 경우를 보인 예시도이고 도4(b)는 짝수 번째 라인에서만 짝수 번째의 화소 모듈을 선택하는 경우를 보인 예시도이다.

이러한 다른 실시예의 경우 계산량은 원래의 1/4로 줄어들고 속도는 4배 정도 증가하게 된다.

실제로 비디오 코덱에서 순수한 움직임 추정 즉, SAD 계산이 차지하는 비율이 30% 내외(CIF의 경우)임을 고려한다면 본 발명을 적용한 코덱은 7% 내외의 속도 향상을 달성할 수 있다.

한편, 상기에서 화소 모듈을 선택하는 방법은 하나의 시스템의 구현할 때 고정적이 되도록 구성하거나 동작 상태에 따라 시스템에서 자동으로 선택하도록 구성할 수 있다.

여기서, 화소 모듈을 자동으로 선택하도록 구성하는 경우 일정 시간 및 임의의 설정값을 고려하여 적응적으로 동작하도록 구성할 수 있다.

상기에서 상세히 설명한 바와 같이 본 발명은 동영상 부호화의 움직임 추정에 있어서, 4개의 화소를 하나로 묶은 화소 모듈을 일정 규칙에 의해 일부만을 선택하여 탐색 영역을 결정함으로써 SAD 계산량을 줄여 처리 속도를 향상시킴은 물론 화질의 저하를 최소화할 수 있는 효과가 있다.

또한, 본 발명은 SAD 계산량을 줄여 움직임을 최적화하는 것이므로 고속망(ADSL) 뿐만 아니라 저속망(PSTN)을 통한 영상 처리 시스템에도 적용할 수 있다.

Claims

움직임 추정 방법에 있어서, N*N 크기의 매크로 블럭를 이루는 탐색 화소를 소정개 단위씩 모듈화하는 제1 단계와, 상기에서의 화소 모듈들중 일정 규칙에 의해 일부만을 선택하는 제2 단계와, 상기에서 선택된 화소 모듈을 이용하여 SAD 계산을 수행하는 제3 단계를 수행하여 움직임 추정을 최적화하는 것을 특징으로 하는 움직임 추정 최적화 방법.
제1항에 있어서, 제2 단계는 각 라인에서 짝수 또는 홀수 번째의 모듈을 선택하면서 홀수번째 라인과 짝수번째 라인에서 선택되는 화소 모듈의 순서가 서로 상반되도록 구성하는 것을 특징으로 하는 움직임 추정 최적화 방법.
제1항에 있어서, 제2 단계는 홀수 또는 짝수 번째 라인에서만 홀수 또는 짝수 번째의 화소 모듈만을 선택하도록 구성하는 것을 특징으로 하는 움직임 추정 최적화 방법.
제2항 또는 제3항에 있어서, 화소 모듈을 선택하는 방법은 고정적임을 특징으로 하는 움직임 추정 최적화 방법.
움직임 추정 장치에 있어서, 현재 및 이전 영상 프레임의 매크로 블럭의 탐색 화소를 소정개씩 모듈화하여 일정 규칙에 의해 임의의 화소 모듈을 선택하고 상기에서 선택된 현재 및 이전 영상 프레임에 대한 화소 모듈을 대응하는 모듈별로 비교하여 그 비교 결과의 절대값을 구한 다음 각각의 절대값을 합산하여 움직임 벡터를 산출하는 움직임 예측기를 구비하여 구성함을 특징으로 하는 움직임 추정 최적화 장치.
제5항에 있어서, 움직임 예측기는 현재 및 이전 영상 프레임의 소정개의 화소 모듈을 일정 규칙에 의해 선택적으로 각기 저장하는 제1,제2 레지스터와, 상기 제1,제2 레지스터의 대응하는 모듈별로 감산하는 소정개의 감산기와, 상기 소정개의 감산기의 감산값에 대한 절대값을 산출하는 소정개의 절대값 산출기와, 상기에서 소정개의 절대값 산출기에서의 절대값들을 모두 합산하는 덧셈기와, 이 덧셈기의 합산값을 저장하여 움직임 벡터로 출력하는 제3 레지스터를 구비하여 구성함을 특징으로 움직임 추정 최적화 장치.