KR100986719B1 - Ｈ.264／ａｖｃ 움직임 추정의 연산량 감소방법 - Google Patents

Abstract

본 발명에는 정수 움직임 추정(IME)과 분수 움직임 추정(FME)으로 이루어지는 H.264/AVC 움직임 추정의 연산량 감소방법에 관한 것으로, 정수 움직임 추정에서 탐색영역을 조정하고, 분수 움직임 추정에서 부분 코스트 계산방법을 도입함으로써 연산량을 대폭 줄이도록 하는 기술구성이 개시된다.

정수 움직임 추정, 분수 움직임 추정, H.264/AVC

Description

Ｈ.264／ＡＶＣ 움직임 추정의 연산량 감소방법{computation reduction methode for H.264/AVC motion estimation}

본 발명은 정수 움직임 추정(IME)과 분수 움직임 추정(FME)으로 이루어지는 H.264/AVC 움직임 추정의 연산량 감소방법에 관한 것이다.

MPEG-2, MPEG-4, H.264/AVC 와 같은 전통적인 영상 압축 표준들에서, 가장 많은 연산은 움직임추정에 의하여 소모된다. 이와 같은 많은 연산은 주로, 탐색 범위내에서 참조 블록과 현재 블록을 비교하는 반복적인 블록 매칭 연산으로부터 발생한다. 최근의 영상 압축기법인 H.264/AVC에 있어서는 가변 블록 크기 움직임추정(VBSME)과 1/4화소 정밀도의 움직임추정과 같은 적극적인 기법들을 채용함으로써 움직임추정 연산이 더욱 복잡해졌다.

압축효율의 중대한 열화 없이 움직임예측의 연산량을 줄이기 위한 많은 연구가 있어왔다. 연산량 감소를 위한 인기 있는 방법으로 탐색범위의 모든 후보 위치들에 대한 소모적인 연산 대신에 일부의 위치들에 대한 연산을 수행하는 기법이 있다. 이를 위해서, 통계적으로 볼 때 움직임이 제로이거나 제로에 가까운 경우가 대부분이라는 사실을 바탕으로 하여 효율적인 탐색 패턴이 정의된다. 이와 같은 방식 에서는, 탐색창의 중앙 또는 추정된 움직임 벡터(PMV)에서 탐색절차가 시작되고 이어서 미리 정의된 패턴에 따라서 다른 후보들을 방문하게 된다. 그러나, 이 방식은 VBSME를 위해서는 적절한 방식이 아닌데, 이는 VBSME에서는 각각의 블록에 대하여 움직임벡터, 매크로블록당 41개의 움직임벡터를 도출해내어야 하는데, 이 방식에 따르면 오직 하나의 최적화된 움직임벡터만이 도출되기 때문이다. 이 방식은 또한 프레임메모리로부터 데이터 판독의 효율적 재사용을 위하여 프레임 메모리에 대한 단순하고 직관적인 데이터 엑세스를 필요로 하는 하드웨어적인 구현에도 적절하지 않다.

본 발명의 해결과제는 탐색범위 조절 체계를 갖는 전역탐색 움직임추정을 채용한 새로운 움직임추정 방법으로써 탐색 영역의 조절로부터 연산량을 감소시키는 동시에 전역탐색의 성격상 하드웨어 구현과 효율적인 데이터 재사용을 위한 것이다.

상기 해결과제를 위한 해결수단은 정수 움직임 추정(IME)과 분수 움직임 추정(FME)으로 이루어지는 H.264/AVC 움직임 추정의 연산량 감소방법에 있어서: 상기 정수 움직임 추정은 인접 매크로블록들의 움직임 벡터들로부터 초기 탐색영역을 추출하는 단계; x, y 방향으로 인접 움직임 벡터들의 분산값을 산출하는 단계; 분산값에 따라 초기 탐색영역에 초기 탐색창의 크기를 증가시키는 단계를 포함하는 것이다.

본 발명의 다른 해결수단은 정수 움직임 추정(IME)과 분수 움직임 추정(FME)으로 이루어지는 H.264/AVC 움직임 추정의 연산량 감소방법에 있어서: 상기 분수 움직임 추정은 현재블록과 참조블록사이의 절대 차의 합(SAD)을 산출하되, 16개의 4×4 서브 블록들로 이루어진 16×16의 매크로 블록에서 대각선으로 배치되는 4개의 서브 블록들만이 상기 SAD 산출에 사용되는 것이다.

본 발명의 다른 해결수단은 정수 움직임 추정(IME)과 분수 움직임 추정(FME)으로 이루어지는 H.264/AVC 움직임 추정의 연산량 감소방법에 있어서:

16개의 4×4 서브 블록들로 이루어진 16×16의 매크로 블록에서 교번적으로 배치되는 8개의 서브 블록들만이 상기 SAD 산출에 사용되는 것이다.

상기의 해결수단과 해결과제를 갖는 본 발명에 따르면 본 발명의 정수움직임추정(IME)에 있어서 90%이상의 연산량 감소를 보이고, 분수움직임추정(FME)에 있어서는 연산 감소가 27.8%에서 47.1%에 이르게 되어 연산이 빨라지고, 기본적인 전역탐색 알고리즘을 채택하고 있으므로 하드웨어 구성이 용이하다.

움직임추정에 있어서 연산의 복잡성을 감소시키기 위하여 움직임추정을 정수 움직임추정(IME)과 분수 움직임추정(FME)로 재구성하는 방식이 많이 사용된다. 이 방식에서는 정수 움직임추정(IME)이 분수 움직임추정(FME)의 시작 탐색점으로 사용된다. 이와 같은 식으로, FME의 탐색점은 현격하게 줄어들게 된다. FME의 연산을 더욱 감소시키기 위하여 모드 사전 결정(MPD) 방식과 개선된 모드 사전 결정(AMPD) 방식이 공지되었다. 본 발명에서는 FME를 위하여 MPD 방식을 채택하고, FME의 속도를 더욱 향상시키기 위해서 FME에 있어서 부분 연산량 측정 방식을 사용한다.

1. IME에 있어서 탐색 영역의 조절

JM(Joint Model) 참조 소프트웨어는 나선형 패턴의 중앙에서 시작하여 바깥쪽으로 탐색해가는 움직임추정 방식을 채택한다. 최적의 움직임벡터는 모든 후보들의 연산량이 측정된 후에야 갱신된다. 최적의 후보는 현재 후보의 연산량이 직전의 최 적 후보의 연산량보다 적을 때에라야 갱신된다. 그렇지 않다면, 최적 후보는 변경되지 않은 채로 유지된다. 연산량 측정에 소요되는 계산을 줄이기 위해서, 현 시점에서 측정되고 있는 연산량이 직전 최적 후보의 연산량보다 커지면 연산량 측정은 즉시 중지된다. 연산량 측정의 조기종료의 이점을 살리기 위하여 최종 움직임벡터가 될 확률이 큰 위치에서 움직임추정을 시작하는 것이 바람직하다. 이미지의 공간적 상관관계로 인하여 추정된 움직임벡터(PMV) 최종 움직임벡터에 매우 가까워질 확률이 매우 높다. 따라서, PMV는 조기 종료를 통하여 연산을 줄이는 움직임 추정의 시작 위치로서 좋은 후보가 된다. 종래방법1(Tung-Chien Chen, Yu-Han Chen, Sung-Fang Tsai, Shao-Yi Chien, and Liang-Gee Chen, "Fast Algorithm and Architecture Design of Low-Power Integer Motion Estimation for H.264/AVC," IEEE Trans. Circuits Syst. Video Technol., Vol. 17, No. 5, pp. 568-577, May 200)에 PMV를 시작 위치로 사용하고, 탐색 점들을 줄이기 위하여 4SS 알고리즘을 채택한 고속 움직임추정(ME) 알고리즘이 제안되었으나 4SS는 오직 하나의 최적 움직임벡터(MV)를 찾아내기 때문에 H.264/AVC에 채택된 가변 블록 크기 움직임추정(VBSME)에는 적절하지 않다. 4SS 알고리즘의 이와 같은 제한을 극복하기 위하여 종래방법 1은 PMV, 그리고 인접 매크로블록들의 움직임벡터(MV)들을 포함하는 다수의 시작위치에서 움직임추정(ME)을 시작하는 방식을 제안하였다.

도 1(a)는 종래방법 1의 IME의 탐색범위를 나타낸 구성도이고, 도 1(b)는 본 발명의 IME의 탐색범위을 나타낸 구성도이다.

도 1(a)에서 큰 흰색 사각형은 4개의 꼭지점들의 (x, y) 좌표가 각각 (- 16,-16), (-16,15), (15,-16), 그리고 (15,15)인 탐색창을 보여준다. 탐색창은 최대 탐색 가능한 범위이다. 내부의 작은 음영표시된 사각형은 움직임벡터들의 인접 매크로블록들로부터 도출되고, 음영표시 사각형 외부의 점선 사각형은 실험적으로 선택된 파라미터를 음영표시 사각형에 부가함으로 도출된다. 작은 삼각형은 가능한 초기 탐색점들을 보여주는데, 이들은 점선 사각형의 4개의 꼭지점들과 PMV, 그리고 좌표 (0.0) 지점이다. 4SS 알고리즘은 다양한 블록 크기들에 대한 움직임벡터(MV)들을 획득하기 위하여 위와 같은 초기 탐색점들을 가지고 수행된다.

종래방법 1의 고속 움직임추정 알고리즘은 전역탐색 알고리즘과 비교하면 탐색점들을 현저하게 감소시킨다. 이와 같은 감소는 인접 매크로블록들의 움직임벡터들이 서로 가까이 존재할 때 더욱 명확해진다. 그러 이러한 경우에 있어서, 각기 다른 시작점들에서 4SS 알고리즘을 다중 수행하는 것은 이들 시작점들이 서로 인접하여 있기 때문에 중첩된 탐색점들을 발생시킬 가능성이 있다. 따라서 이와 같은 반복적인 연산들은 소모적이 될 수 있는 것이다. 본 발명에서는 탐색영역을 조절하는 전역탐색 방식을 채용한 새로운 IME 알고리즘을 적용한다. 전역탐색방식은 낭비되는 연산을 없애고, 통상적인 알고리즘 구조로 인하여 하드웨어 구현에 매우 효율적이다. 그러나, 전역탐색은 탐색창의 모든 후보점들에 대하여 모두 계산을 수행하기 때문에 많은 연산을 소모한다. 도 1 (b)는 본 발명의 조절된 탐색범위를 나타낸다. 도 1(a) 에서의 음영으로 표시된 탐색영역은 각각 수평, 수직방향으로 △X, △Y 만큼 확장된다. △X와 △Y는 인접 움직임벡터들의 분산값으로부터 구해진다. 만일 인접 움직임벡터들이 서로 가까이 존재한다면, 현재 매크로블록의 움직임벡터도 이들 인접 움직임벡터들에 가까이 존재할 가능성이 있다. 따라서 작은 값의 △X와 △Y로도 조절된 탐색범위가 현재 매크로블록의 움직임벡터를 포함하도록 하기에 충분하다. 반면, 인접 움직임벡터들의 분산값이 크다면, 현재의 움직임벡터를 추정하기가 어렵다. 따라서 △X와 △Y를 증가시켜 움직임추정이 최적의 움직임벡터를 놓치지 않도록 넓은 영역을 탐색하도록 하는 것이 필요하다.

이하, 본 발명의 탐색영역 조절을 위한 알고리즘을 설명하기로 한다.

도 2는 본 발명의 인접 매크로블록들의 움직임 벡터들을 설명하는 구성도이다.

Step 1: 초기 x, y좌료를 아래와 같이 설정:

xmin = min(MVA_x, MVB_x, MVC_x, MVD_x)

xmax = max(MVA_x, MVB_x, MVC_x, MVD_x)

ymin = min(MVA_y, MVB_y, MVC_y, MVD_y)

ymax = max(MVA_y, MVB_y, MVC_y, MVD_y)

Step 2: 초기 탐색영역의 4개의 꼭지점인 (xmin, ymin), (xmin, ymax), (xmax, ymin), 그리고 (xmax, ymax) 로 산출.

Step 3: x, y 방향으로 인접 움직임벡터들의 분산을 계산:

xver = (12 (xmax xmin) + 4 (ymax ymin) )/ 4

yver = = (12 (ymax ymin) + 4 (xmax xmin) )/ 4

Step 4: Step 3에서 구한 xver와 yver을 가지고 Table 1로부터 △X와 △Y, 즉 x, y 방향으로의 추가 라인들의 수를 구한다.

Step 5: Step 4에서 구한 추가 라인들에 Step 2에서 구한 4개의 꼭지점들을 더함으로서 최종 탐색 영역을 선택한다. 새로운 탐색영역의 4개의 꼭지점들은 (xmin-△X, ymin-△Y), (xmin-△X, ymax + △Y), (xmax + △X, ymin-△Y), 및 (xmax + △X, ymax +△Y)이 된다.

Step 1과 2에서 (xmin, ymin), (xmin, ymax), (xmax, ymin), 그리고(xmax, ymax)은 4개의 인접 MVs들로 MVA, MVB, MVC, MVD로부터 구해진다. 이들은 도 2에서 보인 것처럼 인접 매크로블록들의 움직임벡터들(MVs)인데, 도 2에서 음영진 사각형은 현재의 매크로블록을 가리키며, 4개의 흰 사각형은 인접 매크로블록들을 가리킨다. Step 1에서, MVA_x과 MVA_y은 MVA의 x, y좌표를 각각 가리킨다. 동일한 표기법이 다른 움직임벡터들(MVs)에도 적용된다. 이 알고리즘의 결과를 보면, 인접 움직임벡터들의 분산이 증가함에 따라 탐색 영역도 증가한다. 이는 인접 움직임벡터들의 분산이 증가함에 따라 움직임벡터 예측이 어려워지기 때문에 타당한 결과이다.

표 1은 탐색영역과 분산 값과의 관계를 보인다. 표 1의 수치들은 실험적으로 정해진 값들이다. 위 알고리즘의 모든 연산은 쉬프트 연산과 더하기 연산으로 수행될 수 있다. 따라서 위 알고리즘을 적용하면 그다지 크지 않은 비용으로 하드웨어 구현이 가능하다.

Xver	△X	Yver	△Y
0	2	0	1
1	3	1	2
2	3	2	2
3	3	3	2
4	4	4	3
5	4	5	3
6	4	6	3
7	4	7	3

본 발명에서 하나의 매크로블록에 대한 평균적인 탐색점들의 수는 종래방법 1에 비하여 다소 증가되지만 전역탐색방식의 특성상 종래의 알고리즘보다는 우위에 있다. x, y 양방향으로 (-16, +15)의 탐색영역을 가지는 전역탐색 알고리즘과 비교하면, 제안된 탐색영역은 연산량을 90%이상 감소시킨다.

3. FME를 위한 부분 코스트 계산( Partial cost evaluatio)

FME에 있어서 최소 블록 사이즈는 4x4이기에, FME의 하드웨어 구현은 4x4블록 계산엔진을 디자인하고 이 엔진을 반복적으로 사용하여 16x16 블록 전체를 계산하는 방식으로 많이 이루어진다. 이 발명에서 FME엔진 역시 하드웨어 구현에 있어서 이와 같은 방식을 채택하고, 나아가서 연산량을 감소시키기 위한 새로운 방식을 제안한다. 최적의 매칭 포지션을 찾기 위하여 FME엔진은 현재 블록과 참조블록사이의 절대 차의 합(SAD)을 계산한다. SAD의 계산을 위하여 블록들 내의 모든 픽셀들의 차들이 계산되는데, 이와 같은 연산을 줄이기 위하여 본 발명은 모든 픽셀들을 사용하는 대신에 블록내 픽셀들의 서브세트들만을 이용하는 새로운 알고리즘이 적용된다.

도 3은 본 발명의 SAD의 계산을 위하여 사용되는 픽셀들의 서브세트들을 나타낸 구성도이다.

도 3에서 큰 사각형은 16x16 매크로블록을 표시하고, 작은 사각형들은 4x4블록들을 표시한다. 음영 표시된 사각형들은 SAD산출에 사용되는 픽셀들의 서브세트들을 표시한다. 도 3(a)에서 16×16으로 이루어진 매크로 블록에서 대각선으로 배치되는 4개의 4x4블록들만이 SAD 산출에 사용되는데 이는 즉, 64개의 픽셀들만이 사용된다는 것이다. 그 결과로서 연산량은 25%로 줄어든다. 이와 같은 부분적인 연산은 움직임을 정확하게 반영하지 못할 수도 있기에 압축 효율의 열화를 가져올 수도 있다. 도 3(b)는 부분적인 SAD 산출의 다른 예를 보인다. 이 예에서는 16×16의 매크로 블록에서 교번적으로 배치되는 8개의 4x4블록들이 SAD 연산에 사용되며 전체 연산량은 50%로 줄어든다. 이 경우 연산량은 도 3(a)의 경우보다 많아지지만, 압축 효율은 도 3(a)의 것보다 좋아진다. 따라서 도 3 (a)와 (b)에 도시되는 두 가지 방법중에 하나를 선택적으로 사용할 수 있다.

도 3(b)에 도시된 방법을 적용할 때 150 프레임의 CIF 사이즈의 이미지를 QP=28, I Periode = 5로 적용할 때 16×16 모드에서 할 때 27.8%에서 47.1% 범위의 연산감소를 보인다.

도 1(a)는 종래의 IME의 탐색범위를 나타낸 구성도이고, 도 1(b)는 본 발명의 IME의 탐색범위을 나타낸 구성도이다.

도 2는 본 발명의 인접 매크로블록들의 움직임 벡터들을 설명하는 구성도이다.

도 3은 본 발명의 SAD의 계산을 위하여 사용되는 픽셀들의 서브세트들을 나타낸 구성도이다.

Claims (5)

1. 삭제
2. 정수 움직임 추정(IME)과 분수 움직임 추정(FME)으로 이루어지는 H.264/AVC 움직임 추정의 연산량 감소방법에 있어서:

   상기 정수 움직임 추정은 현재 매크로 블록에 인접되는 매크로 블록의 움직임벡터들을 MVA, MVB, MVC, MVD라 할 때,

   Step 1: 초기 x, y좌료를 다음의 수학식 1로 설정

   xmin = min(MVA_x, MVB_x, MVC_x, MVD_x)

   xmax = max(MVA_x, MVB_x, MVC_x, MVD_x)

   ymin = min(MVA_y, MVB_y, MVC_y, MVD_y)

   ymax = max(MVA_y, MVB_y, MVC_y, MVD_y)

   Step 2: 4개의 꼭지점인 (xmin, ymin), (xmin, ymax), (xmax, ymin), (xmax, ymax)인 초기 탐색영역 설정

   Step 3: x, y 방향으로 인접 움직임벡터들의 분산 xver, yver를 다음의 수학식 2에 의하여 산출

   xver = (12 (xmax xmin) + 4 (ymax ymin) )/ 4

   yver = (12 (ymax ymin) + 4 (xmax xmin) )/ 4

   Step 4: Step 3에서 구한 xver와 yver에 따라 △X와 △Y가 정해지는 테이블로부터 △X와 △Y 값 추출

   Step 5: Step 4에서 구한 △X와 △Y 값에 Step 2에서 구한 4개의 꼭지점들을 더함으로서 최종 탐색 영역 (xmin-△X, ymin-△Y), (xmin-△X, ymax + △Y), (xmax + △X, ymin-△Y), 및 (xmax + △X, ymax +△Y)을 선택하는 단계

   를 포함하는 것을 특징하는 H.264/AVC 움직임 추정의 연산량 감소방법.
3. 청구항 2에서, 상기 xver와 상기 yver 가 증가함에 따라서 각각 상기 △X와 상기 △Y가 증가하는 것을 특징으로 하는 H.264/AVC 움직임 추정의 연산량 감소방 법.
4. 삭제
5. 삭제

Images