KR100842558B1

KR100842558B1 - 동영상 부호화를 위한 블록 모드 결정 방법 및 그 장치

Info

Publication number: KR100842558B1
Application number: KR1020070008380A
Authority: KR
Inventors: 최광표; 주영훈; 김봉곤; 오윤제; 전병우; 정봉수
Original assignee: 삼성전자주식회사; 성균관대학교산학협력단
Priority date: 2007-01-26
Filing date: 2007-01-26
Publication date: 2008-07-01

Abstract

본 발명은 동영상 부호화를 위한 고속의 블록 모드 결정 방법 및 그 장치에 관한 것으로 부호화할 하나의 매크로블록이 입력되면, 입력된 매크로블록 모드의 블록 히스토리(LBHM) 값과 소정의 임계값을 비교하여 매크로블록의 블록 크기 활동도를 판단하는 과정과, 블록 크기 활동도에 따라 매크로블록이 가지는 블록모드 중 일부만을 후보 모드로 선택하는 과정과, 후보 모드에 대해 움직임 추정과 비트율-왜곡치를 계산하여 하나의 매크로블록 모드를 결정함으로써, 매크로블록 모드 선택 과정에 소요되는 움직임 추정과 비트율-왜곡치 계산량을 대폭 줄일 수 있어서 부호화 장치 전체의 복잡도를 대폭 감소시키는 효과가 있다.

압축, 부호화, 움직임, 매크로블록, 모드, LBHM, BSA, 인터, 인트라

Description

동영상 부호화를 위한 블록 모드 결정 방법 및 그 장치{Determining Method of Block Mode, and The Apparatus Therefor Video Encoding}

도 1은 일반적인 H.264/AVC의 매크로블록을 나타낸 예시도

도 2는 일반적인 H.264/AVC의 인터 슬라이스에서 최적 모드를 결정하는 방법을 나타낸 흐름도

도 3은 일반적인 동영상 부호화 장치를 도시한 구성도

도 4는 도 3에 도시된 동영상 부호화 장 중 본 발명의 바람직한 실시 예에 따른 매크로블록 모드 결정기를 도시한 구성도

도 5는 본 발명의 바람직한 실시 예에 따른 다양한 종류의 영상과 양자화 파라미터(QP)에 대한 각 모드의 분포를 나타낸 예시도

도 6은 Table tennis 영상에 대해 LBHM을 원본영상의 크기로 확대 반영하여 나타낸 예시도

도 7은 본 발명의 바람직한 실시 예에 따른 P8x8 모드를 조기에 제거하는 것으로 동영상 부호화 장치에서 고속의 블록 모드 결정 방법을 나타낸 흐름도

본 발명은 H.264/AVC의 가변 블록 움직임 추정과 다양한 모드결정을 선택하는 과정에서 발생하는 복잡도를 감소시킬 수 있는 매크로블록 모드 선택 방법에 관한 것으로, 특히 매크로블록 모드를 블록 크기 활동도에 따라 조기에 결정함으로써, 움직임 추정과 모드 결정을 위한 비용 계산을 생략하여 고속으로 매크로블록를 모드 결정하는 방법 및 그 장치에 관한 것이다.

화상회의, 고화질 텔레비젼, 주문형 비디오(VOD) 수신기, MPEG(Moving Picture Experts Group) 영상을 지원하는 퍼스널 컴퓨터, 게임기, 지상파 디지털 방송 수신기 디지털 위성 방송 수신기 및 케이블 텔레비젼(CATV)등에서 사용되는 디지털 영상 데이터는 영상 자체의 특성과 아날로그 신호를 디지털화하는 과정에서 데이터량이 크게 늘어나기 때문에 그대로 사용되기 보다는 효율적인 압축방법에 의해 압축된다.

영상 압축기술로는 MPEG, H.26x 등의 압축 표준이 있고, H.264/AVC는 ITU-T VCEG(Video Coding Experts Group)와 ISO/IEC MPEG의 JVT(Joint Video Team)에 의해 표준으로 제정되었다. H.264/AVC 표준은 종래의 다른 비디오 압축표준과 같이 블록기반 부호화 방식을 유지하면서 우수한 비트율-왜곡 (Rate-Distortion) 성능을 보여준다. 이것은 H.264/AVC표준이 공간 방향 인트라 예측, 가변 블록 움직임 보상, 다중 참조 프레임, 정수변환부호화, in-loop 디블록킹 필터, 이미 부호화된 주변 블록들의 특성을 이용하는 CAVLC(Context Adaptive Variable Length Coding), 기존의 산술 부호화 방식에 컨텍스트 모델링을 추가하여 추정된 심볼 확률분포 모 델을 적응적으로 선택하는CABAC(Context-based Adaptive Binary Arithmetic Coding)과 같은 새로운 기술들을 사용하기 때문이다.

특히, H.264/AVC의 높은 부호화 효율은 종래 영상 압축 표준 보다 더욱 정교해진 가변 블록 움직임 보상에 따른 인터 프레임간의 예측성능의 향상에 기인한 것으로써, 부호기는 부호화 효율을 고려하여 각 매크로블록에 대해 모드를 결정한다.

도 1은 일반적인 H.264/AVC의 매크로블록을 나타낸 예시도이다.

일반적으로, H.264/AVC의 매크로블록(macroblock)은 4x4에서부터 16x16에 이르기까지 다양한 크기로 부호화될 수 있는데, 인터 슬라이스에서는 하나의 매크로블록 부호화를 위해 도 1a와 같이, SKIP, P16x16, P16x8, P8x16과 P8x8의 인터 모드(100)와 4x4 및 16x16블록크기의 공간예측을 위한 도 1b와 같은 I4MB와 I16MB의 2가지 인트라 모드(105)를 사용할 수 있다.

인터 모드(100)에서 P8x8 모드는 각각의 8x8블록 안에 또다시 8x8, 8x4, 4x8, 4x4 블록중의 하나로 선택되어질 수 있는 계층적 구조인 하위 모드를 가진다. 종래 H.263 및 MPEG-4 기술과 달리 더욱 세분화된 움직임 보상 블록의 크기는 영상의 세밀한 영역에서도 높은 예측 성능을 보장하며, 이로 인하여 높은 압축 효율을 가질 수 있다.

가변 블록 움직임 추정은 각각의 블록크기에 대하여 움직임 추정이 수행된다. H.264/AVC 에서는 부호화 효율을 고려하여 비트율-왜곡 성능이 가장 좋은 블록 크기를 선택한다. 또한, 상기 인터 슬라이스를 위한 모드 결정은 각각의 블록크기에서 움직임 추정을 수반하여 이로 인한 부호기의 복잡도가 증가하게 된다.

따라서 자원이 제한되어 있는 휴대장치 상에서 비디오 인코더의 실시간 구현을 위해서는 부호화 효율을 유지하면서 매크로블록 모드 결정 복잡도를 저감할 수 있는 방법과 장치가 요구된다.

H.264/AVC는 다양한 모드에 대하여 최적의 부호화 효율을 얻기위해 비트율-왜곡치를 라그랑지안(Lagrangian) 계수를 사용한 수학식 1을 이용하여 계산한 후, 이중의 최소치를 선택하는 비트율-왜곡 최적화(Rate-Distortion Optimization: RDO) 기법을 사용하여 매크로블록의 최적 부호화 모드를 결정한다.

수학식 1에서

는 비용함수 (Cost function)로 현재 매크로블록, 복원된 매크로블록, 그리고 모드

에 따라 결정된다.

는 라그랑지안 (Lagrangian) 계수로 양자화 계수

에 의존하는 값을 갖는다. 인트라 혹은 인터 슬라이스에 대한

는 수학식 2와 같다.

는 원 영상의 k번째 매크로블록

를

에 해당하는 모드로 부호화한 후 복원된 영상과 원 영상의 차이에 대한 제곱의 합이다.

이러한 수학식 1에서 최적 모드 선택을 위한 매크로블록 모드

는, 인트라 슬라이스와 인터 슬라이스에서 가능한 모드를 달리한다. 인트라 슬라이스 내의 매크로블록은 인트라 16x16 예측방향 모드인 I16MB 또는 인트라 4x4 예측방향 모드인 I4MB모드로 선택될 수 있으며, 인터 슬라이스 내의 매크로블록은 좀 더 다양한 모드를 가지는데, 선택 가능한 모드로는 SKIP, P16x16, P16x8, P8x16, P8x8모드가 있으며, P8x8 모드는 각 8x8 블록 마다 독립적으로 8x8, 8x4, 4x8, 4x4의 블록 크기로 나뉘어질 수 있다. 추가로 인트라 슬라이스의 I16MB와 I4MB 모드도 선택 가능한 대상이다.

SKIP 모드는 움직임 보상 블록 크기가 16x16이면서 움직임 벡터가 예측 움직임 벡터와 같고, 즉 MVD(Motion Vector Difference)=0, CBP(Coded Block Pattern)=0 일 때 결정된다. 최종적으로 결정되는 최적 모드는 비트율-왜곡치가 최소화값을 가지는 모드가 된다.

전술한 선택 가능 모드들 중에 최종 모드를 결정하기 위해서 수학식 1의 비트율-왜곡치값으로 판단하는 경우에는, a)4x4 정수 변환 부호화단계, b) 양자화단계, c)양자화된 잉여 데이터의 역 양자화 단계, d)역 정수 변환 부호화 단계로 복원영상을 얻어야하는 반복적인 과정이 필요하다. 따라서, 이런 단계로 인한 움직임 추정과 더불어 비트율-왜곡치 비용함수의 사용으로 인한 복잡도의 증가가 발생한다.

도 2는 일반적인 H.264/AVC의 인터 슬라이스에서 최적 모드를 결정하는 방법 을 나타낸 흐름도이다.

먼저, 도 2에 도시된 바와 같이 입력받은 매크로블록을 16x16, 16x8, 8x16 블록 각각에 대한 움직임 추정을 수행하여 움직임 벡터와 참조 프레임을 결정한다(S210). 또한, P8x8모드에 해당하는 4개의 8x8블록에 대해 8x8, 8x4, 4x8, 4x4 블록에 대하여 움직임 추정을 수행하여 움직임 벡터와 참조 프레임을 결정한다(S220).

P8x8모드에 해당하는 블록들에 대하여 수학식 1의 비트율-왜곡치 계산을 수행하여 최적의 P8x8모드를 구하고(S230), SKIP 모드에 해당하는 움직임 벡터를 계산한다(S240).

위 단계의 결과를 이용하여 P16x16, P16x8, P8x16, P8x8, I4MB, I16MB 모드를 수학식 1의 비트율-왜곡치 계산하고, 여기서 최소값을 가지는 모드를 입력받은 매크로블록의 최적 부호화 모드로 결정한다(S250).

상기의 전술한 모드 결정법에 의해 매크로블록 모드를 결정하는 경우, 부호화 효율은 향상되지만 복잡도가 크게 증가하여 저복잡도를 요구하는 실시간 응용에는 부적합하다. 따라서 모드 결정법의 부호화 효율을 유지하면서 복잡도를 감소시키는 고속 모드 결정법이 연구되었다.

예를 들어, P. Yin, H. Y. Cheong, A. Tourapis, J. Boyce, "Fast Mode Decision and Motion Estimation for JVT/H.264," IEEE Int. Conf. on Image Processing, 2003.에서는 고속 움직임 탐색 기법과 조합하여 매크로블록의 모드결정을 위한 비트율-왜곡(Rate-Distortion)값의 단조성(monotonicity)을 이용하여 16x16, 8x8, 4x4 블록의 수학식 1의 비트율-왜곡값을 비교하여, P8x8모드에 해당하는 나머지 8x4와 4x8블록에 대해서 검사할지 P16x8과 P8x16 모드를 검사할지를 선택하는 기법을 제안하였다.

H. Kim and Y. Altunbasak, "Low-complexity Macroblock Mode Selection for H.264/AVC Encoders," IEEE Int. Conf. on Image Processing, Oct. 2004.에서는 각 모드의 비트율-왜곡치 값이 아닌 모든 블록에 대하여 움직임 추정에서 계산한 정합 오류값을 정렬한 다음, 최소값을 가지는 몇 개의 후보 블록 모드를 선정하여, 선택된 후보 블록 모드들에 대해서만 비트율-최적화 기법으로 최종 모드를 선택하는 방법을 제안하였다. 이 방법은 모든 블록 크기에 대하여 움직임 탐색을 수행해야 하기 때문에 움직임 탐색의 높은 복잡도는 여전히 발생하는 문제점이 있다.

부호화 매크로블록의 공간적 균질성(Spatial homogeneity)과 시간적 정체성(Temporal stationarity)을 이용하여 매크로블록의 후보 모드를 결정하거나 시/공간상의 주변 매크로블록의 모드 정보를 이용하여 후보 모드를 결정하는 방법들도 연구되었다.

B. Jeon, J. Lee, "Fast Mode Decision for H.264," ISO/IEC JTC1/SC29/WG11 and ITU-T SG16, input document JVT-J003, 2003.에서는 모드 결정 초기 단계에서 16x16 블록에 대한 비트율-왜곡치를 계산하여, SKIP 모드 조건이 만족하는지 확인하고 이를 만족한다면 SKIP 모드를 매크로블록 모드로 결정하여 다른 모드들의 움직임 탐색과정과 비트율-왜곡치 계산 과정을 사전에 생략하는 조기 SKIP 모드 결정법을 제안하였으며, 이것은 H.264/AVC 참조 모델에 채택되었다.

이러한 종래의 연구들은 비교적 복잡한 판단 과정을 거쳐 부호 모드를 선정할 뿐만 아니라, 가능한 후보 모드를 선정하기 위한 알고리즘의 단계가 복잡하고 다른 블록 크기의 특성 및 결과에 의존한다는 문제점이 존재한다. 또한 발생확률이 낮으며 상대적으로 다른 모드들의 복잡도에 비해 높은 복잡도가 요구되는 P8x8모드의 제거는 고려되지 않았다.

본 발명의 목적은 H.264/AVC의 가변 블록 움직임 추정과 다양한 모드결정을 선택하는 과정에서 매크로블록 모드를 블록 크기 활동도에 따라 조기에 결정함으로써, 움직임 추정과 비트율-왜곡치 계산량을 대폭 줄일 수 있는 H.264/AVC에서 고속으로 블록 모드를 결정하는 방법 및 장치를 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명은 동영상 부호화를 위한 블록 모드 결정 방법에 있어서, 부호화할 하나의 매크로블록이 입력되면, 입력된 매크로블록 모드의 블록 히스토리(LBHM) 값과 소정의 임계값을 비교하여 상기 매크로블록의 블록 크기 활동도를 판단하는 과정과, 상기 블록 크기 활동도에 따라 상기 매크로블록이 가지는 블록모드 중 일부만을 후보 모드로 선택하는 과정과, 상기 후보 모드에 대해 움직임 추정과 비트율-왜곡치를 계산하여 하나의 매크로블록 모드를 결정하는 과정을 포함하는 것을 특징으로 한다.

또한, 본 발명은 동영상 부호화를 위한 블록 모드 결정 장치에 있어서, 부호화할 하나의 매크로블록이 입력되면, 입력된 매크로블록 모드의 블록 히스토 리(LBHM) 값과 소정의 임계값을 비교하여 상기 매크로블록의 블록 크기 활동도를 판단하는 블록 판단부와, 상기 블록 크기 활동도에 따라 상기 매크로블록이 가지는 블록모드 중 일부만을 후보 모드로 선택하는 후보 모드 추정부 및 상기 후보 모드에 대해 움직임 추정과 비트율-왜곡치를 계산하여 최적의 매크로블록 모드를 결정하는 블록 모드 선택부를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

도 3은 일반적인 동영상 부호화 장치를 도시한 구성도이다.

도 3에 나타낸 바와 같이, 동영상 부호화 장치는 이산 코사인 변환(discrete cosine transform, DCT) 연산기(110), 양자화기(120), 역양자화기(130), 역 이산 코사인 변환(inverse discrete cosine transform, IDCT) 연산기(140), 프레임 메모리(150), 움직임 보상기(160), 감산기(170), 가산기(180), 엔트로피 부호화기(190), 및 움직임 추정기(200) 및 매크로블록 모드 결정기(210)를 포함한다.

이 때, 동영상 부호화 장치는 H.264 방식의 부호화 장치일 수 있으며, 이하 H.264 방식의 부호화 장치를 기초로 하여 설명한다.

매크로블록의 단위로 입력되는 영상 프레임은 DCT 연산기(110)에서 블록 단 위로 변환되고, 양자화기(120)에서 양자화된다.

양자화기(120)로부터 출력된 양자화된 영상 프레임은 역양자화기(130)와 IDCT 연산기(140)를 거쳐 복호화되고, 복호화된 데이터는 가산기(180)로 입력된다.

데이터는 복원된 후 프레임 메모리(150)에 저장되어, 움직임 추정을 위해 참조 영상으로 제공된다. 영상 프레임의 복원은 아래의 움직임 보상기(160)에 대한 설명에서 후술한다.

움직임 추정기(200)는 현재 입력되는 매크로블록 단위의 영상 프레임에 대하여 프레임 메모리(150)에 저장된 참조 영상중 적어도 하나의 영상을 제공받아 움직임 추정을 수행하여, 움직임 벡터(motion vector), 참조영상을 나타내는 인덱스(index) 데이터를 출력한다. 매크로블록 모드 결정기(210)는 현재 입력되는 매크로블록의 최적 부호화 모드를 결정하여 출력한다.

움직임 보상기(160)는 움직임 추정기(200)로부터 입력된 움직임 데이터에 따라, 프레임 메모리(150)에 저장된 참조 영상으로부터 현재 입력된 매크로블록에 대응하는 영상데이터를 추출하여 출력한다. 움직임 보상기(160)로부터 출력된 데이터는 가산기(180)로 입력되어, 가산기(180)의 타단에서 입력되는 복호화된 데이터를 실제의 이미지로 복원하여 프레임 메모리(150)로 전송한다.

감산기(170)는 동영상 부호화 장치로 입력된 매크로블록에 대하여 프레임 간 예측 부호화(interframe predictive coding)가 이루어지는 경우, 움직임 보상기(160)로부터 입력 매크로블록에 대응하는 참조 영상 내의 영상데이터를 입력받아 입력 매크로블록과의 차분 연산을 수행하여 잔차 신호(residual signal)을 출력한 다.

출력된 잔차 신호는 다시 DCT연산기(110) 및 양자화기(120)를 거쳐 변환 및 양자화되고 엔트로피 부호화기(190)에 의해 엔트로피 부호화되어 NAL(network abstraction layer) 유닛 데이터의 형태로 출력된다.

엔트로피 부호화기(190)로부터 출력된 영상 데이터는 비트 레이트를 조절하기 위하여 버퍼(미도시)에 일시 저장된 후 출력될 수 있다.

도 4는 도 3에 도시된 동영상 부호화 장 중 본 발명의 바람직한 실시 예에 따른 매크로블록 모드 결정기를 도시한 구성도이다.

도 4에 도시된 바와 같이, 매크로블록 모드 결정기(210)는 블록 판단부(220), 후보 모드 추정부(230), 블록 모드 선택부(240)를 포함한다.

블록 판단부(220)는 부호화할 하나의 매크로블록이 입력되면, 입력된 매크로블록 모드의 시간적 정체성을 반영하는 소정의 히스토리값(LBHM)과 소정의 임계값을 비교하여 입력된 매크로블록의 블록 크기 활동도를 판단한다. 블록 크기 활동도에 대해서는 도 5, 도 6이 참조되어 상세히 후술될 것이다.

후보 모드 추정부(230)는 블록 크기 활동도의 정도에 따라 매크로블록이 가질 수 있는 블록 모드 중 일부만을 후보 모드로 선택한다.

블록 모드 선택부(240)는 후보 모드 추정부(230)로부터 선택된 사용 가능한 후보 모드들에 대해 움직임 추정과 비트율-왜곡치를 계산하여 최적의 매크로블록 모드를 결정한다. 마지막으로 최종 결정된 모드에 따라 LBHM을 수학식 3에 나타낸 소정의 수학식으로 갱신한다.

도 5는 본 발명의 바람직한 실시 예에 따른 다양한 종류의 영상과 양자화 파라미터(QP)에 대한 각 모드의 분포를 나타낸 예시도이다.

H.264/AVC에서 인터 슬라이스 내의 매크로블록 모드 분포는 영상의 특성과 양자화 파라미터(QP)에 따라 달라지게 된다.

예를 들어, 일반적으로 영상의 배경이나 전경의 부드러운 영역 내부는 SKIP모드나 P16x16모드로 결정된다. 그리고 움직임이 큰 영역이나 물체의 경계부분에서는 P8x8 모드가 빈번하게 발생한다.

도 5를 참조하면, 정지한 배경에 움직임이 다소 적은 Mother&Daughter와 Silent영상의 경우, SKIP과 P16x16의 발생 빈도가 매우 높은 것을 알 수 있다. 또한 P16x8, P8x16, P8x8은 발생 빈도가 비슷하다. 하지만 P8x8의 경우 하위 모드의 탐색 과정으로 8x8, 8x4, 4x8, 4x4블록 크기가 포함 되어있어 발생확률에 비해 다른 모드보다 높은 복잡도가 요구된다.

움직임이 복잡하고 빠른 Foreman과 Stefan의 경우 SKIP과 P16x16 모드의 발생 빈도가 감소하고 P16x8, P8x16 과 P8x8 모드의 발생 빈도가 상대적으로 증가한 것을 볼 수 있다. 하지만, 여전히P16x8과 P8x16모드와 비교하여 P8x8모드의 경우, 움직임 추정과 비트율-왜곡 계산에서 발생하는 높은 복잡도에 비해 발생확률이 적다는 것을 알 수 있다.

도 5의 관찰에서 평균적으로 SKIP은 52.37%, P16x16은 22.64%, P16x8은 6.98%, P8x16은 7.18%, 그리고 P8x8은 10.29% 발생하였다. 따라서 P8x8 모드는 각 8x8블록 별로 8x8, 8x4, 4x8, 4x4의 최적 모드를 찾는 과정으로 인한 높은 복잡도 가 필요한 반면, 발생확률이 낮은 사실로 인하여 매크로블록을 부호화 하기 전에 P8x8 모드를 조기에 제거할 수 있다면 많은 복잡도를 감소시킬 수 있음을 시사한다.

위의 실험을 바탕으로 영상은 시간축 방향으로 높은 상관도를 가지고 있는 특성으로 과거 매크로블록들의 16x16 블록크기의 히스토리 특성을 분석한다면, 현재 부호화할 블록의 움직임 보상 블록의 크기를 예측할 수 있을 것이다. 따라서 본 발명에서는 수학식 3과 같이 큰 블록 히스토리 맵(Large Block History Map: LBHM)을 정의하고 LBHM값에 따른 최적 모드의 분포특성을 분석한다.

이러한 수학식 3에서

는 k번째 프레임의

매크로블록에서 결정된 최적의 모드이고,

는 k번째 프레임까지 매크로블록의 움직임 보상 블록크기가 16x16인SKIP 또는 P16x16 모드를 연속적으로 갖는 프레임수를 나타낸다. 초기단계에서

으로 하여, 수학식 3의 간단한 규칙으로

를 갱신한다.

도 6은 Table tennis 영상에 대해 LBHM을 원본영상의 크기로 확대 반영하여 나타낸 예시도이다.

도 6에 도시된 영상의 각 화소값은 LBHM값을 0에서 255로 정규화하여 표시한 것으로써, LBHM영상의 밝기는 얼마나 오랫동안 매크로블록의 움직임 보상 크기가 16x16 크기였는지를 나타낸다. 즉, 흰색은 과거 프레임의 매크로블록이 계속 SKIP이나 P16x16 이었음을, 검은색은 바로 이전 프레임에서 매크로블록 모드가 SKIP이나 P16x16이 아닌 분할된 매크로블록 모드가 발생했음을 나타낸다.

LBHM은 움직임 분할이 발생하는 전경부분과 배경부분의 분리를 잘 나타내며, 영상에서 움직임이 발생하는 경향을 관찰할 수 있다. 따라서 LBHM을 이용하면 배경과 같이 정적인 곳에서 불필요한 작은 블록크기의 비트율-왜곡치 계산을 제거할 수 있고, 또한 작은 블록 크기의 움직임 추정을 제거할 수 있을 것으로 기대한다. 따라서 본 발명에서 블록 크기 활동도(Block Size Activity: BSA)의 판단은 해당 매크로블록의 LBHM값을 소정의 임계값과 비교하여 수학식 4와 같이 정의한다.

수학식 4에서

는

번째 매크로블록의 블록 크기 활동도(Block Size Activity)로써, Low는 과거 프레임들의

번째 매크로블록이 대부분 16x16의 큰 블록을 가졌음을 나타내며, High는 전반적으로 모든 블록의 크기를 가졌음을 나타낸다. 또한 Medium은 High에 비하여 P8x8 모드의 발생 비율이 적 었음을 나타내며, 소정의 임계값

는

보다 큰 값을 가진다.

블록 크기 활동도(BSA)에 따라

번째 매크로블록에서 선택되는 가능한 후보 모드의 그룹은 아래와 같이 따른다.

인 경우로써,

후보 모드

인 경우로써,

후보 모드

인 경우로써,

후보 모드

도 7은 본 발명의 바람직한 실시 예에 따른 P8x8 모드를 조기에 제거하는 것으로 동영상 부호화 장치에서 고속의 블록 모드 결정 방법을 나타낸 흐름도이다.

도 7에 도시된 바와 같이, 동영상 부호화 장치에 현재 부호화할 하나의 매크로블록이 입력되면(S700), 예를 들어, 매크로블록은H.264/AVC의 인터슬라이스 내 모든 가능한 매크로블록 모드로 SKIP, P16x16, P16x8, P8x16, P8x8, I4MB, I16MB이 며, P8x8은 또다시 세분화 하여 8x8, 8x4, 4x8, 4x4를 가진다.

이후로 해당 매크로블록의 LBHM값을 소정의 임계값과 비교하여 입력 매크로블록의 블록 크기 활동도(BSA)를 판단한다(S710).

블록 크기 활동도의 정도에 따라 매크로블록이 가질 수 있는 블록 모드 중 일부만을 후보 모드로 선택하는데, 먼저 블록 크기 활동도가 Low인 경우, 후보 모드들 중에 SKIP, P16x16, P16x8, P8x16 모드를 후보 모드로 사용한다(S720).

블록 크기 활동도가 Medium인 경우, 후보 모드들 중에 SKIP, P16x16, P16x8, P8x16와 P8x8 모드의 하위 세분화된 모드들 중 8x8를 후보 모드로 사용한다(S730).

블록 크기 활동도가 Medium도 아닌 High인 경우로서, H.264/AVC의 인터슬라이스 내 모든 가능한 매크로블록의 후보 모드를 그대로 사용한다(S740). 이렇게 가능한 후보 모드에 대해 움직임 추정과 비트율-왜곡치를 계산하여 최적의 매크로블록 모드를 결정한다(S750). 마지막으로 최종 결정된 모드에 따라 LBHM값을 수학식 3으로 갱신한다(S760).

상기와 같이 본 발명의 바람직한 실시 예에 따른 동영상 부호화를 위한 고속의 블록 모드 결정 방법 및 그 장치가 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 요지를 벗어나지 않고 다양한 실시예가 있을 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

상기한 바와 같이 이루어진 본 발명은 가변 블록 움직임 보상으로 인하여 높은 복잡도를 갖는 동영상 부호화 장치의 부호화 과정 중 과거 매크로블록에 대한 블록 크기의 히스토리 특성을 이용한 블록 크기 활동도에 따라 다양한 매크로블록 모드를 조기에 결정함으로써, 매크로블록 모드 선택 과정에 소요되는 움직임 추정과 비트율-왜곡치 계산량을 대폭 줄일 수 있어서 부호화 장치 전체의 복잡도를 대폭 감소시키는 효과가 있다.

Claims

동영상 부호화를 위한 블록 모드 결정 방법에 있어서,

부호화할 하나의 매크로블록이 입력되면, 입력된 매크로블록 모드의 블록 히스토리(LBHM) 값과 소정의 임계값을 비교하여 상기 매크로블록의 블록 크기 활동도를 판단하는 과정과

상기 블록 크기 활동도에 따라 상기 매크로블록이 가지는 블록모드 중 일부만을 후보 모드로 선택하는 과정과

상기 후보 모드에 대해 움직임 추정과 비트율-왜곡치를 계산하여 하나의 매크로블록 모드를 결정하는 과정을 포함하는 것을 특징으로 하는 동영상 부호화를 위한 블록 모드 결정 방법.
제1항에 있어서, 상기 매크로블록은 H.264/AVC의 인터슬라이스 내 모든 가능한 매크로블록 모드로 SKIP, P16x16, P16x8, P8x16, P8x8, I4MB, I16MB이며, P8x8은 또다시 세분화 하여 8x8, 8x4, 4x8, 4x4를 블록모드로 포함하는 것을 특징으로 하는 동영상 부호화를 위한 블록 모드 결정 방법.
제1항에 있어서, 상기 결정된 매크로블록 모드에 따라 블록 히스토리(LBHM) 값을 갱신하는 과정을 더 포함하는 것을 특징으로 하는 동영상 부호화를 위한 블록 모드 결정 방법.
제3항에 있어서, 상기 매크로블록 모드의 블록 히스토리(LBHM) 값은 다음의 수학식에 의해 구해지는 것을 특징으로 하는 동영상 부호화를 위한 블록 모드 결정 방법.

여기서,
는 k번째 프레임의
매크로블록에서 결정된 최적의 모드이고,
는 k번째 프레임까지 매크로블록의 움직임 보상 블록크기가 16x16인SKIP 또는 P16x16 모드를 연속적으로 갖는 프레임수이다.
제1항에 있어서, 상기 블록 크기 활동도는 다음 수학식에 의해 구해지는 것을 특징으로 하는 동영상 부호화를 위한 블록 모드 결정 방법.

여기서, Low는 과거 프레임들의
번째 매크로블록이 대부분 16x16의 큰 블록을 나타내며, High는 전반적으로 모든 블록의 크기를 나타낸다. 또한 Medium은 High에 비하여 P8x8 모드의 발생 비율이 적었음을 나타내며, 소정의 임계값
는
보다 큰 값을 가진다.
제5항에 있어서, 상기 블록 크기 활동도가 Low인 경우, 후보 모드들 중에 SKIP, P16x16, P16x8, P8x16 모드를 선택하는 과정을 포함하는 것을 특징으로 하는 동영상 부호화를 위한 고속의 블록 모드 결정 방법.
제5항에 있어서, 상기 블록 크기 활동도가 Medium인 경우, 후보 모드들 중에 SKIP, P16x16, P16x8, P8x16 및P8x8 모드의 하위 세분화된 모드들 중 8x8를 선택하는 과정을 포함하는 것을 특징으로 하는 동영상 부호화를 위한 블록 모드 결정 방법.
제5항에 있어서, 상기 블록 크기 활동도가 High인 경우, 후보 모드들 중에 H.264/AVC의 인터 슬라이스 내 가능한 매크로블록의 후보 모드를 선택하는 과정을 포함하는 것을 특징으로 하는 동영상 부호화를 위한 블록 모드 결정 방법.
동영상 부호화를 위한 블록 모드 결정 장치에 있어서,

부호화할 하나의 매크로블록이 입력되면, 입력된 매크로블록 모드의 블록 히스토리(LBHM) 값과 소정의 임계값을 비교하여 상기 매크로블록의 블록 크기 활동도를 판단하는 블록 판단부와

상기 블록 크기 활동도에 따라 상기 매크로블록이 가지는 블록모드 중 일부만을 후보 모드로 선택하는 후보 모드 추정부 및

상기 후보 모드에 대해 움직임 추정과 비트율-왜곡치를 계산하여 최적의 매크로블록 모드를 결정하는 블록 모드 선택부를 포함하는 것을 특징으로 하는 동영상 부호화를 위한 블록 모드 결정 장치.
제9항에 있어서, 상기 매크로블록은 H.264/AVC의 인터슬라이스 내 모든 가능한 매크로블록 모드로 SKIP, P16x16, P16x8, P8x16, P8x8, I4MB, I16MB이며, P8x8은 또다시 세분화 하여 8x8, 8x4, 4x8, 4x4를 블록모드로 포함하는 것을 특징으로 하는 동영상 부호화를 위한 블록 모드 결정 장치.
제9항에 있어서, 상기 블록 모드 선택부는 상기 결정된 매크로블록 모드에 따라 블록 히스토리(LBHM) 값을 다음의 수학식으로 갱신하는 것을 특징으로 하는 동영상 부호화를 위한 블록 모드 결정 장치.

여기서,
는 k번째 프레임의
매크로블록에서 결정된 최적의 모드이고,
는 k번째 프레임까지 매크로블록의 움직임 보상 블록크기가 16x16인SKIP 또는 P16x16 모드를 연속적으로 갖는 프레임수이다.
제9항에 있어서, 상기 블록 크기 활동도는 다음 수학식에 의해 구해지는 것을 특징으로 하는 동영상 부호화를 위한 블록 모드 결정 장치.

여기서, Low는 과거 프레임들의
번째 매크로블록이 대부분 16x16의 큰 블록을 나타내며, High는 전반적으로 모든 블록의 크기를 나타낸다. 또한 Medium은 High에 비하여 P8x8 모드의 발생 비율이 적었음을 나타내며, 소정의 임계값
는
보다 큰 값을 가진다.
제12항에 있어서, 상기 블록 크기 활동도가 Low인 경우, 후보 모드들 중에 SKIP, P16x16, P16x8, P8x16 모드를 선택하는 것을 특징으로 하는 동영상 부호화를 위한 고속의 블록 모드 결정 장치.
제12항에 있어서, 상기 블록 크기 활동도가 Medium인 경우, 후보 모드들 중에 SKIP, P16x16, P16x8, P8x16 및P8x8 모드의 하위 세분화된 모드들 중 8x8를 선택하는 것을 특징으로 하는 동영상 부호화를 위한 블록 모드 결정 장치.
제12항에 있어서, 상기 블록 크기 활동도가 High인 경우, 후보 모드들 중에 H.264/AVC의 인터 슬라이스 내 가능한 매크로블록의 후보 모드를 선택하는 것을 특징으로 하는 동영상 부호화를 위한 블록 모드 결정 장치.