KR101318869B1 - 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

Abstract

본 발명은 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.

본 발명은 블록의 움직임 벡터들, 예측 움직임 벡터들 및 차분 움직임 벡터들을 결정하고, 차분 움직임 벡터들의 평균 차분 움직임 벡터를 결정하며, 차분 움직임 벡터들에서 평균 차분 움직임 벡터를 감산하여 결정되는 차차분 움직임 벡터들을 부호화하여 움직임 벡터 부호화 데이터를 생성하는 것을 특징으로 하는 움직임 벡터 부호화 방법을 제공한다.

본 발명에 의하면, 움직임 벡터를 예측 부호화할 때, 차분 움직임 벡터의 성분의 값을 감소시킬 수 있으므로, 움직임 벡터가 부호화된 데이터의 비트량을 감소시킬 수 있으며, 그에 따라 동영상의 부호화 효율을 향상시킬 수 있다.

영상, 부호화, 복호화, 움직임 벡터, 차분, 평균, 비트량

Description

동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치{Motion Vector Coding Method and Apparatus for Video Coding and Video Coding Method and Apparatus Using Same}

본 발명은 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 동영상을 움직임 보상 예측 부호화하기 위한 움직임 벡터를 부호화함에 따라 발생하는 비트량을 줄여 부호화 효율을 향상시키기 위한 방법 및 장치에 관한 것이다.

동영상 부호화 및 복호화 분야에서 통상적으로 사용되는 움직임 벡터 부호화 및 복호화 방법은 공간적으로 위치한 주변 블록의 움직임 벡터를 예측값으로 사용하여 움직임 예측된 해당 블록의 움직임 벡터에 대해 예측 부호화를 수행하는 것이다. 즉, 현재 블록의 움직임 벡터(이하, '현재 움직임 벡터'라 칭함)는 주변 블록의 움직임 벡터와 밀접한 상관관계를 가지고 있기 때문에, 소정의 방법을 통해 주변 블록의 움직임 벡터로부터 현재 움직임 벡터에 대한 예측값(이하, '예측 움직임 벡터'라 칭함)을 계산한 후, 현재 움직임 벡터의 값 자체를 부호화하지 않고 예측 움직임 벡터에 대한 차분 움직임 벡터만을 부호화함으로써 부호화해야 할 비트량을 상당히 줄여 부호화 효율을 높인다. 이뿐만 아니라, 이러한 예측 움직임 벡터를 최초 탐색점으로 하는 소정의 탐색범위를 이용하여 움직임 추정을 수행함으로써, 움직임 추정 과정에서 예측 움직임 벡터보다 더욱 유사한 움직임 벡터를 결정한다. 즉, 움직임 추정 과정에서 예측 움직임 벡터보다 더욱 유사한 움직임 벡터를 결정함으로써, 부호화해야 할 차분 움직임 벡터의 비트량을 감소시킨다.

통상적으로 이러한 움직임 벡터를 위한 예측 부호화에서는 효율적인 압축을 위하여 예측 움직임 벡터가 현재 움직임 벡터와 유사할수록 부호화 효율이 증대된다. 따라서, 단지 공간적으로 인접한 블록의 움직임 벡터뿐만 아니라, 시간적 또는 시공간적으로 인접한 블록의 움직임 벡터 또는 그들을 조합하는 방법으로 계산된 또 다른 움직임 벡터들로 이루어진 다수의 예측 움직임 벡터들을 후보로 생성하고, 그 중에서 현재 움직임 벡터의 부호화에 가장 적당한 것을 예측하여 사용하면 예측 부호화 효율을 더욱 증대시킬 수 있다. 이뿐만 아니라, 다수의 예측 움직임 벡터를 사용하면 각각의 예측 움직임 벡터에 따라 다수의 탐색 범위를 정의하고 움직임 추정을 수행함으로써, 현재 움직임 벡터를 각각의 예측 움직임 벡터보다 유사한 값으로 결정할 수 있으므로 부호화 효율을 더욱 증대시킬 수 있다.

한편, 매크로블록과 같은 하나의 블록은 여러 서브블록으로 구성될 수 있고 각 서브블록마다 움직임 벡터를 가질 수 있으므로, 하나의 블록은 복수 개의 움직임 벡터를 가질 수 있다. 각 움직임 벡터는 x축 성분 및 y축 성분과 같은 두 개의 성분을 가지고 있다. 또한, 차분 움직임 벡터를 구성하는 두 개의 성분이 모두 '0'에 가까울수록 차분 움직임 벡터를 부호화하여 생성되는 데이터는 적은 비트수로 표현되어 부호화 효율이 좋아진다.

하지만, 하나의 블록이 여러 움직임 벡터를 가지는 여러 서브블록으로 구성되고 각 서브블록의 움직임 벡터들은 두 개의 성분을 가지고 있기 때문에, 통상적인 움직임 벡터 부호화 방식에 따르면, 하나의 블록에 대해 부호화해야 할 차분 움직임 벡터의 성분의 개수도 많아지므로, 차분 움직임 벡터의 절대값이 '0'에 근접하지 못할 가능성이 많아져서 움직임 벡터를 부호화하는 데 필요한 비트수가 증가하는 문제점이 있다.

전술한 문제점을 해결하기 위해 본 발명은, 동영상의 움직임 예측 부호화에 이용되는 움직임 벡터를 예측 부호화할 때, 차분 움직임 벡터의 성분의 값을 줄여 움직임 벡터가 부호화된 데이터의 비트량을 감소시키는 데 주된 목적이 있다.

전술한 목적을 달성하기 위해 본 발명은, 블록에 대한 움직임 벡터를 부호화하는 방법에 있어서, 블록의 움직임 벡터들, 예측 움직임 벡터들 및 차분 움직임 벡터들을 결정하는 단계; 차분 움직임 벡터들의 평균 차분 움직임 벡터를 결정하는 단계; 및 차분 움직임 벡터들에서 평균 차분 움직임 벡터를 감산하여 결정되는 차차분 움직임 벡터들을 부호화하여 움직임 벡터 부호화 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 방법을 제공한다.

또한, 본 발명의 다른 목적에 의하면, 블록에 대한 움직임 벡터를 부호화하 는 장치에 있어서, 블록의 움직임 벡터들, 예측 움직임 벡터들 및 차분 움직임 벡터들을 결정하는 움직임 벡터 결정기; 차분 움직임 벡터들의 평균 차분 움직임 벡터를 결정하고, 차분 움직임 벡터들에서 평균 차분 움직임 벡터를 감산하여 결정되는 차차분 움직임 벡터들과 평균 차분 움직임 벡터를 부호화하여 차차분 부호화 데이터를 생성하며, 차차분 부호화 데이터의 비트량을 계산하는 차차분 움직임 벡터 부호화기; 차분 움직임 벡터들을 부호화하여 차분 부호화 데이터를 생성하며, 차분 부호화 데이터의 비트량을 계산하는 차분 움직임 벡터 부호화기; 및 블록 내의 움직임 벡터들의 개수, 차차분 부호화 데이터의 비트량 및 차분 부호화 데이터의 비트량 중 적어도 하나 이상을 기초로 차차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성하는 움직임 벡터 부호화 데이터 생성기를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 장치를 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 블록의 움직임 벡터를 복호화하는 방법에 있어서, 움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 추출하고 복호화하여 평균 차분 움직임 벡터와 차차분 움직임 벡터들을 복원하는 단계; 복원되는 차차분 움직임 벡터들과 복원되는 평균 차분 움직임 벡터를 더하여 블록의 차분 움직임 벡터들을 복원하는 단계; 및 블록의 예측 움직임 벡터들과 복원되는 차분 움직임 벡터들을 이용하여 블록의 움직임 벡터들을 복원하는 단계를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 방법을 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 블록의 움직임 벡터를 복호화하는 장치에 있어서, 움직임 벡터 부호화 데이터로부터 추출되는 차차분 부호화 데이터 를 복호화하여 평균 차분 움직임 벡터와 차차분 움직임 벡터들을 복원하고, 복원되는 차차분 움직임 벡터들과 복원되는 평균 차분 움직임 벡터를 더하여 블록의 차분 움직임 벡터들을 복원하는 차차분 움직임 벡터 복호화기; 움직임 벡터 부호화 데이터로부터 추출되는 차분 부호화 데이터를 복호화하여 블록의 차분 움직임 벡터들을 복원하는 차분 움직임 벡터 복호화기; 및 블록의 예측 움직임 벡터들과 복원되는 차분 움직임 벡터들을 이용하여 블록의 움직임 벡터들을 복원하는 움직임 벡터 복원기를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 장치를 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 영상을 블록 단위로 부호화하는 방법에 있어서, 블록의 움직임 벡터들과 예측 움직임 벡터들을 이용하여 결정되는 차분 움직임 벡터들의 평균 차분 움직임 벡터를 결정하는 단계; 차분 움직임 벡터들에서 평균 차분 움직임 벡터를 감산하여 결정되는 차차분 움직임 벡터들을 부호화하여 블록에 대한 움직임 벡터 부호화 데이터를 생성하는 단계; 움직임 벡터들을 이용하여 블록을 움직임 보상하여 예측 블록을 생성하는 단계; 블록과 예측 블록을 감산하여 잔여 블록을 생성하는 단계; 잔여 블록을 부호화하여 부호화된 잔여 데이터를 생성하는 단계; 및 부호화된 잔여 데이터 및 움직임 벡터 부호화 데이터를 포함하는 부호화 데이터를 생성하고 출력하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 영상을 블록 단위로 부호화하는 장치에 있어서, 블록의 움직임 벡터들과 예측 움직임 벡터들을 이용하여 결정되는 차분 움직임 벡터들의 평균 차분 움직임 벡터를 결정하고, 차분 움직임 벡터들에서 평균 차분 움직임 벡터를 감산하여 결정되는 차차분 움직임 벡터들을 부호화하여 블록에 대한 움직임 벡터 부호화 데이터를 생성하는 움직임 벡터 부호화기; 움직임 벡터들을 이용하여 블록을 움직임 보상하여 예측 블록을 생성하는 움직임 보상기; 블록과 예측 블록을 감산하여 잔여 블록을 생성하는 감산기; 잔여 블록을 부호화하여 부호화된 잔여 데이터를 생성하는 부호화기; 및 부호화된 잔여 데이터 및 움직임 벡터 부호화 데이터를 포함하는 부호화 데이터를 생성하고 부호화 데이터 생성기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 영상을 블록 단위로 복호화하는 방법에 있어서, 부호화 데이터에 포함되는 움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 추출하고 복호화하여 평균 차분 움직임 벡터와 차차분 움직임 벡터들을 복원하는 단계; 복원되는 차차분 움직임 벡터들과 복원되는 평균 차분 움직임 벡터를 더하여 블록의 차분 움직임 벡터들을 복원하는 단계; 블록의 예측 움직임 벡터들과 복원되는 차분 움직임 벡터들을 이용하여 블록의 움직임 벡터들을 복원하는 단계; 복원되는 움직임 벡터들을 이용하여 블록을 움직임 보상하여 예측 블록을 생성하는 단계; 부호화 데이터로부터 부호화된 잔여 데이터를 추출하고 복호화하여 잔여 블록을 복원하는 단계; 및 복원되는 잔여 블록과 예측 블록을 가산하여 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 영상을 블록 단위로 복호화하는 장치에 있어서, 부호화 데이터로부터 움직임 벡터 부호화 데이터 및 부호화된 잔여 데이터를 추출하는 정보 추출기; 움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 추출하고 복호화하여 평균 차분 움직임 벡터와 차차분 움직임 벡터들을 복원하고, 복원되는 차차분 움직임 벡터들과 복원되는 평균 차분 움직임 벡터를 더하여 블록의 차분 움직임 벡터들을 복원하며, 블록의 예측 움직임 벡터들과 복원되는 차분 움직임 벡터들을 이용하여 블록의 움직임 벡터들을 복원하는 움직임 벡터 복호화기; 복원되는 움직임 벡터들을 이용하여 블록을 움직임 보상하여 예측 블록을 생성하는 움직임 보상기; 부호화된 잔여 데이터를 복호화하여 잔여 블록을 복원하는 복호화기; 및 복원되는 잔여 블록과 예측 블록을 가산하여 블록을 복원하는 가산기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 움직임 벡터를 예측 부호화할 때, 차분 움직임 벡터의 성분의 값을 감소시킬 수 있으므로, 움직임 벡터가 부호화된 데이터의 비트량을 감소시킬 수 있으며, 그에 따라 동영상의 부호화 효율을 향상시킬 수 있다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상 세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus), 움직임 벡터 부호화 장치(Motion Vector Encoding Apparatus) 또는 움직임 벡터 복호화 장치(Motion Vector Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 움직임 벡터를 부호화하거나 복호화하거나 그를 이용하여 영상을 부호화하거나 복호화하하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.

영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.

영상 부호화 장치와 영상 복호화 장치에는 움직임 추정 및 움직임 보상을 이용한 인터 예측뿐만 아니라 인트라 예측을 수행하기 위한 기능이 구비될 수 있지만, 본 발명의 실시예와 직접적인 관계가 없기 때문에, 혼란을 방지하기 위해 상세한 설명을 생략한다.

통상적으로 동영상은 일련의 픽처(Picture)로 구성되어 있으며, 각 픽처들은 블록(Block)으로 분할된다. 각 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류된다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조 되는 픽처를 참조 픽처(Reference Picture)라고 한다.

도 1은 H.264/AVC 표준에 따라 움직임 벡터를 부호화하는 과정을 설명하기 위한 예시도이다.

도 1에서, 블록 D는 움직임 벡터를 부호화하고자 하는 현재 블록이고, 블록 A, 블록 B 및 블록 C는 블록 D에 대한 주변 블록을 나타낸다.

,

,

및

는 각각 블록 A, 블록 B, 블록 C, 블록 D가 갖는 움직임 벡터이고, 각각은 수평성분 (

,

,

및

)과 수직성분 (

,

,

및

)을 가지는 것으로 정의한다. 그리고 현재 블록의 움직임 벡터(이하 '현재 움직임 벡터'라 칭함)

는 (2,0)이고, 주변 블록의 움직임 벡터인

,

및

는 각각 (2,0), (2,1) 및 (2,2)인 것으로 가정한다. 또한, 전술한 현재 블록의 움직임 벡터에 대한 예측값(이하 '예측 움직임 벡터'라 칭함, PMV: Predicted Motion Vector)

를 수학식 1과 같이 계산하며, 예측 움직임 벡터

는 역시 각각은 수평성분(

)과 수직성분(

)을 가지는 것으로 정의한다.

수학식 1을 참조하면, 현재 움직임 벡터에 대한 예측 움직임 벡터는 주변 블록(블록 A, 블록 B, 블록 C)의 움직임 벡터의 중간값을 계산하는 Median(□)에 의 해 계산됨을 확인할 수 있다. 수학식 1을 이용하여 현재 움직임 벡터

의 예측 움직임 벡터

가 구해지면, 수학식 2를 사용하여 부호화해야 할 현재 움직임 벡터에서 예측 움직임 벡터를 차분한 차분 움직임 벡터

를 구할 수 있으며, 이 차분 움직임 벡터는 엔트로피 부호화 등의 미리 정의된 소정의 방법에 의해 부호화되어 저장(또는 전송)된다.

도 1에 예시되어 있는 것처럼, 현재 움직임 벡터

가 (2,0)인 경우, 수학식 1에 의한 중간값을 사용한 예측 움직임 벡터는 (2,1)이 되며, 수학식 2에 의해 차분 움직임 벡터

는 (0, 1)이 된다.

도 2는 엔트로피 부호화를 위한 심볼당 비트수를 나타낸 예시도이다.

움직임 벡터의 예측 부호화에서는 움직임 벡터의 효율적인 압축을 위해 차분 움직임 벡터를 가변 길이 부호화 테이블(Variable Length Coding Table)을 이용하여 부호화한다. 예를 들어, 도 1을 통해 전술한 차분 움직임 벡터

를 도 2에 도시한 바와 같은 가변 길이 부호화 테이블을 이용하여 부호화하면, 모두 4 비트(수평 성분에 대해 1 비트, 수직 성분에 대해 3 비트)가 필요하다. 반면,

인 (2,0)을 예측 움직임 벡터로 사용하면 차분 움직임 벡터

가 (0,0)이 되어, 이를 부호화하는데 소요되는 비트량은 모두 2 비트(수평 성분에 대해 1 비트, 수직 성분에 대해 1 비트)가 된다. 따라서, 중간값을 사용한 예측 움직임 벡터를 사용하는 방법에 비해 2 비트를 감소시킬 수 있다.

한편, 가변 길이 부호화 테이블을 이용하여 차분 움직임 벡터를 부호화하는 경우, 현재 움직임 벡터를 구성하는 각 성분(Component)인 x축 성분과 y축 성분이 '0'에 가까울수록 부호화되는 데이터는 적은 비트수로 표현된다. 또한, 매크로블록과 같은 하나의 블록은 여러 서브블록으로 구성될 수 있고 각 서브블록마다 움직임 벡터를 가질 수 있으므로, 하나의 블록은 복수 개의 움직임 벡터를 가질 수 있다. 따라서, 하나의 블록이 J(단, J는 정수임) 개의 움직임 벡터를 가지는 경우, 부호화해야 할 움직임 벡터의 성분은 J×2 개가 된다. 예를 들어, H.264에서는 하나의 16x16 매크로블록은 4x4 서브블록으로 구성될 수 있고 각 서브블록마다 하나씩의 움직임 벡터를 가질 수 있으므로, 하나의 매크로블록은 16 개의 움직임 벡터를 가질 수 있다. 이 경우, 하나의 매크로블록에 대해 움직임 벡터를 부호화해야 하는 성분은 32 개가 된다.

이와 같이, 하나의 매크로블록이 여러 움직임을 가지는 영역으로 구성되고 그로 인해 부호화해야 할 차분 움직임 벡터의 성분의 개수도 많아지므로, 차분 움직임 벡터의 절대값이 '0'에 근접하지 못할 가능성이 많아져서 움직임 벡터를 부호화하는 데 필요한 비트수가 증가하는 문제점이 있다.

이를 위해, 본 발명의 일 실시예에서는 부호화해야 할 움직임 벡터들의 개수가 기준 개수보다 큰 블록의 경우, 블록 내의 모든 차분 움직임 벡터들의 성분의 평균값을 추가로 부호화하고 차분 움직임 벡터들에서 평균값을 뺀 차차분 움직임 벡터들을 부호화함으로써, 차분 움직임 벡터들을 부호화하는 경우보다 움직임 벡터를 부호화하는 데 소요되는 비트량을 줄임으로써 압축 효율을 향상시킨다.

도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 부호화 장치(300)는 움직임 벡터 부호화기(Motion Vector Encoder, 310), 움직임 보상기(Motion Compensator, 320), 감산기(Subtracter, 330), 잔여 데이터 부호화기(Residual Data Encoder, 340), 엔트로피 부호화기(Entropy Encoder, 350), 부호화 데이터 생성기(Encoding Data Generator, 360), 잔여 데이터 복호화기(Residual Data Decoder, 370), 가산기(Adder, 380), 참조 픽처 메모리(Reference Picture Memory, 390) 및 제어기(Controller, 392)를 포함하여 구성될 수 있다.

움직임 벡터 부호화기(310)는 블록의 움직임 벡터들과 예측 움직임 벡터들을 이용하여 결정되는 차분 움직임 벡터들의 평균 차분 움직임 벡터(Average Differential Motion Vector)를 결정하고, 차분 움직임 벡터들에서 평균 차분 움직임 벡터를 감산하여 결정되는 차차분 움직임 벡터들(Double Differential Motion Vector)을 부호화하여 블록에 대한 움직임 벡터 부호화 데이터(Motion Vector Encoding Data)를 생성한다.

이를 위해, 움직임 벡터 부호화기(310)는 제어기(392)로부터 블록에 대한 블록 모드(Block Mode)를 입력받아, 참조 픽처 메모리(390)에 저장된 적어도 하나 이 상의 참조 픽처를 참조하여, 입력된 블록 모드에 대응하는 단위(예를 들어, 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4 화소 단위)로 현재 부호화하고자 하는 블록(이하 '현재 블록'이라 칭함)의 움직임 벡터를 추정한다.

여기서, 블록 모드란 현재 블록의 부호화 모드를 나타내는 것으로서, 예를 들어, 인터 16x16, 인터 8x4 등과 같이 인터 예측 모드인지 여부와 인터 예측 모드에 대한 블록 크기를 나타내는 정보일 수 있다. 또한, 블록이란 영상을 부호화하기 위해 편의상 구분하는 화소 단위로서 4x4 화소 단위, 4x8 화소 단위 등 직사각형 또는 정사각형 모양을 가지는 화소 단위일 수 있다. 다만, 영상은 항상 블록 단위로 부호화될 수 있는 것은 아니며, 정형화되거나 정형화되지 않은 영역 단위로 부호화될 수 있다. 이하에서는 설명의 편의를 위해 영상이 블록 단위로 부호화되는 것으로 설명한다.

이때, 움직임 벡터 부호화기(310)는 제어기(392)로부터 참조 픽처를 지시하는 정보를 제공받고, 제공된 정보에 의해 식별되는 참조 픽처를 참조하여 현재 블록의 움직임 벡터들을 추정할 수 있다. 또한, 이에 대한 대안으로서, 움직임 벡터 부호화기(310)는 제어부(392)로부터 단순히 블록 모드만을 입력받을 수 있다. 블록 모드만을 입력받은 경우, 움직임 벡터 부호화기(310)는 현재 블록을 포함하는 픽처(이하 '현재 픽처'라 칭함)와 시간적으로 주변에 위치하는 사용 가능한 모든 참조 픽처 각각에 대해 차이값을 연산하고, 최소의 차이값을 갖는 참조 픽처를 기준으로 현재 블록의 움직임 벡터들을 추정할 수 있다.

움직임 보상기(320)는 움직임 벡터 부호화기(310)에 의해 결정되는 현재 블 록의 움직임 벡터들을 이용하여 현재 블록을 움직임 보상하여 예측 블록(Predicted Block)을 생성한다. 이를 위해, 움직임 보상기(320)는 움직임 벡터 부호화기(310)로부터 현재 블록의 움직임 벡터들과 참조 픽처에 대한 인덱스 정보를 전달받아, 전달된 움직임 벡터들을 이용하여 참조 픽처에 대해 움직임 보상을 수행함으로써 예측 블록을 생성한다.

감산기(330)는 현재 블록과 예측 블록을 감산하여 잔여 블록(Residual Block)을 생성한다. 즉, 감산기(330)는 현재 블록의 원래의 화소값에서 예측 블록의 예측 화소값을 뺀 잔여 신호(Residual Signal)를 가지는 잔여 블록을 생성한다.

잔여 데이터 부호화기(340)는 잔여 블록을 변환(Transform) 및 양자화(Quantization)한다. 즉, 잔여 데이터 부호화기(340)는 잔여 블록의 잔여 신호를 주파수 영역으로 변환하여 잔여 블록의 각 잔여 신호를 변환 계수(Transform Coefficient)로 변환하고, 변환 계수를 갖는 잔여 블록을 양자화하여 양자화된 변환 계수를 가지는 잔여 블록을 생성한다. 여기서, 잔여 데이터 부호화기(340)는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반 변환(DCT based Transform: Discrete Cosine Transform Based Transform) 등과 같은 공간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔여 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔여 신호가 변환 계수가 된다. 또한, 잔여 데이터 부호화부(340)는 잔여 블록의 변환 계수를 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함), 양자화 가중치 매트릭스(Quantization Weighted Matrix) 또는 이를 개량한 양 자화 기법 등을 사용하여 양자화할 수 있다.

한편, 이상에서는 잔여 데이터 부호화기(340)가 잔여 블록을 변환하고 양자화하는 것으로 설명했지만, 잔여 블록을 변환하지 않거나 양자화하지 않을 수 있다. 즉, 잔여 데이터 부호화기(340)는 잔여 블록을 변환 계수로 변환하지 않고 양자화 과정만을 수행하거나 잔여 블록을 변환한 후 양자화하지 않을 수 있을 뿐만 아니라, 심지어는 변환과 양자화 과정을 모두 수행하지 않을 수 있다. 변환과 양자화 과정을 수행하지 않는 경우에는 본 발명의 일 실시예에 따른 영상 부호화 장치(300)에서 잔여 데이터 부호화기(340)는 생략될 수 있을 것이다.

엔트로피 부호화기(350)는 잔여 데이터 부호화기(340)로부터 출력되는 잔여 블록을 엔트로피 부호화하여 부호화된 잔여 데이터를 출력한다. 즉, 엔트로피 부호화기(350)는 잔여 블록의 양자화된 변환 계수, 변환 계수 또는 잔여 신호를 지그재그 스캔과 같은 다양한 스캔 방식에 따라 스캔하여 양자화된 변환 계수열, 변환 계수열 또는 잔여 신호열을 생성하고 엔트로피 부호화(Entropy Coding) 기법 등 다양한 부호화 기법을 이용하여 부호화한다. 한편, 이러한 잔여 데이터 부호화기(340)와 엔트로피 부호화기(350)의 기능이 통합되어 하나의 부호화기로서 구현될 수도 있다. 즉, 하나의 부호화기로 구현되는 경우, 부호화기는 잔여 블록을 부호화하여 부호화된 잔여 데이터를 생성한다.

부호화 데이터 생성기(360)는 부호화된 잔여 데이터 및 움직임 벡터 부호화 데이터를 포함하는 부호화 데이터를 생성하고 출력한다. 즉, 부호화 데이터 생성기(360)는 부호화기 또는 엔트로피 부호화기(350)로부터 출력되는 부호화된 잔여 데이터와 움직임 벡터 부호화기(310)로부터 출력되는 움직임 벡터 부호화 데이터를 포함하는 부호화 데이터를 생성하여 출력한다. 또한, 부호화 데이터 생성기(360)는 제어기(3920)로부터 출력되거나 기 설정된 현재 블록에 대한 블록 모드에 대한 정보를 부호화 데이터에 추가로 포함시켜 출력할 수 있다. 이러한 부호화 데이터 생성기(360)는 멀티플렉서(MUX: Multiplexer) 등과 같은 다중화기로 구현될 수 있다.

잔여 데이터 복호화기(370)는 잔여 데이터 부호화기(340)에 의해 양자화된 잔여 블록을 역 양자화(Inverse Quantization)하고 역 변환(Inverse Transform)한다. 즉, 복호화기(370)는 앙자화된 잔여 블록의 양자화된 변환 계수들을 역 양자화하여 변환 계수를 갖는 잔여 블록을 생성하고, 역 양자화된 잔여 블록을 역 변환하여 잔여 신호를 가지는 잔여 블록 즉, 복원된 잔여 블록을 생성한다. 여기서, 잔여 데이터 복호화기(370)는 잔여 데이터 부호화기(340)에서 이용한 변환 방식과 양자화 방식을 역으로 사용하여 역 변환 및 역 양자화할 수 있다. 또한, 잔여 데이터 부호화기(340)에서 변환만을 수행하고 양자화를 수행하지 않은 경우, 잔여 데이터 복호화기(370)는 역 변환만을 수행하고 역 양자화를 수행하지 않으며, 잔여 데이터 부호화기(340)에서 양자화만을 수행하고 변환을 수행하지 않은 경우에는 역 양자화만을 수행하고 역 변환을 수행하지 않을 수 있다. 만약, 잔여 데이터 부호화기(340)에서 변환 및 양자화를 모두 수행하지 않거나 잔여 데이터 부호화기(340)가 영상 부호화 장치(300)에 구성되지 않고 생략된 경우, 잔여 데이터 복호화기(370)도 역 변환 및 역 양자화를 모두 수행하지 않거나 영상 부호화 장치(300)에 구성되지 않고 생략될 수 있다.

가산기(380)는 움직임 보상기(320)에 의해 움직임 보상되어 출력되는 예측 블록과 잔여 데이터 복호화기(370)에 의해 복원된 잔여 블록을 가산하여 현재 블록을 복원한다. 참조 픽처 메모리(390)는 가산기(380)로부터 출력되는 복원된 현재 블록을 픽처 단위로 참조 픽처로서 저장하여 예측기의 움직임 벡터 부호화기(310) 또는 움직임 벡터 보상기(320)가 현재 블록의 다음 블록이나 향후 다른 블록을 부호화하기 위해 움직임을 추정 또는 보상할 때 참조 픽처로서 사용할 수 있도록 한다.

제어기(392)는 영상에서 현재 부호화하고자 하는 현재 블록에 선택될 수 있는 블록 모드들에 대해 소정의 최적 기준(예를 들어, 율-왜곡 최적화 기준)을 적용하여 현재 블록에 대한 블록 모드(예를 들어, 최소의 율-왜곡 비용을 갖는 블록 모드)를 결정한다. 영상 부호화 장치(300)에 블록 모드가 기 설정되어 있다면, 제어기(392)는 반드시 영상 부호화 장치(300)에 포함되지 않고 선택적으로 생략될 수 있지만, 생략되지 않고 영상 부호화 장치(300) 내의 각 구성 요소의 전반적인 동장을 제어하는 역할을 수행할 수 있다.

도 3에서는 도시하지 않았지만, 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(300)는 H.264/AVC 표준에 기초하여, 인트라 예측(Intra Prediction)을 위한 인트라 예측부, 복원된 현재 블록을 디블로킹 필터링(Deblocking Filtering)하는 디블록킹 필터부 등을 추가로 포함할 수 있다. 또한, 잔여 데이터 부호화기(340) 및 잔여 데이터 복호화기(370)는 H.264/AVC 표준에 기초하여, 특정 픽처(예를 들어, 인트라 픽처)에 대한 변환 및 양자화(또는 역 변환 및 역 양자화) 연 산을 추가로 수행할 수도 있다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.

도 4는 본 발명의 일 실시예에 따른 움직임 벡터 부호화 장치를 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 움직임 벡터 부호화 장치는 도 3을 통해 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(300)에서는 움직임 벡터 부호화기(310)로 구현될 수 있으므로, 이하에서는 설명의 편의를 위해, 움직임 벡터 부호화기(310)라 칭한다.

움직임 벡터 부호화기(310)는 움직임 벡터 결정기(Motion Vector Determiner, 410), 차차분 움직임 벡터 부호화기(Double Differential Motion Vector Encoder, 420), 차분 움직임 벡터 부호화기(Differential Motion Vector Encoder, 430) 및 움직임 벡터 부호화 데이터 생성기(Motion Vector Encoding Data Generator, 440)를 포함하여 구성될 수 있다.

움직임 벡터 결정기(410)는 현재 블록의 움직임 벡터들, 현재 블록의 예측 움직임 벡터들 및 현재 블록의 차분 움직임 벡터들을 결정한다. 즉, 움직임 벡터 결정기(410)는 현재 블록에 대해 움직임 추정 과정을 수행하여 현재 블록 내의 각 서브블록들에 대한 움직임 벡터들을 결정하고, 각 움직임 벡터들을 예측하여 예측 움직임 벡터들을 결정하며, 움직임 벡터들로부터 예측 움직임 벡터들을 뺀 차분 움직임 벡터들을 결정한다.

여기서, 현재 블록은 현재 부호화하고자 하는 블록을 말하며, 블록은 매크로블록 또는 복수 개의 매크로블록이 결합된 블록이 될 수도 있다. 또한, 현재 블록에 대해 결정되는 움직임 벡터들은 블록의 각 서브블록별로 복수 개의 참조 픽처에 대한 복수 개의 움직임 벡터를 포함할 수 있다. 즉, 현재 블록을 구성하는 각 서브블록에 대해 하나의 움직임 벡터만이 결정되는 것이 아니라 각 서브블록에 대해 복수 개의 움직임 벡터가 결정될 수 있다. 예를 들어, 현재 블록이 양방향 예측 부호화되는 B 타입의 매크로블록인 경우, 매크로블록의 각 서브블록은 두 개의 참조 픽처에 대한 두 개의 움직임 벡터들을 가질 수 있다. 따라서, 후술할 현재 블록의 차분 움직임 벡터들과 차차분 움직임 벡터들도 각 서브블록별로 복수 개가 결정될 수 있다.

차차분 움직임 벡터 부호화기(420)는 현재 블록의 차분 움직임 벡터들의 평균 차분 움직임 벡터를 결정하고, 차분 움직임 벡터들에서 평균 차분 움직임 벡터를 감산하여 결정되는 차차분 움직임 벡터들과 평균 차분 움직임 벡터를 부호화하여 차차분 부호화 데이터를 생성하며, 차차분 부호화 데이터의 비트량을 계산한다. 여기서, 평균 차분 움직임 벡터의 각 성분은 차분 움직임 벡터들의 각 성분을 더한 값을 움직임 벡터들의 개수의 두배로 나눈 값으로 결정되거나 차분 움직임 벡터들을 각 성분별로 더하고 각 성분별로 움직임 벡터들의 개수로 나눈 값으로 결정될 수 있다.

매크로블록의 각 서블블록별 차분 움직임 벡터들을 예시적으로 나타낸 도 5를 참조하면, 매크로블록이 제 1 서브블록 내지 제 4 서브블록을 포함하고, 서브블록들의 차분 움직임 벡터들이 각각 (x1,y1), (x2,y2), (x3,y3), (x4,y4)라고 가정할 때, 매크로블록 내의 움직임 벡터들의 개수 J는 4가 되며, 평균 차분 움직임 벡터 (xa,ya)의 각 성분은 수학식 3 또는 수학식 4와 같이 결정될 수 있다.

xa = ya = (x1+x2+x3+x4+y1+y2+y3+y4)/4×2

즉, 수학식 3에 따르면, 평균 차분 움직임 벡터의 각 성분은 차분 움직임 벡터들의 각 성분을 모두 더한 값을 움직임 벡터들의 개수의 두배로 나눈 값으로 동일하게 결정될 수 있다.

xa = (x1+x2+x3+x4)/4, ya = (y1+y2+y3+y4)/4

즉, 수학식 4에 따르면, 평균 차분 움직임 벡터의 각 성분은 차분 움직임 벡터들을 각 성분별로 더하고 각 성분별로 움직임 벡터들의 개수로 나눈 값으로 각각 결정될 수 있다.

수학식 4보다는 수학식 3에 의해 결정되는 평균 차분 움직임 벡터를 사용하는 것이 더욱 바람직할 수 있다. 수학식 3에 의해 결정되는 평균 차분 움직임 벡터의 각 성분은 x축 성분과 y축 성분을 모두 평균한 것이기 때문에, 차차분 움직임 벡터를 계산했을 때 수학식 4에 의해 결정된 평균 차분 움직임 벡터를 이용했을 때보다 더욱 '0'에 가까울 수 있기 때문이다. 다만, 수학식 3과 수학식 4는 평균 차 분 움직임 벡터를 결정하는 계산 방식을 예시적으로 설명한 것일 뿐, 평균 차분 움직임 벡터는 수학식 3 또는 수학식 4에 의한 계산 방식뿐만 아니라 다른 다양한 벡터의 평균 계산 방식에 의해 계산될 수 있다.

차분 움직임 벡터 부호화기(430)는 현재 블록의 차분 움직임 벡터들을 부호화하여 차분 부호화 데이터를 생성하며, 차분 부호화 데이터의 비트량을 계산한다.

움직임 벡터 부호화 데이터 생성기(440)는 현재 블록의 움직임 벡터들의 개수, 차차분 부호화 데이터의 비트량 및 차분 부호화 데이터의 비트량 중 적어도 하나 이상을 기초로 차차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성한다.

이를 위해, 움직임 벡터 부호화 데이터 생성기(440)는 현재 블록의 움직임 벡터들의 개수가 기준 개수보다 크고 차차분 부호화 데이터의 비트량이 차분 부호화 데이터의 비트량보다 작은 경우, 차차분 움직임 벡터 부호화기(420)에 의해 부호화되어 생성되는 차차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성할 수 있다. 이때, 움직임 벡터 부호화 데이터 생성기(440)는 움직임 벡터들의 개수가 기준 개수보다 큰 경우에는 차차분 플래그를 생성하여 움직임 벡터 부호화 데이터에 포함시킬 수 있다.

또한, 움직임 벡터 부호화 데이터 생성기(440)는 현재 블록의 움직임 벡터들의 개수가 기준 개수보다 작거나 같은 경우, 또는 현재 블록의 움직임 벡터들의 개수가 기준 개수보다 크지만 차차분 부호화 데이터의 비트량이 차분 부호화 데이터의 비트량보다 크거나 같은 경우, 차분 움직임 벡터 부호화기(430)에 의해 부호화 되어 생성되는 차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성할 수 있다. 이때, 움직임 벡터 부호화 데이터 생성기(440)는 움직임 벡터들의 개수가 기준 개수보다 큰 경우에는 차차분 플래그를 생성하여 움직임 벡터 부호화 데이터에 포함시킬 수 있다.

여기서, 차차분 플래그는 차차분 움직임 벡터의 부호화 여부를 나타내는 플래그로서, 적용 식별자 또는 미적용 식별자로 설정될 수 있다. 적용 식별자는 차차분 부호화 데이터의 비트량이 차분 부호화 데이터의 비트량보다 작아서 차차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성하였음을 나타내는 것이며, 미적용 식별자는 차차분 부호화 데이터의 비트량이 차분 부호화 데이터의 비트량보다 크거나 같아서 차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성하였음을 나타내는 것이다.

이하에서는 이러한 움직임 벡터 부호화기(310)를 이용하여 움직임 벡터를 부호화하는 방법에 대해 설명한다.

움직임 벡터 부호화 방법에 따르면, 움직임 벡터 부호화기(310)는 현재 블록의 움직임 벡터들, 현재 블록의 예측 움직임 벡터들 및 현재 블록의 차분 움직임 벡터들을 결정하고, 차분 움직임 벡터들의 평균 차분 움직임 벡터를 결정하며, 차분 움직임 벡터들에서 평균 차분 움직임 벡터를 감산하여 결정되는 차차분 움직임 벡터들과 평균 차분 움직임 벡터를 부호화하여 움직임 벡터 부호화 데이터를 생성한다.

여기서, 움직임 벡터 부호화기(310)는 현재 블록의 움직임 벡터들의 개수를 결정하고, 움직임 벡터들의 개수가 기준 개수보다 큰 경우에만 평균 차분 움직임 벡터를 결정할 수 있다. 또한, 평균 차분 움직임 벡터의 각 성분은 차분 움직임 벡터들의 각 성분을 더한 값을 움직임 벡터들의 개수의 두배로 나눈 값으로 결정할 수 있다.

또한, 움직임 벡터 부호화기(310)는 차차분 움직임 벡터가 부호화된 차차분 부호화 데이터의 비트량이 차분 움직임 벡터가 부호화된 차분 부호화 데이터의 비트량보다 작은 경우, 차차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성할 수 있다. 이때, 움직임 벡터 부호화 데이터는 차차분 움직임 벡터를 부호화함을 나타내는 적용 식별자로 설정되는 차차분 플래그를 추가로 포함할 수 있다.

또한, 움직임 벡터 부호화기(310)는 차차분 움직임 벡터가 부호화된 차차분 부호화 데이터의 비트량이 차분 움직임 벡터가 부호화된 차분 부호화 데이터의 비트량보다 크거나 같은 경우, 차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성할 수 있다. 이때, 움직임 벡터 부호화 데이터는 차분 움직임 벡터를 부호화함을 나타내는 미적용 식별자로 설정되는 차차분 플래그를 추가로 포함할 수 있다.

여기서, 현재 블록은 매크로블록 또는 복수 개의 매크로블록이 결합된 블록일 수 있으며, 현재 블록의 움직임 벡터들은 블록의 각 서브블록별로 복수 개의 참조 픽처에 대한 복수 개의 움직임 벡터를 포함할 수 있다.

이하에서는 도 6을 통해 본 발명의 일 실시예에 따른 움직임 벡터 부호화 방 법의 구체적인 구현 예를 설명한다.

도 6은 본 발명의 일 실시예에 따른 움직임 벡터 부호화 방법의 구체적인 구현 예를 설명하기 위한 순서도이다.

움직임 벡터 부호화기(310)는 부호화하고자 하는 블록 즉, 현재 블록의 움직임 벡터들을 추정하여 결정하고, 추정된 움직임 벡터들을 예측하여 예측 움직임 벡터들을 결정하며, 움직임 벡터들에서 예측 움직임 벡터들을 감산하여 차분 움직임 벡터들을 결정한다(S610).

움직임 벡터 부호화기(310)는 현재 블록의 움직임 벡터들의 개수가 기준 개수보다 큰지 여부를 판단한다(S620). 여기서, 기준 개수란 현재 블록의 움직임 벡터들을 부호화하기 위해 차차분 움직임 벡터들을 부호화할 것인지 여부를 결정하기 위한 기준이 되는 현재 블록의 움직임 벡터들의 개수로서, 사용자로부터 입력되거나 다른 장치로부터 전달되거나 기타 다른 정보를 이용하여 결정될 수 있으며, 2 개 이상의 정수로 설정될 수 있다.

움직임 벡터 부호화기(310)는 단계 S620의 판단 결과, 현재 블록의 움직임 벡터들의 개수가 기준 개수보다 큰 경우, 현재 블록의 차분 움직임 벡터들의 평균 차분 움직임 벡터를 결정한다(S630). 예를 들어, 움직임 벡터 부호화기(310)는 현재 블록의 움직임 벡터의 개수가 4 개이고 기준 개수가 3 개인 경우, 단계 S610에서 결정된 현재 블록의 차분 움직임 벡터들의 평균 차분 움직임 벡터를 결정한다. 여기서, 평균 차분 움직임 벡터는 수학식 3 또는 수학식 4 등과 같은 다양한 벡터의 평균 계산 방식을 이용하여 결정될 수 있다.

움직임 벡터 부호화기(310)는 차차분 부호화 데이터의 비트량(Bdd)와 차분 부호화 데이터의 비트량(Bd)를 결정한다(S640). 즉, 움직임 벡터 부호화기(310)는 단계 S610에서 결정된 현재 블록의 차분 움직임 벡터들에서 단계 S630에서 결정된 평균 차분 움직임 벡터를 감산하여 차차분 움직임 벡터들을 결정하고, 차차분 움직임 벡터들과 평균 차분 움직임 벡터를 엔트로피 부호화 등 다양한 방식으로 부호화하여 차차분 부호화 데이터를 생성하며, 차차분 부호화 데이터의 비트수를 파악하여 차분 부호화 데이터의 비트량(Bdd)을 결정한다. 또한, 이와 별도로 움직임 벡터 부호화기(310)는 단계 S610에서 결정된 현재 블록의 차분 움직임 벡터들을 부호화하여 차분 부호화 데이터를 생성하며, 차분 부호화 데이터의 비트수를 파악하여 차분 부호화 데이터의 비트량(Bd)을 결정한다.

움직임 벡터 부호화기(310)는 차차분 부호화 데이터의 비트량이 차분 부호화 데이터의 비트량보다 작은지 여부를 판단한다(S650). 움직임 벡터 부호화기(310)는 단계 S650의 판단 결과, 차차분 부호화 데이터의 비트량이 차분 부호화 데이터의 비트량보다 작은 경우, 차차분 플래그를 생성하여 차차분 움직임 벡터를 부호화함을 나타내는 적용 식별자(예를 들어, '1')를 설정하고(S660), 차차분 플래그 및 차차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성한다(S670). 즉, 움직임 벡터 부호화기(310)는 움직임 벡터 복호화 장치 또는 영상 복호화 장치에서 움직임 벡터 부호화 데이터에 포함되는 정보가 차차분 움직임 벡터를 부호화한 정보들임을 식별할 수 있도록, 적용 식별자가 설정되는 차차분 플래그를 생성하고, 단계 S640에서 이미 부호화된 차차분 부호화 데이터와 차차분 플래그를 포함하는 움직임 벡터 부호화 데이터를 생성한다.

움직임 벡터 부호화기(310)는 단계 S650의 판단 결과, 차차분 부호화 데이터의 비트량이 차분 부호화 데이터의 비트량보다 크거나 같은 경우, 차차분 플래그를 생성하여 차분 움직임 벡터를 부호화함을 나타내는 미적용 식별자(예를 들어, '0')를 설정하고(S680), 차차분 플래그 및 차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성한다(S690). 즉, 움직임 벡터 부호화기(310)는 움직임 벡터 복호화 장치 또는 영상 복호화 장치에서 움직임 벡터 부호화 데이터에 포함되는 정보가 차분 움직임 벡터를 부호화한 정보들임을 식별할 수 있도록, 미적용 식별자가 설정되는 차차분 플래그를 생성하고, 단계 S640에서 이미 부호화된 차분 부호화 데이터와 차차분 플래그를 포함하는 움직임 벡터 부호화 데이터를 생성한다.

한편, 움직임 벡터 부호화기(310)는 단계 S620의 판단 결과, 현재 블록의 움직임 벡터들의 개수가 기준 개수보다 작거나 같은 경우, 현재 블록의 차분 움직임 벡터들을 부호화하여 차분 부호화 데이터를 생성하고, 차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성한다(S692).

단계 S620에서, 움직임 벡터 부호화기(310)가 움직임 벡터들의 개수가 기준 개수보다 큰지 여부를 판단하는 것은 현재 블록의 움직임 벡터들의 개수가 작은 경우 현재 블록은 움직임이 유사한 영역들로 구성될 가능성이 크므로 통상적인 방식과 같이, 차분 움직임 벡터를 부호화하는 것이 더욱 효율적일 수 있기 때문이다. 또한, 움직임 벡터들의 개수가 기준 개수보다 큰 경우에는 현재 블록은 움직임이 상이한 영역들로 구성될 가능성이 크므로 통상적인 방식보다는 본 발명의 일 실시 예와 같이 차차분 움직임 벡터를 부호화하는 것이 더욱 효율적일 수 있기 때문이다.

또한, 단계 S650에서, 움직임 벡터 부호화기(310)가 차차분 부호화 데이터의 비트량이 차분 부호화 데이터의 비트량보다 작은지 여부를 판단하는 것은 차차분 부호화 데이터의 비트량이 차분 부호화 데이터의 비트량보다 크거나 같은 경우, 차차분 부호화 데이터를 전송하면 비트량이 더 증가하여 부호화 효율이 더 저하될 수 있기 때문에 통상적인 방식과 같이, 차분 움직임 벡터를 부호화하는 것이 더욱 효율적일 수 있기 때문이다. 즉, 움직임 벡터 부호화기(310)는 현재 블록의 움직임 벡터들의 개수가 기준 개수보다 커서 현재 블록이 움직임 상이한 영역들로 구성될 가능성이 커진다고 해서 무조건 차차분 움직임 벡터들을 부호화하는 것이 아니라, 차차분 부호화 데이터의 비트량과 차분 부호화 데이터의 비트량을 비교하여 통상적인 차분 움직임 벡터 부호화 방식과 본 발명의 일 실시예에 따른 차차분 움직임 벡터 부호화 방식을 선택적으로 적용할 수 있다. 현재 블록의 움직임 벡터들의 개수가 기준 개수보다 커서 현재 블록이 움직임 상이한 영역들로 구성될 가능성이 크다고 해도, 차차분 부호화 데이터의 비트량이 차분 부호화 데이터의 비트량보다 크거나 같은 경우에는 통상적인 방식과 같이 차분 움직임 벡터를 부호화하는 것이 추가적인 연산이 불필요할 뿐만 아니라 비트량이 절약되어 더욱 효율적이기 때문이다.

도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 영상 복호화 장치(700)는 정 보 추출기(Information Extractor, 710), 엔트로피 복호화기(Entropy Decoder, 720), 잔여 데이터 복호화기(Residual Data Decoder, 730), 움직임 벡터 복호화기(Motion Vector Decoder, 740), 움직임 보상기(Motion Compensator, 750), 가산기(Adder, 760) 및 참조 픽처 메모리(Reference Picture Memory, 770)를 포함하여 구성될 수 있다.

정보 추출기(710)는 부호화 데이터로부터 움직임 벡터 부호화 데이터 및 부호화된 잔여 데이터를 추출한다. 이를 위해, 정보 추출기(710)는 부호화 데이터를 입력받아 블록 모드에 대한 정보(예를 들면, 식별자)를 추출하고 추출된 블록 모드에 대한 정보를 출력한다. 또한, 정보 추출기(710)는 블록 모드가 움직임 벡터 생략 모드인 경우(예를 들면, 블록 모드가 인트라 16x16 모드, 인트라 4x4 모드 등인 경우), 부호화 데이터로부터 움직임 벡터 부호화 데이터를 추출하지 않고 부호화된 잔여 데이터를 추출하여 출력할 수 있다. 반면, 블록 모드가 움직임 벡터 생략 모드가 아닌 경우(예를 들면, 블록 모드가 인터 16x16 모드, 인터 4x4 모드, P8x8 모드 등인 경우), 정보 추출기(710)는 부호화 데이터로부터 움직임 벡터 부호화 데이터와 부호화된 잔여 데이터를 추출하여 출력한다. 이때, 정보 추출기(710)는 부호화 데이터로부터 참조 픽처에 대한 인덱스 정보를 추가로 추출하여 출력할 수 있다.

엔트로피 복호화기(720)는 정보 추출기(710)로부터 출력되는 부호화된 잔여 데이터를 복호화한다. 즉, 엔트로피 복호화기(720)는 엔트로피 부호화 기법 등을 이용하여 부호화된 잔여 데이터의 이진 데이터를 복호화하여 양자화된 변환 계수열 을 생성하고 역 지그재그 스캔 등 다양한 스캔 방식에 의해 역 스캔하여 양자화 변환 계수를 가지는 잔여 블록을 생성한다. 만약, 부호화된 잔여 데이터의 이진 데이터가 변환 계수가 부호화된 이진 데이터라면, 엔트로피 복호화기(720)에 의해 복호화된 잔여 블록은 변환 계수를 갖는 잔여 블록이 될 것이고, 부호화된 잔여 데이터의 이진 데이터가 변환되지 않고 양자화되지 않은 잔여 신호가 부호화된 이진 데이터라면, 엔트로피 복호화부(720)에 의해 복호화된 잔여 블록은 잔여 신호를 갖는 잔여 블록이 될 것이다.

잔여 데이터 복호화기(730)는 엔트로피 복호화기(720)에 의해 복호화된 잔여 블록을 역 양자화하고 역 변환하여 잔여 블록을 복원한다. 즉, 잔여 데이터 복호화기(730)는 엔트로피 복호화기(720)로부터 출력되는 복호화된 잔여 블록의 양자화 변환 계수를 역 양자화하고 역 양자화된 변환 계수를 역 변환하여 잔여 신호를 갖는 잔여 블록을 복원한다. 만약, 잔여 데이터 복호화기(730)는 엔트로피 복호화기(720)에 의해 복호화된 잔여 블록이 양자화된 변환 계수를 가진다면, 역 양자화와 역 변환을 모두 수행하지만, 엔트로피 복호화기(720)에 의해 복호화된 잔여 블록이 변환 계수를 갖는다면, 역 양자화는 수행하지 않고 역 변환만을 수행할 수 있으며, 엔트로피 복호화기(720)에 의해 복호화된 잔여 블록이 잔여 신호만을 가진다면, 역 양자화와 역 변환을 모두 수행하지 않거나, 영상 복호화 장치(700)에서 잔여 데이터 복호화기(730)는 구성되지 않고 생략될 수도 있을 것이다. 한편, 도 7에서는 엔트로피 복호화기(720)와 잔여 데이터 복호화기(730)가 독립적으로 구성되는 것으로 도시하고 설명했지만, 각 기능을 통합한 하나의 복호화기(미도시)로 구성될 수도 있을 것이다. 따라서, 하나의 복호화기로 구성되는 경우, 복호화기는 부호화된 잔여 데이터를 복호화하여 잔여 블록을 복원한다.

움직임 벡터 복호화기(740)는 움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 추출하고 복호화하여 평균 차분 움직임 벡터와 차차분 움직임 벡터들을 복원하고, 복원되는 차차분 움직임 벡터들과 복원되는 평균 차분 움직임 벡터를 더하여 현재 블록의 차분 움직임 벡터들을 복원하며, 현재 블록의 예측 움직임 벡터들과 복원되는 차분 움직임 벡터들을 이용하여 현재 블록의 움직임 벡터들을 복원한다. 이를 위해, 움직임 벡터 복호화기(740)는 참조 픽처 메모리(770)에 저장된 참조 픽처에서 정보 추출기(710)로부터 출력되는 블록 모드에 대한 정보에 따른 블록 모드에 대응하는 블록 단위로 현재 블록의 예측 움직임 벡터들을 결정하고, 정보 추출기(710)로부터 출력되는 움직임 벡터 부호화 데이터를 복호화하여 현재 블록의 차분 움직임 벡터들을 복원하며, 복원된 차분 움직임 벡터들과 결정된 예측 움직임 벡터들을 이용하여 현재 블록의 움직임 벡터들을 복원한다.

움직임 보상기(750)는 복원되는 현재 블록의 움직임 벡터들을 이용하여 현재 블록을 움직임 보상하여 예측 블록을 생성한다. 즉, 움직임 보상기(750)는 참조 픽처 메모리(770)에 저장된 참조 픽처에서 복원된 현재 블록의 움직임 벡터들에 의해 지시되는 참조 블록을 현재 블록의 예측 블록으로서 예측하여 예측 블록을 생성한다. 여기서, 움직임 보상기(750)는 참조 픽처를 이용하는 데 있어서, 정보 추출기(710)로부터 참조 픽처에 대한 인덱스 정보가 출력되면, 참조 픽처 메모리(770)에 저장된 많은 참조 픽처 중에서 참조 픽처에 대한 인덱스 정보에 의해 식별되는 참조 픽처를 이용할 수 있다.

가산기(760)는 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원한다. 즉, 가산기(760)는 복호화기 또는 잔여 데이터 복호화기(730)로부터 출력되는 복원된 잔여 블록을 움직임 보상기(750)에서 예측되어 출력되는 예측 블록과 가산하여 현재 블록을 복원한다. 이와 같이 복원된 현재 블록은 픽처 단위로 누적되어 복원 영상으로서 출력되거나 참조 픽처로서 참조 픽처 메모리(770)에 저장되며, 다음 블록을 예측하는 데 활용될 수 있다.

도 7에서는 도시하지 않았지만, 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치(700)는 H.264/AVC 표준에 기초하여, 인트라 예측을 위한 인트라 예측기, 복원된 현재 블록을 디블로킹 필터링하는 디블록킹 필터기 등을 추가로 포함할 수 있다. 또한, 잔여 데이터 복호화기(730)는 H.264/AVC 표준에 기초하여, 특정 픽처(예를 들어, 인트라 픽처)에 대한 역 변환 및 역 양자화 연산을 추가로 수행할 수도 있다.

제어기(780)는 정보 추출기(710)에 의해 추출되는 블록 모드에 대한 정보와 참조 픽처에 대한 인덱스 정보와 같은 복호화 과정에서 필요한 각종 정보를 추출하여 움직임 벡터 복호화기(740) 및 움직임 보상기(750)로 전달하고, 영상 복호화 장치(700)의 모든 구성 요소에 대한 전반적인 제어를 수행한다.

도 8은 본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치를 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치는 도 7을 통해 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치(700)에서는 움직임 벡터 복호화부(740)로 구현될 수 있으므로, 이하에서는 설명의 편의를 위해, 움직임 벡터 복호화기(740)라 칭한다.

본 발명의 일 실시예에 따른 움직임 벡터 복호화기(740)는 데이터 추출기(Data Extractor, 810), 차차분 움직임 벡터 복호화기(Double Differential Motion Vector Decoder, 820), 차분 움직임 벡터 복호화기(Differential Motion Vector Decoder, 830) 및 움직임 벡터 복원기(Motion Vector Reconstructor, 840)를 포함하여 구성될 수 있다.

데이터 추출기(810)는 현재 블록의 움직임 벡터들의 개수가 기준 개수보다 큰 경우, 움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 추출한다. 즉, 데이터 추출기(810)는 현재 블록의 움직임 벡터들의 개수를 결정하고, 현재 블록의 움직임 벡터들의 개수가 기 설정된 기준 개수(움직임 벡터 부호화기(310)에서 설정된 기준 개수와 동일하게 설정됨)보다 큰지 여부를 판단하여, 그 경우 정보 추출기(810)로부터 전달되는 움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 추출하고 차차분 움직임 벡터 복호화기(820)로 전달한다.

이때, 데이터 추출기(810)는 움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 추출하기 전에, 차차분 플래그를 추출할 수 있으며, 차차분 플래그의 설정값에 따라 움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 추출할 지 또는 차분 부호화 데이터를 추출할지 여부를 결정할 수 있다. 즉, 데이터 추출기(810)는 현재 블록의 움직임 벡터들의 개수가 기준 개수보다 큰 경우, 움직임 벡 터 부호화 데이터로부터 차차분 플래그를 추출하고, 차차분 플래그의 설정값이 적용 식별자이면, 움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 추출하고 차차분 움직임 벡터 복호화기(820)로 전달하며, 차차분 플래그의 설정값이 미적용 식별자이면, 움직임 벡터 부호화 데이터로부터 차분 움직임 벡터를 추출하고 차분 움직임 벡터 복호화기(830)로 전달한다.

또한, 데이터 추출기(810)는 현재 블록의 움직임 벡터들의 개수가 기준 개수보다 작거나 같은 경우, 움직임 벡터 부호화 데이터로부터 차분 부호화 데이터를 추출한다. 즉, 데이터 추출기(810)는 현재 블록의 움직임 벡터들의 개수가 기 설정된 기준 개수보다 작거나 같은 경우, 정보 추출기(810)로부터 전달되는 움직임 벡터 부호화 데이터로부터 차분 부호화 데이터를 추출하고 차분 움직임 벡터 복호화기(830)로 전달한다.

이를 위해, 데이터 추출기(810)는 정보 추출기(710)로부터 전달되는 블록 모드에 대한 정보를 이용하여 현재 블록의 움직임 벡터들의 개수를 결정할 수 있다. 예를 들어, 현재 블록이 16x16 P 매크로블록이고 블록 모드가 인터 4x4인 경우, 현재 블록은 4 개의 서브블록으로 분할되고 4 개의 움직임 벡터를 가진다는 것을 판단할 수 있다.

차차분 움직임 벡터 복호화기(820)는 움직임 벡터 부호화 데이터로부터 추출되는 차차분 부호화 데이터를 복호화하여 평균 차분 움직임 벡터와 차차분 움직임 벡터들을 복원하고, 복원되는 차차분 움직임 벡터들과 복원되는 평균 차분 움직임 벡터를 더하여 현재 블록의 차분 움직임 벡터들을 복원한다.

차분 움직임 벡터 복호화기(830)는 움직임 벡터 부호화 데이터로부터 추출되는 차분 부호화 데이터를 복호화하여 현재 블록의 차분 움직임 벡터들을 복원한다. 여기서, 차차분 움직임 벡터 복호화기(820)와 차분 움직임 벡터 복호화기(830)는 각각 차차분 부호화 데이터와 차분 부호화 데이터를 복호화할 때, 움직임 벡터 부호화기(310)의 차차분 움직임 벡터 부호화기(420) 및 차분 움직임 벡터 부호화기(430)가 부호화에 이용한 부호화 방식과 동일 또는 유사한 방식으로 복호화할 수 있다. 예를 들어, 차차분 움직임 벡터 부호화기(420) 및 차분 움직임 벡터 부호화기(430)가 각각 차차분 움직임 벡터들과 차분 움직임 벡터들을 가변 길이 부호화 테이블을 이용한 엔트로피 부호화를 이용하여 부호화했다면, 차차분 움직임 벡터 복호화기(820) 및 차분 움직임 벡터 부호화기(830)도 각각 차차분 부호화 데이터와 차분 부호화 데이터를 동일한 가변 길이 부호화 테이블을 이용한 엔트로피 부호화를 이용하여 복호화할 수 있다.

움직임 벡터 복원기(840)는 현재 블록의 예측 움직임 벡터들과 복원되는 차분 움직임 벡터들을 이용하여 블록의 움직임 벡터들을 복원한다. 즉, 움직임 벡터 복원기(840)는 움직임 벡터 부호화기(310)에서 현재 블록의 예측 움직임 벡터들을 결정하는 방식과 동일한 방법으로 현재 블록의 움직임 벡터들을 예측하여 예측 움직임 벡터들을 생성하고, 차차분 움직임 벡터 복호화기(820) 또는 차분 움직임 벡터 복호화기(830)에 의해 복원되는 현재 블록의 차분 움직임 벡터들과 생성된 예측 움직임 벡터들을 더하여 현재 블록의 움직임 벡터들을 복원한다.

본 발명의 일 실시예에 따른 움직임 벡터 복호화 방법에 따르면, 움직임 벡 터 복호화기(740)는 움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 추출하고 복호화하여 평균 차분 움직임 벡터와 차차분 움직임 벡터들을 복원하고, 복원되는 차차분 움직임 벡터들과 복원되는 평균 차분 움직임 벡터를 더하여 현재 블록의 차분 움직임 벡터들을 복원하며, 현재 블록의 예측 움직임 벡터들과 복원되는 차분 움직임 벡터들을 이용하여 현재 블록의 움직임 벡터들을 복원한다.

이하에서는 도 9를 참조하여 본 발명의 일 실시예에 따른 움직임 벡터 복호화 방법의 구체적인 구현 예를 설명한다.

도 9는 본 발명의 일 실시예에 따른 움직임 벡터의 복호화 방법의 구체적인 구현 예를 설명하기 위한 순서도이다.

움직임 벡터 복호화기(740)는 정보 추출기(710)로부터 움직임 벡터 부호화 데이터가 전달되면, 정보 추출기(710)에 의해 부호화 데이터로부터 추출된 현재 블록의 블록 모드를 이용하여 현재 블록의 움직임 벡터들의 개수를 결정하고(S910), 현재 블록의 움직임 벡터들의 개수가 기 설정된 기준 개수보다 큰지 여부를 판단한다(S920). 현재 블록의 움직임 벡터들의 개수에 따라 움직임 벡터 부호화 데이터로부터 추출하는 데이터가 달라진다.

움직임 벡터 복호화기(740)는 단계 S920의 판단 결과, 현재 블록의 움직임 벡터들의 개수가 기준 개수보다 큰 경우, 움직임 벡터 부호화 데이터로부터 차차분 플래그를 추출하고, 차차분 플래그가 적용 식별자(예를 들어, '1')로 설정되어 있는지 여부를 판단한다(S940). 차차분 플래의 설정값에 따라 움직임 벡터 부호화 데이터로부터 추출되는 데이터가 달라진다.

움직임 벡터 부호화기(740)는 단계 S940의 판단 결과, 차차분 플래그가 적용 식별자인 경우, 움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 복호화하여 평균 차분 움직임 벡터와 차차분 움직임 벡터들을 복원하고(S950), 차차분 움직임 벡터들과 평균 차분 움직임 벡터를 더하여 현재 블록의 차분 움직임 벡터들을 복원한다(S960).

움직임 벡터 부호화기(740)는 단계 S940의 판단 결과, 차차분 플래그가 미적용 식별자인 경우, 움직임 벡터 부호화 데이터로부터 차분 부호화 데이터를 복호화하여 현재 블록의 차분 움직임 벡터들을 복원한다(S670).

한편, 움직임 벡터 부호화기(740)는 단계 S920에서 현재 블록의 움직임 벡터들의 개수가 기준 개수보다 작거나 같은 경우, 단계 S670으로 진행하여 움직임 벡터 부호화 데이터로부터 차분 부호화 데이터를 복호화하여 현재 블록의 차분 움직임 벡터들을 복원한다.

움직임 벡터 부호화기(740)는 단계 S960 또는 단계 S970에서 현재 블록의 차분 움직임 벡터들이 복원되면, 현재 블록의 움직임 벡터들을 예측하여 현재 블록의 예측 움직임 벡터들을 결정하고, 결정된 예측 움직임 벡터들과 복원된 차분 움직임 벡터들을 더하여 현재 블록의 움직임 벡터들을 복원한다(S980).

이상에서 전술한 바와 같이, 본 발명의 일 실시예에 따르면, 블록의 차분 움직임 벡터들을 부호화하는 것이 아니라, 차분 움직임 벡터들의 평균값을 가지는 평균 차분 움직임 벡터를 구하고 차분 움직임 벡터들에서 평균 차분 움직임 벡터를 뺀 차차분 움직임 벡터들을 부호화하면, 차차분 움직임 벡터들의 각 성분이 '0'에 가까워지므로 가변 길이 부호화를 이용하여 부호화하여 발생하는 데이터의 비트량을 줄일 수 있으므로 움직임 벡터 부호화 효율을 향상시킬 수 있다.

또한, 모든 블록에 대해 차차분 움직임 벡터들을 부호화하는 것이 아니라, 블록의 움직임 벡터들이 일정 개수 이상일 경우에만 차차분 움직임 벡터들을 부호화함으로써 차분 움직임 벡터들의 각 성분이 '0'에 가까울 확률이 낮은 블록에 대해서만 차차분 움직임 벡터들을 부호화하도록 하고, 차차분 부호화 데이터의 비트량이 차분 부호화 데이터의 비트량보다 작은 경우에만 차차분 움직임 벡터들을 부호화함으로써 움직임 벡터를 부호화하여 발생하는 비트량이 더욱 증가하는 것을 방지할 수 있으므로, 움직임 벡터 부호화 효율을 향상시킬 수 있다.

또한, 움직임 벡터를 부호화함에 따라 발생하는 비트량을 줄일 수 있으므로, 전체적인 영상 부호화에 따른 비트량을 줄일 수 있으므로, 부호화 효율을 향상시킬 수 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼 트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명은 동영상을 부호화하고 복호화하는 영상 압축 처리 분야에 적용되어, 움직임 벡터를 예측 부호화할 때, 차분 움직임 벡터의 성분의 값을 감소시킬 수 있으므로, 움직임 벡터가 부호화된 데이터의 비트량을 감소시킬 수 있으며, 그에 따라 동영상의 부호화 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.

도 1은 H.264/AVC 표준에 따라 움직임 벡터를 부호화하는 과정을 설명하기 위한 예시도,

도 2는 엔트로피 부호화를 위한 심볼당 비트수를 나타낸 예시도,

도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,

도 4는 본 발명의 일 실시예에 따른 움직임 벡터 부호화 장치를 간략하게 나타낸 블록 구성도,

도 5는 매크로블록의 각 서블블록별 차분 움직임 벡터들을 나타낸 예시도,

도 6은 본 발명의 일 실시예에 따른 움직임 벡터 부호화 방법의 구체적인 구현 예를 설명하기 위한 순서도,

도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,

도 8은 본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치를 간략하게 나타낸 블록 구성도,

도 9는 본 발명의 일 실시예에 따른 움직임 벡터의 복호화 방법의 구체적인 구현 예를 설명하기 위한 순서도이다.

Claims (24)

1. 블록에 대한 움직임 벡터를 부호화하는 방법에 있어서,

   상기 블록의 움직임 벡터들, 예측 움직임 벡터들 및 차분 움직임 벡터들을 결정하는 단계;

   상기 차분 움직임 벡터들의 평균 차분 움직임 벡터를 결정하는 단계; 및

   상기 차분 움직임 벡터들에서 상기 평균 차분 움직임 벡터를 감산하여 결정되는 차차분 움직임 벡터들을 부호화하여 움직임 벡터 부호화 데이터를 생성하는 단계

   를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 방법.
2. 제 1 항에 있어서, 상기 평균 차분 움직임 벡터를 결정하는 단계는,

   상기 움직임 벡터들의 개수가 기준 개수보다 큰 경우, 상기 평균 차분 움직임 벡터를 결정하는 것을 특징으로 하는 움직임 벡터 부호화 방법.
3. 제 1 항에 있어서, 상기 평균 차분 움직임 벡터를 결정하는 단계는,

   상기 차분 움직임 벡터들의 각 성분을 더한 값을 상기 움직임 벡터들의 개수의 두배로 나눈 값을 상기 평균 차분 움직임 벡터의 각 성분으로서 결정하는 것을 특징으로 하는 움직임 벡터 부호화 방법.
4. 제 1 항에 있어서, 상기 움직임 벡터 부호화 데이터를 생성하는 단계는,

   상기 차차분 움직임 벡터들 및 상기 평균 차분 움직임 벡터가 부호화된 차차분 부호화 데이터의 비트량이 상기 차분 움직임 벡터들이 부호화된 차분 부호화 데이터의 비트량보다 작은 경우, 상기 차차분 부호화 데이터를 포함하는 상기 움직임 벡터 부호화 데이터를 생성하는 것을 특징으로 하는 움직임 벡터 부호화 방법.
5. 제 4 항에 있어서, 상기 움직임 벡터 부호화 데이터는,

   상기 차차분 움직임 벡터들 및 상기 평균 차분 움직임 벡터를 부호화함을 나타내는 적용 식별자로 설정되는 차차분 플래그를 추가로 포함하는 것을 특징으로 하는 움직임 벡터 부호화 방법.
6. 제 1 항에 있어서, 상기 움직임 벡터 부호화 방법은,

   상기 차차분 움직임 벡터들 및 상기 평균 차분 움직임 벡터가 부호화된 차차분 부호화 데이터의 비트량이 상기 차분 움직임 벡터가 부호화된 차분 부호화 데이터의 비트량보다 크거나 같은 경우, 상기 차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성하는 단계를 추가로 포함하는 것을 특징으로 하는 움직임 벡터 부호화 방법.
7. 제 6 항에 있어서, 상기 움직임 벡터 부호화 데이터는,

   상기 차분 움직임 벡터들을 부호화함을 나타내는 미적용 식별자로 설정되는 차차분 플래그를 추가로 포함하는 것을 특징으로 하는 움직임 벡터 부호화 방법.
8. 제 1 항에 있어서, 상기 블록은,

   매크로블록 또는 복수 개의 매크로블록이 결합된 블록인 것을 특징으로 하는 움직임 벡터 부호화 방법.
9. 제 1 항에 있어서, 상기 움직임 벡터들은,

   상기 블록의 각 서브블록별로 복수 개의 참조 픽처에 대한 복수 개의 움직임 벡터를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 방법.
10. 블록에 대한 움직임 벡터를 부호화하는 장치에 있어서,

    상기 블록의 움직임 벡터들, 예측 움직임 벡터들 및 차분 움직임 벡터들을 결정하는 움직임 벡터 결정기;

    상기 차분 움직임 벡터들의 평균 차분 움직임 벡터를 결정하고, 상기 차분 움직임 벡터들에서 상기 평균 차분 움직임 벡터를 감산하여 결정되는 차차분 움직임 벡터들과 상기 평균 차분 움직임 벡터를 부호화하여 차차분 부호화 데이터를 생성하며, 상기 차차분 부호화 데이터의 비트량을 계산하는 차차분 움직임 벡터 부호화기;

    상기 차분 움직임 벡터들을 부호화하여 차분 부호화 데이터를 생성하며, 상기 차분 부호화 데이터의 비트량을 계산하는 차분 움직임 벡터 부호화기; 및

    상기 블록 내의 움직임 벡터들의 개수, 상기 차차분 부호화 데이터의 비트량 및 상기 차분 부호화 데이터의 비트량 중 적어도 하나 이상을 기초로 상기 차차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성하는 움직임 벡터 부호화 데이터 생성기

    를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 장치.
11. 제 10 항에 있어서, 상기 움직임 벡터 부호화 데이터 생성기는,

    상기 움직임 벡터들의 개수가 기준 개수보다 크고 상기 차차분 부호화 데이터의 비트량이 상기 차분 부호화 데이터의 비트량보다 작은 경우, 상기 차차분 부호화 데이터를 포함하는 움직임 벡터 부호화 데이터를 생성하는 것을 특징으로 하는 움직임 벡터 부호화 장치.
12. 제 11 항에 있어서, 상기 움직임 벡터 부호화 데이터 생성기는,

    상기 움직임 벡터들의 개수가 상기 기준 개수보다 큰 경우에는 차차분 움직임 벡터의 부호화 여부를 나타내는 차차분 플래그를 생성하여 상기 움직임 벡터 부호화 데이터에 포함시키는 것을 특징으로 하는 움직임 벡터 부호화 장치.
13. 블록의 움직임 벡터를 복호화하는 방법에 있어서,

    움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 추출하고 복호화하여 평균 차분 움직임 벡터와 차차분 움직임 벡터들을 복원하는 단계;

    상기 복원되는 차차분 움직임 벡터들과 상기 복원되는 평균 차분 움직임 벡터를 더하여 블록의 차분 움직임 벡터들을 복원하는 단계; 및

    상기 블록의 예측 움직임 벡터들과 상기 복원되는 차분 움직임 벡터들을 이용하여 상기 블록의 움직임 벡터들을 복원하는 단계

    를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 방법.
14. 제 13 항에 있어서,

    상기 평균 차분 움직임 벡터와 상기 차차분 움직임 벡터를 복원하는 단계는,

    상기 블록의 움직임 벡터들의 개수가 기준 개수보다 큰 경우, 상기 움직임 벡터 부호화 데이터로부터 상기 차차분 부호화 데이터를 추출하는 것을 특징으로 하는 움직임 벡터 복호화 방법.
15. 제 13 항에 있어서,

    상기 평균 차분 움직임 벡터와 상기 차차분 움직임 벡터를 복원하는 단계는,

    상기 움직임 벡터 부호화 데이터로부터 차차분 플래그를 추출하고, 상기 차차분 플래그가 적용 식별자로 설정된 경우, 상기 움직임 벡터 부호화 데이터로부터 상기 차차분 부호화 데이터를 추출하는 것을 특징으로 하는 움직임 벡터 복호화 방법.
16. 제 15 항에 있어서, 상기 움직임 벡터 복호화 방법은,

    상기 움직임 벡터 부호화 데이터로부터 차차분 플래그를 추출하고, 상기 차차분 플래그가 미적용 식별자로 설정된 경우, 상기 움직임 벡터 부호화 데이터로부터 차분 부호화 데이터를 추출하고 복호화하여 차분 움직임 벡터들을 복원하는 단계를 추가로 포함하는 것을 특징으로 하는 움직임 벡터 복호화 방법.
17. 제 13 항에 있어서, 상기 움직임 벡터 복호화 방법은,

    상기 블록의 움직임 벡터들의 개수가 기준 개수보다 작거나 같은 경우, 상기 움직임 벡터 부호화 데이터로부터 차분 부호화 데이터를 추출하고 복호화하여 차분 움직임 벡터들을 복원하는 단계를 추가로 포함하는 것을 특징으로 하는 움직임 벡터 복호화 방법.
18. 블록의 움직임 벡터를 복호화하는 장치에 있어서,

    움직임 벡터 부호화 데이터로부터 추출되는 차차분 부호화 데이터를 복호화하여 평균 차분 움직임 벡터와 차차분 움직임 벡터들을 복원하고, 상기 복원되는 차차분 움직임 벡터들과 상기 복원되는 평균 차분 움직임 벡터를 더하여 상기 블록의 차분 움직임 벡터들을 복원하는 차차분 움직임 벡터 복호화기;

    움직임 벡터 부호화 데이터로부터 추출되는 차분 부호화 데이터를 복호화하여 상기 블록의 차분 움직임 벡터들을 복원하는 차분 움직임 벡터 복호화기; 및

    상기 블록의 예측 움직임 벡터들과 상기 복원되는 차분 움직임 벡터들을 이용하여 상기 블록의 움직임 벡터들을 복원하는 움직임 벡터 복원기

    를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 장치.
19. 제 18 항에 있어서, 상기 움직임 벡터 복호화 장치는,

    데이터 추출기를 추가로 포함하되, 상기 데이터 추출기는 상기 블록의 움직임 벡터들의 개수가 기준 개수보다 큰 경우, 상기 움직임 벡터 부호화 데이터로부터 상기 차차분 부호화 데이터를 추출하는 것을 특징으로 하는 움직임 벡터 복호화 장치.
20. 제 18 항에 있어서, 상기 움직임 벡터 복호화 장치는,

    데이터 추출기를 추가로 포함하되, 상기 데이터 추출기는 상기 블록의 움직임 벡터들의 개수가 기준 개수보다 작거나 같은 경우, 상기 움직임 벡터 부호화 데이터로부터 상기 차분 부호화 데이터를 추출하는 것을 특징으로 하는 움직임 벡터 복호화 장치.
21. 영상을 블록 단위로 부호화하는 방법에 있어서,

    블록의 움직임 벡터들과 예측 움직임 벡터들을 이용하여 결정되는 차분 움직임 벡터들의 평균 차분 움직임 벡터를 결정하는 단계;

    상기 차분 움직임 벡터들에서 상기 평균 차분 움직임 벡터를 감산하여 결정되는 차차분 움직임 벡터들을 부호화하여 상기 블록에 대한 움직임 벡터 부호화 데이터를 생성하는 단계;

    상기 움직임 벡터들을 이용하여 상기 블록을 움직임 보상하여 예측 블록을 생성하는 단계;

    상기 블록과 상기 예측 블록을 감산하여 잔여 블록을 생성하는 단계;

    상기 잔여 블록을 부호화하여 부호화된 잔여 데이터를 생성하는 단계; 및

    상기 부호화된 잔여 데이터 및 상기 움직임 벡터 부호화 데이터를 포함하는 부호화 데이터를 생성하고 출력하는 단계

    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
22. 영상을 블록 단위로 부호화하는 장치에 있어서,

    블록의 움직임 벡터들과 예측 움직임 벡터들을 이용하여 결정되는 차분 움직임 벡터들의 평균 차분 움직임 벡터를 결정하고, 상기 차분 움직임 벡터들에서 상기 평균 차분 움직임 벡터를 감산하여 결정되는 차차분 움직임 벡터들을 부호화하여 상기 블록에 대한 움직임 벡터 부호화 데이터를 생성하는 움직임 벡터 부호화기;

    상기 움직임 벡터들을 이용하여 상기 블록을 움직임 보상하여 예측 블록을 생성하는 움직임 보상기;

    상기 블록과 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산기;

    상기 잔여 블록을 부호화하여 부호화된 잔여 데이터를 생성하는 부호화기; 및

    상기 부호화된 잔여 데이터 및 상기 움직임 벡터 부호화 데이터를 포함하는 부호화 데이터를 생성하고 부호화 데이터 생성기

    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
23. 영상을 블록 단위로 복호화하는 방법에 있어서,

    부호화 데이터에 포함되는 움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 추출하고 복호화하여 평균 차분 움직임 벡터와 차차분 움직임 벡터들을 복원하는 단계;

    상기 복원되는 차차분 움직임 벡터들과 상기 복원되는 평균 차분 움직임 벡터를 더하여 블록의 차분 움직임 벡터들을 복원하는 단계;

    상기 블록의 예측 움직임 벡터들과 상기 복원되는 차분 움직임 벡터들을 이용하여 상기 블록의 움직임 벡터들을 복원하는 단계;

    상기 복원되는 움직임 벡터들을 이용하여 상기 블록을 움직임 보상하여 예측 블록을 생성하는 단계;

    상기 부호화 데이터로부터 부호화된 잔여 데이터를 추출하고 복호화하여 잔여 블록을 복원하는 단계; 및

    상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 블록을 복원하는 단계

    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
24. 영상을 블록 단위로 복호화하는 장치에 있어서,

    부호화 데이터로부터 움직임 벡터 부호화 데이터 및 부호화된 잔여 데이터를 추출하는 정보 추출기;

    상기 움직임 벡터 부호화 데이터로부터 차차분 부호화 데이터를 추출하고 복호화하여 평균 차분 움직임 벡터와 차차분 움직임 벡터들을 복원하고, 상기 복원되는 차차분 움직임 벡터들과 상기 복원되는 평균 차분 움직임 벡터를 더하여 블록의 차분 움직임 벡터들을 복원하며, 상기 블록의 예측 움직임 벡터들과 상기 복원되는 차분 움직임 벡터들을 이용하여 상기 블록의 움직임 벡터들을 복원하는 움직임 벡터 복호화기;

    상기 복원되는 움직임 벡터들을 이용하여 상기 블록을 움직임 보상하여 예측 블록을 생성하는 움직임 보상기;

    상기 부호화된 잔여 데이터를 복호화하여 잔여 블록을 복원하는 복호화기; 및

    상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 블록을 복원하는 가산기

    를 포함하는 것을 특징으로 하는 영상 복호화 장치.

Images