KR20180080131A - 화면 간 예측을 이용한 영상 복호화 방법 및 장치 - Google Patents

Abstract

화면 간 예측을 이용한 영상 복호화 방법 및 장치가 개시된다. 화면 간 예측을 이용한 영상 복호화 방법은, 비트스트림을 수신하는 단계, 수신된 비트스트림에서 복호화할 현재 블록의 움직임 벡터를 지시하는 정보 중 일부를 획득하는 단계, 획득된 정보를 이용하여 상기 일부를 제외한 나머지 정보를 결정함으로써 상기 현재 블록의 움직임 벡터를 획득하는 단계 및 상기 현재 블록의 움직임 벡터를 이용한 화면 간 예측을 통해 상기 현재 블록의 예측 블록을 생성하는 단계를 포함한다. 따라서, 영상 부호화 및 복호화의 효율을 향상시킬 수 있다.

Description

화면 간 예측을 이용한 영상 복호화 방법 및 장치{IMAGE DECODING METHOD AND APPARATUS USING INTER PICTURE PREDICTION}

본 발명은 화면 간 예측을 이용한 영상 복호화 방법 및 장치에 관한 것으로, 더욱 상세하게는 현재 블록의 화면 간 예측에 필요한 움직임 벡터를 부호화 및 복호화하는데 있어서 움직임 벡터의 차분값의 크기, 부호 및 최적의 움직임 벡터를 지시하는 정보 중 일부만 이용해서 나머지 정보들을 결정함으로써 부호화 장치와 복호화 장치 상호간 주고받는 데이터 또는 비트수를 감소시키는 기술에 관한 것이다.

ISO/ISE MPEG (Moving Picture Experts Group)과 ITU-T VCEG (Video Coding Experts Group)으로 불리는 각 기관은 JCV-VC (Joint Collaborative Team on Video Coding)를 조직하여 2013 년 1 월 ISO/IEC MPEG-H HEVC (High Efficiency Video Coding)/ITU-T H.265 인 비디오 압축 표준 기술을 제정하였다. 또한, 현재 급속한 정보통신기술의 발전에 따른 고화질 영상이 대중화되는 추세에 부응하기 위해, ISO/ISE MPEG과 ITU-T VCEG 은 제 22 차 JCT-VC 제네바 회의에서 JVET (Joint Video Exploration Team)을 조직하여 HD (High Definition) 화질보다 선명한 UHD 화질(Ultra High Definition)의 영상 압축을 위한 차세대 영상 압축 기술 표준을 제정하고자 활발히 노력하고 있다.

한편, 기존의 비디오 압축 표준 기술에 따르면, 부호화할 현재 블록에 대한 예측 블록을 생성하고, 예측 블록과 현재 블록의 차분값을 부호화함으로써 부호화되는 데이터량을 줄이고 있는데, 이러한 예측 기술에는 동일한 화면 내에서 공간적으로 인접한 블록과의 유사성을 이용하여 현재 블록에 대한 예측 블록을 생성하는 화면 내 예측 방법과, 시간적으로 인접한 화면의 블록과의 유사성을 이용하여 현재 블록에 대한 예측 블록을 생성하는 화면 간 예측 방법이 있다.

이때, 화면 간 예측은 현재 블록과 시간적으로 인접한 화면 내에서 유사성이 있는 블록을 지시하는 정보로 움직임 벡터를 사용한다. 이때, 움직임 벡터를 그대로 부호화할 경우 비트값이 매우 클 수 있기 때문에 부호화 장치는 현재 블록과 인접한 이웃 블록의 움직임 벡터를 이용하여 후보 움직임 벡터들을 구성하고, 후보 움직임 벡터들 중에서 선정된 최적의 움직임 벡터와 현재 블록의 움직임 벡터 사이의 차분값을 부호화하여 복호화 장치에 전송한다.

그러나, 최적의 움직임 벡터와 현재 블록의 움직임 벡터 사이의 차분값을 부호화하는 경우에도 최적의 움직임 벡터가 현재 블록의 움직임 벡터와 많이 상이할 경우에는 비트값 소모 감소효과가 미미하다. 따라서, 영상 부호화 및 복호화의 효율을 향상시키기 위해 부호화 장치와 복호화 장치 상호간에 전달되는 정보량을 줄일 수 있는 방안이 필요한 실정이다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 화면 간 예측을 이용한 영상 복호화 방법을 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 화면 간 예측을 이용한 영상 복호화 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면은, 화면 간 예측을 이용한 영상 복호화 방법을 제공한다.

여기서 화면 간 예측을 이용한 영상 복호화 방법은, 비트스트림을 수신하는 단계, 수신된 비트스트림에서 복호화할 현재 블록의 움직임 벡터를 지시하는 정보 중 일부를 획득하는 단계, 획득된 정보를 이용하여 상기 일부를 제외한 나머지 정보를 결정함으로써 상기 현재 블록의 움직임 벡터를 획득하는 단계 및 상기 현재 블록의 움직임 벡터를 이용한 화면 간 예측을 통해 상기 현재 블록의 예측 블록을 생성하는 단계를 포함할 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 지시하는 정보는, 두개 이상의 후보 움직임 벡터 중에서 선정된 최적의 움직임 벡터와 상기 현재 블록의 움직임 벡터 사이의 차분값의 크기, 상기 차분값의 부호 및 상기 최적의 움직임 벡터를 지시하는 정보 중 적어도 하나를 포함할 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 획득하는 단계는, 상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계 및 상기 미리 설정된 조건에 해당하면, 상기 최적의 움직임 벡터를 지시하는 정보에서 획득된 최적의 움직임 벡터를 기초로 상기 차분값의 부호를 결정하는 단계를 포함할 수 있다.

여기서 상기 미리 설정된 조건은, 상기 두개 이상의 후보 움직임 벡터들 중에서 인접한 벡터들 사이의 간격을 기초로 설정될 수 있다.

여기서 상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계는, 상기 인접한 벡터들 사이의 간격이 가장 큰 값과 상기 인접한 벡터들 사이의 간격이 가장 작은 값을 도출하는 단계 및 상기 가장 큰 값과 상기 가장 작은 값을 상기 차분값의 크기와 비교하는 단계를 포함할 수 있다.

여기서 상기 미리 설정된 조건은, 상기 인접한 벡터들 사이의 간격을 반으로 나눈 간격을 기초로 설정될 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 획득하는 단계는, 상기 차분값의 크기와 상기 차분값의 부호를 이용하여 상기 차분값을 획득하는 단계, 획득된 차분값에 상기 두개 이상의 후보 움직임 벡터들 중 제1 후보 움직임 벡터를 더하여 상기 현재 블록의 추정 움직임 벡터를 결정하는 단계, 상기 추정 움직임 벡터가 상기 두개 이상의 후보 움직임 벡터들 중에서 상기 제1 후보 움직임 벡터와 가장 가까운 좌표값을 갖는지 판단하는 단계 및 판단 결과를 기초로, 상기 최적의 움직임 벡터를 결정하는 단계를 포함할 수 있다.

여기서 상기 추정 움직임 벡터를 결정하는 단계 및 상기 판단하는 단계는, 상기 제1 후보 움직임 벡터를 제외한 나머지 후보 움직임 벡터들을 상기 제1 후보 움직임 벡터로 대입하여 반복 수행될 수 있다.

여기서 상기 최적의 움직임 벡터를 결정하는 단계는, 상기 반복 수행의 결과 가장 가까운 좌표값을 갖는 후보 움직임 벡터가 유일하면, 해당 후보 움직임 벡터를 상기 최적의 움직임 벡터로 결정할 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 획득하는 단계는, 상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계 및 상기 미리 설정된 조건에 해당하면, 상기 두개 이상의 후보 움직임 벡터들 중 적어도 하나의 움직임 벡터를 후보 움직임 벡터에서 제외하고 나머지 후보 움직임 벡터들 중에서 상기 최적의 움직임 벡터를 결정하는 단계를 포함할 수 있다.

상기 목적을 달성하기 위한 본 발명의 다른 측면은 화면 간 예측을 이용한 영상 복호화 장치를 제공한다.

여기서 화면 간 예측을 이용한 영상 복호화 장치는, 적어도 하나의 프로세서(processor) 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.

여기서 상기 적어도 하나의 단계는, 비트스트림을 수신하는 단계, 수신된 비트스트림에서 복호화할 현재 블록의 움직임 벡터를 지시하는 정보 중 일부를 획득하는 단계, 획득된 정보를 이용하여 상기 일부를 제외한 나머지 정보를 결정함으로써 상기 현재 블록의 움직임 벡터를 획득하는 단계 및 상기 현재 블록의 움직임 벡터를 이용한 화면 간 예측을 통해 상기 현재 블록의 예측 블록을 생성하는 단계를 포함할 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 지시하는 정보는, 두개 이상의 후보 움직임 벡터 중에서 선정된 최적의 움직임 벡터와 상기 현재 블록의 움직임 벡터 사이의 차분값의 크기, 상기 차분값의 부호 및 상기 최적의 움직임 벡터를 지시하는 정보 중 적어도 하나를 포함할 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 획득하는 단계는, 상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계 및 상기 미리 설정된 조건에 해당하면, 상기 최적의 움직임 벡터를 지시하는 정보에서 획득된 최적의 움직임 벡터를 기초로 상기 차분값의 부호를 결정하는 단계를 포함할 수 있다.

여기서 상기 미리 설정된 조건은, 상기 두개 이상의 후보 움직임 벡터들 중에서 인접한 벡터들 사이의 간격을 기초로 설정될 수 있다.

여기서 상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계는, 상기 인접한 벡터들 사이의 간격이 가장 큰 값과 상기 인접한 벡터들 사이의 간격이 가장 작은 값을 도출하는 단계 및 상기 가장 큰 값과 상기 가장 작은 값을 상기 차분값의 크기와 비교하는 단계를 포함할 수 있다.

여기서 상기 미리 설정된 조건은, 상기 인접한 벡터들 사이의 간격을 반으로 나눈 간격을 기초로 설정될 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 획득하는 단계는, 상기 차분값의 크기와 상기 차분값의 부호를 이용하여 상기 차분값을 획득하는 단계, 획득된 차분값에 상기 두개 이상의 후보 움직임 벡터들 중 제1 후보 움직임 벡터를 더하여 상기 현재 블록의 추정 움직임 벡터를 결정하는 단계, 상기 추정 움직임 벡터가 상기 두개 이상의 후보 움직임 벡터들 중에서 상기 제1 후보 움직임 벡터와 가장 가까운 좌표값을 갖는지 판단하는 단계 및 판단 결과를 기초로, 상기 최적의 움직임 벡터를 결정하는 단계를 포함할 수 있다.

여기서 상기 추정 움직임 벡터를 결정하는 단계 및 상기 판단하는 단계는, 상기 제1 후보 움직임 벡터를 제외한 나머지 후보 움직임 벡터들을 상기 제1 후보 움직임 벡터로 대입하여 반복 수행될 수 있다.

여기서 상기 최적의 움직임 벡터를 결정하는 단계는, 상기 반복 수행의 결과 가장 가까운 좌표값을 갖는 후보 움직임 벡터가 유일하면, 해당 후보 움직임 벡터를 상기 최적의 움직임 벡터로 결정할 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 획득하는 단계는, 상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계 및 상기 미리 설정된 조건에 해당하면, 상기 두개 이상의 후보 움직임 벡터들 중 적어도 하나의 움직임 벡터를 후보 움직임 벡터에서 제외하고 나머지 후보 움직임 벡터들 중에서 상기 최적의 움직임 벡터를 결정하는 단계를 포함할 수 있다.

상기와 같은 본 발명에 따른 화면 간 예측을 이용한 영상 복호화 방법 및 장치를 이용할 경우에는 부호화 및 복호화 과정에서 소모되는 비트 수를 줄일 수 있다.

따라서, 영상 압축률이 향상될 수 있는 장점이 있다.

도 1은 본 발명의 실시예에 따른 영상 부호화 및 복호화 시스템에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치에 대한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 복호화 장치에 대한 구성도이다.
도 4는 본 발명의 일 실시예에 따른 화면 간 예측에서 현재 블록의 움직임 벡터를 설정하기 위한 후보 움직임 벡터를 결정하는 방법에 대한 예시도이다.
도 5는 후보 움직임 벡터가 2개일 때 현재 블록의 움직임 벡터가 존재할 수 있는 영역을 나타낸 예시도이다.
도 6은 후보 움직임 벡터가 3개일 때 현재 블록의 움직임 벡터가 존재할 수 있는 영역을 나타낸 제1 예시도이다.
도 7은 후보 움직임 벡터가 3개일 때 현재 블록의 움직임 벡터가 존재할 수 있는 영역을 나타낸 제2 예시도이다.
도 8은 본 발명의 일 실시예에 따른 화면 간 예측을 이용한 영상 복호화 방법에 대한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 화면 간 예측을 이용한 영상 복호화 장치에 대한 구성도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

통상적으로 영상은 일련의 정지 영상(Still Image)으로 구성될 수 있으며, 이 정지 영상들은 GOP(Group of Pictures) 단위로 구분될 수 있고, 각 정지 영상을 픽쳐(Picture)라고 지칭할 수 있다. 이때, 픽쳐는 프로그레시브(Progressive) 신호, 인터레이스(Interlace) 신호에서의 프레임(Frame), 필드(Field) 중 하나를 나타낼 수 있고, 부호화/복호화가 프레임 단위로 수행될 경우 영상은 '프레임', 필드 단위로 수행될 경우 '필드'로 나타낼 수 있다. 본 발명에서는 프로그레시브 신호를 가정하고 설명하지만, 인터레이스 신호에도 적용 가능할 수 있다. 상위 개념으로는 GOP, 시퀀스(Sequence)등의 단위가 존재할 수 있으며, 또한, 각 픽쳐는 슬라이스, 타일, 블록 등과 같은 소정의 영역으로 분할될 수 있다. 또한, 하나의 GOP에는 I 픽쳐, P 픽쳐, B 픽쳐 등의 단위가 포함될 수 있다. I 픽쳐는 참조 픽쳐를 사용하지 않고 자체적으로 부호화/복호화되는 픽쳐를 의미할 수 있으며, P 픽쳐와 B 픽쳐는 참조 픽쳐를 사용하여 움직임 추정(Motion Estimation) 및 움직임 보상(Motion Compensation) 등의 과정을 수행하여 부호화/복호화 하는 픽쳐를 의미할 수 있다. 일반적으로 P 픽쳐의 경우 I 픽쳐와 P 픽쳐를 참조 픽쳐로써 이용할 수 있으며, B 픽쳐의 경우 I 픽쳐와 P 픽쳐를 참조 픽쳐를 이용할 수 있으나, 이는 부호화/복호화의 설정에 의해 위의 정의 또한 변경될 수 있다.

여기서 부호화/복호화하는데 참조되는 픽쳐를 참조 픽쳐(Reference Picture)라고 하며, 참조되는 블록 또는 화소를 참조 블록(Reference Block), 참조 화소(Reference Pixel)라고 한다. 또한, 참조되는 데이터(Reference Data)는 공간 영역(Spatial Domain)의 화소값 뿐만 아니라 주파수 영역(Frequency Domain)의 계수값, 부호화/복호화 과정 중에 생성, 결정되는 다양한 부호화/복호화 정보일 수 있다. 예를 들어, 예측부에서 화면 내 예측 관련 정보 또는 움직임 관련 정보, 변환부/역변환부에서 변환 관련 정보, 양자화부/역양자화부에서 양자화 관련 정보, 부호화부/복호화부에서는 부호화/복호화 관련 정보(문맥 정보), 인루프 필터부에서는 필터 관련 정보 등이 해당될 수 있다.

영상을 이루는 최소 단위는 화소(Pixel)일 수 있으며, 하나의 화소를 표현하는데 사용되는 비트수를 비트 심도(Bit Depth)라고 한다. 일반적으로 비트 심도는 8비트일 수 있으며 부호화 설정에 따라 그 이상의 비트 심도를 지원할 수 있다. 비트 심도는 컬러 공간(Color Space)에 따라 적어도 하나의 비트 심도가 지원될 수 있다. 또한, 영상의 컬러 포맷(Color Format)에 따라 적어도 하나의 컬러 공간으로 구성될 수 있다. 컬러 포맷에 따라 일정 크기를 갖는 1개 이상의 픽쳐 또는 다른 크기를 갖는 1개 이상의 픽쳐로 구성될 수 있다. 예를 들어, YCbCr 4:2:0인 경우 1개의 휘도 성분(본 예에서, Y)과 2개의 색차 성분(본 예에서, Cb/Cr)으로 구성될 수 있으며, 이때 색차 성분과 휘도 성분의 구성 비는 가로, 세로 1:2를 가질 수 있다. 다른 예로, 4:4:4인 경우 가로, 세로 동일한 구성 비를 가질 수 있다. 상기 예처럼 하나 이상의 컬러 공간으로 구성이 되는 경우 픽쳐는 각 컬러 공간으로의 분할을 수행할 수 있다.

본 발명에서는 일부 컬러 포맷(본 예에서, YCbCr)의 일부 컬러 공간(본 예에서, Y)을 기준으로 설명할 것이며, 컬러 포맷에 따른 다른 컬러 공간(본 예에서, Cb, Cr)에도 동일하거나 비슷한 적용(특정 컬러 공간에 의존적인 설정)을 할 수 있다. 그러나 각 컬러 공간에 부분적인 차이(특정 컬러 공간에 독립적인 설정)를 두는 것 또한 가능할 수 있다. 즉, 각 컬러 공간에 의존적인 설정은 각 성분의 구성 비(예를 들어, 4:2:0, 4:2:2, 4:4:4 등에 따라 결정)에 비례하거나 의존적인 설정을 갖는 것으로 의미할 수 있고, 각 컬러 공간에 독립적인 설정은 각 성분의 구성 비에 관계없거나 독립적으로 해당 컬러 공간만의 설정을 갖는 것으로 의미할 수 있다. 본 발명에서는 부/복호화기에 따라 일부 구성에 대해서는 독립적인 설정을 갖거나 의존적인 설정을 가질 수 있다.

영상 부호화 과정에서 필요한 설정 정보 또는 구문 요소(Syntax Element)는 비디오, 시퀀스, 픽쳐, 슬라이스, 타일, 블록 등의 단위 수준에서 정해질 수 있으며 이는 VPS(Video Parameter Set), SPS(Sequence Parameter Set), PPS(Picture Parameter Set), Slice Header, Tile Header, Block Header 등과 같은 단위로 비트스트림에 수록되어 복호화기로 전송될 수 있고, 복호화기에서는 동일 수준의 단위에서 파싱(Parsing)하여 부호화기에서 전송된 설정 정보를 복원하여 영상 복호화 과정에 사용할 수 있다. 또한, SEI(Supplement Enhancement Information) 또는 메타 데이터(Metadata) 등의 형태로 관련 정보를 비트스트림으로 전송하고 파싱하여 사용할 수 있다. 각 파라미터 세트는 고유의 아이디값을 갖고 있으며, 하위 파라미터 세트에서는 참조할 상위 파라미터 세트의 아이디값을 가질 수 있다. 예를 들어, 하위 파라미터 세트에서 하나 이상의 상위 파라미터 세트 중 일치하는 아이디값을 갖는 상위 파라미터 세트의 정보를 참조할 수 있다. 위에서 언급된 다양한 단위의 예 중 어떤 하나의 단위가 하나 이상의 다른 단위를 포함하는 경우에 해당하는 단위는 상위 단위, 포함되는 단위는 하위 단위라 칭할 수 있다.

상기 단위에서 발생하는 설정 정보의 경우 해당 단위마다 독립적인 설정에 대한 내용을 포함하거나 이전, 이후 또는 상위 단위 등에 의존적인 설정에 대한 내용을 포함할 수 있다. 여기서 의존적인 설정이란 이전, 이후, 상위 단위의 설정을 따른다는 플래그 정보(예를 들어, 1 비트 플래그로 1이면 따름. 0이면 따르지 않음)로 해당 단위의 설정 정보를 나타내는 것이라 이해될 수 있다. 본 발명에서의 설정 정보는 독립적인 설정에 대한 예를 중심으로 설명을 할 것이나, 현재 단위의 이전, 이후의 단위 또는 상위 단위의 설정 정보에 의존적인 관계에 대한 내용으로의 추가 또는 대체되는 예 또한 포함될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 영상 부호화 및 복호화 시스템에 대한 개념도이다.

도 1을 참조하면, 영상 부호화 장치(105) 및 복호화 장치(100)는 개인용 컴퓨터(PC:Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리(memory, 120, 125), 프로그램을 실행하여 연산 및 제어하기 위한 프로세서(processor, 110, 115) 등을 구비하는 다양한 장치를 포함할 수 있다. 또한, 영상 부호화 장치(105)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망(Network) 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치(100)로 전송되어 영상 복호화 장치(100)에서 복호화되어 영상으로 복원되고 재생될 수 있다. 또한, 영상 부호화 장치(105)에 의해 비트스트림으로 부호화된 영상은 컴퓨터 판독 가능한 기록 매체를 통하여 영상 부호화 장치(105)에서 영상 복호화 장치(100)로 전달될 수 있다.

도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치에 대한 블록도이다.

본 실시예에 따른 영상 부호화 장치(20)는, 도 2에 나타낸 바와 같이, 예측부(200), 감산부(205), 변환부(210), 양자화부(215), 역양자화부(220), 역변환부(225), 가산부(230), 필터부(235), 복호화 픽쳐 버퍼(240) 및 엔트로피 부호화부(245)를 포함할 수 있다.

예측부(200)는 화면 내 예측을 수행하는 화면 내 예측부와 화면 간 예측을 수행하는 화면 간 예측부를 포함할 수 있다. 화면 내 예측은 현재 블록의 인접한 블록의 화소를 이용하여 공간적인 예측을 수행하여 예측 블록을 생성할 수 있고, 화면 간 예측은 참조 영상으로부터 현재 블록과 가장 매치가 되는 영역을 찾아 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 해당 단위(부호화 단위 또는 예측 단위)에 대해 화면 내 예측 또는 화면 간 예측 중 어떤 방식을 사용할 지에 대한 것을 결정하고, 각 예측 방법에 따른 구체적인 정보(예를 들어, 화면 내 예측 모드, 움직임 벡터, 참조 영상 등)를 결정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 부/복호화 설정에 따라 정해질 수 있다. 예를 들어, 예측 방법, 예측 모드 등은 예측 단위로 결정되고, 예측의 수행은 변환 단위로 수행될 수 있다.

감산부(205)는 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성한다. 즉, 감산부(205)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 예측부를 통해 생성된 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔차 신호인 잔차 블록을 생성한다.

변환부(210)는 잔차 블록을 주파수 영역으로 변환하여 잔차 블록의 각 화소값을 주파수 계수로 변환한다. 여기서, 변환부(210)는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반의 변환(DCT Based Transform), 이산 사인 변환 기반의 변환(DST Based Transform), 카루넨 루베 변환 기반의 변환(KLT Based Transform) 등과 같은 공간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔차 신호가 주파수 계수가 된다. 변환은 1차원 변환 매트릭스에 의해 변환될 수 있다. 수평, 수직 단위로 각 변환 매트릭스가 적응적으로 사용될 수 있다. 예를 들어, 화면 내 예측의 경우, 예측 모드가 수평일 경우에는 수직 방향으로는 DCT 기반의 변환 매트릭스가, 수평 방향으로는 DST 기반의 변환 매트릭스가 사용될 수도 있다. 수직일 경우에는 수평 방향으로는 DCT 기반의 변환 매트릭스가, 수직 방향으로는 DST 기반의 변환 매트릭스가 사용될 수 있다.

양자화부(215)는 변환부(210)에 의해 주파수 영역으로 변환된 주파수 계수를 갖는 잔차 블록을 양자화한다. 여기서, 양자화부(215)는 변환된 잔차 블록을 데드존 균일 경계 양자화(Dead Zone Uniform Threshold Quantization), 양자화 가중치 매트릭스(Quantization Weighted Matrix) 또는 이를 개량한 양자화 기법 등을 사용하여 양자화할 수 있다. 이는1개 이상의 양자화 기법을 후보로 둘 수 있으며 부호화 모드, 예측 모드 정보 등에 의해 결정될 수 있다.

엔트로피 부호화부(245)는 생성된 양자화 주파수 계수열을 다양한 스캔 방식에 따라 스캔하여 양자화 계수열을 생성하고, 이를 엔트로피 부호화 기법 등을 이용하여 부호화 함으로써 출력한다. 스캔 패턴은 지그재그, 대각선, 래스터(raster) 등 다양한 패턴들 중 하나로 설정할 수 있다.

역양자화부(220)는 양자화부(215)에 의해 양자화된 잔차 블록을 역 양자화한다. 즉, 양자화부(220)는 양자화 주파수 계수열을 역양자화하여 주파수 계수를 갖는 잔차 블록을 생성한다.

역변환부(225)는 역양자화부(220)에 의해 역양자화된 잔차 블록을 역변환한다. 즉, 역변환부(225)는 역양자화된 잔차 블록의 주파수 계수들을 역변환하여 화소값을 갖는 잔차 블록, 즉 복원된 잔차 블록을 생성한다. 여기서, 역변환부(225)는 변환부(210)에서 사용한 변환한 방식을 역으로 사용하여 역변환을 수행할 수 있다.

가산부(230)는 예측부(200)에서 예측된 예측 블록과 역변환부(225)에 의해 복원된 잔차 블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록은 복호화 픽쳐 버퍼(240)에 참조 픽쳐(또는 참조 블록)로서 저장되어 현재 블록의 다음 블록이나 향후 다른 블록, 다른 픽쳐를 부호화할 때 참조 픽쳐로서 사용될 수 있다.

필터부(235)는 디블록킹 필터, SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 등의 하나 이상의 후처리 필터 과정을 포함할 수 있다. 디블록킹 필터는 복원된 픽쳐에서 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. ALF는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 잔차 블록에 대하여, 화소 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band offset), 에지 오프셋 등의 형태로 적용될 수 있다. 이와 같은 후처리 필터는 복원된 픽쳐 또는 블록에 적용될 수 있다.

복호화 픽쳐 버퍼(240)는 필터부(235)를 통해 복원된 블록 또는 픽쳐를 저장할 수 있다. 복호화 픽쳐 버퍼(240)에 저장된 복원 블록 또는 픽쳐는 화면 내 예측 또는 화면 간 예측을 수행하는 예측부(200)에 제공될 수 있다.

도면에 도시 하지 않았지만 분할부가 더 포함될 수 있으며, 분할부를 통해 다양한 크기의 부호화 단위로 분할할 수 있다. 이때, 부호화 단위는 컬러 포맷에 따라 복수개의 부호화 블록으로 구성(예를 들어, 하나의 휘도 부호화 블록, 둘의 색차 부호화 블록 등)될 수 있다. 설명의 편의를 위해 하나의 컬러 성분 단위를 가정하여 설명한다. 부호화 블록은 M×M(예를 들어, M은 4, 8, 16, 32, 64, 128 등)과 같은 가변 크기를 가질 수 있다. 또는, 분할 방식(예를 들어, 트리 기반의 분할. 쿼드 트리 분할, 바이너리 트리 분할 등)에 따라 부호화 블록은 M×N(예를 들어, M과 N은 4, 8, 16, 32, 64, 128 등)과 같은 가변 크기를 가질 수 있다. 이때, 부호화 블록은 화면 내 예측, 화면 간 예측, 변환, 양자화, 엔트로피 부호화 등의 기초가 되는 단위일 수 있다. 본 발명에서는 분할 방식에 따라 동일한 크기 및 형태를 갖는 복수 개의 서브 블록이 획득되는 가정 하에 설명하지만, 비대칭적인 서브 블록(예를 들어, 바이너리 트리의 경우 4M × 4N은 3M × 4N과 M × 4N 또는 4M × 3N과 4M × N 등으로 분할)을 갖는 경우로의 적용 또한 가능할 수 있다. 이때, 비대칭적인 서브 블록은 대칭적인 서브 블록을 획득하는 분할 방식에 부/복호화 설정에 따라 추가적으로 지원 여부가 결정되는 정보에 의해 지원될 수 있다.

부호화 블록(M×N)의 분할은 재귀적인 트리 기반의 구조를 가질 수 있다. 이때, 분할 여부는 분할 플래그(예를 들어, 쿼드 트리 분할 플래그, 바이너리 분할 플래그)를 통해 나타낼 수 있다. 예를 들어, 분할 깊이(Depth)가 k인 부호화 블록의 분할 플래그가 0인 경우 부호화 블록의 부호화는 분할 깊이가 k인 부호화 블록에서 수행되며, 분할 깊이가 k인 부호화 블록의 분할 플래그가 1인 경우 부호화 블록의 부호화는 분할 방식에 따라 분할 깊이가 k+1인 4개의 서브 부호화 블록(쿼드 트리 분할) 또는 2개의 서브 부호화 블록(바이너리 트리 분할)에서 수행된다. 이때, 블록의 크기는 4개의 부호화 블록의 경우 (M >> 1) × (N >> 1)이고, 2개의 부호화 블록의 경우 (M >> 1) × N 또는 M × (N >>1)일 수 있다. 상기 서브 부호화 블록은 다시 부호화 블록(k+1)으로 설정되어 상기 과정을 거쳐 서브 부호화 블록(k+2)으로 분할될 수 있다. 이때, 쿼드 트리 분할의 경우 하나의 분할 플래그(예를 들어, 분할 여부 플래그)가 지원될 수 있고, 바이너리 트리 분할의 경우 적어도 하나(최대 2개)의 플래그(예를 들어, 분할 여부 플래그에 추가적으로 분할 방향 플래그<가로 또는 세로. 선행하는 상위 또는 이전 분할 결과에 따라 일부 경우에 생략가능>)가 지원될 수 있다.

블록 분할은 최대 부호화 블록에서 시작하여 최소 부호화 블록까지 진행할 수 있다. 또는, 최소 분할 깊이에서 시작하여 최대 분할 깊이까지 진행할 수 있다. 즉, 블록의 크기가 최소 부호화 블록 크기에 도달하거나 분할 깊이가 최대 분할 깊이에 도달할 때까지 재귀적으로 분할을 수행할 수 있다. 이때, 부/복호화 설정(예를 들어, 영상<슬라이스, 타일> 타입<I/P/B>, 부호화 모드<Intra/Inter>, 색차 성분<Y/Cb/Cr> 등)에 따라 최대 부호화 블록의 크기와 최소 부호화 블록의 크기, 최대 분할 깊이가 적응적으로 설정될 수 있다. 예를 들어, 최대 부호화 블록은 128×128일 때, 쿼드 트리 분할은 8×8 ~ 128×128 범위에서 수행될 수 있고, 바이너리 트리 분할은 4×4 ~ 32×32범위와 최대 분할 깊이 3인 경우에 수행될 수 있다. 또는, 쿼드 트리 분할은 8×8 ~ 128×128 범위에서 수행될 수 있고, 바이너리 트리 분할은 4×4 ~ 128×128 범위와 최대 분할 깊이 3인 경우에 수행될 수 있다. 전자의 경우 I 영상 타입(예를 들어, 슬라이스), 후자의 경우 P나 B 영상 타입에서의 설정일 수 있다. 상기 예에서 설명된 것과 같이 최대 부호화 블록의 크기, 최소 부호화 블록의 크기, 최대 분할 깊이 등과 같은 분할 설정은 분할 방식에 따라 공통되거나 또는 개별적으로 지원될 수 있다.

복수의 분할 방식이 지원되는 경우 각 분할 방식의 블록 지원 범위 내에서 분할이 수행되며, 각 분할 방식의 블록 지원 범위가 겹치는 경우에는 분할 방식의 우선 순위가 존재할 수 있다. 예를 들어, 쿼드 트리 분할이 바이너리 트리 분할을 선행할 수 있다. 또한, 복수의 분할 방식이 지원되는 경우 선행하는 분할의 결과에 따라 후행하는 분할의 수행 여부가 결정될 수 있다. 예를 들어, 선행하는 분할의 결과가 분할을 수행함을 나타낼 경우 후행하는 분할은 수행하지 않고 선행한 분할에 따라 분할된 서브 부호화 블록이 다시 부호화 블록으로 설정되어 분할을 수행할 수 있다.

또는, 선행하는 분할의 결과가 분할을 수행하지 않음을 나타낼 경우 후행하는 분할의 결과에 따라 분할을 수행할 수 있다. 이때, 후행하는 분할의 결과가 분할을 수행함을 나타낼 경우 분할된 서브 부호화 블록이 다시 부호화 블록으로 설정되어 분할을 수행할 수 있고, 후행하는 분할의 결과가 분할을 수행하지 않음을 나타낼 경우 더 이상의 분할은 수행하지 않는다. 이때, 후행하는 분할 결과가 분할을 수행함을 나타내고 분할된 서브 부호화 블록이 다시 부호화 블록으로 설정되었을 때의 상황도 복수의 분할 방식이 지원되는 경우일 때, 선행하는 분할은 수행하지 않고 후행하는 분할만 지원할 수 있다. 즉, 복수의 분할 방식이 지원되는 경우에 선행하는 분할의 결과가 분할이 수행되지 않음을 나타낼 경우 더 이상 선행의 분할은 수행하지 않음을 의미한다.

예를 들어, M × N부호화 블록은 쿼드 트리 분할와 바이너리 트리 분할이 가능할 경우 우선 쿼드 트리 분할 플래그를 확인할 수 있고, 상기 분할 플래그가 1인 경우에는 (M >> 1) x (N >> 1) 크기의 4개의 서브 부호화 블록으로 분할이 수행이 되고 상기 서브 부호화 블록은 다시 부호화 블록으로 설정되어 분할(쿼드 트리 분할 또는 바이너리 트리 분할)을 수행할 수 있다. 상기 분할 플래그가 0인 경우에는 바이너리 트리 분할 플래그를 확인할 수 있고, 해당 플래그가 1인 경우에는 (M >> 1) × N 또는 M × (N >> 1) 크기의 2 개의 서브 부호화 블록으로 분할이 수행되고 상기 서브 부호화 블록은 다시 부호화 블록으로 설정되어 분할(바이너리 트리 분할)을 수행할 수 있다. 상기 분할 플래그가 0인 경우에는 분할 과정을 종료하고 부호화를 진행한다.

상기 예를 통해 복수의 분할 방식이 수행되는 경우를 설명하였지만, 이에 한정되지 않고 다양한 분할 방식의 지원 조합이 가능할 수 있다. 예를 들어, 쿼드 트리/바이너리 트리/ 쿼드 트리 + 바이너리 트리 등의 분할 방식이 사용될 수 있다. 이때, 기본의 분할 방식은 쿼드 트리 방식, 추가적인 분할 방식은 바이너리 트리 방식으로 설정할 수 있고, 추가적인 분할 방식의 지원 여부에 대한 정보가 명시적으로 시퀀스, 픽쳐, 슬라이스, 타일 등의 단위에 포함될 수 있다.

상기 예에서 부호화 블록의 크기 정보, 부호화 블록의 지원 범위, 최대 분할 깊이 등 분할에 관련된 정보는 시퀀스, 픽쳐, 슬라이스, 타일 등의 단위에 포함되거나 묵시적으로 결정될 수 있다. 정리하면, 최대 부호화 블록의 크기, 지원되는 블록의 범위, 최대 분할 깊이 등에 의해 허용 가능한 블록의 범위가 정해질 수 있다.

상기 과정을 통해 분할이 수행되어 획득되는 부호화 블록은 화면 내 예측 또는 화면 간 예측의 최대 크기로 설정될 수 있다. 즉, 블록 분할이 끝난 부호화 블록은 화면 내 예측 또는 화면 간 예측을 위해 예측 블록의 분할의 시작 크기일 수 있다. 예를 들어, 부호화 블록이 2M×2N일 경우 예측 블록은 그보다 같거나 작은 2M×2N, M×N의 크기를 가질 수 있다. 또는, 2M×2N, 2M×N, M×2N, M×N의 크기를 가질 수 있다. 또는, 부호화 블록와 동일한 크기로 2M×2N의 크기를 가질 수 있다. 이때, 부호화 블록과 예측 블록이 동일한 크기를 갖는다는 것은 예측 블록의 분할을 수행하지 않고 부호화 블록의 분할을 통해 획득된 크기로 예측을 수행한다는 것을 의미할 수 있다. 즉, 예측 블록을 위한 분할 정보는 생성되지 않는다는 것을 의미한다. 이와 같은 설정은 변환 블록에도 적용될 수 있으며 분할된 부호화 블록 단위로 변환을 수행할 수도 있다. 즉, 상기 분할 결과에 따라 획득되는 정사각 또는 직사각 형태의 블록이 화면내 예측, 화면간 예측에 사용되는 블록일 수 있고, 잔차 성분에 대한 변환, 양자화에 사용되는 블록일 수 있다.

도 3은 본 발명의 일 실시예에 따른 영상 복호화 장치에 대한 구성도이다.

도 3을 참조하면, 영상 복호화 장치(30)는, 부호화 픽쳐 버퍼(300), 엔트로피 복호화부(305), 예측부(310), 역양자화부(315), 역변환부(320), 가감산기(325), 필터(330), 복호화 픽쳐 버퍼(335)를 포함하여 구성될 수 있다.

또한, 예측부(310)는 다시 화면 내 예측 모듈 및 화면 간 예측 모듈을 포함하여 구성될 수 있다.

먼저, 영상 부호화 장치(20)로부터 전달된 영상 비트스트림이 수신되면, 부호화 픽쳐 버퍼(300)에 저장될 수 있다.

엔트로피 복호화부(305)는 비트스트림을 복호화하여 양자화된 계수들, 움직임 벡터들 및 다른 구문(syntax)를 생성할 수 있다. 생성된 데이터는 예측부(310)로 전달될 수 있다.

예측부(310)는 엔트로피 복호화부(305)로부터 전달된 데이터들에 기초하여 예측 블록을 생성할 수 있다. 이때, 복호화된 픽쳐 버퍼(335)에 저장된 참조 영상에 기초하여, 디폴트(default) 구성 기법을 이용한 참조 픽쳐 리스트를 구성할 수도 있다.

역양자화부(315)는 비트스트림으로 제공되어 엔트로피 복호화부(305)에 의해 복호화된 양자화된 변환 계수들을 역양자화할 수 있다.

역변환부(320)는 역 DCT, 역 정수 변환 또는 그와 유사한 개념의 역변환 기법들을 변환 계수에 적용하여 잔차 블록을 생성할 수 있다.

이때, 역양자화부(315), 역변환부(320)는 앞서 설명한 영상 부호화 장치(20)의 변환부(210) 및 양자화부(215)에서 수행한 과정을 역으로 수행하며 다양한 방법으로 구현될 수 있다. 예를 들어, 변환부(210) 및 양자화부(215)와 공유하는 동일한 과정 및 역변환을 사용할 수도 있고, 영상 부호화 장치(20)로부터 변환 및 양자화 과정에 관한 정보(예를 들면, 변환 크기, 변환 모양, 양자화 타입 등)를 이용하여 변환 및 양자화 과정을 역으로 수행할 수 있다.

역양자화 및 역변환 과정을 거친 잔차 블록은 예측부(310)에 의해 도출된 예측 블록과 가산되어 복원된 영상 블록이 생성될 수 있다. 이러한 가산은 가감산기(325)에 의해 이루어 질 수 있다.

필터(330)는 복원된 영상 블록에 대하여, 필요에 따라 블로킹(blocking) 현상을 제거하기 위하여 디블로킹 필터를 적용할 수도 있고, 상기 복호화 과정 전 후에 다른 루프 필터들을 비디오 품질을 향상시키기 위해 추가로 사용할 수도 있다.

복원 및 필터를 거친 영상 블록은 복호화 픽쳐 버퍼(335)에 저장될 수 있다.

도 4는 본 발명의 일 실시예에 따른 화면 간 예측에서 현재 블록의 움직임 벡터를 설정하기 위한 후보 움직임 벡터를 결정하는 방법에 대한 예시도이다.

현재 블록의 예측 블록을 생성하기 위하여 현재 블록과 유사한 블록을 현재 블록이 속한 프레임과 시간적으로 다른 프레임 내의 블록에서 찾은 경우 해당 블록을 지시하는 정보로서 움직임 벡터를 사용할 수 있다. 이때, 부호화할 움직임 벡터의 좌표값이 큰 경우 비트 손실율이 매우 클 수 있다. 따라서, 부호화 장치는 부호화할 움직임 벡터와 유사성이 높을 것으로 예상되는 후보 움직임 벡터들 중에서 최적의 움직임 벡터를 선정한 후, 최적의 움직임 벡터를 지시하는 정보, 부호화할 움직임 벡터와 최적의 움직임 벡터 사이의 차분값 및 차분값의 부호를 복호화 장치에 전달할 수 있다. 이때, 최적의 움직임 벡터는 차분값이 최소화될 수 있도록, 후보 움직임 벡터들 중에서 현재 블록에 대한 움직임 벡터와의 거리가 최소가 되는 움직임 벡터일 수 있다.

여기서, 후보 움직임 벡터를 어떻게 결정할 것인지 문제되는데, 도 4를 참조하면, 현재 블록과 인접한 이웃 블록의 움직임 벡터를 후보 움직임 벡터로 결정할 수 있다. 즉, 현재 블록(Current BLOCK)과 인접한 이웃 블록들(A, B, C, D, E)의 움직임 벡터는 현재 블록의 움직임 벡터와 유사할 가능성이 높으므로 현재 블록의 움직임 벡터를 표현하는 후보 움직임 벡터로 결정할 수 있다.

또한, 현재 블록과 인접한 이웃 블록 뿐만 아니라, 현재 블록이 속한 프레임(또는 픽쳐)과 시간적으로 인접하며 부호화가 완료된 프레임(또는 픽쳐)에서, 현재 블록과 같은 위치에 있는 블록(Co-located BLOCK)의 움직임 벡터를 후보 움직임 벡터로 결정할 수도 있다.

또한, 후보 움직임 벡터는 이웃 블록 또는 시간적으로 인접하고 부호화가 완료된 프레임에서 현재 블록과 같은 위치에 있는 블록들 중에서 2개 이상을 선정할 수 있다. 이때, 후보 움직임 벡터의 개수와 후보 움직임 벡터의 선정 조건은 부호화 장치와 복호화 장치에 미리 설정되어 있을 수 있다.

이하에서는 최적의 움직임 벡터를 지시하는 정보, 현재 블록의 움직임 벡터와 최적의 움직임 벡터 사이의 차분값, 차분값에 대한 부호 중에서 최적의 움직임 벡터를 지시하는 정보나 차분값에 대한 부호를 복호화 장치에서 알 수 있는 경우를 살펴보고, 이를 기초로 최적의 움직임 벡터를 지시하는 정보 또는 차분값에 대한 부호를 부호화하지 않는 방법을 설명한다.

도 5는 후보 움직임 벡터가 2개일 때 현재 블록의 움직임 벡터가 존재할 수 있는 영역을 나타낸 예시도이다.

도 5를 참조하면, 후보 움직임 벡터가 2개일 때 최적의 움직임 벡터를 지시하는 정보 또는 차분값에 대한 부호를 복호화 장치가 알 수 있는 경우를 설명할 수 있다. 또한, a와 b는 후보 움직임 벡터에 대한 x 또는 y 좌표값을 의미할 수 있으나 이하에서는 간략히 후보 움직임 벡터로 지칭한다.

먼저, 두 개의 후보 움직임 벡터 a 및 b 중에서 최적의 움직임 벡터를 선정하고 최적의 움직임 벡터와 현재 블록의 움직임 벡터(k) 사이의 차분값(mvd, moving vector difference)을 부호화할 경우, 최적의 움직임 벡터와 현재 블록의 움직임 벡터(k) 사이의 차분값(mvd)이 다음의 수학식 1과 같은 관계를 가진다고 하자.

상기 수학식 1의 관계에서, 후보 움직임 벡터 a가 최적의 움직임 벡터인 경우, 현재 블록의 움직임 벡터(k)는 후보 움직임 벡터 a를 기준으로

(인접한 후보 움직임 벡터들 a, b 사이의 거리의 반에 해당) 보다 더 먼 거리에 위치할 수 있다. 즉, 현재 블록의 움직임 벡터(k)는 도 5에서 제1 영역(51a)와 제2 영역(52a)에 위치할 수 있다. 이때, 현재 블록의 움직임 벡터(k)가 제2 영역(52a)에 위치하면 후보 움직임 벡터 a보다 후보 움직임 벡터 b와 더 가까워지게 된다. 현재 블록의 움직임 벡터(k)가 후보 움직임 벡터 a보다 후보 움직임 벡터 b와 가까우면, 최적의 움직임 벡터가 a라는 전제조건에 어긋나므로, 현재 블록의 움직임 벡터(k)는 제2 영역(52a)에는 위치할 수 없고, 제1 영역(51a)에 위치할 수 있다.

또한, 상기 수학식 1의 관계에서 후보 움직임 벡터 b가 최적의 움직임 벡터인 경우, 현재 블록의 움직임 벡터(k)는 후보 움직임 벡터 b를 기준으로

보다 더 먼 거리에 위치할 수 있다. 즉, 현재 블록의 움직임 벡터(k)는 도 5에서 제3 영역(51b)와 제4 영역(52b)에 위치할 수 있다. 이때, 현재 블록의 움직임 벡터(k)가 제3 영역(51b)에 위치하면 후보 움직임 벡터 b보다 후보 움직임 벡터 a와 더 가까워지게 된다. 현재 블록의 움직임 벡터(k)가 후보 움직임 벡터 b보다 후보 움직임 벡터 a와 가까우면, 최적의 움직임 벡터가 b라는 전제조건에 어긋나므로, 현재 블록의 움직임 벡터(k)는 제3 영역(51b)에는 위치할 수 없고, 제4 영역(52b)에 위치할 수 있다.

정리하면, 수학식 1을 만족할 경우 현재 블록의 움직임 벡터(k)는 제1 영역(51a) 또는 제4 영역(52b)에 위치한다는 것을 알 수 있는데, 이러한 사실을 통해 최적의 움직임 벡터를 지시하는 정보를 생략하거나, 최적의 움직임 벡터와 현재 블록의 움직임 벡터 사이의 차분값에 대한 부호를 생략할 수 있다.

구체적으로, 최적의 움직임 벡터와 현재 블록의 움직임 벡터 사이의 차분값에 대한 부호를 생략하는 방법은 다음과 같다.

먼저, a가 최적의 움직임 벡터인 경우를 살펴보면, 현재 블록의 움직임 벡터(k)는 제1 영역(51a)에 위치한다. 따라서, 최적의 움직임 벡터가 a라면 현재 블록의 움직임 벡터(k)는 a보다 왼쪽에 위치(a보다 더 작은 값을 가지는 위치)에 있으므로, 현재 블록의 움직임 벡터(k)와 최적의 움직임 벡터(전제조건상 a)와의 차분값(k-a)은 항상 음수라는 것을 알 수 있다.

다음으로, b가 최적의 움직임 벡터인 경우를 살펴보면, 현재 블록의 움직임 벡터(k)는 제4 영역(52b)에 위치한다. 따라서, 최적의 움직임 벡터가 b라면 현재 블록의 움직임 벡터(k)는 b보다 오른쪽에 위치(b보다 더 큰 값을 가지는 위치)에 있으므로, 현재 블록의 움직임 벡터(k)와 최적의 움직임 벡터(전제조건상 b)와의 차분값(k-b)은 항상 양수라는 것을 알 수 있다.

종합하면, 부호화 장치는 상기 수학식 1을 만족할 경우 최적의 움직임 벡터와 현재 블록의 움직임 벡터에 대한 차분값의 부호를 복호화 장치에 전달하는 과정을 생략하고, 차분값의 크기와 최적의 움직임 벡터를 지시하는 정보를 복호화 장치에 전달할 수 있다. 복호화 장치는 상기 수학식 1을 만족하는지 판단하고, 최적의 움직임 벡터를 지시하는 정보를 참조한 결과 최적의 움직임 벡터가 a라면 현재 블록의 움직임 벡터(k)가 제1 영역(51a)에 위치하는 것을 파악하여 차분값의 부호가 음수라고 결정할 수 있다. 또한, 복호화 장치는 상기 수학식 1을 만족하는지 판단하고, 최적의 움직임 벡터를 지시하는 정보를 참조한 결과 최적의 움직임 벡터가 b라면 현재 블록의 움직임 벡터(k)가 제4 영역(52b)에 위치하는 것을 파악하여 차분값의 부호가 양수라고 결정할 수 있다.

한편, 최적의 움직임 벡터를 지시하는 정보를 생략하는 방법은 다음과 같다.

부호화 장치가 최적의 움직임 벡터를 지시하는 정보를 생략하고, 최적의 움직임 벡터와 현재 블록의 움직임 벡터 사이의 차분값의 크기와 부호를 복호화 장치에 전송하였다면, 복호화 장치는 차분값의 크기와 부호를 통해 차분값을 확인할 수 있고, 확인된 차분값에 최적의 움직임 벡터가 될 수 있는 후보 움직임 벡터 a를 더할 수 있다. 이때 도출된 값(현재 블록에 대한 움직임 벡터 좌표값의 추정값일 수 있어, 추정 움직임 벡터로 지칭될 수 있다.)이 a와 b 중에서 a에 가까운 값을 가진다면 최적의 움직임 벡터는 a인 것으로 판단할 수 있다. 왜냐하면, a가 최적의 움직임 벡터라면, 차분값(k-a)에 후보 움직임 벡터 a를 더하여 도출된 값은 현재 블록의 움직임 벡터(k)가 되고, 부호화 장치는 후보 움직임 벡터 a가 현재 블록의 움직임 벡터(k)와 가장 가깝기 때문에 최적의 움직임 벡터로 선정하였을 것이기 때문이다.

같은 방식으로, 복호화 장치는 차분값의 크기와 부호를 통해 차분값을 확인할 수 있고, 확인된 차분값에 최적의 움직임 벡터가 될 수 있는 후보 움직임 벡터 b를 더할 수 있다. 이때 도출된 값이 a와 b 중에서 b에 가까운 값을 가진다면 최적의 움직임 벡터는 b인 것으로 판단할 수 있다.

한편, 상기 과정들을 모든 후보 움직임 벡터들에 대하여 수행한 결과, 최적의 움직임 벡터가 될 수 있는 움직임 벡터가 여러 개 도출될 수도 있다. 이러한 경우 복호화 장치가 어느 하나의 최적 움직임 벡터를 선정할 수 없으므로 부호화 장치는 최적의 움직임 벡터를 지시하는 정보를 생략할 수 없다. 즉, 후보 움직임 벡터 중에서 하나의 최적 움직임 벡터가 선정되지 않는 경우도 존재할 수 있으며, 이러한 경우에는 상기 방법을 적용하지 않는다.

여기서 최적의 움직임 벡터를 지시하는 정보를 생략하는 방법은 앞에서는 후보 움직임 벡터가 두개인 경우를 기준으로 설명하였으나, 복수의 후보 움직임 벡터가 존재하는 경우에도 같은 방법을 적용하는 것이 통상의 기술자에게 용이하게 이해될 수 있을 것이므로 더 이상 구체적인 설명은 생략한다.

도 6은 후보 움직임 벡터가 3개일 때 현재 블록의 움직임 벡터가 존재할 수 있는 영역을 나타낸 제1 예시도이다. 도 7은 후보 움직임 벡터가 3개일 때 현재 블록의 움직임 벡터가 존재할 수 있는 영역을 나타낸 제2 예시도이다.

도 6 및 도 7을 참조하면, 후보 움직임 벡터가 a, b, c로 3개 존재할 경우(도면에서는 x 또는 y좌표를 기준으로 나타냄) 후보 움직임 벡터 사이의 간격(x또는 y좌표를 기준으로 인접한 후보 움직임 벡터 사이에 대한 간격들)은 a와 b사이, b와 c사이가 존재할 수 있다.

이때, 후보 움직임 벡터 사이의 간격 중 큰 간격을 DL로 정의하고, 작은 간격을 DS로 정의할 수 있다. 도 6 및 도 7과 같이 후보 움직임 벡터 a와 b 사이의 간격이 큰 간격이고, 후보 움직임 벡터 b와 c 사이의 간격이 작은 간격을 가진다면, DL과 DS는 다음의 수학식 2 및 수학식 3과 같다.

상기 수학식 2 및 수학식 3의 관계에서 현재 블록의 움직임 벡터와 최적의 움직임 벡터 사이의 차분값 사이의 관계가 다음의 수학식 4를 만족한다고 하자.

상기 수학식 4의 조건에서, 현재 블록의 움직임 벡터가 위치하는 영역을 도시하면 도 6과 같다.

도 6을 참조하면, 후보 움직임 벡터 a가 최적의 움직임 벡터일 경우, 현재 블록의 움직임 벡터(k)는 a를 기준으로 DS보다 크고 DL보다 작거나 같은 거리내에 위치하므로 제1 영역(61a) 및 제2 영역(62a)에 위치할 수 있다. 즉, 이 경우 차분값(k-a)는 양수 또는 음수 모두 가능할 수 있다.

또한, 후보 움직임 벡터 b가 최적의 움직임 벡터일 경우, 현재 블록의 움직임 벡터(k)는 b를 기준으로 DS보다 크고 DL보다 작거나 같은 거리 내에 위치하므로, 제3 영역(61b)에 위치할 수 있다. 이때, 후보 움직임 벡터 b가 최적의 움직임 벡터인 경우에서 현재 블록의 움직임 벡터(k)가 b보다 크고, b를 기준으로 DS보다 큰 값을 가진다면, 현재 블록의 움직임 벡터(k)는 후보 움직임 벡터 b보다 후보 움직임 벡터 c에 더 가까워지므로 후보 움직임 벡터 b가 최적의 움직임 벡터라는 전제조건에 어긋날 수 있다. 따라서 후보 움직임 벡터b가 최적의 움직임 벡터인 경우 현재 블록의 움직임 벡터(k)는 b보다 클 수 없으므로, 차분값(k-b)은 음수라는 것을 알 수 있다.

또한, 후보 움직임 벡터 c가 최적의 움직임 벡터일 경우, 현재 블록의 움직임 벡터(k)는 c를 기준으로 DS보다 크고 DL보다 작거나 같은 거리 내에 위치하므로 제4 영역(62c)에 위치할 수 있다. 이때, 후보 움직임 벡터 c가 최적의 움직임 벡터인 경우에서 현재 블록의 움직임 벡터(k)가 c보다 작고, c를 기준으로 DS보다 작은 값을 가진다면, 현재 블록의 움직임 벡터(k)는 후보 움직임 벡터 c보다 후보 움직임 벡터 b에 더 가까워지므로 후보 움직임 벡터 c가 최적의 움직임 벡터라는 전제조건에 어긋날 수 있다. 따라서 후보 움직임 벡터c가 최적의 움직임 벡터인 경우 현재 블록의 움직임 벡터(k)는 c보다 작을 수 없으므로, 차분값(k-c)은 양수라는 것을 알 수 있다.

도 6에 대한 설명을 종합하면, 최적의 움직임 벡터가 a일 때, 현재 블록의 움직임 벡터(k)는 제1 영역(61a) 및 제2 영역(62a)에 위치하고 제1 영역(61a)에서 최적의 움직임 벡터(a)와 현재 블록의 움직임 벡터(k) 사이의 차분값(k-a)은 음수가 되고, 제2 영역(62a)에서는 양수가 되므로 차분값(k-a)은 양수 및 음수 둘다 가질 수 있다. 따라서, 최적의 움직임 벡터가 a일 때 복호화 장치는 차분값의 부호를 알수 없으므로, 부호화 장치는 차분값(k-a)의 부호와 크기, 최적의 움직임 벡터를 지시하는 정보를 복호화 장치에 전송할 수 있다.

그러나, 최적의 움직임 벡터가 b이면, 현재 블록의 움직임 벡터(k)는 제3 영역(61b)에 위치하므로 차분값(k-b)의 부호가 음수라는 것을 복호화 장치가 알 수 있다. 또한, 최적의 움직임 벡터가 c이면 현재 블록의 움직임 벡터(k)는 제4 영역(62c)에 위치하므로 차분값(k-c)의 부호가 양수라는 것을 복호화 장치가 알 수 있다. 따라서, 최적의 움직임 벡터가 b 또는 c인 경우 부호화 장치는 차분값의 부호를 복호화 장치에 전달하는 것을 생략할 수 있다.

한편, 다시 상기 수학식 2 및 수학식 3의 관계에서 현재 블록의 움직임 벡터와 최적의 움직임 벡터 사이의 차분값 사이의 관계가 다음의 수학식 5를 만족한다고 하자.

상기 수학식 5의 조건에서, 현재 블록의 움직임 벡터(k)가 위치하는 영역을 도시하면 도 7과 같다.

도 7을 참조하면, 후보 움직임 벡터 a가 최적의 움직임 벡터일 경우, 현재 블록의 움직임 벡터(k)는 a를 기준으로 DL보다 먼 거리 내에 위치하므로, 제1 영역(71a)에 위치할 수 있다. 이때, 후보 움직임 벡터 a가 최적의 움직임 벡터인 경우에서 현재 블록의 움직임 벡터(k)가 a보다 크고, a를 기준으로 DL보다 먼 거리에 위치한다면, 현재 블록의 움직임 벡터(k)는 후보 움직임 벡터 a보다 후보 움직임 벡터 b에 더 가까워지므로 후보 움직임 벡터 a가 최적의 움직임 벡터라는 전제조건에 어긋날 수 있다. 따라서 후보 움직임 벡터a가 최적의 움직임 벡터인 경우 현재 블록의 움직임 벡터(k)는 a보다 클 수 없으므로, 차분값(k-a)은 음수일 수 있다.

또한, 후보 움직임 벡터 b가 최적의 움직임 벡터일 경우, 현재 블록의 움직임 벡터(k)는 b를 기준으로 DL보다 먼 거리에 위치해야 한다. 이때, 후보 움직임 벡터 b가 최적의 움직임 벡터인 경우에서 현재 블록의 움직임 벡터(k)가 b를 기준으로 DL보다 먼 거리에 위치한다면, 현재 블록의 움직임 벡터(k)는 후보 움직임 벡터 b보다 후보 움직임 벡터 a 또는 c에 더 가까워지므로 후보 움직임 벡터 b가 최적의 움직임 벡터라는 전제조건에 어긋날 수 있다. 따라서, 후보 움직임 벡터가 b이면, 현재 블록의 움직임 벡터(k)가 존재하는 영역이 없게 되므로 후보 움직임 벡터는 b일 수 없다.

또한, 후보 움직임 벡터c가 최적의 움직임 벡터일 경우, 현재 블록의 움직임 벡터(k)는 c를 기준으로 DL보다 큰 거리 내에 위치하므로, 제2 영역(72c)에 위치할 수 있다. 이때, 후보 움직임 벡터 c가 최적의 움직임 벡터인 경우에서 현재 블록의 움직임 벡터(k)가 c보다 작고, c를 기준으로 DL보다 먼 거리에 있다면, 현재 블록의 움직임 벡터(k)는 후보 움직임 벡터 c보다 후보 움직임 벡터 b에 더 가까워지므로 후보 움직임 벡터 c가 최적의 움직임 벡터라는 전제조건에 어긋날 수 있다. 따라서 후보 움직임 벡터c가 최적의 움직임 벡터인 경우 현재 블록의 움직임 벡터(k)는 c보다 작을 수 없으므로, 차분값(k-c)은 항상 양수일 수 있다.

수학식 5를 전제조건으로 하여 도 7에 대한 설명을 종합하면, 최적의 움직임 벡터가 a일 때, 현재 블록의 움직임 벡터(k)는 제1 영역(71a)에 위치하고 제1 영역(71a)에서 최적의 움직임 벡터(a)와 현재 블록의 움직임 벡터(k) 사이의 차분값(k-a)은 음수라는 것을 복호화 장치가 알 수 있다. 따라서, 최적의 움직임 벡터가 a인 경우 부호화 장치는 차분값의 부호를 복호화 장치에 전달하는 것을 생략할 수 있다.

또한, 최적의 움직임 벡터가 b일 때, 현재 블록의 움직임 벡터(k)는 존재하는 영역이 없다. 따라서, 수학식 5를 만족할 때 최적의 움직임 벡터는 b일 수 없으므로, 부호화 장치는 후보 움직임 벡터에서 b를 제외하고 a 나 c를 후보 움직임 벡터로 정의하고, a 및 c 중에서 최적의 움직임 벡터를 지시하는 정보를 생성하여 복호화 장치로 전송할 수 있고, 복호화 장치는 수학식 5를 만족하는지 판단하여 최적의 움직임 벡터를 지시하는 정보를 통해 a나 c를 최적의 움직임 벡터로 해석할 수 있다. 이러한 경우에는 후보 움직임 벡터가 하나 제외되므로 3개 중 하나를 지시하는 비트값(2bit)보다 작은 비트값(1bit)을 사용할 수 있어 부호화 및 복호화의 효율을 증가시킬 수 있다.

또한, 최적의 움직임 벡터가 c일 때, 현재 블록의 움직임 벡터(k)는 제2 영역(72c)에 위치하고 제2 영역(72c에서 최적의 움직임 벡터(c)와 현재 블록의 움직임 벡터(k) 사이의 차분값(k-c)은 양수라는 것을 복호화 장치가 알 수 있다. 따라서, 최적의 움직임 벡터가 c인 경우 부호화 장치는 차분값의 부호를 복호화 장치에 전달하는 것을 생략할 수 있다.

도 8은 본 발명의 일 실시예에 따른 화면 간 예측을 이용한 영상 복호화 방법에 대한 흐름도이다.

도 8을 참조하면 화면 간 예측을 이용한 영상 복호화 방법은, 비트스트림을 수신하는 단계(S100), 수신된 비트스트림에서 복호화할 현재 블록의 움직임 벡터를 지시하는 정보 중 일부를 획득하는 단계(S110), 획득된 정보를 이용하여 상기 일부를 제외한 나머지 정보를 결정함으로써 상기 현재 블록의 움직임 벡터를 획득하는 단계(S120) 및 상기 현재 블록의 움직임 벡터를 이용한 화면 간 예측을 통해 상기 현재 블록의 예측 블록을 생성하는 단계(S130)를 포함할 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 지시하는 정보는, 두개 이상의 후보 움직임 벡터 중에서 선정된 최적의 움직임 벡터와 상기 현재 블록의 움직임 벡터 사이의 차분값의 크기, 상기 차분값의 부호 및 상기 최적의 움직임 벡터를 지시하는 정보 중 적어도 하나를 포함할 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 획득하는 단계(S120)는, 상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계 및 상기 미리 설정된 조건에 해당하면, 상기 최적의 움직임 벡터를 지시하는 정보에서 획득된 최적의 움직임 벡터를 기초로 상기 차분값의 부호를 결정하는 단계를 포함할 수 있다.

여기서 상기 미리 설정된 조건은, 상기 두개 이상의 후보 움직임 벡터들 중에서 인접한 벡터들 사이의 간격을 기초로 설정될 수 있다.

여기서 상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계는, 상기 인접한 벡터들 사이의 간격이 가장 큰 값과 상기 인접한 벡터들 사이의 간격이 가장 작은 값을 도출하는 단계 및 상기 가장 큰 값과 상기 가장 작은 값을 상기 차분값의 크기와 비교하는 단계를 포함할 수 있다.

여기서 상기 미리 설정된 조건은, 상기 인접한 벡터들 사이의 간격을 반으로 나눈 간격을 기초로 설정될 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 획득하는 단계(S120)는, 상기 차분값의 크기와 상기 차분값의 부호를 이용하여 상기 차분값을 획득하는 단계, 획득된 차분값에 상기 두개 이상의 후보 움직임 벡터들 중 제1 후보 움직임 벡터를 더하여 상기 현재 블록의 추정 움직임 벡터를 결정하는 단계, 상기 추정 움직임 벡터가 상기 두개 이상의 후보 움직임 벡터들 중에서 상기 제1 후보 움직임 벡터와 가장 가까운 좌표값을 갖는지 판단하는 단계 및 판단 결과를 기초로, 상기 최적의 움직임 벡터를 결정하는 단계를 포함할 수 있다.

여기서 상기 추정 움직임 벡터를 결정하는 단계 및 상기 판단하는 단계는, 상기 제1 후보 움직임 벡터를 제외한 나머지 후보 움직임 벡터들을 상기 제1 후보 움직임 벡터로 대입하여 반복 수행될 수 있다.

여기서 상기 최적의 움직임 벡터를 결정하는 단계는, 상기 반복 수행의 결과 가장 가까운 좌표값을 갖는 후보 움직임 벡터가 유일하면, 해당 후보 움직임 벡터를 상기 최적의 움직임 벡터로 결정할 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 획득하는 단계(S120)는, 상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계 및 상기 미리 설정된 조건에 해당하면, 상기 두개 이상의 후보 움직임 벡터들 중 적어도 하나의 움직임 벡터를 후보 움직임 벡터에서 제외하고 나머지 후보 움직임 벡터들 중에서 상기 최적의 움직임 벡터를 결정하는 단계를 포함할 수 있다.

도 9는 본 발명의 일 실시예에 따른 화면 간 예측을 이용한 영상 복호화 장치에 대한 구성도이다.

도 9를 참조하면 화면 간 예측을 이용한 영상 복호화 장치(200)는, 적어도 하나의 프로세서(processor, 210) 및 상기 적어도 하나의 프로세서(210)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 220)를 포함할 수 있다.

여기서 영상 복호화 장치(200)는 영상 부호화 장치로부터 비트스트림을 유무선 네트워크를 통해 수신하는 통신 모듈(230)을 더 포함할 수 있다.

여기서 영상 복호화 장치(200)는 영상 복호화 과정에 필요한 참조 픽쳐, 복호화된 블록 등을 저장하는 로컬 저장소(240)를 더 포함할 수 있다.

여기서 상기 적어도 하나의 단계는, 비트스트림을 수신하는 단계, 수신된 비트스트림에서 복호화할 현재 블록의 움직임 벡터를 지시하는 정보 중 일부를 획득하는 단계, 획득된 정보를 이용하여 상기 일부를 제외한 나머지 정보를 결정함으로써 상기 현재 블록의 움직임 벡터를 획득하는 단계 및 상기 현재 블록의 움직임 벡터를 이용한 화면 간 예측을 통해 상기 현재 블록의 예측 블록을 생성하는 단계를 포함할 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 지시하는 정보는, 두개 이상의 후보 움직임 벡터 중에서 선정된 최적의 움직임 벡터와 상기 현재 블록의 움직임 벡터 사이의 차분값의 크기, 상기 차분값의 부호 및 상기 최적의 움직임 벡터를 지시하는 정보 중 적어도 하나를 포함할 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 획득하는 단계는, 상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계 및 상기 미리 설정된 조건에 해당하면, 상기 최적의 움직임 벡터를 지시하는 정보에서 획득된 최적의 움직임 벡터를 기초로 상기 차분값의 부호를 결정하는 단계를 포함할 수 있다.

여기서 상기 미리 설정된 조건은, 상기 두개 이상의 후보 움직임 벡터들 중에서 인접한 벡터들 사이의 간격을 기초로 설정될 수 있다.

여기서 상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계는, 상기 인접한 벡터들 사이의 간격이 가장 큰 값과 상기 인접한 벡터들 사이의 간격이 가장 작은 값을 도출하는 단계 및 상기 가장 큰 값과 상기 가장 작은 값을 상기 차분값의 크기와 비교하는 단계를 포함할 수 있다.

여기서 상기 미리 설정된 조건은, 상기 인접한 벡터들 사이의 간격을 반으로 나눈 간격을 기초로 설정될 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 획득하는 단계는, 상기 차분값의 크기와 상기 차분값의 부호를 이용하여 상기 차분값을 획득하는 단계, 획득된 차분값에 상기 두개 이상의 후보 움직임 벡터들 중 제1 후보 움직임 벡터를 더하여 상기 현재 블록의 추정 움직임 벡터를 결정하는 단계, 상기 추정 움직임 벡터가 상기 두개 이상의 후보 움직임 벡터들 중에서 상기 제1 후보 움직임 벡터와 가장 가까운 좌표값을 갖는지 판단하는 단계 및 판단 결과를 기초로, 상기 최적의 움직임 벡터를 결정하는 단계를 포함할 수 있다.

여기서 상기 추정 움직임 벡터를 결정하는 단계 및 상기 판단하는 단계는, 상기 제1 후보 움직임 벡터를 제외한 나머지 후보 움직임 벡터들을 상기 제1 후보 움직임 벡터로 대입하여 반복 수행될 수 있다.

여기서 상기 최적의 움직임 벡터를 결정하는 단계는, 상기 반복 수행의 결과 가장 가까운 좌표값을 갖는 후보 움직임 벡터가 유일하면, 해당 후보 움직임 벡터를 상기 최적의 움직임 벡터로 결정할 수 있다.

여기서 상기 현재 블록의 움직임 벡터를 획득하는 단계는, 상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계 및 상기 미리 설정된 조건에 해당하면, 상기 두개 이상의 후보 움직임 벡터들 중 적어도 하나의 움직임 벡터를 후보 움직임 벡터에서 제외하고 나머지 후보 움직임 벡터들 중에서 상기 최적의 움직임 벡터를 결정하는 단계를 포함할 수 있다.

여기서 영상 복호화 장치(200)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

1. 화면 간 예측을 이용한 영상 복호화 방법으로,
   비트스트림을 수신하는 단계;
   수신된 비트스트림에서 복호화할 현재 블록의 움직임 벡터를 지시하는 정보 중 일부를 획득하는 단계;
   획득된 정보를 이용하여 상기 일부를 제외한 나머지 정보를 결정함으로써 상기 현재 블록의 움직임 벡터를 획득하는 단계; 및
   상기 현재 블록의 움직임 벡터를 이용한 화면 간 예측을 통해 상기 현재 블록의 예측 블록을 생성하는 단계를 포함하는, 영상 복호화 방법.
2. 청구항 1에서,
   상기 현재 블록의 움직임 벡터를 지시하는 정보는,
   두개 이상의 후보 움직임 벡터 중에서 선정된 최적의 움직임 벡터와 상기 현재 블록의 움직임 벡터 사이의 차분값의 크기, 상기 차분값의 부호 및 상기 최적의 움직임 벡터를 지시하는 정보 중 적어도 하나를 포함하는, 영상 복호화 방법.
3. 청구항 2에서,
   상기 현재 블록의 움직임 벡터를 획득하는 단계는,
   상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계; 및
   상기 미리 설정된 조건에 해당하면, 상기 최적의 움직임 벡터를 지시하는 정보에서 획득된 최적의 움직임 벡터를 기초로 상기 차분값의 부호를 결정하는 단계를 포함하는, 영상 복호화 방법.
4. 청구항 3에서,
   상기 미리 설정된 조건은,
   상기 두개 이상의 후보 움직임 벡터들 중에서 인접한 벡터들 사이의 간격을 기초로 설정되는, 영상 복호화 방법.
5. 청구항 4에서,
   상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계는,
   상기 인접한 벡터들 사이의 간격이 가장 큰 값과 상기 인접한 벡터들 사이의 간격이 가장 작은 값을 도출하는 단계; 및
   상기 가장 큰 값과 상기 가장 작은 값을 상기 차분값의 크기와 비교하는 단계를 포함하는, 영상 복호화 방법.
6. 청구항 4에서,
   상기 미리 설정된 조건은,
   상기 인접한 벡터들 사이의 간격을 반으로 나눈 간격을 기초로 설정되는, 영상 복호화 방법.
7. 청구항 2에서,
   상기 현재 블록의 움직임 벡터를 획득하는 단계는,
   상기 차분값의 크기와 상기 차분값의 부호를 이용하여 상기 차분값을 획득하는 단계;
   획득된 차분값에 상기 두개 이상의 후보 움직임 벡터들 중 제1 후보 움직임 벡터를 더하여 상기 현재 블록의 추정 움직임 벡터를 결정하는 단계;
   상기 추정 움직임 벡터가 상기 두개 이상의 후보 움직임 벡터들 중에서 상기 제1 후보 움직임 벡터와 가장 가까운 좌표값을 갖는지 판단하는 단계; 및
   판단 결과를 기초로, 상기 최적의 움직임 벡터를 결정하는 단계를 포함하는, 영상 복호화 방법.
8. 청구항 7에서,
   상기 추정 움직임 벡터를 결정하는 단계 및 상기 판단하는 단계는,
   상기 제1 후보 움직임 벡터를 제외한 나머지 후보 움직임 벡터들을 상기 제1 후보 움직임 벡터로 대입하여 반복 수행되는, 영상 복호화 방법.
9. 청구항 8에서,
   상기 최적의 움직임 벡터를 결정하는 단계는,
   상기 반복 수행의 결과 가장 가까운 좌표값을 갖는 후보 움직임 벡터가 유일하면, 해당 후보 움직임 벡터를 상기 최적의 움직임 벡터로 결정하는, 영상 복호화 방법.
10. 청구항 2에서,
    상기 현재 블록의 움직임 벡터를 획득하는 단계는,
    상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계; 및
    상기 미리 설정된 조건에 해당하면, 상기 두개 이상의 후보 움직임 벡터들 중 적어도 하나의 움직임 벡터를 후보 움직임 벡터에서 제외하고 나머지 후보 움직임 벡터들 중에서 상기 최적의 움직임 벡터를 결정하는 단계를 포함하는, 영상 복호화 방법.
11. 화면 간 예측을 이용한 영상 복호화 장치로,
    적어도 하나의 프로세서(processor); 및
    상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함하고,
    상기 적어도 하나의 단계는,
    비트스트림을 수신하는 단계;
    수신된 비트스트림에서 복호화할 현재 블록의 움직임 벡터를 지시하는 정보 중 일부를 획득하는 단계;
    획득된 정보를 이용하여 상기 일부를 제외한 나머지 정보를 결정함으로써 상기 현재 블록의 움직임 벡터를 획득하는 단계; 및
    상기 현재 블록의 움직임 벡터를 이용한 화면 간 예측을 통해 상기 현재 블록의 예측 블록을 생성하는 단계를 포함하는, 영상 복호화 장치.
12. 청구항 11에서,
    상기 현재 블록의 움직임 벡터를 지시하는 정보는,
    두개 이상의 후보 움직임 벡터 중에서 선정된 최적의 움직임 벡터와 상기 현재 블록의 움직임 벡터 사이의 차분값의 크기, 상기 차분값의 부호 및 상기 최적의 움직임 벡터를 지시하는 정보 중 적어도 하나를 포함하는, 영상 복호화 장치.
13. 청구항 12에서,
    상기 현재 블록의 움직임 벡터를 획득하는 단계는,
    상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계; 및
    상기 미리 설정된 조건에 해당하면, 상기 최적의 움직임 벡터를 지시하는 정보에서 획득된 최적의 움직임 벡터를 기초로 상기 차분값의 부호를 결정하는 단계를 포함하는, 영상 복호화 장치.
14. 청구항 13에서,
    상기 미리 설정된 조건은,
    상기 두개 이상의 후보 움직임 벡터들 중에서 인접한 벡터들 사이의 간격을 기초로 설정되는, 영상 복호화 장치.
15. 청구항 14에서,
    상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계는,
    상기 인접한 벡터들 사이의 간격이 가장 큰 값과 상기 인접한 벡터들 사이의 간격이 가장 작은 값을 도출하는 단계; 및
    상기 가장 큰 값과 상기 가장 작은 값을 상기 차분값의 크기와 비교하는 단계를 포함하는, 영상 복호화 장치.
16. 청구항 14에서,
    상기 미리 설정된 조건은,
    상기 인접한 벡터들 사이의 간격을 반으로 나눈 간격을 기초로 설정되는, 영상 복호화 장치.
17. 청구항 12에서,
    상기 현재 블록의 움직임 벡터를 획득하는 단계는,
    상기 차분값의 크기와 상기 차분값의 부호를 이용하여 상기 차분값을 획득하는 단계;
    획득된 차분값에 상기 두개 이상의 후보 움직임 벡터들 중 제1 후보 움직임 벡터를 더하여 상기 현재 블록의 추정 움직임 벡터를 결정하는 단계;
    상기 추정 움직임 벡터가 상기 두개 이상의 후보 움직임 벡터들 중에서 상기 제1 후보 움직임 벡터와 가장 가까운 좌표값을 갖는지 판단하는 단계; 및
    판단 결과를 기초로, 상기 최적의 움직임 벡터를 결정하는 단계를 포함하는, 영상 복호화 장치.
18. 청구항 17에서,
    상기 추정 움직임 벡터를 결정하는 단계 및 상기 판단하는 단계는,
    상기 제1 후보 움직임 벡터를 제외한 나머지 후보 움직임 벡터들을 상기 제1 후보 움직임 벡터로 대입하여 반복 수행되는, 영상 복호화 장치.
19. 청구항 18에서,
    상기 최적의 움직임 벡터를 결정하는 단계는,
    상기 반복 수행의 결과 가장 가까운 좌표값을 갖는 후보 움직임 벡터가 유일하면, 해당 후보 움직임 벡터를 상기 최적의 움직임 벡터로 결정하는, 영상 복호화 장치.
20. 청구항 12에서,
    상기 현재 블록의 움직임 벡터를 획득하는 단계는,
    상기 차분값의 크기가 미리 설정된 조건에 해당하는지 판단하는 단계; 및
    상기 미리 설정된 조건에 해당하면, 상기 두개 이상의 후보 움직임 벡터들 중 적어도 하나의 움직임 벡터를 후보 움직임 벡터에서 제외하고 나머지 후보 움직임 벡터들 중에서 상기 최적의 움직임 벡터를 결정하는 단계를 포함하는, 영상 복호화 장치.

Images