KR20180081716A - 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치 - Google Patents

영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치 Download PDF

Info

Publication number
KR20180081716A
KR20180081716A KR1020187011251A KR20187011251A KR20180081716A KR 20180081716 A KR20180081716 A KR 20180081716A KR 1020187011251 A KR1020187011251 A KR 1020187011251A KR 20187011251 A KR20187011251 A KR 20187011251A KR 20180081716 A KR20180081716 A KR 20180081716A
Authority
KR
South Korea
Prior art keywords
mvp
value
threshold
threshold value
current block
Prior art date
Application number
KR1020187011251A
Other languages
English (en)
Inventor
김동원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20180081716A publication Critical patent/KR20180081716A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 영상의 디코딩 방법은 현재 블록에 대한 MVD를 수신하는 단계, 현재 블록의 주변 블록들을 기반으로 MVP 후보들을 도출(derive)하는 단계, 상기 MVP 후보들에 포함되는 제1 MVP 후보 및 제2 MVP 후보를 기반으로 제1 임계값 및 제2 임계값을 계산하는 단계, 상기 MVD를 기반으로 현재 블록에 대한 MVP를 도출하는 단계, 상기 MVP 및 상기 MVD를 기반으로 현재 블록의 MV를 계산하는 단계, 상기 MV를 기반으로 현재 블록 상에서 예측 샘플을 생성하는 단계를 포함한다. 본 발명에 따르면 임계값을 기반으로 MVP의 x좌표 성분 및 y좌표 성분 중 적어도 하나를 명시적인 시그널링 없이 결정할 수 있고, 따라서 관련 제어 정보의 감소로 인하여 코딩 효율이 향상될 수 있고, 임계값을 기준으로 MVD가 나타내는 해상도 단위를 구간별로 다르게 할 수 있으며, 따라서 보다 작은 MVD 값을 사용하여 보다 넓은 영역에서 MV를 도출할 수 있다.

Description

영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
본 발명은 영상 압축 기술에 관한 것으로서 보다 상세하게는 임계값을 이용한 적응적 영상 예측 방법 및 장치에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다.
정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다. 다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.
구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.
예를 들어, 휴대 단말에서 비디오 콘텐츠를 구매한 소비자가 가정 내 대화면의 디스플레이를 통해 동일한 비디오 콘텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있게 되는 것이다.
최근에는 HD(High Definition) 해상도를 가지는 방송이 서비스되면서 많은 사용자들은 이미 고해상도, 고화질의 영상에 익숙해지고 있고, 서비스 제공자와 사용자들은 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)의 서비스에도 관심을 기울이고 있다.
영상 압축의 효율을 높이기 위하여 영상 예측 방법이 사용되며, 예측 성능을 높이기 위하여 여러 부가 정보들이 코딩되어 인코더에서 디코더로 전송될 수 있다. 부가 정보들이 증가하는 경우 영상 자체에 대한 예측 성능이 향상될 수 있으나, 이 경우 상기 부가 정보들에 할당되는 비트량이 많아짐에 따라 오히려 전반적인 코딩 효율은 저하될 수 있다. 따라서, 예측 성능을 높이거나 유지하면서 부가 정보들을 줄이는 것은 코딩 효율을 높이기 위하여 매우 중요하다.
본 발명의 기술적 과제는 화면간 예측 방법의 코딩 효율을 높이는 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 효율적으로 움직임 벡터(motion vector, MV)를 도출하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 움직임 벡터 예측자(motion vector predictor, MVP)를 명시적인 시그널링 없이 디코더 단에서 결정하는 방법을 제공함에 있다.
본 발명의 또 다른 기술적 과제는 임계값을 기준으로 MVP를 결정함에 있다.
본 발명의 또 다른 기술적 과제는 임계값을 기준으로 구간별로 적응적으로 움직임 벡터 (motion vector, MV)의 해상도 단위를 다르게 함에 있다.
본 발명의 일 실시예에 따르면, 영상의 디코딩 방법을 제공한다. 상기 방법은 현재 블록에 대한 움직임 벡터 차분(motion vector difference, MVD)를 수신하는 단계, 현재 블록의 주변 블록들을 기반으로 움직임 벡터 예측자(motion vector predictor, MVP) 후보들을 도출(derive)하는 단계, 상기 MVP 후보들에 포함되는 제1 MVP 후보 및 제2 MVP 후보를 기반으로 제1 임계값 및 제2 임계값을 계산하는 단계, 상기 MVD 와 상기 제1 임계값 및 제2 임계값을 기반으로 현재 블록에 대한 MVP를 도출하는 단계, 상기 MVP 및 상기 MVD를 기반으로 현재 블록의 움직임 벡터(motion vector, MV)를 계산하는 단계, 상기 MV를 기반으로 현재 블록 상에서 예측 샘플을 생성하는 단계, 및 상기 예측 샘플을 기반으로 복원 샘플을 생성하는 단계를 포함함을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 영상의 인터 예측 방법을 제공한다. 상기 방법은 현재 블록에 대한 움직임 벡터 차분(motion vector difference, MVD)을 수신하는 단계, 현재 블록의 주변 블록들을 기반으로 MVP 후보들을 도출(derive)하는 단계, 상기 MVP 후보들에 포함되는 제1 MVP 후보 및 제2 MVP 후보를 기반으로 제1 임계값 및 제2 임계값을 계산하는 단계, 상기 도출된 MVP 후보들을 기반으로 현재 블록에 대한 MVP를 도출하는 단계, 상기 MVP 및 상기 MVD를 기반으로 현재 블록의 움직임 벡터(motion vector, MV)를 계산하는 단계, 상기 MV를 기반으로 현재 블록 상에서 예측 샘플을 생성하는 단계를 포함하되, 상기 MVD는 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나를 기반으로 결정된 둘 이상의 영역에 따라 적응적으로 다른 해상도 단위를 나타내는 것을 특징으로 한다.
본 발명에 따르면 MVP의 x좌표 성분 및 y좌표 성분 중 적어도 하나를 명시적인 시그널링 없이 결정할 수 있고, 따라서 관련 제어 정보의 감소로 인하여 코딩 효율이 향상될 수 있다.
본 발명에 따르면 임계값을 기준으로 MV 및 MVD가 나타내는 해상도 단위를 구간별로 다르게 할 수 있으며, 따라서 보다 작은 MVD 값을 사용하여 보다 넓은 영역에서 MV를 도출할 수 있다. 이 경우 MVD 전송에 사용되는 비트량이 감소하여 코딩 효율이 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 3은 현재 블록에 대해 인터 예측이 수행되는 경우에 이용될 수 있는 후보 블록의 일 실시예를 개략적으로 설명하는 도면이다.
도 4는 x축에서, MVD와 임계값을 기반하여 xMVP를 도출하는 일 예를 나타낸다.
도 5는 x축에서, MVPc2가 선택되었을 경우에 대한 예를 나타낸다.
도 6은 임계값에 따른 MVP 플래그 정보가 코딩되지 않는 영역을 예시적으로 나타낸다.
도 7은 본 발명의 일 실시예에 따른 PMVR 방법을 나타내는 도면이다.
도 8은 본 발명에 따른 임계값을 기반으로 결정된 영역의 예시이다.
도 9는 본 발명의 일 실시예에 따른 해상도 영역의 예를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 해상도 영역의 다른 예를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 해상도 영역의 또 다른 예를 나타낸다.
도 12는 인코더에 의한 임계값에 기반한 AMVP 방법의 일 예를 개략적으로 나타내는 순서도이다.
도 13은 디코더에 의한 임계값에 기반한 AMVP 방법의 일 예를 개략적으로 나타내는 순서도이다.
도 14는 본 발명의 일 실시예에 따른 예측부를 개략적으로 나타낸 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 1을 참조하면, 인코딩 장치(100)는 픽쳐 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽쳐 분할부(105)는 입력된 픽쳐를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, PU)일 수도 있고, 변환 유닛(Transform Unit, CU)일 수도 있으며, 코딩 유닛(Coding Unit, CU)일 수도 있다. 픽처는 복수의 코딩 트리 유닛(Coding Tree Unit, CTU)들로 구성될 수 있으며, 각각의 CTU는 쿼드 트리(quad-tree) 구조로 CU들로 분할(split)될 수 있다. CU는 보다 하위 뎁스의 CU들로 쿼드 트리 구조로 분할될 수도 있다. PU 및 TU는 CU로부터 획득될 수 있다. 예를 들어, PU는 CU로부터 대칭 또는 비대칭 사각형 구조로 파티셔닝(partitioning)될 수 있다. 또한 TU는 CU로부터 쿼드 트리 구조로 분할될 수도 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽쳐 분할부(105)에서 픽쳐의 처리 단위에 대하여 예측을 수행하여 예측 샘플(또는 예측 샘플 어레이)을 포함하는 예측 블록을 생성한다. 예측부(110)에서 픽쳐의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
인터 예측을 통해서는 현재 픽쳐의 이전 픽쳐 및/또는 이후 픽쳐 중 적어도 하나의 픽쳐의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽쳐 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, AMVP(Advanced Motion Vector Prediction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽쳐를 선택하고 PU에 대응하는 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀(또는 샘플) 또는 분수 픽셀(또는 샘플) 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.
예측 블록은 정수 픽셀 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측을 통해 선택된 참조 픽쳐의 인덱스, 움직임 벡터 차분(motion vector difference, MDV), 움직임 벡터 예측자(motion vector predictor, MVP), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달될 수 있다. 스킵 모드가 적용되는 경우에는 레지듀얼을 예측 블록을 복원 블록으로 할 수 있으므로, 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.
인트라 예측에서 예측 모드는 예를 들어 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래너 모드(Planar 모드)을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.
변환부(115)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다.
변환 블록은 샘플들의 직사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환부(115)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행할 수 있다.
예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
변환부(115)는 변환에 의해 변환 계수들의 변환 블록을 생성할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들, 즉 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화된 변환 계수를 재정렬한다. 양자화된 변환 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다.
재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화된 변환 계수들을 1차원의 벡터 형태로 재정렬할 수 있다.
엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화된 변환 값들 또는 코딩 과정에서 산출된 인코딩 파라미터 값 등을 기초로 심볼(symbol)을 확률 분포에 따라 엔트로피 코딩하여 비트스트림(bit stream)을 출력할 수 있다. 엔트로피 인코딩 방법은 다양한 값을 갖는 심볼을 입력 받아, 통계적 중복성을 제거하면서, 디코딩 가능한 2진수의 열로 표현하는 방법이다.
여기서, 심볼이란 인코딩/디코딩 대상 구문 요소(syntax element) 및 코딩 파라미터(coding parameter), 잔여 신호(residual signal)의 값 등을 의미한다. 인코딩 파라미터는 인코딩 및 디코딩에 필요한 매개변수로서, 구문 요소와 같이 인코딩 장치에서 인코딩되어 디코딩 장치로 전달되는 정보뿐만 아니라, 인코딩 혹은 디코딩 과정에서 유추될 수 있는 정보를 포함할 수 있으며 영상을 인코딩하거나 디코딩할 때 필요한 정보를 의미한다. 인코딩 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 색인, 코딩 블록 패턴, 잔여 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. 또한 잔여 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔여 신호는 블록 단위에서는 잔여 블록이라 할 수 있다.
엔트로피 인코딩이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 인코딩 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 인코딩을 통해서 영상 인코딩의 압축 성능이 높아질 수 있다.
엔트로피 인코딩을 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 인코딩 방법이 사용될 수 있다. 예를 들어, 엔트로피 인코딩부(130)에는 가변 길이 코딩(VLC: Variable Lenghth Coding/Code) 테이블과 같은 엔트로피 인코딩을 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 인코딩부(130는 저장된 가변 길이 코딩(VLC) 테이블을 사용하여 엔트로피 인코딩을 수행할 수 있다. 또한 엔트로피 인코딩부(130)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 인코딩을 수행할 수도 있다.
또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값(양자화된 변환 계수)들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다.
역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값(또는 레지듀얼 샘플 또는 레지듀얼 샘플 어레이)과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 샘플(또는 복원 샘플 어레이)를 포함하는 복원 블록(Reconstructed Block)이 생성될 수 있다.
도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽쳐에 적용할 수 있다.
디블록킹 필터는 복원된 픽쳐에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽쳐를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽쳐는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 비디오 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
비디오 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 비디오 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.
엔트로피 디코딩부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 디코딩하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 디코딩 방법은 2진수의 열을 입력 받아 각 심볼들을 생성하는 방법이다. 엔트로피 디코딩 방법은 상술한 엔트로피 인코딩 방법과 유사하다.
예컨대, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 코딩(Variable Length Coding: VLC, 이하 'VLC' 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.
보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈을 수신하고, 디코딩 대상 구문 요소 정보와 주변 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)를 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 현재 블록(변환 블록)에 적용된 예측 모드와 변환 블록의 크기를 기반으로 계수에 대한 스캐닝을 수행하여 2 차원 블록 형태의 계수(양자화된 변환 계수) 배열을 생성할 수 있다.
역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 비디오 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다.
역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽쳐 정보를 기초로 예측 샘플(또는 예측 샘플 어레이)를 포함하는 예측 블록을 생성할 수 있다.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽쳐 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 비디오 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽쳐 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
현재 픽쳐에 대한 인터 예측 시, 현재 블록과의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되도록 예측 블록을 생성할 수 있다.
한편, 움직임 정보 도출 방식은 현재 블록의 예측 모드에 따라 달라질 수 있다. 인터 예측을 위해 적용되는 예측 모드에는 AMVP(Advanced Motion Vector Prediction) 모드, 머지(merge) 모드 등이 있을 수 있다.
일례로, AMVP(Advanced Motion Vector Prediction) 모드가 적용되는 경우, 인코딩 장치 및 디코딩 장치는 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터를 이용하여, 움직임 벡터 예측자 후보 리스트를 생성할 수 있다. 즉, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터는 움직임 벡터 후보로 사용될 수 있다. 인코딩 장치는 상기 리스트에 포함된 움직임 벡터 후보 중에서 선택된 최적의 움직임 벡터를 지시하는 예측 움직임 벡터 인덱스를 디코딩 장치로 전송할 수 있다. 이 때, 디코딩 장치는 상기 움직임 벡터 인덱스를 이용하여, 움직임 벡터 후보 리스트에 포함된 움직임 벡터 후보 중에서, 현재 블록의 예측 움직임 벡터를 선택할 수 있다.
인코딩 장치는 현재 블록의 움직임 벡터와 움직임 벡터 예측자 간의 움직임 벡터 차분(MVD)을 구할 수 있고, 이를 인코딩하여 디코딩 장치로 전송할 수 있다. 즉, MVD는 현재 블록의 MV에서 MVP를 뺀 값으로 구해질 수 있다. 이 때, 디코딩 장치는 수신된 움직임 벡터 차분을 디코딩할 수 있고, 디코딩된 움직임 벡터 차분과 움직임 벡터 예측자의 가산을 통해 현재 블록의 움직임 벡터를 도출할 수 있다.
인코딩 장치는 또한 참조 픽쳐를 지시하는 참조 픽쳐 인덱스 등을 디코딩 장치에 전송할 수 있다.
디코딩 장치는 주변 블록의 움직임 정보들을 이용하여 현재 블록의 움직임 벡터를 예측하고, 인코딩 장치로부터 수신한 레지듀얼을 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 디코딩 장치는 유도한 움직임 벡터와 인코딩 장치로부터 수신한 참조 픽쳐 인덱스 정보를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
다른 예로, 머지(merge)가 적용되는 경우, 인코딩 장치 및 디코딩 장치는 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보를 이용하여, 머지 후보 리스트를 생성할 수 있다. 즉, 인코딩 장치 및 디코딩 장치는 복원된 주변 블록 및/또는 콜 블록의 움직임 정보가 존재하는 경우, 이를 현재 블록에 대한 머지 후보로 사용할 수 있다.
인코딩 장치는 머지 후보 리스트에 포함된 머지 후보 중에서 최적의 인코딩 효율을 제공할 수 있는 머지 후보를 현재 블록에 대한 움직임 정보로 선택할 수 있다. 이 때, 상기 선택된 머지 후보를 지시하는 머지 인덱스가 비트스트림에 포함되어 디코딩 장치로 전송될 수 있다. 디코딩 장치는 상기 전송된 머지 인덱스를 이용하여, 머지 후보 리스트에 포함된 머지 후보 중에서 하나를 선택할 수 있으며, 상기 선택된 머지 후보를 현재 블록의 움직임 정보로 결정할 수 있다. 따라서, 머지 모드가 적용되는 경우, 복원된 주변 블록 및/또는 콜 블록의 움직임 정보가 현재 블록의 움직임 정보로 그대로 사용될 수 있다. 디코딩 장치는 예측 블록과 인코딩 장치로부터 전송되는 레지듀얼을 더하여 현재 블록을 복원할 수 있다.
상술한 AMVP 및 머지 모드에서는, 현재 블록의 움직임 정보를 도출하기 위해, 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보가 사용될 수 있다.
화면 간 예측에 이용되는 다른 모드 중 하나 인 스킵 모드의 경우에, 주변 블록의 정보를 그대로 현재 블록에 이용할 수 있다. 따라서 스킵 모드의 경우에, 인코딩 장치는 현재 블록의 움직임 정보로서 어떤 블록의 움직임 정보를 이용할 것인지를 지시하는 정보 외에 레지듀얼 등과 같은 신택스 정보를 디코딩 장치에 전송하지 않는다.
인코딩 장치 및 디코딩 장치는 상기 도출된 움직임 정보에 기반하여 현재 블록에 대한 움직임 보상을 수행함으로써, 현재 블록의 예측 블록을 생성할 수 있다. 여기서, 예측 블록은 현재 블록에 대한 움직임 보상 수행 결과 생성된, 움직임 보상된 블록을 의미할 수 있다. 또한, 복수의 움직임 보상된 블록은 하나의 움직임 보상된 영상을 구성할 수 있다.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다. 여기서 상기 복원 블록은 상술한 바와 같이 복원 샘플(또는 복원 샘플 어레이)를 포함하고, 상기 예측 블록은 예측 샘플(또는 예측 샘플 어레이)를 포함하고, 상기 레지듀얼 블록은 레지듀얼 샘플(또는 레지듀얼 샘플 어레이)를 포함할 수 있다. 따라서, 복원 샘플(또는 복원 샘플 어레이)은 대응하는 예측 샘플(또는 예측 샘플 어레이)과 레지듀얼 샘플(레지듀얼 샘플 어레이)이 합쳐서 생성된다고 표현될 수도 있다.
스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
복원된 블록 및/또는 픽쳐는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽쳐에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
메모리(240)는 복원된 픽쳐 또는 블록을 저장하여 참조 픽쳐 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽쳐를 출력부로 제공할 수 있다.
디코딩 장치(200)에 포함되어 있는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 및 메모리(240) 중 영상의 디코딩에 직접적으로 관련된 구성요소들, 예컨대, 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 등을 다른 구성요소와 구분하여 디코더 또는 디코딩부로 표현할 수 있다.
또한, 디코딩 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 도시하지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 디코딩부(210)를 포함할 수도 있고, 엔트로피 디코딩부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.
도 3은 현재 블록에 대해 인터 예측이 수행되는 경우에 이용될 수 있는 후보 블록의 일 실시예를 개략적으로 설명하는 도면이다. 여기서 현재 블록은 예측 블록일 수 있다.
인코딩 장치 및 디코딩 장치의 예측부는 현재 블록(300) 주변 소정 위치의 복원된 주변 블록을 후보 블록으로 이용할 수 있다. 예컨대, 도 3의 예에서는 현재 블록 좌측에 위치하는 두 개의 블록 A0(310)와 A1(320) 그리고 현재 블록 상측의 세 블록 B0(330), B1(340), B2(350)이 공간적인(spatial) 후보 블록들로 선택될 수 있다. 여기서 A0(310)는 좌하측 주변 블록(lower left neighboring block)으로 불릴 수 있고, A1(320)은 좌측 주변 블록(left neighboring block)으로 불릴 수 있다. 그리고 B0(330)는 우상측 주변 블록(upper right neighboring block)으로, B1(340)은 상측 주변 블록(upper neighboring block)으로, B2(350)은 좌상측 주변 블록(upper left neighboring block)으로 불릴 수 있다.
또한, 공간적으로 인접하는 블록 외에 시간적인(temporal) 후보 블록으로서, 상술한 Col 블록(360)이 후보 블록으로 이용될 수 있다. Col 블록(360)은 복원된 참조 픽처들 중의 하나인 콜(col) 픽쳐(collocated picture) 내에서 현재 블록에 공간적으로 대응되는 블록이거나 소정의 상대적인 위치(상기 현재 블록과 공간적으로 대응되는 위치에 존재하는 블록의 내부 및/또는 외부의 위치)에 존재하는 블록일 수 있다.
구체적으로 AMVP 모드에서는, 후보 블록들로부터 도출된 움직임 벡터 예측자들(MVP) 후보들(candidates)을 포함하는 MVP 후보 세트(MVP candidate set, MVPcs)에서 현재 블록을 위한 최적의 MVP가 선택된다. 이 경우 인코더에서는 움직임 추정을 수행하여 도출된 현재 블록의 MV를 기반으로 MVP 후보 세트에서 최적의 MVP를 도출(derive)하고, 상기 MV에서 MVP를 뺀 MVD를 계산한다. 인코더는 상기 MVP 후보 세트에 포함되는 MVP 후보들 중에서 어떤 MVP 후보가 현재 블록에 대한 MVP인지를 가리키는 MVP 플래그 정보, 그리고 상기 구한 MVD의 x축 값 및 y축 값을 나타내는 MVD 정보를 인코딩하여 디코더로 전송한다. 본 발명에서 상기 MVP 플래그 정보는 MVP 인덱스 정보로 불릴 수도 있다.
디코더는 인코더로부터 전송된 MVP 플래그 정보 및 MVD를 기반으로 MVP 후보 세트에서 현재 블록에 대한 MVP를 도출할 수 있고, 도출된 MVP에 MVD를 더하여 현재 블록의 MV를 도출할 수 있다. 그리고 현재 블록의 MV를 기반으로 참조 픽처 상의 참조 블록을 도출하고, 상기 참조 블록을 현재 블록에 대한 예측 블록으로 이용할 수 있다.
이와 같은 AMVP 모드의 경우, MVP 플래그 정보와 같은 부가 정보로 인하여 전송되는 비트가 조금 증가되나, MVP의 사용으로 인하여, 지시되어야 하는 MVD의 크기가 줄어들게 된다. 결국, MVP 플래그 정보로 인한 비트량의 증가보다 MVD 정보에 사용되는 비트량의 감소가 더 크게 되어, 코딩 효율을 높일 수 있다.
예를 들어, A1(320)의 움직임 벡터가 제1 MVP 후보로, B1(340)의 움직임 벡터가 제2 MVP 후보로 상기 MVP 후보 세트에 구성된 경우, 인코더는 상기 제1 MVP 후보 및 제2 MVP 후보 중에서 현재 블록의 MV에 가장 가까운(유사한) MVP 후보를 현재 블록의 MVP로 선택하여 MVD를 계산한다. 만약 제2 MVP 후보가 선택된 경우, 인코더는 상기 제2 MVP 후보를 가리키는 MVP 플래그 정보와 상기 계산된 MVD에 대한 MVD 정보를 인코딩하여 디코더로 전송한다. 디코더는 상기 MVP 플래그 정보를 기반으로 상기 제2 MVP 후보를 현재 블록의 MVP로 도출하며, 상기 MVP와 상기 MVD 정보를 기반으로 현재 블록의 MV를 도출할 수 있다.
상기와 같은 AMVP 모드의 경우 MVP를 사용하여 MVD 정보의 비트량을 줄일 수 있다. 다만, MVP 플래그 정보를 항상 인코딩하여 전송해야 하는 부가 정보로서 부호화 효율을 향상시키는데 단점이 되고 있다. 본 발명에서는 영상의 특성에 따라 MVP 플래그 정보를 명시적으로 전송하지 않고, 묵시적으로 현재 블록의 MVP를 도출하는 방법을 제공한다.
본 발명에 따르면, 복수개의 MVP 후보들을 이용하여 임계값을 계산하고, 이 임계값과 MVD를 비교하여 일정 조건에 따라 MVP 플래그 정보를 송수신하지 않을 수 있다. 또한 본 발명에서는 x축, y축 각각에 대한 MVP 후보를 선택하여 코딩할 수 있으며, 이를 기반으로 MVD의 크기를 보다 줄여 코딩 효율을 높일 수 있다.
임계값을 계산하기 위하여 복수개의 MVP 후보들 중 제1 MVP 후보 및 제2 MVP 후보가 사용된다. 임계값은 x축 임계값, y축 임계값을 포함하며, 예를 들어 다음 표와 같이 도출될 수 있다.
Figure pct00001
여기서, MVPc1은 상기 제1 MVP 후보, MVPc2는 상기 제2 MVP 후보, thresholdx는 제1 임계값으로 상기 x축 임계값을 나타내고, thresholdy는 제2 임계값으로 상기 y축 임계값을 나타낸다. xMVPc1, yMVPc1는 각각 상기 제1 MVP 후보의 x좌표, y좌표 값을 나타내고, xMVPc2, yMVPc2는 각각 상기 제2 MVP 후보의 x좌표, y좌표 값을 나타낸다. 상기 표에 개시된 바와 같이 서로 다른 값을 가지는 MVP 후보들이 상기 제1 MVP 후보와 상기 제2 MVP 후보로 선택될 수 있다. argmin|MVPc1-MVPc2|은 |MVPc1-MVPc2|가 최소가 되게 하는 MVPc1 및/또는 MVPc2를 나타낸다. 즉, MVPcs에 포함되는 MVP 후보들이 2개보다 많은 경우, MVP 후보들 중에서 둘 사이의 거리가 가장 짧은 두 MVP 후보들이 상기 제1 MVP 후보 및 상기 제2 MVP 후보로 선택될 수도 있다. 이 경우 각 MVP 후보별로 가장 거리가 짧은 다른 MVP 후보와의 관계에서 상기 제1 MVP 후보 및 상기 제2 MVP 후보를 판단할 수도 있다.
예를 들어 MVPcs는 MVPmedian, MVPcol, MVPA, MVPB, MVP(0,0) 중 적어도 2개를 포함할 수 있다. 여기서 median은 중간값을 의미하며, 예를 들어 MVPmedian은 median(MVPA, MVPB)를 포함할 수 있다. MVPcol은 시간적 주변 블록을 기반으로 획득한 시간적 MVP 후보를 나타낼 수 있고, MVP(0,0)은 제로(zero) 벡터 값을 갖는 MVP 후보를 나타낼 수 있다.
한편, MVPcs 내의 MVP 후보들의 수가 2개인 경우, 바로 상기 2개의 MVP 후보들이 상기 제1 MVP 후보 및 상기 제2 MVP 후보로 선택될 수도 있다.
상기 표에 따르면, 상기 제1 임계값은 상기 xMVPc1 및 상기 xMVPc2의 차의 절대값을 2로 나눈 값으로 결정되고, 상기 제2 임계값은 상기 yMVPc1 및 상기 yMVPc2의 차의 절대값을 2로 나눈 값으로 결정된다. 예를 들어, MVPc1이 (3,5)이고 MVPc2가 (0,-1)인 경우 상기 제1 임계값은 |3-0|/2=1.5이고, 상기 제2 임계값은 |5+1|/2=3이다.
한편, 인코더로부터 전송되는 MVD 정보는 x축 MVD(xMVD)와 y축 MVD(yMVD)로 구분할 수 있다. 디코더는 상기 xMVD의 크기(즉, |xMVD|)가 상기 제1 임계값보다 큰 경우 xMVPc1 및 xMVPc2 중에서 하나를 상기 현재 블록에 대한 xMVP로 추론할 수 있다. 일 예로 상기 xMVD가 양수인 경우, 디코더는 상기 xMVPc1 및 xMVPc2 중에서 상대적으로 큰 값을 가지는 것을 상기 상기 현재 블록에 대한 xMVP로 추론할 수 있다. 또한, 상기 xMVD가 음수인 경우, 디코더는 상기 xMVPc1 및 xMVPc2 중에서 상대적으로 작은 값을 가지는 것을 상기 상기 현재 블록에 대한 xMVP로 추론할 수 있다.
또한, 디코더는 상기 yMVD의 크기(즉, |yMVD|)가 상기 제2 임계값보다 큰 경우 yMVPc1 및 yMVPc2 중에서 하나를 상기 현재 블록에 대한 yMVP로 추론할 수 있다. 구체적으로 상기 yMVD가 양수인 경우, 디코더는 상기 yMVPc1 및 yMVPc2 중에서 상대적으로 큰 값을 가지는 것을 상기 상기 현재 블록에 대한 yMVP로 추론할 수 있다. 또한, 상기 yMVD가 음수인 경우, 디코더는 상기 yMVPc1 및 yMVPc2 중에서 상대적으로 작은 값을 가지는 것을 상기 상기 현재 블록에 대한 yMVP로 추론할 수 있다.
한편, 디코더는 상기 xMVD의 크기가 상기 제1 임계값보다 크지 않은 경우, xMVP 플래그 정보를 수신하여, MVP 후보들의 x좌표 성분들 중에서 현재 블록의 MVP의 x좌표 성분을 도출할 수 있다. 또한, 디코더는 상기 yMVD의 크기가 상기 제2 임계값보다 크지 않은 경우, yMVP 플래그 정보를 수신하여, MVP 후보들의 y좌표 성분들 중에서 현재 블록의 MVP의 y좌표 성분을 도출할 수 있다. 여기서 xMVP 플래그 정보, yMVP 플래그 정보는 xMVP 인덱스 정보, yMVP 인덱스 정보라고 불릴 수도 있다.
즉, 본 발명에 따르면 인코더에서 MVD의 크기가 임계값보다 크다면 MVPcs에서 어떠한 MVP 후보를 사용하였는지 여부를 나타내는 플래그를 코딩하지 않을 수 있다. 디코더에서는 MVPcs에 포함된 MVPc1 및 MVPc2로부터 계산된 임계값을 알고 있고, 인코더부터 수신한 MVD를 알고 있으므로, 어떤 MVP 후보가 현재 블록의 MVP 도출을 위하여 사용되었는지를 추론할 수 있다.
상술한 MDV와 임계값을 기반으로 MVP를 추론하는 방법은 구체적으로 예를 들어, 다음과 같이 나타낼 수 있다.
도 4는 x축에서, MVD와 임계값을 기반하여 xMVP를 도출하는 일 예를 나타낸다.
도 4를 참조하면, MVPcs가 2개의 MVP 후보들을 포함하고, MVPc1은 (5,3), MVPc2가 (-1,0)인 경우, 제1 임계값(thresholdx)는 3이고, 제2 임계값(thresholdy)는 1.5가 된다. 여기서 만약 인코더에서 움직임 추정을 통하여 구한 현재 블록에 대한 최적의 MV가 (10,5)인 경우, 인코더는 x축에 대하여, 현재 블록의 xMVP로서 xMVPc1을 선택하고, xMVD는 5가 될 것이다. 이 경우 xMVD의 크기가 상기 제1 임계값보다 크고 xMVD가 상기 양수이므로 별다른 정보로 지시되지 않더라도 디코더는 두 xMVPc1 및 xMVPc2 중에서 보다 큰 xMVPc1을 xMVP로 추론할 수 있다.
그 이유는 다음 도면을 참조하면 더 명확해진다.
도 5는 x축에서 MVPc2가 선택되었을 경우에 대한 예를 나타낸다.
도 5를 참조하면, 만약 상술한 도 4와 같은 예에서, xMVPc2가 선택되었다고 가정하고, 현재 블록의 MV를 계산하면, xMVPc2(-1)+xMVD(5)=4가 된다. 그러나 xMV가 실제로 4였다면, 인코더는 4와 보다 가까운 값을 가지는 xMVPc1(5)를 선택하여 xMVD는 1로 인코딩하였을 것이기 때문에 인코더에서 xMVPc2가 선택되었다는 가정이 틀리게 된다. 따라서 디코더는 인코더에서 xMVPc1이 선택된 것으로 추론할 수 있으며, 이 경우 오류 없이 디코딩 절차가 수행될 수 있다. 이와 같은 방법을 기반으로 MVD의 x,y 좌표 성분과 임계값의 x,y 좌표 성분들간의 비교를 통하여 특정 조건을 만족한 경우 MVP 플래그(xMVP 플래그 및/또는 yMVP 플래그)의 디코딩 없이 현재 블록에 대한 MVP를 도출할 수 있다. 상기 예시에서는 MVPcs에 두 개의 MVP 후보들이 있는 경우를 예를 들었으나, 2개보다 많은 MVP 후보들이 있는 경우에도 동일하게 적용될 수 있다.
한편, 상기 예시에서는 x축에 대하여만 서술하고 있으나, x, y축으로 확장하는 경우 다음과 같이 나타낼 수 있다.
도 6은 임계값에 따른 MVP 플래그 정보가 코딩되지 않는 영역을 예시적으로 나타낸다. 도 6에서는 MVPc1은 (5,3), MVPc2는 (-1,0)인 경우에 대한 x, y축 둘 다에 대한 임계값들을 나타낸다.
도 6을 참조하면, 세로 선분들은 thresholdx에 대응되는 임계선들을 나타내며, 가로 선분들은 thresholdy에 대응되는 임계선들을 나타낸다. 예를 들어 세로 선분들은 (xMVPc1+thresholdx, y), (xMVPc1-thresholdx, y)(또는 (xMVPc2+thresholdx, y)) 및 (xMVPc2-thresholdx, y)에 대응될 수 있다. 또한 예를 들어 가로 선분들은 (x, yMVPc1+thresholdy), (x, yMVPc1-thresholdy)(또는 (x, yMVPc2-thresholdy)) 및 (x, yMVPc2-thresholdy)에 대응될 수 있다.
영역(area) 605 및 영역 610에 MV가 위치하는 경우, xMVD 및 yMVD 값이 각각 임계값 thresholdx, thresholdy 보다 작으므로, xMVP 플래그 정보 및 yMVP 플래그 정보가 코딩되어 디코더에게 전송된다.
만약, |xMVD|가 thresholdx보다 크고 |yMVD|가 thresholdy보다 큰 경우, xMVP 플래그 정보 및 yMVP 플래그 정보가 코딩될 필요 없고, 디코더는 x축 및 y축에 대하여 각각 최적의 xMVP 및 yMVP를 추론하여 사용할 수 있다. 이 경우, xMVP에 대한 MVP 후보와 yMVP에 대한 MVP 후보가 서로 다를 수 있다. 즉, 예를 들어 xMVPc1이 xMVP로 추론될 수 있고, yMVPc1이 yMVP로 추론되어 최종 MVP를 도출할 수도 있다. 도 6의 영역 675 및 영역 680에 MV가 위치하는 경우 xMVP와 yMVP가 각각 서로 다른 MVP 후보들로부터 도출될 수 있다.
예를 들어, MVPc1이 (5,3)이고 MVPc2가 (-1,0)인 경우, thresholdx는 3이고, thresholdy는 1.5이다. 이 때, 최적의 MV가 (10,-2)인 경우, 도 6의 영역 680에 해당 MV가 위치하게 된다. 이 경우 xMVP는 xMVPc1으로부터 선택되고, yMVP는 yMVPC2로부터 선택될 수 있다. 이 경우 xMVD는 5(=10-5)이고, yMVD는 -2(=-2=0)이 되므로, |xMVD|가 thresholdx보다 크고 |yMVD|가 thresholdy보다 큰 경우에 해당하여, 인코더는 MVP 플래그(즉, xMVP 플래그 및 yMVP 플래그 둘 다)를 코딩하여 전송하지 않아도 되며, 디코더는 상기 MVP 플래그를 디코딩하지 않아도 된다.
한편, 영역 615 및 영역 620에서는(MV가 영역 615 또는 영역 620에 위치하는 경우) x축, y축 각각 최적의 xMVP, yMVP가 선택되어 xMVP 플래그 정보, yMVP 플래그 정보가 코딩된다. 예를 들어, (0,2) 현재 블록에 대한 최적의 MV로 결정된 경우, x축에 대하여는 xMVPc2이 xMVP로 선택되고, y축에 대하여는 yMVPc1가 yMVP로 선택될 수 있다. 이 경우 xMVD는 1(=0-(-1))로 되고, xMVP 플래그 정보는 MVPc2를 나타낸다. 또한, 이 경우 yMVD는 -1(2-3)이 되고, yMVP 플래그 정보는 MVPc1을 나타낸다.
또한, 영역 625에 최적의 MV가 위치하는 경우, x축에 대해서는 xMVPc2가 선택되며, |xMVD|가 thresholdx보다 크게 되므로, 별도의 xMVP 플래그 정보를 코딩하지 않는다. 이 경우 디코더는 xMVD가 음수이므로, xMVPc1 및 xMVPc2 중 상대적으로 그 값이 작은 xMVPc1을 xMVP로 결정할 수 있다. y축에 대해서는 MVPc1이 선택될 것이며, |yMVD|가 thresholdy보다 작으므로 yMVP 플래그 정보를 코딩한다. 영역 635에 최적의 MV가 위치하는 경우 이와 반대로 xMVP 플래그 정보는 코딩하고, yMVP 플래그 정보는 코딩하지 않는다.
한편, MVP 플래그 정보 외에도 MVD 정보에 할당되는 비트량을 줄여서 코딩 효율을 높일 수 있다. 본 발명에 따르면 임계값을 기반으로 영역을 구분하고, 해당 영역 내에서는 MV가 높은 해상도(resolution)를 갖도록 하고, 해당 영역 외에서는 상기 MV가 상대적으로 낮은 해상도를 갖도록 할 수 있다. 이는 PMVR(Progress Motion Vector Resolution) 방법이라고 불릴 수 있다. 이는 현재 블록의 최적의 움직임 벡터는 MVP 근처에 있을 확률이 가장 높고 멀어질수록 확률이 떨어지기 때문에, 이를 고려하여 MVP 근처에서는 높은 해상도로 현재 블록에 대한 참조 블록을 찾고, MVP보다 일정 임계값 이상 멀어진 경우 상대적으로 낮은 해상도로 상기 참조 블록을 찾아서 MVD 정보에 할당되는 비트량을 줄이기 위함이다.
이 경우 해당 영역 내부에서는 MV가 쿼터 픽셀 해상도 등의 높은 해상도를 갖도록 하면, MVD를 코딩하는데 사용되는 비트량을 증가하지만, 화면간 예측에러를 줄임으로써 코딩 효율을 높일 수 있다. 반면, MVP에서 멀어질수록 최적의 MV가 결정될 확률이 떨어지므로, MV의 해상도를 낮추어서 MVD를 코딩하는데 사용되는 비트량을 줄여서 코딩 효율을 높일 수 있다.
도 7은 본 발명의 일 실시예에 따른 PMVR 방법을 나타내는 도면이다.
도 7을 참조하면, MVP(700)을 기준으로, 임계값을 기반으로 영역(710)이 정의될 수 있다. 도 7에서는 x축 및 y축 모두 2의 고정된 임계값이 사용되는 경우 경우를 나타낸다.
이 경우, 영역(710) 내에서는 1/4 픽셀 단위로 움직임을 예측하고, 영역(710) 외에서는 1/2 픽셀 단위 또는 정수 픽셀 단위로 움직임을 예측할 수 있다. 예를 들어, MVD가 (2,0)인 경우, x좌표 값이 2이고, 임계값 2 이내이므로, 상기 MVD는 1/4 픽셀 단위를 나타내어 현재 블록의 MV가 가리키는 위치는 A(730)가 된다. 한편, MVD가 (3,2)인 경우, x좌표값이 3이고, 이는 임계값 2보다 크므로, MVP를 기준으로 임계값까지는 MVD가 1/4 픽셀 단위로 계산되고, 임계값 이상은 1/2 픽셀 단위로 계산된다. 이 경우, 현재 블록의 MV가 가리키는 위치는 B(740)가 된다. 마찬가지 방법으로, MVD가 (3,3)인 경우, 현재 블록의 MV가 가리키는 위치는 C(750)가 된다.
본 발명에 따르면 고정된 임계값을 사용하지 않고 상술한 바와 같은 영상의 특성을 반영하여 도출된 제1 임계값(thresholdx) 및 제2 임계값(thresholdy)을 사용하여 영역을 적응적으로 특정할 수도 있다. 이 경우 임계값에 따른 영역에 따라 MVD가 다른 해상도 단위를 나타낼 수 있으므로, 영상의 특성에 따라 MVD의 해상도 단위가 변경되는 영역을 적응적으로 변경하여 코딩 효율을 높일 수 있다.
현재 블록 또는 임의의 영역의 주변 블록들의 움직임벡터들의 분산이 커질 경우, MVPcs에 기반하여 현재 블록에 대한 MV를 구하면, 그 예측에러인 MVD가 커지는 경향이 있다. 반대로, 주변 블록들의 움직임벡터들의 분산이 줄어드는 경우, MVPcs에 기반하여 현재 블록에 대한 MV를 구하면, 그 예측에러인 MVD가 줄어드는 경향이 있다. 즉, MVPcs를 이용하여 계산된 임계값은 영상의 움직임 특성을 나타낼 수 있다. 다시 말하면 상기 임계값은 주변 블록들로부터 도출된 MVP와 현재 블록의 MV가 차이가 얼마나 많고 적을지 예측하는 척도가 될 수 있다. 따라서, 상기 임계값에 따라 MV(및 MVD)가 어느정도 크기를 가질지 예측할 수 있다. 따라서, 이러한 임계값을 이용하여 영역을 계산하고, 이 영역에 따라 MVD의 해상도를 달리 적용하여 코딩할 수 있다. 예를 들어 MVPcs의 분산이 줄어드는 경우 MVP 주변에서 최적의 MV가 결정되므로, 작은 임계값이 유도되고 MVD가 높은 해상도(즉, 상대적으로 작은 분수값의 픽셀 단위 해상도)를 나타내는 영역이 줄어드는 것이 코딩 효율 측면에서 유리하다. 반대로, MVPcs의 분산이 높은 경우 최적 MV가 MVP 주변에서 멀어지게 되므로, 큰 임계값이 유도되고 MVD가 높은 해상도를 나타내는 영역이 늘어나는 것이 코딩 효율 측면에서 유리하다.
따라서, 본 발명에 따르면, MVD가 임계값을 기반으로 결정되는 둘 이상의 영역 중에서 제1 영역에 대하여는 제1 분수 픽셀 해상도 단위를 나타내고, 제2 영역에 대하여는 제2 분수 픽셀(또는 정수 픽셀) 해상도 단위를 나타낼 수 있다. 구체적으로, 예를 들어 상기 xMVD는 상기 제1 임계값보다 크지 않은 구간에 대하여는 제1 분수 픽셀 해상도 단위를 나타내고, 상기 제1 임계값보다 큰 구간에 대하여 제2 분수 픽셀 또는 정수 픽셀 해상도 단위를 나타낼 수 있다. 또한 상기 yMVD는 상기 제2 임계값보다 크지 않은 구간에 대하여는 상기 제1 분수 픽셀 해상도 단위를 나타내고, 상기 제2 임계값보다 큰 구간에 대하여 제2 분수 픽셀 또는 정수 픽셀 해상도 단위를 나타낼 수 있다.
이 경우 상기 제1 분수의 값은 상기 제2 분수의 값보다 작을 수 있다. 예를 들어, 상기 제1 분수는 1/4을 나타내고, 상기 제2 분수는 1/2를 나타낼 수 있다. 또는 상기 제1 분수는 1/8을 나타내고, 상기 제2 분수는 1/4 또는 1/2를 나타낼 수도 있다.
도 8은 본 발명에 따른 임계값을 기반으로 결정된 영역의 예시이다. 도 8에서는 MVPc1(810)의 값은 (5,3)이고, MVPc2(820)의 값은 (-1,0)인 경우의 예를 나타내고 있다. MVPc1(810) 및 MVPc2(820)가 다른 값을 갖는 경우에도 임계값이 변경되어 영역의 크기가 달라질 뿐 본 발명은 동일하게 적용될 수 있다.
도 8을 참조하면, 세로 선분들은 thresholdx에 대응되는 임계선들을 나타내며, 가로 선분들은 thresholdy에 대응되는 임계선들을 나타낸다. 예를 들어 세로 선분들은 (xMVPc1+thresholdx, y), (xMVPc1-thresholdx, y)(또는 (xMVPc2+thresholdx, y)) 및 (xMVPc2-thresholdx, y)에 대응될 수 있다. 또한 예를 들어 가로 선분들은 (x, yMVPc1+thresholdy), (x, yMVPc1-thresholdy)(또는 (x, yMVPc2-thresholdy)) 및 (x, yMVPc2-thresholdy)에 대응될 수 있다.
영역 A(830)은 (xMVPc1+thresholdx, y), (xMVPc2-thresholdx, y), (x, yMVPc1+thresholdy), (x, yMVPc2-thresholdy)의 네 개의 선분으로 둘러쌓인 영역을 나타낼 수 있다. 영역 A(830)은 |xMVD|가 thresholdx보다 작고, |yMVD|가 thresholdy보다 작은 영역을 나타낸다. 이 경우 xMVD 및 yMVD는 1/4 픽셀 단위의 해상도를 나타낼 수 있다.
영역 B(840)은 |xMVD|가 thresholdx보다 크고, |yMVD|가 thresholdy보다 작은 영역을 나타낸다. 영역 B(840)에서 xMVD 및 yMVD는 1/2 픽셀 단위의 해상도를 나타낼 수 있다.
영역 C(850)은 |xMVD|가 thresholdx보다 작고, |yMVD|가 thresholdy보다 큰 영역을 나타낸다. 영역 C(850)에서 xMVD 및 yMVD는 1/2 픽셀 단위의 해상도를 나타낼 수 있다.
영역 D(860)은 |xMVD|가 thresholdx보다 크고, |yMVD|가 thresholdy보다 큰 영역을 나타낸다. 영역 D(860) 에서 xMVD 및 yMVD는 정수 픽셀 단위의 해상도를 나타낼 수 있다.
한편, 상기 두 MVP 후보(또는 모든 MVPcs)가 같거나 차이가 거의 없는 경우 임계값이 아주 작아지므로, 움직임 해상도를 적응적으로 변경하는 영역의 크기도 작아진다. 따라서 임계값을 기반으로 영역을 결정함에 있어, 임계값에 임의의 값을 곱하거나, 더하거나, 빼는 방법 등을 사용하여 적어도 하나의 수정된 임계값을 도출하여, 영역의 크기를 조절할 수도 있다.
또한, x축(및/또는 y축) 임계값의 최소 및/또는 최대 크기를 지정하여, 상기 영역의 최소 크기 및/또는 최대 크기를 미리 정의할 수도 있다. 예를 들어, 상기 영역의 x축(및/또는 y축) 최소 크기 및/또는 x축(및/또는 y축) 최대 크기를 나타내는 크기 정보는 SPS(sequence parameter set) 신텍스 또는 PPS(picture parameter set) 신텍스에 포함되어 전송될 수도 있고, 시퀀스 헤더, 픽처 헤더, 또는 슬라이스 헤더에 포함되어 전송될 수도 있다. 또는 상기 크기 정보는 고정된 값이 사용될 수도 있다. 또한, 양자화 파라미터(Qp) 값을 기반으로 임계값에 임의의 값을 곱하거나 최대 값 및 최소 값이 변경될 수도 있다. 또 다른 예로, 픽처 헤더에 정의된 값이 임계값에 곱해져 영역을 정의할 수도 있다.
도 9는 본 발명의 일 실시예에 따른 해상도 영역의 예를 나타낸다. 도 9에서는 최대 크기로 영역을 제한한 예를 나타낸다.
도 9를 참조하면 세로 선분들은 thresholdx에 대응되는 임계선들을 나타내며, 가로 선분들은 thresholdy에 대응되는 임계선들을 나타낸다.
도 9에서는 도 8과 다르게, 영역 B(940) 및 영역 C(950)가 x축 방향 또는 y축 방향으로 계속되는 영역을 가지지 않으며, 각각 x축 방향 및 y축 방향에 대하여 미리 정의된 최대 크기로 제한되었다.
이전의 예시와 마찬가지로, 영역 A(930)에서는 MVD가 1/4 픽셀 단위의 해상도를 나타내고, 영역 B(940) 및 영역 C(950)에서는 MVD가 1/2 픽셀 단위의 해상도를 나타내고, 영역 D(960)에서는 MVD가 정수 픽셀 단위의 해상도를 나타낼 수 있다.
도 10은 본 발명의 일 실시예에 따른 해상도 영역의 다른 예를 나타낸다. 도 10에서는 thresholdx가 3이고, thresholdy가 1.5인 경우 상기 임계값들에 특정 값을 곱한 예를 나타낸다. 이 경우 상기 특정 값은 양자화 파라미터(Qp) 등에 따라 결정될 수 있다.
도 10을 참조하면, 세로 선분들은 MVPc2를 기준으로 thresholdx에 대응되는 임계선들을 나타내며, 가로 선분들은 상기 MVPc2를 기준으로 thresholdy에 대응되는 임계선들을 나타낸다.
도 10에서는 영역 1010은 thresholdx 및 thresholdy에 각각 2를 곱한 영역으로, 1/8 픽셀 단위의 해상도를 갖는다(즉, 이 경우 MVD는 1/8 픽셀 단위의 해상도를 나타낼 수 있다).
영역 1020은 thresholdx 및 thresholdy에 각각 4를 곱한 영역으로 1/4 픽셀 단위의 해상도를 갖는다. 영역 1030은 thresholdx 및 thresholdy에 각각 6을 곱한 영역으로 1/2 픽셀 단위의 해상도를 갖는다. 영역 1040은 상기 영역 1030 바깥쪽 영역으로 정수 픽셀 단위의 해상도를 갖는다.
한편, 도 10에서는 MVPc2를 기준으로 도시하였으나, 만약 MVP가 xMVP는 xMVPc1으로부터, yMVP는 yMVPc2로부터 가져온 경우와 같은 예의 경우에는, MVPc2를 기준으로 도시된 영역들과, MVPc1을 기준으로 도시된 영역들의 중첩 영역을 기준으로 해상도를 적용할 수 있다. 일 예로, MVD가 가리키는 MV의 위치가 MVPc2를 기준으로는 1/4 픽셀 단위의 해상도를 갖는 영역이나, MVPc1을 기준으로는 1/2 픽셀 단위의 해상도를 갖는 영역인 경우, 둘 중에서 상대적으로 해상도가 더 높은 1/4 픽셀 단위의 해상도를 적용하거나 또는 상대적으로 해상도가 더 낮은 1/2 픽셀 단위의 해상도를 적용할 수도 있다.
도 11은 본 발명의 일 실시예에 따른 해상도 영역의 또 다른 예를 나타낸다.
도 11에서는 MVPc1과 MVPc2가 같은 값을 가져서, 임계값이 0인 경우의 예를 나타낸다. 임계값이 0인 경우 어떠한 값을 곱하더라도 영역의 크기가 0이 된다. 본 예시에서는 임계값에 임의의 값을 더하여 영역을 키운 후, 움직임 보상을 수행할 수 있다.
또는 x축 및/또는 y축에 대하여 움직임 해상도 영역의 최대값 및/또는 최소값을 기반으로 영역을 정의할 수도 있다. 이 경우 구체적으로 각 해상도 단위별로 영역의 최대값 및/또는 최소값이 정의될 수도 있다.
본 예시에서는, 영역 1110은 1/8 해상도 단위를 나타내고, 최소 영역이 x축으로 ±4, y축으로 ±2로 지정되었다. 영역 1120은 1/4 해상도 단위를 나타내고, 최소 영역이 x축으로 ±6, y축으로 ±4로 지정되었다. 그리고 나머지 영역인 영역 1130은 1/1 해상도 단위를 나타낸다.
디코더는 상기 영역별 해상도 단위를 고려하여 MVD 정보가 가리키는 구체적인 위치에 해당하는 MV를 도출할 수 있다.
도 12는 인코더에 의한 임계값에 기반한 AMVP 방법의 일 예를 개략적으로 나타내는 순서도이다.
도 12를 참조하면, 인코더는 예측 대상인 현재 블록의 주변 블록들을 기반으로 MVP 후보들을 도출한다(S1200). 여기서 주변 블록들이라 함은 공간적/시간적 주변 블록들을 포함한다. 인코더는 예를 들어 도 3에서 상술한 바와 같은 주변 블록들을 후보 블록으로 사용하여, MVP 후보들을 도출하고 MVPcs를 구성할 수 있다.
인코더는 상기 MVP 후보들에 포함되는 제1 MVP 후보 및 제2 MVP 후보를 기반으로 제1 임계값 및 제2 임계값을 계산한다(S1210). 상기 제1 MVP 후보 및 제2 MVP 후보는 각각 x좌표 성분인 xMVPc1, xMVPc2, 그리고 y좌표 성분인 yMVPc1, 제2 yMVPc2를 포함한다. 인코더는 상기 xMVPc1 및 xMVPc2를 기반으로 상기 제1 임계값을 도출하고, 상기 yMVPc1 및 yMVPc2를 기반으로 상기 제2 임계값을 도출할 수 있다.
인코더는 현재 블록에 대한 MV를 도출한다(S1220). 상기 현재 블록에 대하여 움직임 추정(motion estimation) 절차를 통하여 참조 픽처 상에서 정해진 기준에 따른 서치를 통하여 현재 블록과 가장 유사한 참조 블록을 찾는다. 이 경우 인코더는 정수 픽셀 단위 이하의 분수 픽셀 단위, 즉 1/2 픽셀, 1/4 픽셀, 1/8 픽셀 단위 등에서 서치를 수행하여 상기 참조 블록을 찾을 수 있다. 분수 픽셀 단위는 보간(interpolation)을 통하여 생성할 수 있다.
이 경우, 인코더는 상기 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나를 기반으로 결정된 둘 이상의 영역에 따라 해상도 단위를 달리 설정하여 서치를 수행할 수 있다. 예를 들어, 상기 둘 이상의 영역 중에서 제1 영역에 대하여는 제1 분수 필셀 해상도 단위로 서치를 수행하고, 제2 영역에 대하여는 제2 분수 픽셀(또는 정수 픽셀) 해상도 단위로 서치를 수행할 수 있다.
이 경우 상기 제1 분수의 값은 상기 제2 분수의 값보다 작을 수 있다. 예를 들어, 상기 제1 분수는 1/4을 나타내고, 상기 제2 분수는 1/2를 나타낼 수 있다. 또는 상기 제1 분수는 1/8을 나타내고, 상기 제2 분수는 1/4 또는 1/2를 나타낼 수도 있다.
인코더는 상기 MV 및 상기 MVP 후보들을 기반으로 현재 블록의 MVP를 결정한다(S1230). 이 경우 인코더는 x축, y축을 구분하여 xMV와 가장 가까운 x좌표 값을 가지는 MVP 후보 a, yMV와 가장 가까운 y좌표 값을 가지는 MVP 후보 b를 각각 도출하고, 상기 MVP 후보 a의 x좌표 성분 및 상기 MVP 후보 b의 y좌표 성분을 기반으로 현재 블록의 MVP(xMVP, yMVP)를 결정할 수 있다.
인코더는 상기 MV 및 상기 MVP를 기반으로 현재 블록에 대한 MVD를 계산한다(S1240). 인코더는 상기 MV에서 상기 MVP를 빼서 상기 MVD를 계산할 수 있다. 이 경우 상기 MVD는 상기 제1 영역에 대하여는 제1 분수 픽셀 해상도 단위를 나타낼 수 있고, 상기 제2 영역에 대하여는 제2 분수 픽셀(또는 정수 픽셀) 해상도 단위를 나타낼 수 있다.
인코더는 상기 MVD를 인코딩하여 전송한다(S1250). 인코더는 상기 MVD를 인코딩하여 비트스트림 형태로 디코더로 전송할 수 있다. 인코더는 이 경우 상기 MVD를 xMVD 및 yMVD로 각각 나누어 엔트로피 인코딩 수 있다.
또한, 인코더는 필요에 따라 MVP 플래그 정보를 인코딩하여 전송할 수도 있다. 이 경우 상기 MVP 플래그 정보는 xMVP 플래그 정보 및 yMVP 플래그 정보로 구분될 수 있다. 예를 들어, 인코더는 xMVD의 크기가 상기 제1 임계값보다 큰 경우 xMVP 플래그 정보를 인코딩 및 전송하지 않고, xMVD의 크기가 상기 제1 임계값보다 크지 않은 경우에 상기 MVP 플래그 정보를 인코딩하여 전송할 수 있다. 또한, 인코더는 yMVD의 크기가 상기 제2 임계값보다 큰 경우 yMVP 플래그 정보를 인코딩 및 전송하지 않고, yMVD의 크기가 상기 제1 임계값보다 크지 않은 경우 상기 MVP 플래그 정보를 인코딩하여 전송할 수 있다.
도 13은 디코더에 의한 임계값에 기반한 AMVP 방법의 일 예를 개략적으로 나타내는 순서도이다.
도 13를 참조하면, 디코더는 예측 대상인 현재 블록의 주변 블록들을 기반으로 MVP 후보들을 도출한다(S1300). 여기서 주변 블록들이라 함은 공간적/시간적 주변 블록들을 포함한다. 디코더는 예를 들어 도 3에서 상술한 바와 같은 주변 블록들을 후보 블록으로 사용하여, MVP 후보들을 도출하고 MVPcs를 구성할 수 있다.
디코더는 상기 MVP 후보들에 포함되는 제1 MVP 후보 및 제2 MVP 후보를 기반으로 제1 임계값 및 제2 임계값을 계산한다(S1310). 상기 제1 MVP 후보 및 제2 MVP 후보는 각각 x좌표 성분인 xMVPc1, xMVPc2, 그리고 y좌표 성분인 yMVPc1, 제2 yMVPc2를 포함한다. 디코더는 상기 xMVPc1 및 xMVPc2를 기반으로 상기 제1 임계값을 도출하고, 상기 yMVPc1 및 yMVPc2를 기반으로 상기 제2 임계값을 도출할 수 있다. 한편, 상기 MVP 후보들은 제3 MVP 후보를 더 포함할 수 있으며, 상기 제1 MVP 후보 및 상기 제2 MVP 후보 중 하나와 상기 제3 MVP 후보를 기반으로 제3 임계값 및 제4 임계값을 계산할 수도 있다. 이 경우 예를 들어 상기 제1 MVP 후보 및 상기 제2 MVP 후보 중 상기 제3 MVP 후보와 거리가 상대적으로 가까운 MVP 후보가 선택되어 상기 제3 임계값 및 제4 임계값을 계산하는데 이용될 수 있다. 여기서 제1 및 제3 임계값들은 x축에 대한 임계값들, 제2 및 제4 임계값들은 y축에 대한 임계값들일 수 있다.
디코더는 상기 현재 블록에 대한 MVD를 수신한다(S1320). 디코더는 비트스트림을 수신하고 디코딩을 수행하여 상기 MVD를 획득할 수 있다. 상기 MVD는 xMVD 및 yMVD로 구분될 수 있다.
디코더는 상기 현재 블록에 대한 MVP를 도출한다(S1330). 이 경우 디코더는 상기 제1 임계값 및 상기 제2 임계값을 기반으로 현재 블록에 대한 상기 MVP를 도출할 수 있다.
예를 들어, 상기 xMVD의 크기가 상기 제1 임계값보다 큰 경우, 디코더는 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 x좌표 성분들 중에서 하나를 상기 현재 블록에 대한 상기 MVP의 x좌표 성분인 xMVP로 도출할 수 있다. 이 경우, 디코더는 상기 xMVD가 양수인 경우 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 x좌표 성분들 중에서 상대적으로 큰 값을 가지는 성분을 상기 현재 블록에 대한 상기 xMVP로 도출하고, 상기 xMVD가 음수인 경우 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 x좌표 성분들 중에서 상대적으로 작은 값을 가지는 성분을 상기 xMVP로 도출할 수 있다.
또한, 예를 들어, 상기 yMVD의 크기가 상기 제2 임계값보다 큰 경우, 디코더는 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 y좌표 성분들 중에서 하나를 상기 현재 블록에 대한 상기 MVP의 y좌표 성분인 yMVP로 도출할 수 있다. 이 경우 디코더는 상기 yMVD가 양수인 경우 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 y좌표 성분들 중에서 상대적으로 큰 값을 가지는 성분을 상기 현재 블록에 대한 상기 yMVP로 도출하고, 상기 yMVD가 음수인 경우 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 y좌표 성분들 중에서 상대적으로 작은 값을 가지는 성분을 상기 현재 블록에 대한 상기 yMVP로 도출할 수 있다.
한편, 디코더는 상기 xMVD의 크기가 상기 제1 임계값보다 크지 않은 경우, xMVP 플래그 정보를 더 수신할 수 있으며, 디코더는 상기 MVP 후보들 중에서 상기 xMVP 플래그 정보가 가리키는 MVP 후보의 x좌표 성분의 값을 상기 xMVP의 값으로 도출할 수 있다. 또한, 디코더는 상기 yMVD의 크기가 상기 제2 임계값보다 크지 않은 경우, yMVP 플래그 정보를 더 수신할 수 있으며, 디코더는 상기 MVP 후보들 중에서 상기 yMVP 플래그 정보가 가리키는 MVP 후보의 y좌표 성분의 값을 상기 yMVP의 값으로 도출할 수 있다.
여기서 상기 제1 MVP 후보의 값과 상기 제2 MVP 후보의 값은 서로 다를 수 있다. 그리고 상기 제1 MVP 후보 및 상기 제2 MVP 후보는 상기 도출된 MVP 후보들 중에서 둘 사이의 거리가 가장 짧은 두 MVP 후보들일 수 있다.
또한, 예를 들어, 디코더는 상기 MVD 와 상기 제1 임계값, 제2 임계값, 제3 임계값 및 제4 임계값을 기반으로 현재 블록에 대한 MVP를 도출할 수도 있다. 이 경우 도 4 및 도 5에서 설명한 바와 같이 제1 및 제2 MVP 후보에 대하여는 상기 제1 임계값 및 제2 임계값을 적용하고, 상기 제1 및 제2 MVP 후보 중 하나와 상기 제3 MVP 후보에 대하여는 제3임계값 및 제4 임계값을 적용하여, 최적의 MVP를 추론할 수 있다.
디코더는 상기 MVP 및 상기 MVD를 기반으로 현재 블록의 MV를 계산한다(S1340). 여기서 상기 MVD는 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나를 기반으로 결정된 둘 이상의 영역에 따라 적응적으로 다른 해상도 단위를 나타낼 수 있다.
예를 들어, 상기 xMVD는 상기 둘 이상의 영역 중 제1 영역에 대하여는 제1 분수 픽셀 해상도 단위를 나타내고, 제2 영역에 대하여는 제2 분수 픽셀 또는 정수 픽셀 해상도 단위를 나타낼 수 있다.
또한, 상기 yMVD는 상기 둘 이상의 영역 중 제1 영역에 대하여는 제1 분수 픽셀 해상도 단위를 나타내고, 제2 영역에 대하여는 제2 분수 픽셀 또는 정수 픽셀 해상도 단위를 나타낼 수 있다.
상기 둘 이상의 영역은 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나에 특정 값을 더하거나, 빼거나, 또는 곱하여 생성된 적어도 하나의 수정된 임계값을 기반으로 결정될 수도 있다.
또한, 상기 둘 이상의 영역은 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나에 대하여 미리 결정된 최소값 및 최대값 중 적어도 하나를 기반으로 결정될 수도 있다.
이 경우 상기 제1 분수의 값은 상기 제2 분수의 값보다 작을 수 있다. 예를 들어, 상기 제1 분수는 1/4을 나타내고, 상기 제2 분수는 1/2를 나타낼 수 있다. 또는 상기 제1 분수는 1/8을 나타내고, 상기 제2 분수는 1/4 또는 1/2를 나타낼 수도 있다.
디코더는 상기 MV를 기반으로 현재 블록 상에서 예측 샘플을 생성한다(S1350). 디코더는 상기 MV를 기반으로 참조 픽처 상에서 참조 블록을 도출할 수 있다. 이 경우 디코더는 상기 영역에 따른 해상도의 변경을 참조하여, 상기 MV가 참조 픽처 상에서 가리키는 위치를 특정할 수 있다. 디코더는 상기 특정된 위치에 있는 참조 블록을 기반으로 현재 블록의 예측 샘플(또는 예측 샘플 어레이)를 생성한다.
디코더는 상기 예측 샘플을 기반으로 복원 샘플을 생성한다(S1360). 디코더는 상기 예측 샘플(또는 예측 샘플 어레이)에 레지듀얼 샘플(또는 레지듀얼 샘플 어레이, 레지듀얼 신호)를 더하여 상기 복원 샘플(또는 복원 샘플 어레이)를 생성할 수 있다.
도 14는 본 발명의 일 실시예에 따른 예측부를 개략적으로 나타낸 개념도이다. 상기 예측부는 비디오 인코더에 포함될 수도 있고, 비디오 디코더에 포함될 수도 있다.
도 14를 참조하면, 예측부(1400)는 임계값 계산부(1410), MVP 플래그 코딩 결정부(1420) 및 MV 해상도 영역 결정부(1430)을 포함한다. 인코더 내에서 예측부(1400)는 현재 블록에 대한 움직임 추정을 수행하는 움직임 추정부를 더 포함할 수 있고, 디코더 내에서 예측부(1400)는 현재 블록에 대한 움직임 정보를 기반으로 예측 샘플을 생성하는 움직임 보상부를 더 포함할 수 있다.
임계값 계산부(1410)는 예측 대상인 현재 블록의 주변 블록들을 기반으로 MVP 후보들을 도출하고, 상기 MVP 후보들에 포함되는 제1 MVP 후보 및 제2 MVP 후보를 기반으로 제1 임계값 및 제2 임계값을 구한다. 상기 제1 MVP 후보 및 제2 MVP 후보는 각각 x좌표 성분인 xMVPc1, xMVPc2, 그리고 y좌표 성분인 yMVPc1, yMVPc2를 포함하고, 임계값 계산부(1410)는 상기 xMVPc1 및 xMVPc2를 기반으로 상기 제1 임계값을 도출하고, 상기 yMVPc1 및 yMVPc2를 기반으로 상기 제2 임계값을 도출할 수 있다.
임계값 계산부(1410)는 상기 xMVPc1 및 xMVPc2의 차이값의 절대값을 2로 나눈 값을 상기 제1 임계값으로 계산할 수 있다. 또한, 임계값 계산부(1410)는 상기 yMVPc1 및 yMVPc2의 차이값의 절대값을 2로 나눈 값을 상기 제2 임계값으로 계산할 수 있다.
MVP 플래그 코딩 결정부(1420)는 상기 현재 블록에 대한 MVD와 상기 제1 임계값 및 상기 제2 임계값을 기반으로 MVP 플래그 정보의 코딩(인코더의 경우 인코딩, 디코더의 경우 디코딩, 이하 같다.) 여부를 결정한다.
예를 들어, 상기 xMVD의 크기가 상기 제1 임계값보다 큰 경우, MVP 플래그 코딩 결정부(1420)는 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 x좌표 성분들 중에서 하나를 상기 현재 블록에 대한 상기 MVP의 x좌표 성분인 xMVP로 도출할 수 있다. 이 경우, MVP 플래그 코딩 결정부(1420)는 상기 xMVD가 양수인 경우 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 x좌표 성분들 중에서 상대적으로 큰 값을 가지는 성분을 상기 현재 블록에 대한 상기 xMVP로 도출하고, 상기 xMVD가 음수인 경우 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 x좌표 성분들 중에서 상대적으로 작은 값을 가지는 성분을 상기 xMVP로 도출할 수 있다. 즉, 이 경우 인코더는 xMVP 플래그 정보를 인코딩하지 않고, 디코더는 xMVP 플래그 정보 디코딩 없이 xMVP를 도출할 수 있다.
또한, 예를 들어, 상기 yMVD의 크기가 상기 제2 임계값보다 큰 경우, MVP 플래그 코딩 결정부(1420)는 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 y좌표 성분들 중에서 하나를 상기 현재 블록에 대한 상기 MVP의 y좌표 성분인 yMVP로 도출할 수 있다. 이 경우 MVP 플래그 코딩 결정부(1420)는 상기 yMVD가 양수인 경우 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 y좌표 성분들 중에서 상대적으로 큰 값을 가지는 성분을 상기 현재 블록에 대한 상기 yMVP로 도출하고, 상기 yMVD가 음수인 경우 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 y좌표 성분들 중에서 상대적으로 작은 값을 가지는 성분을 상기 현재 블록에 대한 상기 yMVP로 도출할 수 있다. 즉, 이 경우 인코더는 yMVP 플래그 정보를 인코딩하지 않고, 디코더는 yMVP 플래그 정보 디코딩 없이 yMVP를 도출할 수 있다.
한편, MVP 플래그 코딩 결정부(1420)는 상기 xMVD의 크기가 상기 제1 임계값보다 크지 않은 경우, xMVP 플래그 정보의 코딩을 결정한다. 또한, MVP 플래그 코딩 결정부(1420)는 상기 yMVD의 크기가 상기 제2 임계값보다 크지 않은 경우, yMVP 플래그 정보의 코딩을 결정한다.
MV 해상도 영역 결정부(1430)는 상기 MVD는 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나를 기반으로 결정된 둘 이상의 영역에 따라 적응적으로 해상도 단위를 결정한다.
MV 해상도 영역 결정부(1430)는 상기 xMVD에 대하여 상기 둘 이상의 영역 중 제1 영역에 대하여는 제1 분수 픽셀 해상도 단위를 나타내고, 제2 영역에 대하여는 제2 분수 픽셀 또는 정수 픽셀 해상도 단위를 나타내도록 설정할 수 있다.
또한, MV 해상도 영역 결정부(1430)는 상기 yMVD에 대하여 상기 둘 이상의 영역 중 제1 영역에 대하여는 제1 분수 픽셀 해상도 단위를 나타내고, 제2 영역에 대하여는 제2 분수 픽셀 또는 정수 픽셀 해상도 단위를 나타내도록 설정할 수 있다.
MV 해상도 영역 결정부(1430)는 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나에 특정 값을 더하거나, 빼거나, 또는 곱하여 생성된 적어도 하나의 수정된 임계값을 기반으로 상기 둘 이상의 영역을 결정할 수도 있다.
MV 해상도 영역 결정부(1430) 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나에 대하여 미리 결정된 최소값 및 최대값 중 적어도 하나를 기반으로 상기 둘 이상의 영역을 결정할 수도 있다. 이 경우 상기 제1 분수의 값은 상기 제2 분수의 값보다 작을 수 있다. 예를 들어, 상기 제1 분수는 1/4을 나타내고, 상기 제2 분수는 1/2를 나타낼 수 있다. 또는 상기 제1 분수는 1/8을 나타내고, 상기 제2 분수는 1/4 또는 1/2를 나타낼 수도 있다.
이 경우, 인코더는 움직임 추정을 수행함에 있어 영역에 따라 해상도를 달리하여 신속하게 서치를 할 수 있고, 디코더는 움직임 보상을 수행함에 있어 보다 적은 MVD 값을 사용하여 보다 넓은 영역에서 MV를 도출할 수 있다. 이 경우 MVD 송수신에 사용되는 비트량이 감소하여 코딩 효율이 향상될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 할 것이다.
본 발명에서 실시예들이 소프트웨어로 구현될 때, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.

Claims (20)

  1. 디코딩 장치에 의하여 수행되는 영상의 디코딩 방법에 있어서,
    현재 블록에 대한 움직임 벡터 차분(motion vector difference, MVD)를 수신하는 단계;
    현재 블록의 주변 블록들을 기반으로 움직임 벡터 예측자(motion vector predictor, MVP) 후보들을 도출(derive)하는 단계;
    상기 MVP 후보들에 포함되는 제1 MVP 후보 및 제2 MVP 후보를 기반으로 제1 임계값 및 제2 임계값을 계산하는 단계;
    상기 MVD 와 상기 제1 임계값 및 제2 임계값을 기반으로 현재 블록에 대한 MVP를 도출하는 단계;
    상기 MVP 및 상기 MVD를 기반으로 현재 블록의 움직임 벡터(motion vector, MV)를 계산하는 단계;
    상기 MV를 기반으로 현재 블록 상에서 예측 샘플을 생성하는 단계; 및
    상기 예측 샘플을 기반으로 복원 샘플을 생성하는 단계를 포함함을 특징으로 하는, 영상의 디코딩 방법.
  2. 제 1항에 있어서,
    상기 제1 MVP 후보 및 제2 MVP 후보는 각각 x좌표 성분인 xMVPc1, xMVPc2, 그리고 y좌표 성분인 yMVPc1, 제2 yMVPc2를 포함하고,
    상기 제1 임계값은 상기 xMVPc1 및 xMVPc2를 기반으로 도출되고,
    상기 제2 임계값은 상기 yMVPc1 및 yMVPc2를 기반으로 도출됨을 특징으로 하는, 영상의 디코딩 방법.
  3. 제 2항에 있어서
    상기 제1 임계값은 상기 xMVPc1 및 xMVPc2의 차이값의 절대값을 2로 나눈 값이고,
    상기 제2 임계값은 상기 yMVPc1 및 yMVPc2의 차이값의 절대값을 2로 나눈 값인 것을 특징으로 하는, 영상의 디코딩 방법.
  4. 제 2항에 있어서,
    상기 MVD는 x좌표 성분인 xMVD 및 y좌표 성분인 yMVD를 포함하고,
    상기 xMVD의 크기가 상기 제1 임계값보다 큰 경우, 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 x좌표 성분들 중에서 하나가 상기 현재 블록에 대한 상기 MVP의 x좌표 성분인 xMVP로 도출되는 것을 특징으로 하는, 영상의 디코딩 방법
  5. 제 4항에 있어서,
    상기 xMVD가 양수인 경우 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 x좌표 성분들 중에서 상대적으로 큰 값을 가지는 성분이 상기 현재 블록에 대한 상기 xMVP로 도출되고, 상기 xMVD가 음수인 경우 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 x좌표 성분들 중에서 상대적으로 작은 값을 가지는 성분이 상기 xMVP로 도출됨을 특징으로 하는, 영상의 디코딩 방법.
  6. 제 2항에 있어서,
    상기 yMVD의 크기가 상기 제2 임계값보다 큰 경우 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 y좌표 성분들 중에서 하나가 상기 현재 블록에 대한 상기 MVP의 y좌표 성분인 yMVP로 도출되는 것을 특징으로 하는, 영상의 디코딩 방법.
  7. 제 6항에 있어서,
    상기 yMVD가 양수인 경우 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 y좌표 성분들 중에서 상대적으로 큰 값을 가지는 성분이 상기 현재 블록에 대한 상기 yMVP로 도출되고, 상기 yMVD가 음수인 경우 상기 제1 MVP 후보 및 상기 제2 MVP 후보의 y좌표 성분들 중에서 상대적으로 작은 값을 가지는 성분이 상기 현재 블록에 대한 상기 yMVP로 도출되는 것을 특징으로 하는, 영상의 디코딩 방법.
  8. 제 2항에 있어서,
    상기 xMVD의 크기가 상기 제1 임계값보다 크지 않은 경우, xMVP 플래그 정보를 수신하는 단계를 더 포함하되,
    상기 xMVP의 값은 상기 MVP 후보들 중에서 상기 xMVP 플래그 정보가 가리키는 MVP 후보의 x좌표 성분의 값과 같은 것을 특징으로 하는, 영상의 디코딩 방법.
  9. 제 2항에 있어서,
    상기 yMVD의 크기가 상기 제2 임계값보다 크지 않은 경우, yMVP 플래그 정보를 수신하는 단계를 더 포함하되,
    상기 yMVP의 값은 상기 MVP 후보들 중에서 상기 yMVP 플래그 정보가 가리키는 MVP 후보의 y좌표 성분의 값과 같은 것을 특징으로 하는, 영상의 디코딩 방법.
  10. 제 2항에 있어서,
    상기 제1 MVP 후보의 값과 상기 제2 MVP 후보의 값은 서로 다르고,
    상기 제1 MVP 후보 및 상기 제2 MVP 후보는 상기 도출된 MVP 후보들 중에서 둘 사이의 거리가 가장 짧은 두 MVP 후보들인 것을 특징으로 하는, 영상의 디코딩 방법.
  11. 제 2항에 있어서,
    상기 MVP 후보들은 제3 MVP 후보를 더 포함하며,
    상기 제1 MVP 후보 및 상기 제2 MVP 후보 중 상기 제3 MVP 후보와 거리가 상대적으로 가까운 MVP 후보와 상기 제3 MVP 후보를 기반으로 제3 임계값 및 제4 임계값을 계산하고,
    상기 MVD 와 상기 제1 임계값, 제2 임계값, 제3 임계값 및 제4 임계값을 기반으로 현재 블록에 대한 MVP를 도출하는 것을 특징으로 하는, 영상의 디코딩 방법.
  12. 제 2항에 있어서,
    상기 xMVD는 상기 제1 임계값보다 크지 않은 구간에 대하여는 제1 분수 픽셀 해상도 단위를 나타내고, 상기 제1 임계값보다 큰 구간에 대하여 제2 분수 픽셀 또는 정수 픽셀 해상도 단위를 나타내고,
    상기 yMVD는 상기 제2 임계값보다 크지 않은 구간에 대하여는 상기 제1 분수 픽셀 해상도 단위를 나타내고, 상기 제2 임계값보다 큰 구간에 대하여 제2 분수 픽셀 또는 정수 픽셀 해상도 단위를 나타내며,
    상기 제1 분수의 값은 상기 제2 분수의 값보다 작은 것을 특징으로 하는, 영상의 디코딩 방법.
  13. 제 12항에 있어서,
    상기 제1 분수는 1/4을 나타내고, 상기 제2 분수는 1/2를 나타냄을 특징으로 하는, 영상의 디코딩 방법.
  14. 디코딩 장치에 의하여 수행되는 영상의 인터 예측 방법에 있어서,
    현재 블록에 대한 움직임 벡터 차분(motion vector difference, MVD)을 수신하는 단계;
    현재 블록의 주변 블록들을 기반으로 MVP 후보들을 도출(derive)하는 단계;
    상기 MVP 후보들에 포함되는 제1 MVP 후보 및 제2 MVP 후보를 기반으로 제1 임계값 및 제2 임계값을 계산하는 단계;
    상기 도출된 MVP 후보들을 기반으로 현재 블록에 대한 MVP를 도출하는 단계;
    상기 MVP 및 상기 MVD를 기반으로 현재 블록의 움직임 벡터(motion vector, MV)를 계산하는 단계;
    상기 MV를 기반으로 현재 블록 상에서 예측 샘플을 생성하는 단계를 포함하되,
    상기 MVD는 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나를 기반으로 결정된 둘 이상의 영역에 따라 적응적으로 다른 해상도 단위를 나타내는 것을 특징으로 하는, 인터 예측 방법.
  15. 제 14항에 있어서,
    상기 제1 MVP 후보 및 제2 MVP 후보는 각각 x좌표 성분인 xMVPc1, xMVPc2, 그리고 y좌표 성분인 yMVPc1, 제2 yMVPc2를 포함하고,
    상기 제1 임계값은 상기 xMVPc1 및 xMVPc2를 기반으로 도출되고,
    상기 제2 임계값은 상기 yMVPc1 및 yMVPc2를 기반으로 도출됨을 특징으로 하는, 인터 예측 방법.
  16. 제 15항에 있어서
    상기 제1 임계값은 상기 xMVPc1 및 xMVPc2의 차이값의 절대값을 2로 나눈 값이고,
    상기 제2 임계값은 상기 yMVPc1 및 yMVPc2의 차이값의 절대값을 2로 나눈 값인 것을 특징으로 하는, 인터 예측 방법.
  17. 제 15항에 있어서,
    상기 MVD는 x좌표 성분인 xMVD 및 y좌표 성분인 yMVD를 포함하고,
    상기 xMVD는 상기 둘 이상의 영역 중 제1 영역에 대하여는 제1 분수 픽셀 해상도 단위를 나타내고, 제2 영역에 대하여는 제2 분수 픽셀 또는 정수 픽셀 해상도 단위를 나타냄을 특징으로 하는, 인터 예측 방법.
  18. 제 15항에 있어서,
    상기 MVD는 x좌표 성분인 xMVD 및 y좌표 성분인 yMVD를 포함하고,
    상기 yMVD는 상기 둘 이상의 영역 중 제1 영역에 대하여는 제1 분수 픽셀 해상도 단위를 나타내고, 제2 영역에 대하여는 제2 분수 픽셀 또는 정수 픽셀 해상도 단위를 나타냄을 특징으로 하는, 인터 예측 방법.
  19. 제 15항에 있어서,
    상기 둘 이상의 영역은 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나에 특정 값을 더하거나, 빼거나, 또는 곱하여 생성된 적어도 하나의 수정된 임계값을 기반으로 결정됨을 특징으로 하는, 인터 예측 방법.
  20. 제 15항에 있어서,
    상기 둘 이상의 영역은 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나에 대하여 미리 결정된 최소값 및 최대값 중 적어도 하나를 기반으로 결정됨을 특징으로 하는, 인터 예측 방법.
KR1020187011251A 2015-11-13 2015-11-13 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치 KR20180081716A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/012249 WO2017082443A1 (ko) 2015-11-13 2015-11-13 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20180081716A true KR20180081716A (ko) 2018-07-17

Family

ID=58695554

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187011251A KR20180081716A (ko) 2015-11-13 2015-11-13 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치

Country Status (3)

Country Link
US (1) US10560699B2 (ko)
KR (1) KR20180081716A (ko)
WO (1) WO2017082443A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020184952A1 (ko) * 2019-03-10 2020-09-17 엘지전자 주식회사 비디오 신호에서 인터 예측을 위한 움직임 벡터 차분 정보를 처리하기 위한 비디오 신호의 처리 방법 및 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3264768A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with adaptive motion information refinement
US11240526B2 (en) 2017-01-02 2022-02-01 Industry-University Cooperation Foundation Hanyang University Method and apparatus for decoding image using interpicture prediction
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
CN109729363B (zh) * 2017-10-31 2022-08-19 腾讯科技（深圳）有限公司 一种视频图像的处理方法和装置
CN109756739B (zh) * 2017-11-07 2022-09-02 华为技术有限公司 图像预测方法和装置
WO2019209050A1 (ko) * 2018-04-25 2019-10-31 엘지전자 주식회사 변환 타입에 기초하여 비디오 신호를 처리하는 방법 및 장치
WO2019244051A1 (en) 2018-06-19 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Selected mvd precision without mvp truncation
CN112385230A (zh) * 2018-07-02 2021-02-19 Lg电子株式会社 通过使用仿射预测处理视频信号的方法和设备
EP4325859A3 (en) 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
US11197017B2 (en) * 2018-12-06 2021-12-07 Tencent America LLC Methods and apparatuses for video coding
CN113412623A (zh) 2019-01-31 2021-09-17 北京字节跳动网络技术有限公司 记录仿射模式自适应运动矢量分辨率的上下文
CN113994682A (zh) * 2019-06-08 2022-01-28 北京字节跳动网络技术有限公司 具有默认参数的基于历史的运动矢量预测
CN110636302B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频解码、编码方法和装置、存储介质及解码器、编码器
CN114946190B (zh) * 2019-11-18 2024-06-14 Lg电子株式会社 用于控制环路滤波的图像编码装置和方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100011628A (ko) * 2008-07-25 2010-02-03 삼성전자주식회사 코딩 방법 및 코딩 장치
KR101452859B1 (ko) * 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
KR101522850B1 (ko) * 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US10327008B2 (en) 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
WO2012128540A2 (ko) 2011-03-21 2012-09-27 엘지전자 주식회사 움직임 벡터 예측자 선택 방법 및 이를 이용하는 장치
WO2013002716A2 (en) * 2011-06-30 2013-01-03 Telefonaktiebolaget L M Ericsson (Publ) A method a decoder and encoder for processing a motion vector
US10536701B2 (en) * 2011-07-01 2020-01-14 Qualcomm Incorporated Video coding using adaptive motion vector resolution
KR20140016823A (ko) * 2012-07-24 2014-02-10 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
US9491461B2 (en) * 2012-09-27 2016-11-08 Qualcomm Incorporated Scalable extensions to HEVC and temporal motion vector prediction

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020184952A1 (ko) * 2019-03-10 2020-09-17 엘지전자 주식회사 비디오 신호에서 인터 예측을 위한 움직임 벡터 차분 정보를 처리하기 위한 비디오 신호의 처리 방법 및 장치
US12003757B2 (en) 2019-03-10 2024-06-04 Lg Electronics Inc. Video signal processing method and device for processing motion vector difference information for inter prediction in video signal

Also Published As

Publication number Publication date
WO2017082443A1 (ko) 2017-05-18
US10560699B2 (en) 2020-02-11
US20180324437A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
US20210218986A1 (en) Image encoding method and image decoding method
KR20180081716A (ko) 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
KR20180019092A (ko) 영상 코딩 시스템에서 조도 보상에 기반한 블록 예측 방법 및 장치
KR20180048736A (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
KR20180028513A (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
KR20160106025A (ko) 동영상 부호화 장치
KR20180058224A (ko) 영상 코딩 시스템에서 모델링 기반 영상 디코딩 방법 및 장치
KR20180059482A (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
KR20180059443A (ko) 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
CN112385231B (zh) 图像编码/解码方法和装置
KR20180059444A (ko) 영상 코딩 시스템에서 amvr 기반한 영상 코딩 방법 및 장치
US20210377519A1 (en) Intra prediction-based video signal processing method and device
KR20180019548A (ko) 영상 코딩 시스템에서 영상 특성에 기반한 적응적 필터링 방법 및 장치
KR20180048735A (ko) 영상 코딩 시스템에서 영상 필터링 방법 및 장치
US11792426B2 (en) Method and apparatus for encoding/decoding image using a prediction value based on reference pixels
KR20180019549A (ko) 영상 코딩 시스템에서 영상 필터링 방법 및 장치
KR20220036942A (ko) 비디오 신호 처리 방법 및 장치
KR20180044935A (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
KR20180019547A (ko) 영상 코딩 시스템에서 필터 뱅크를 이용한 영상 필터링 방법 및 장치
KR20180064423A (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
KR20180050333A (ko) 영상 코딩 시스템에서 필터링 방법 및 장치
KR101735798B1 (ko) 병합 모드를 기반으로 한 영상 부호화 방법 및 장치
KR102585178B1 (ko) 효율적인 움직임 정보 예측을 이용한 영상 부호화/복호화 방법과 장치
KR102585179B1 (ko) 효율적인 움직임 정보 예측을 이용한 영상 부호화/복호화 방법과 장치