KR20190062587A

KR20190062587A - 비디오 신호의 비디오 코딩 블록을 인코딩 및 디코딩하는 장치 및 방법

Info

Publication number: KR20190062587A
Application number: KR1020197014337A
Authority: KR
Inventors: 즈지에 자오; 막스 블래저; 마티아스 비엔
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2016-10-19
Filing date: 2016-10-19
Publication date: 2019-06-05
Also published as: CN109891884B; US10735726B2; WO2018072823A1; US20190273920A1; CN109891884A; EP3529984A1; KR102276265B1

Abstract

본 발명은 비디오 코딩 블록을 디코딩하는 디코딩 장치에 관한 것이다. 상기 디코딩 장치는, 잔차 비디오 코딩 블록을 제공하기 위해 상기 비디오 코딩 블록을 디코딩하는 디코딩 유닛과; 상기 코딩 정보에 기초하여 상기 비디오 코딩 블록을 제1 세그먼트 및 제2 세그먼트를 포함하는 둘 이상의 세그먼트로 분할하도록 구성된 분할 유닛을 포함한다. 상기 코딩 정보는 상기 비디오 코딩 블록의 제1 세그먼트와 연관된 제1 세그먼트 움직임 벡터 및 상기 비디오 코딩 블록의 제2 세그먼트와 연관된 제2 세그먼트 움직임 벡터를 포함한다. 인터 예측 유닛이 상기 제1 세그먼트 움직임 벡터에 기초하여 제1 참조 프레임 내의 동일 위치에 배치된 제1 세그먼트를 결정하고 상기 제2 세그먼트 움직임 벡터에 기초하여 제2 참조 프레임 내의 동일 위치에 배치된 제2 세그먼트를 결정하며, 상기 동일 위치에 배치된 제1 세그먼트 및 상기 동일 위치에 배치된 제2 세그먼트에 기초하여 예측된 비디오 코딩 블록을 생성한다. 상기 예측된 비디오 코딩 블록은 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함한다. 움직임 의존 필터링 유닛이 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 발산 측도를 결정하고, 상기 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용한다. 재구성 유닛이 필터링된 상기 예측된 비디오 코딩 블록 및 상기 잔차 비디오 코딩 블록에 기초하여 상기 비디오 코딩 블록을 재구성한다.

Description

비디오 신호의 비디오 코딩 블록을 인코딩 및 디코딩하는 장치 및 방법

일반적으로, 본 발명은 비디오 코딩 분야에 관한 것이다. 보다 구체적으로, 본 발명은 비디오 코딩 블록의 인터 예측(inter prediction)을 위한 세그먼트화 기반 분할(segmentation based partitioning)을 사용하여 비디오 신호의 비디오 코딩 블록을 인코딩 및 디코딩하는 장치 및 방법에 관한 것이다.

H.264/AVC("Advanced Video Coding") 또는 HEVC("High Efficiency Video Coding")와 같은 현재의 비디오 코딩 방식에서, 인터 예측된 화상(프레임이라고도 함)의 움직임 정보(motion information)는 구성 가능한 크기의 직사각형 비디오 코딩 블록으로 분할된다. H.264/AVC에서 움직임은 최대 크기 16x16 화소인 대칭 비디오 코딩 블록, 이른바 매크로 블록(macroblock)으로 분할되며, 이는 최소 4x4 화소로 더 세분될 수 있으며, HEVC는 매크로 블록을 최대 크기 64x64 화소인 코딩 트리 유닛(coding tree unit, CTU)으로 대체한다. CTU는 쿼드트리(quadtree, QT) 분해 방식으로 더 작은 코딩 단위(coding unit, CU)로 분할될 수 있고, 이는 결국 8x8 화소의 최소 크기로 세분될 수 있기 때문에, 단순한 큰 매크로블록이 아니다. 또한, H.264/AVC와 비교하여, HEVC는 코딩 유닛(CU)의 예측 유닛(PU)으로의 비대칭 블록 분할(asymmetric block partitioning, AMP)을 지원한다.

각각의 CTU의 분해 및 분할의 결정은 인코딩 프로세스 중에 수행되고 레이트 왜곡 최적화 기준(rate-distortion optimization criterion)에 기초한다. AMP는 이미 향상된 코딩 효율을 제공하지만, 코딩 효율상의 문제는 비디오 시퀀스 내의 움직이는 객체(moving object)의 경계를 따라 발생할 수 있다. 엄격하게 수직 또는 수평이 아닌 객체 경계는 객체 경계를 따라 정밀한 쿼드트리 분해 및 블록 분할을 초래할 수 있다. 경계를 따르는 블록은 유사한 움직임 정보를 포함할 것으로 예상되기 때문에, 리던던시(redundancy)가 도입되어 코딩 효율을 감소시킨다.

이 문제에 대처하기 위한 시도는 기하학적 움직임 분할(geometric motion partitioning, GMP)이라고 하며, 이는 직사각형 비디오 코딩 블록을 사실상 모든 방향을 가질 수 있는 직선을 통해 두 개의 세그먼트로 분할하는 아이디어에 기반한다. 이 접근법은 움직임 분할에 더 많은 유연성을 제공하므로 실제 움직임에 보다 가까운 근사에 도달한다. 그러나, 완전 탐색(exhaustive search)에서 비디오 코딩 블록의 최적 GMP를 찾는 것은 계산 복잡도를 크게 증가시킨다. 또한, 부가적인 GMP 정보에 대한 효율적인 예측 코딩 스킴이 제공되어야 한다.

보다 일반적이고 진보된 분할 접근법에서는, 객체 경계를 포함하는 비디오 코딩 블록은 실제객체 경계를 따라 두 개(또는 그 이상)의 세그먼트로 분할되며, 여기서 둘 이상의 세그먼트는 일관성 있으면서 상이한 움직임 정보를 가지고 있다. 경계의 형태가 복잡할 가능성이 있기 때문에, 경계를 코딩하고 그것을 부가 정보(side information)로서 디코더에 송신하는 것은 일반적으로 데이터 레이트면에서 효율적인 옵션이 아니다. 이 문제는 이미 이용 가능한 정보를 사용하여 디코더(및 인코더) 측에서 객체 경계를 결정함으로써 해결될 수 있다. 이미지 세그먼트화 분야에서 정확한 객체 경계를 찾는 것은 전형적인 문제이다. 세그먼트화는 화소 휘도, 색차, 텍스처 또는 이들의 조합과 같은 다수의 이미지 특징에 따라 수행될 수 있다.

일반적으로, AVC 및 HEVC와 같은 오늘날의 일반적인 비디오 코덱에서 사용되는 블록 기반의 인터 예측 방법은 비디오 시퀀스 내의 중첩하고 있는 객체가 서로 다른 방향으로 이동하는 경우에 발생하는 폐색(occlusion) 문제에 대처하기 위한 일관된 방안을 제공하지 않는다. 예를 들어, 전경 객체(foreground object)가 고속으로 오른쪽 아래로 이동하고, 한편 배경 객체(background object)는 저속으로 오른쪽으로 이동하는 비디오 시퀀스에서, 전경과 배경 사이의 경계의 왼쪽에 새로운 콘텐츠가 드러날 것이다. 따라서 비디오 시퀀스의 다른 영역에서는 기존 배경이 움직이는 전경 객체에 의해 가려지게 될 것이다.

일반적으로, 인접한 객체의 움직임 벡터가 수렴하는 비디오 시퀀스의 영역은 전형적으로 객체 경계를 따라 정말한 블록 분할을 초래한다. 경계의 한쪽에 있는 모든 블록은 동일한 움직임을 나타내므로, 이 움직임을 디코더에 시그널링하는 측면에서 불필요한 오버헤드가 발생한다. 더욱이, 움직임 벡터가 발산하는 영역에서는, 새로운 콘텐츠가 드러나고 있으며, 이는 인터 예측 방법으로도 인트라 예측 방법으로도 쉽게 예측될 수 없다.

미국 특허 제7142600호는 의심 영역의 평균 움직임 벡터(average motion vector)가 중심 움직임 벡터(centroid motion vector)와 비교되고, 이 두 벡터 사이의 차이가 폐색을 검출하기 위한 그 다음의 임계치 기반 결정 프로세스에서 사용되는 k 평균 클러스터링(k-means clustering)에 기초하여 폐색 및 비폐색(disocclusion)를 검출하는 방법을 개시한다.

미국특허 제7142600 호에 기술된 접근법은 다른 종래기술의 접근법에 비해 폐색 및 비폐색의 처리에 관해 일부 개선점을 제공하지만, 비디오 코딩 블록의 인터 예측을 위한 세그먼트화 기반 분할에 기초하고 또한 폐색 및 비폐색에 대한 향상된 처리를 제공하는 비디오 코딩 기기 및 방법에 대한 필요성이 여전히 존재한다.

본 발명의 목적은 비디오 코딩 블록의 인터 예측을 위한 세그먼트화 기반 분할에 기초하고 또한 폐색 및 비폐색에 대한 향상된 처리를 제공하는 비디오 코딩 기기 및 방법를 제공하는 것이다.

전술한 목적 및 다른 목적은 독립항의 주제에 의해 달성된다. 추가의 구현 형태는 종속항, 상세한 설명 및 도면으로부터 명백하다.

본 발명을 상세히 설명하기 위해, 다음 용어, 약어 및 표기법이 사용된다:

HEVC(High-Efficiency Video Coding) 고효율 비디오 코딩

CU(Coding Unit) 코딩 유닛

CTU(Coding Tree Unit) 코딩 트리 유닛

PU(Prediction Unit) 예측 유닛

PB(Prediction Block) 예측 블록

MV(Motion Vector) 움직임 벡터

GMP(Geometric Motion Partitioning) 기하학적 움직임 분할

SBP(Segmentation Based Partitioning) 세그먼트화 기반 분할

AMP(Asymmetric Motion Partitioning) 비대칭 움직임 분할

본 명세서에서 사용되는 바와 같이, 비디오 신호 또는 비디오 시퀀스는 동화상을 일련의 후속 프레임이다. 다시 말해, 비디오 신호 또는 비디오 시퀀스는 복수의 프레임(화상 또는 이미지라고도 함)로 이루어진다.

본 명세서에서 사용되는 바와 같이, 세그먼트화(segmentation)는 화상 또는 화상 영역, 특히 비디오 코딩 블록을 둘 이상의 세그먼트(segment) 또는 파티션(partition)으로 분할하는 프로세스이다.

본 명세서에서 사용되는 코딩 트리 유닛(CTU)은 프레임의 일부(예를 들어, 64x64 화소)를 포함하는, 미리 정의된 크기의 비디오 시퀀스의 코딩 구조의 루트(root)를 나타낸다. CTU는 여러 개의 CU로 분할될 수 있다.

본 명세서에서 사용되는 바와 같이, 코딩 유닛(CU)은 CTU에 속하는 프레임의 일부를 포함하는 미리 정의된 크기의 비디오 시퀀스의 기본 코딩 구조를 나타낸다. CU는 다른 CU로 더 분할될 수 있다.

본 명세서에서 사용되는 바와 같이, 예측 유닛(PU)은 CU의 분할의 결과인 코딩 구조를 나타낸다.

본 명세서에서 기술되는 기기 및 방법은 비디오 코딩 애플리케이션에서 인터 예측에 유용한 직사각형 블록 분할과 함께 사용되는, 세그먼트화 기반 블록 분할을위한 움직임 정보를 나타내기 위해 사용될 수 있다.

본 명세서에서 기술되는 기기 및 방법은 자연적인 비디오 시퀀스의 시간 리던던시를 활용하기 위해 화상 간의 인터 예측에 사용될 수 있다. 현재 화상과 참조 화상 사이에서 관찰된 정보의 변화는 종종 병진 운동, 예컨대 이미지 평면 내의 직선 운동에 의해 근사화될 수 있다. 블록 기반 움직임 보상은 이 패러다임의 주요한 실현 실현 방법이며, 여기서 참조 화상은 직사각형 블록으로 분할되고, 블록 내의 화소 각각은 동일한 움직임을 나타낸다. 따라서, 예측 블록이라고 불리는 전체 블록의 움직임은 단일 움직임 벡터에 의해 기술될 수 있다. 전체 참조 화상에 걸친 움직임 벡터의 세트는 움직임 벡터 장으로서 표시되는 벡터 장을 정의하였다.

제1 측면에 따르면 본 발명은 인코딩된 비디오 신호의 현재 프레임의 비디오 코딩 블록을 디코딩하는 디코딩 장치에 관한 것으로, 상기 인코딩된 비디오 신호는 코딩 정보(본 명세서에서 부가 정보 또는 코딩 파라미터라고도 함) 및 복수의 프레임을 포함하고, 각각의 프레임은 복수의 비디오 코딩 블록으로 분할 가능하다. 상기 디코딩 장치는, 잔차 비디오 코딩 블록(residual video coding block)을 제공하기 위해 상기 비디오 코딩 블록을 디코딩하도록 구성된 디코딩 유닛; 상기 코딩 정보에 기초하여 상기 비디오 코딩 블록을 제1 세그먼트 및 제2 세그먼트를 포함하는 둘 이상의 세그먼트로 분할하도록 구성된 세그먼트화 기반 분할 유닛(segmentation based partitioning unit) - 상기 코딩 정보는 상기 비디오 코딩 블록의 제1 세그먼트와 연관된 제1 세그먼트 움직임 벡터 및 상기 비디오 코딩 블록의 제2 세그먼트와 연관된 제2 세그먼트 움직임 벡터를 포함함 -; 상기 제1 세그먼트 움직임 벡터에 기초하여 제1 참조 프레임 내의 동일 위치에 배치된(co-located) 제1 세그먼트를 결정하고 상기 제2 세그먼트 움직임 벡터에 기초하여 제2 참조 프레임 내의 동일 위치에 배치된 제2 세그먼트를 결정하며, 상기 동일 위치에 배치된 제1 세그먼트 및 상기 동일 위치에 배치된 제2 세그먼트에 기초하여 예측된 비디오 코딩 블록을 생성하도록 구성된 인터 예측 유닛(inter prediction unit) - 상기 예측된 비디오 코딩 블록은 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함함 -; 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 발산 측도(divergence measure)를 결정하고, 상기 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하도록 구성된 움직임 의존 필터링 유닛(motion-dependent filtering uni); 및 필터링된 상기 예측된 비디오 코딩 블록 및 상기 잔차 비디오 코딩 블록에 기초하여 상기 비디오 코딩 블록을 재구성하도록 구성된 재구성 유닛(reconstruction unit)을 포함한다.

따라서, 비디오 코딩 블록의 인터 예측을 위한 세그먼트화 기반 분할에 기초하고 또한 폐색 및 비폐색에 대한 향상된 처리를 제공하는 디코딩 장치가 제공된다. 특히, 이 디코딩 장치는 제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터의 발산 또는 수렴을 지시하는 발산 측도에 따라, 세그먼트에 상이한 필터를 적용할 수 있게 한다. 세그먼트에 상이한 움직임 의존 필터들을 적용하는 것은 인터 예측 프로세스 동안 폐색 및 비폐색의 개선된 처리를 가능하게 하며, 따라서 디코딩 장치의 코딩 효율을 향상시킨다.

제1 측면 그 자체에 따른 디코딩 장치의 제1 가능한 구현 형태에서, 상기 움직임 의존 필터링 유닛은, 상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시하는 경우, 상기 예측된 비디오 코딩 블록의 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 상기 제1 필터를 적용하도록 구성되고, 상기 제1 필터는 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 가로질러 평활화하는 방향성 평활화 필터(directional smoothing filter)를 포함한다.

평활화 필터의 형태로 제1 필터를 제공함으로써, 비폐색의 효과가 완화될 수 있고 예측 오차(prediction error)가 감소될 수 있으므로, 코딩 효율을 향상시킬 수 있다.

제1 측면의 제1 가능한 구현 형태에 따른 디코딩 장치의 제2 가능한 구현 형태에서, 상기 움직임 의존 필터링 유닛은, 상기 발산 측도에 기초하거나, 또는 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하거나, 또는 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 위치하는 화소의 화소 값 간의 차이에 기초하여, 상기 제1 필터의 필터 특성을 조정하도록 구성되고, 상기 제1 필터의 필터 특성은 상기 제1 필터의 제1 필터 강도 또는 제1 필터 크기를 포함한다.

따라서, 제1 필터 강도와 같은 제1 필터의 특성을 세그먼트 움직임 벡터의 발산 강도에 적응시킬 수 있고, 이렇게 하여, 상이한 강도 또는 크기를 갖는 제1 필터를 본 발명이 적용되는 상이한 환경에 적응시킬 수 있고, 제1 필터를 선택하는 유연성을 달성할 수 있으며, 이에 따라, 코딩 효율을 향상시킬 수 있다.

제1 측면 그 자체 또는 그 제1 또는 제2 가능한 구현 형태에 따른 디코딩 장치의 제3 가능한 구현 형태에서, 상기 움직임 의존 필터링 유닛은, 상기 코딩 정보에 기초하여, 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지를 판정하도록 구성되고, 상기 코딩 정보는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지에 관한 정보, 또는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 전경 세그먼트인지에 관한 정보를 포함한다.

제1 측면의 제3 가능한 구현 형태에 따른 디코딩 장치의 제4 가능한 구현 형태에서, 상기 움직임 의존 필터링 유닛(216)은 추가로, 상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하는 경우, 상기 예측된 비디오 코딩 블록에 상기 제2 필터를 적용하도록 구성되고, 상기 제2 필터는 상기 배경 세그먼트의 방향으로 또는 상기 전경 세그먼트의 반대 방향으로 페더링하기 위한 페더링 필터(feathering filter)를 포함한다.

페더링 필터의 형태로 제2 필터를 제공함으로써, 폐색의 영향을 완화시킬 수 있고 예측 오차를 감소시킬 수 있으며, 따라서, 코딩 효율을 향상시킬 수 있다.

제1 측면의 제3 또는 제4 가능한 구현 형태에 따른 디코딩 장치의 제5 가능한 구현 형태에서, 상기 움직임 의존 필터링 유닛은 상기 발산 측도에 기초하여 상기 제2 필터의 필터 특성을 조정하도록 구성되고, 상기 제2 필터의 필터 특성은 상기 제2 필터의 제2 필터 강도 또는 제2 필터 크기를 포함한다.

따라서, 제2 필터 강도와 같은 제2 필터의 특성을 세그먼트 움직임 벡터의 발산 강도에 적응시킬 수 있고, 이렇게 하여, 상이한 강도 또는 크기를 갖는 제2 필터를 본 발명이 적용되는 상이한 환경에 적응시킬 수 있으며, 제2 필터를 선택하는 유연성을 달성할 수 있으며, 이에 따라, 코딩 효율을 향상시킬 수 있다.

제1 측면 그 자체 또는 제1 측면의 제1 내지 제5 가능한 구현 형태 중 어느 하나에 따른 디코딩 장치의 제6 가능한 구현 형태에서, 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터는 벡터 장(vector field)을 정의하고, 상기 움직임 의존 필터링 유닛은 상기 벡터 필드의 발산으로서 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 상기 발산 측도를 결정하도록 구성되고, 상기 벡터 필드의 발산이 제1 임계치보다 작은 것은 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하고, 상기 벡터 필드의 발산이 상기 제1 임계치보다 큰 것은 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시한다. 일 구현 형태에서, 제1 임계치는 영(zero)일 수 있다.

제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터에 의해 정의되는 움직임 벡터 장의 발산은 제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터의 효율적인 발산 측도를 제공한다. 일 구현 형태에서, 유한 차분(finite differences)에 기초한 발산 연산자의 이산 버전은, 효율적인 방식으로 제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터에 의해 정의되는 움직임 벡터 장의 발산을 결정하는 데 사용될 수 있다.

제2 측면에 따르면, 본 발명은 인코딩된 비디오 신호의 현재 프레임의 비디오 코딩 블록을 디코딩하는 대응하는 방법으로서, 상기 인코딩된 비디오 신호는 코딩 정보 및 복수의 프레임을 포함하고, 각각의 프레임은 복수의 비디오 코딩 블록으로 분할 가능하다. 상기 디코딩 방법은, 상기 비디오 코딩 블록을 디코딩함으로써 잔차 비디오 코딩 블록을 제공하는 단계; 상기 코딩 정보에 기초하여 상기 비디오 코딩 블록을 제1 세그먼트 및 제2 세그먼트를 포함하는 둘 이상의 세그먼트로 분할하는 단계 - 상기 코딩 정보는 상기 비디오 코딩 블록의 제1 세그먼트와 연관된 제1 세그먼트 움직임 벡터 및 상기 비디오 코딩 블록의 제2 세그먼트와 연관된 제2 세그먼트 움직임 벡터를 포함함 -; 상기 제1 세그먼트 움직임 벡터에 기초하여 제1 참조 프레임 내의 동일 위치에 배치된 제1 세그먼트를 결정하고 상기 제2 세그먼트 움직임 벡터에 기초하여 제2 참조 프레임 내의 동일 위치에 배치된 제2 세그먼트를 결정하는 단계; 상기 동일 위치에 배치된 제1 세그먼트 및 상기 동일 위치에 배치된 제2 세그먼트에 기초하여 움직임 보상된 예측된 비디오 코딩 블록을 생성하는 단계 - 상기 예측된 비디오 코딩 블록은 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함함 -; 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 발산 측도를 결정하는 단계; 상기 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계; 및 필터링된 상기 예측된 비디오 코딩 블록 및 상기 잔차 비디오 코딩 블록에 기초하여 상기 비디오 코딩 블록을 재구성하는 단계를 포함한다.

따라서, 비디오 코딩 블록의 인터 예측을 위한 세그먼트화 기반 분할에 기초하고 또한 폐색 및 비폐색에 대한 향상된 처리를 제공하는 디코딩 방법이 제공된다. 특히, 이 디코딩 방법은 제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터의 발산 또는 수렴을 지시하는 발산 측도에 따라, 세그먼트에 상이한 필터를 적용할 수 있게 한다. 세그먼트에 상이한 움직임 의존 필터를 적용하는 것은 인터 예측 프로세스 동안 폐색 및 비폐색의 개선된 처리를 가능하게 하며, 따라서 디코딩 방법의 코딩 효율을 향상시킨다.

제2 측면 그 자체에 따른 디코딩 방법의 제1 가능한 구현 형태에서, 상기 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계는, 상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시하는 경우, 상기 예측된 비디오 코딩 블록의 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 상기 제1 필터를 적용하는 단계를 포함하고, 상기 제1 필터는 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 가로질러 평활화하는 방향성 평활화 필터를 포함한다.

평활화 필터의 형태로 제1 필터를 제공함으로써, 비폐색의 부정적인 영향이 완화될 수 있고, 예측 오차가 감소될 수 있으며, 결과적으로 코딩 효율이 향상될 수 있다.

제2 측면의 제1 구현 형태에 따른 디코딩 방법의 제2 가능한 구현 형태에서, 상기 디코딩 방법은, 상기 발산 측도에 기초하거나, 또는 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하거나, 또는 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 위치하는 화소의 화소 값 간의 차이에 기초하여, 상기 제1 필터의 필터 특성을 조정는 단계를 더 포함하고, 상기 제1 필터의 필터 특성은 상기 제1 필터의 제1 필터 강도 또는 제1 필터 크기를 포함한다.

따라서, 제1 필터 강도 또는 크기와 같은 제1 필터의 특성을 발산의 강도, 즉 비폐색의 강도에 적응시킬 수 있고, 이렇게 하여 제1 필터의 크기 및/또는 강도를 상이한 비디오 코딩 시나리오에 적응시킬 수 있으며, 이에 따라, 코딩 효율을 향상시킨다.

제2 측면 그 자체 또는 제2 측면의 제1 또는 제2 구현 형태에 따른 디코딩 방법의 제3 가능한 구현 형태에서, 상기 디코딩 방법은, 상기 코딩 정보에 기초하여 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지를 판정하는 단계를 더 포함하고, 상기 코딩 정보는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지에 관한 정보, 또는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 전경 세그먼트인지에 관한 정보를 포함한다.

제2 측면의 제1 또는 제2 구현 형태에 따른 디코딩 방법의 제3 가능한 구현 형태에서, 상기 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계는, 상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하는 경우, 상기 예측된 비디오 코딩 블록에 상기 제2 필터를 적용하는 단계를 포함하고, 상기 제2 필터는 상기 배경 세그먼트의 방향으로 또는 상기 전경 세그먼트의 반대 방향으로 페더링하기 위한 페더링 필터를 포함한다.

상기 제2 측면 제3 또는 제4 구현 형태에 따른 디코딩 방법의 제5 가능한 구현 형태에서, 상기 디코딩 방법은 상기 발산 측도에 기초하여 상기 제2 필터의 필터 특성을 조정하는 단계를 더 포함하며, 상기 제2 필터의 필터 특성은 제2 필터의 제2 필터 강도 또는 제2 필터 크기를 포함한다.

따라서, 제2 필터 강도 또는 크기와 같은 제2 필터의 특성을 발산의 강도, 즉 폐색의 강도에 적응시킬 수 있고, 이런 방식으로 제2 필터의 크기 및/또는 강도를 상이한 비디오 코딩 시나리오에 적응시킬 수 있으며, 이에 따라, 코딩 효율을 향상시킬 수 있다.

제2 측면 그 자체 또는 제2 측면의 제1 또는 제5 구현 형태에 따른 디코딩 방법의 제6 가능한 구현 형태에서, 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터는 벡터 장을 정의하고, 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 상기 발산 측도를 결정하는 단계는, 상기 벡터 필드의 발산으로서 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 상기 발산 측도를 결정하는 단계를 포함하며, 상기 벡터 필드의 발산이 제1 임계치보다 작은 것은 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하고, 상기 벡터 필드의 발산이 상기 제1 임계치보다 큰 것은 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시한다. 일 구현 형태에서, 제1 임계치는 영(zero)이다.

제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터에 의해 정의되는 움직임 벡터 장의 발산은 제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터의 효율적인 발산 측도를 제공한다. 일 구현 형태에서, 유한 차분에 기초한 발산 연산자의 이산 버전은, 효율적인 방식으로 제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터에 의해 정의되는 움직임 벡터 장의 발산을 결정하는 데 사용될 수 있다.

제3 측면에 따르면, 본 발명은 비디오 신호의 현재 프레임의 비디오 코딩 블록을 인코딩하는 인코딩 장치에 관한 것으로, 상기 비디오 신호는 복수의 프레임을 포함하고, 각각의 프레임은 복수의 비디오 코딩 블록으로 분할 가능하다. 상기 인코딩 장치는, 상기 비디오 코딩 블록을 제1 세그먼트 및 제2 세그먼트를 포함하는 둘 이상의 세그먼트로 분할하도록 구성된 세그먼트화 기반 분할 유닛; 상기 비디오 신호의 제1 참조 프레임 내의 동일 위치에 배치된 제1 세그먼트 및 상기 비디오 신호의 제2 참조 프레임 내의 동일 위치에 배치된 제2 세그먼트를 결정하고, 상기 동일 위치에 배치된 제1 세그먼트 및 상기 동일 위치에 배치된 제2 세그먼트와 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 움직임 보상된 예측된 비디오 코딩 블록을 생성하도록 구성된 인터 예측 유닛(inter prediction unit) - 상기 제1 세그먼트와 상기 동일 위치에 배치된 제1 세그먼트는 제1 세그먼트 움직임 벡터를 정의하고, 상기 제2 세그먼트와 상기 동일 위치에 배치된 제2 세그먼트는 제2 세그먼트 움직임 벡터를 정의하며, 상기 예측된 비디오 코딩 블록은 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함함 -; 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 발산 측도를 결정하고 상기 발산 측도에 따라, 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하도록 구성된 움직임 의존 필터링 유닛; 및 상기 필터링된 예측된 비디오 코딩 블록에 기초하여 인코딩된 비디오 코딩 블록을 생성하도록 구성된 인코딩 유닛을 포함한다.

따라서, 비디오 코딩 블록의 인터 예측을 위한 세그먼트화 기반 분할에 기초하고 또한 폐색 및 비폐색에 대한 향상된 처리를 제공하는 인코딩 장치가 제공된다. 특히, 이 인코딩 장치는 제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터의 발산 또는 수렴을 지시하는 발산 측도에 따라, 세그먼트에 상이한 필터를 적용할 수 있게 한다. 세그먼트에 상이한 움직임 의존 필터를 적용하는 것은 인터 예측 프로세스 동안 폐색 및 비폐색의 개선된 처리를 가능하게 하며, 따라서 인코딩 장치의 코딩 효율을 향상시킨다.

제3 측면 그 자체에 따른 인코딩 장치의 제1 가능한 구현 형태에서, 상기 움직임 의존 필터링 유닛(116)은, 상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시하는 경우, 상기 예측된 비디오 코딩 블록의 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 상기 제1 필터를 적용하도록 구성되고, 상기 제1 필터는 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 가로질러 평활화하는 방향성 평활화 필터를 포함한다.

평활화 필터의 형태로 제1 필터를 제공함으로써, 비폐색의 효과가 완화될 수 있고 예측 오차가 감소될 수 있으며, 따라서, 코딩 효율을 향상시킬 수 있다.

제3 측면의 제1 구현 형태에 따른 인코딩 장치의 제2 가능한 구현 형태에서, 상기 움직임 의존 필터링 유닛(116)은, 상기 발산 측도에 기초하거나, 또는 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하거나, 또는 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 위치하는 화소의 화소 값 간의 차이에 기초하여, 상기 제1 필터의 필터 특성을 조정하도록 구성되고, 상기 제1 필터의 필터 특성은 상기 제1 필터의 제1 필터 강도 또는 제1 필터 크기를 포함한다.

따라서, 제1 필터 강도와 같은 제1 필터의 특성을 세그먼트 움직임 벡터의 발산 강도에 적응시킬 수 있고, 이렇게 하여, 상이한 강도 또는 크기를 갖는 제1 필터를 본 발명이 적용되는 상이한 환경에 적응시킬 수 있으며, 제1 필터를 선택하는 유연성을 달성할 수 있으며, 이에 따라, 코딩 효율을 향상시킬 수 있다.

제3 측면 그 자체 또는 제3 측면의 제1 또는 제2 구현 형태에 따른 인코딩 장치의 제3 가능한 구현 형태에서, 상기 움직임 의존 필터링 유닛은, 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지를 판정하거나, 또는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 전경 세그먼트인지를 판정하도록 구성된다.

제3 측면의 제3 구현 형태에 따른 인코딩 장치의 제4 가능한 구현 형태에서, 상기 움직임 의존 필터링 유닛은 추가로, 상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하는 경우에, 상기 예측된 비디오 코딩 블록에 상기 제2 필터를 적용하도록 구성되고, 상기 제2 필터는 상기 배경 세그먼트의 방향으로 또는 상기 전경 세그먼트의 반대 방향으로 페더링하기 위한 페더링 필터를 포함한다.

제3 측면의 제3 또는 제4 구현 형태에 따른 인코딩 장치의 제5 가능한 구현 형태에서, 상기 움직임 의존 필터링 유닛은 상기 발산 측도에 기초하여 상기 제2 필터의 필터 특성을 조정하도록 구성되고, 상기 제2 필터의 필터 특성은 상기 제2 필터의 제2 필터 강도 또는 제2 필터 크기를 포함한다.

따라서, 제2 필터 강도와 같은 제2 필터의 특성을 세그먼트 움직임 벡터의 발산 강도에 적응시킬 수 있고, 이렇게 하여, 상이한 강도 또는 크기를 갖는 제2 필터를 본 발명이 적용되는 상이한 환경에 적응시킬 수 있으며, 제2 필터를 선택하는 유연성을 달성할 수 있으며, 이에 딸, 코딩 효율을 향상시킬 수 있다.

제3 측면 그 자체 또는 제3 측면의 제1 내지 제5 구현 형태에 따른 인코딩 장치의 제6 가능한 구현 형태에서, 상기 인코딩 유닛은 추가로, 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지에 관한 정보를 인코딩된 비디오 신호에 인코딩하거나, 또는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 전경 세그먼트인지에 관한 정보를 인코딩된 비디오 신호에 인코딩하도록 구성된다.

제3 측면 그 자체 또는 제3 측면의 제1 내지 제6 구현 형태에 따른 인코딩 장치의 제7 가능한 구현 형태에서, 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터는 벡터 장을 정의하고, 상기 움직임 의존 필터링 유닛은 상기 벡터 필드의 발산으로서 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 상기 발산 측도를 결정하도록 구성되고, 상기 벡터 필드의 발산이 제1 임계치보다 작은 것은 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하고, 상기 벡터 필드의 발산이 상기 제1 임계치보다 큰 것은 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시한다. 일 구현 형태에서, 임계치는 영이다.

제3 측면 그 자체 또는 제3 측면의 제1 내지 제7 구현 형태에 따른 인코딩 장치의 제8 가능한 구현 형태에서, 상기 인터 예측 유닛은, 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 경계와 연관된 경계 시프트 벡터에 기초하여 시프트시키도록 구성된 세그먼트화 개선 유닛를 더 포함하고; 상기 움직임 의존 필터링 유닛은 상기 발산 측도에 따라 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 시프트된 경계에 상기 제1 필터 또는 상기 제2 필터를 적용하도록 구성된다.

예측 아티팩트(prediction artifact)는 제1 세그먼트와 제2 세그먼트 사이의 경계를 시프팅함으로써 완화될 수 있고 예측 오차는 감소될 수 있으며, 따라서, 코딩 효율이 향상될 수 있다.

제3 측면의 제8 구현 형태에 따른 인코딩 장치의 제9 가능한 구현 형태에서, 상기 세그먼트화 개선 유닛은 상기 비디오 코딩 블록과 상기 예측된 비디오 코딩 블록 사이의 왜곡 측도에 기초하여 상기 경계 시프트 벡터를 결정하도록 구성된다.

제3 측면의 제8 또는 제9 구현 형태에 따른 인코딩 장치의 제10 가능한 구현 형태에서, 상기 세그먼트화 개선 유닛은 후보 경계 시프트 벡터의 세트로부터 상기 경계 시프트 벡터를 결정하도록 구성되며, 상기 후보 경계 시프트 벡터는 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터 사이의 차분 벡터(difference vector) 이하이다.

이 구현 형태는 경계 시프트 벡터의 선택을 최적화하고, 따라서 인코딩 장치의 인코딩 효율을 최적화하는 이점을 갖는다.

제4 측면에 따르면, 본 발명은 비디오 신호의 현재 프레임의 비디오 코딩 블록을 인코딩하는 대응 방법에 관한 것으로, 상기 비디오 신호는 복수의 프레임을 포함하고, 각각의 프레임은 복수의 비디오 코딩 블록으로 분할 가능하다. 상기 인코딩 방법은, 상기 비디오 코딩 블록을 제1 세그먼트 및 제2 세그먼트를 포함하는 둘 이상의 세그먼트로 분할하는 단계; 상기 비디오 신호의 제1 참조 프레임 내의 동일 위치에 배치된 제1 세그먼트 및 상기 비디오 신호의 제2 참조 프레임 내의 동일 위치에 배치된 제2 세그먼트를 결정하는 단계 - 상기 제1 세그먼트와 상기 동일 위치에 배치된 제1 세그먼트는 제1 세그먼트 움직임 벡터를 정의하고, 상기 제2 세그먼트와 상기 동일 위치에 배치된 제2 세그먼트는 제2 세그먼트 움직임 벡터를 정의함 -; 상기 동일 위치에 배치된 제1 세그먼트 및 상기 동일 위치에 배치된 제2 세그먼트와, 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 움직임 보상된 예측된 비디오 코딩 블록을 생성하는 단계 - 상기 예측된 비디오 코딩 블록은 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함함 -; 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 발산 측도를 결정하는 단계; 상기 발산 측도에 따라, 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계; 및 상기 필터링된 예측된 비디오 코딩 블록에 기초하여 인코딩된 비디오 코딩 블록을 생성하는 단계를 포함한다.

따라서, 비디오 코딩 블록의 인터 예측을 위한 세그먼트화 기반 분할에 기초하고 또한 폐색 및 비폐색에 대한 향상된 처리를 제공하는 인코딩 방법이 제공된다. 특히, 이 인코딩 방법은 제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터의 발산 또는 수렴을 지시하는 발산 측도에 따라, 세그먼트에 상이한 필터를 적용할 수 있게 한다. 세그먼트에 상이한 움직임 의존 필터를 적용하는 것은 인터 예측 프로세스 동안 폐색 및 비폐색의 개선된 처리를 가능하게 하며, 따라서 인코딩 방법의 코딩 효율을 향상시킨다.

제4 측면 그 자체에 따른 인코딩 방법의 제1 가능한 구현 형태에서, 상기 발산 측도에 따라, 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계는, 상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시하는 경우, 상기 예측된 비디오 코딩 블록의 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 상기 제1 필터를 적용하는 단계 - 상기 제1 필터는 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 가로질러 평활화하는 방향성 평활화 필터를 포함함 -를 포함한다.

제4 측면의 제1 구현 형태에 따른 인코딩 방법의 제2 가능한 구현 형태에서, 상기 인코딩 방법은, 상기 발산 측도에 기초하거나, 또는 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하거나, 또는 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 위치하는 화소의 화소 값 간의 차이에 기초하여, 상기 제1 필터의 필터 특성을 조정는 단계를 더 포함하고, 상기 제1 필터의 필터 특성은 상기 제1 필터의 제1 필터 강도 또는 제1 필터 크기를 포함한다.

따라서, 제1 필터 강도 또는 크기와 같은 제1 필터의 특성을 발산의 강도, 즉 비폐색의 강도에 적응시킬 수 있고, 이렇게 하여 제1 필터의 크기 및/또는 강도를 상이한 비디오 코딩 시나리오에 적응시킬 수 있으며, 이에 따라 코딩 효율을 향상시킬 수 있다.

제4 측면 그 자체 또는 제4 측면의 제1 또는 제2 가능한 구현 형태에 따른 인코딩 방법의 제3 가능한 구현 형태에서, 상기 인코딩 방법은, 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지를 판정하는 단계, 또는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 전경 세그먼트인지를 판정하는 단계를 더 포함한다.

제4 측면의 제3 가능한 구현 형태에 따른 인코딩 방법의 제4 가능한 구현 형태에서, 상기 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계는, 상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하는 경우에, 상기 예측된 비디오 코딩 블록에 상기 제2 필터를 적용하는 단계 - 상기 제2 필터는 상기 배경 세그먼트의 방향으로 또는 상기 전경 세그먼트의 반대 방향으로 페더링하기 위한 페더링 필터를 포함함 -를 포함한다.

상기 제4 측면 제3 또는 제4 구현 형태에 따른 인코딩 방법의 제5 가능한 구현 형태에서, 상기 인코딩 방법은 상기 발산 측도에 기초하여 상기 제2 필터의 필터 특성을 조정하는 단계를 더 포함하며, 상기 제2 필터의 필터 특성은 제2 필터의 제2 필터 강도 또는 제2 필터 크기를 포함한다.

제4 측면 그 자체 또는 제4 측면의 제1 내지 제5 구현 형태 중 어느 하나에 따른 인코딩 방법의 제6 가능한 구현 형태에서, 상기 인코딩 방법은, 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지에 관한 정보를, 인코딩된 비디오 신호에 인코딩하거나, 또는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 전경 세그먼트인지에 관한 정보를 인코딩된 비디오 신호에 인코딩하는 단계를 더 포함한다.

제4 측면 그 자체 또는 제4 측면의 제1 내지 제6 구현 형태 중 어느 하나에 따른 인코딩 방법의 제7 가능한 구현 형태에서, 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터는 벡터 장을 정의하고, 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 발산 측도를 결정하는 단계는, 상기 벡터 필드의 발산으로서 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 상기 발산 측도를 결정하는 단계를 포함하고, 상기 벡터 필드의 발산이 제1 임계치보다 작은 것은 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하고, 상기 벡터 필드의 발산이 상기 제1 임계치보다 큰 것은 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시한다. 일 구현 형태에서, 임계치는 영이다.

제4 측면 그 자체 또는 제4 측면의 제1 내지 제7 구현 형태 중 어느 하나에 따른 인코딩 방법의 제8 가능한 구현 형태에서, 상기 인코딩 방법은, 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 경계와 연관된 경계 시프트 벡터에 기초하여 시프트시키는 단계를 더 포함하고, 상기 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계는, 상기 발산 측도에 따라 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 시프트된 경계에 상기 제1 필터 또는 상기 제2 필터를 적용하는 단계를 포함한다.

예측 아티팩트는 제1 세그먼트와 제2 세그먼트 사이의 경계를 시프팅함으로써 완화될 수 있고 예측 오차는 감소될 수 있으며, 따라서, 코딩 효율이 향상될 수 있다.

제4 측면의 제8 구현 형태에 따른 인코딩 방법의 제9 가능한 구현 형태에서, 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 경계와 연관된 경계 시프트 벡터에 기초하여 시프트시키는 단계는, 상기 비디오 코딩 블록과 상기 예측된 비디오 코딩 블록 사이의 왜곡 측도에 기초하여 상기 경계 시프트 벡터를 결정하는 단계를 더 포함한다.

제4 측면의 제9 구현 형태에 따른 인코딩 방법의 제10 가능한 구현 형태에서, 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 경계와 연관된 경계 시프트 벡터에 기초하여 시프트시키는 단계는, 후보 경계 시프트 벡터의 세트로부터 상기 경계 시프트 벡터를 결정하는 단계를 포함하고, 상기 후보 경계 시프트 벡터는 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터 사이의 차분 벡터 이하이다.

이 구현 형태는 경계 시프트 벡터의 선택을 최적화하고, 따라서 인코딩 방법의 인코딩 효율을 최적화하는 이점을 갖는다.

제5 측면에 따르면, 본 발명은 컴퓨터상에서 실행될 때, 제2 측면에 따른 디코딩 방법 또는 제4 측면에 따른 인코딩 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램에 관한 것이다.

본 발명은 하드웨어 및/또는 소프트웨어로 구현 될 수 있다.

본 발명의 다른 실시예는 다음의 도면과 관련하여 설명될 것이다:
도 1a는 일 실시예에 따른 비디오 신호를 인코딩하는 인코딩 장치를 나타내는 개략도이다.
도 1b는 도 1a의 인코딩 장치의 특정 구성 요소의 보다 상세한 도면을 나타내는 개략도이다.
도 2a는 일 실시예에 따른 비디오 신호를 디코딩하는 디코딩 장치를 나타내는 개략도이다.
도 2b는 도 2a의 디코딩 장치의 특정 구성 요소의 보다 상세한 도면이다..
도 3은 일 실시예에 따른 비디오 신호를 인코딩하는 방법을 나타내는 개략도이다.
도 4는 일 실시예에 따른 비디오 신호를 디코딩하는 방법을 나타내는 개략도이다.
도 5는 일 실시예에 따른 인코딩 장치 및 디코딩 장치에서 구현되는 다른 측면을 나타내는 개략도이다.
도 6은 일 실시예에 따른 인코딩 장치 및 디코딩 장치에서 구현되는 다른 측면을 나타내는 개략도이다.
도 7은 일 실시예에 따른 인코딩 장치 및 디코딩 장치에서 구현되는 다른 측면을 나타내는 개략도이다.
도 8은 일 실시예에 따른 인코딩 장치 및 디코딩 장치에서 구현되는 다른 측면을 나타내는 개략도이다.
도 9는 일 실시예에 따른 인코딩 장치 및 디코딩 장치에서 구현되는 다른 측면을 나타내는 개략도이다.
도 10은 일 실시예에 따른 인코딩 장치 및 디코딩 장치에서 구현되는 다른 측면을 나타내는 개략도이다.
도 11은 일 실시예에 따른 인코딩 장치 및 디코딩 장치에서 구현되는 다른 측면을 나타내는 개략도이다.
다양한 도면에서, 동일한 참조부호는 동일하거나 적어도 기능적으로 동등한 특징에 사용된다.

이하의 설명에서는, 본 개시의 일부를 형성하고, 본 발명이 배치될 수 있는 구체적인 측면을 예시로서 도시하는 첨부도면을 참조한다. 본 발명의 범위를 벗어나지 않으면서 다른 측면들이 이용될 수 있고 구조적 또는 논리적 변화가 이루어질 수 있음이 이해된다. 따라서, 본 발명의 범위는 첨부된 청구범위에 의해 정의되므로, 이하의 상세한 설명은 한정적인 의미로 해석되어서는 안된다.

예를 들어, 기재된 방법과 관련된 개시는 또한 그 방법을 수행하도록 구성된 대응하는 장치 또는 시스템에 대해 유효하고 그 반대도 성립할 수 있는 것으로 이해된다. 예를 들어, 구제적인 방법 단계가 기재되어 있으면, 대응하는 장치는 기재된 방법 단계를 수행하기 위한 유닛을 포함할 수 있는데, 그러한 유닛이 도면에 명시적으로 기재되거나 예시되지는 않더라도 그러하다. 또한, 달리 명시하지 않는 한, 본 명세서에 기재된 다양한 예시적인 측면의 특징은 서로 조합될 수 있는 것으로 이해된다.

도 1a는 일 실시예에 따른 비디오 신호의 비디오 코딩 블록을 인코딩하는 인코딩 장치(100)를 니타내는 개략도이다. 인코딩 장치(100)는 복수의 프레임(본 명세서는 화상 또는 이미지라고도 함)을 포함하는 비디오 신호의 비디오 코딩 블록을 인코딩하도록 구성되며, 각각의 프레임은 복수의 비디오 코딩 블록으로 분할 가능하며, 각각의 비디오 코딩 블록은 복수의 화소를 포함한다. 일 실시예에서, 비디오 코딩 블록은 매크로 블록, 코딩 트리 유닛, 코딩 유닛, 예측 유닛 및/또는 예측 블록일 수 있다.

도 1a에 도시된 실시예에서, 인코딩 장치(100)는 하이브리드 비디오 코딩 인코더의 형태로 구현된다. 하이브리드 비디오 코딩에서, 입력 프레임은 추가의 처리를 위해 일반적으로 여러 블록으로 분할된다. 블록 분할은 도 2a 및 도 2b에 도시된 디코딩 장치(200)와 같은 디코더에 전달된다. 보통, 입력 비디오 시퀀스의 제1 프레임은 인트라 프레임(intra frame)이며, 이는 인트라 예측만을 사용하여 인코딩된다. 이를 위해, 도 1에 도시된 인코딩 장치(100)의 실시예는 인트라 예측을 위한 인트라 예측 유닛(113)을 포함한다. 인트라 프레임은 다른 프레임의 정보없이 디코딩될 수 있다. 제1 인트라 프레임에 후속하는 후속 프레임의 비디오 코딩 블록은 인터 또는 인트라 예측을 사용하여 코딩될 수 있다.

도 1에 도시된 실시예에서, 인코딩 장치(100)는 비디오 코딩 블록을 제1 세그먼트 및 제2 세그먼트를 포함하는 둘 이상의 세그먼트로 분할하도록 구성된 세그먼트화 기반 분할 유닛(121)을 더 포함한다.

세그먼트화 기반 분할 방식에서, 세그먼테이션은 인코딩 측과 디코딩 측 모두에서 이용 가능한 참조 화상 또는 프레임의 세그먼테이션은 통해 획득된다. 세그먼트화된 참조 화상에서 현재 처리된 블록(인코딩 또는 디코딩될 것)과 매칭되는 세그먼테이션을 찾기 위해, 경계 움직임 벡터 MV_B라고 하는 부가적인 움직임 벡터가 사용될 수 있다. 경계 움직임 벡터 MV_B는 인코딩 장치(100)에 의해, 현재 처리된 블록의 세그먼테이션과 가장 유사한 세그먼트화된 참조 화상에서 세그먼테이션을 검색함으로써 결정될 수 있다. MV_B가 디코딩 장치(200)에 전송될 수 있으므로, MV_B의 크기를 제한하는 추가적인 비용 인자가 사용된다. 이 프로세스는 도 5에 예시되어 있으며, 여기서 세그먼트화된 참조 블록은 세그먼트화된 현재 비디오 코딩 블록과 매우 유사하다는 것을 알 수 있다.

또한, 인코딩 장치(100)는 인터 예측 유닛(115)을 포함한다. 일 실시예에 따른 인터 예측 유닛(115) 및 그 환경에 대한 보다 상세한 설명이 도 1b에 도시되어 있다. 일반적으로, 인터 예측 유닛(115)은 움직임 추정과, 선택된 참조 화상, 움직임 벡터, 모드 결정 및 다른 정보를 포함하는 움직임 데이터를 선택하기 위한 움직임 보상을 수행하도록 구성될 수 있다. 도 1a 및 도 1b에 도시된 실시예에서, 인터 예측 유닛(115)에 입력되는 신호는 입력 프레임 S_k와 프레임 버퍼(119)에 의해 출력되는 디코딩된 프레임 S'''_k-1을 포함한다. 도 1a는 디코딩된 프레임 S'''_k-1이 먼저 프레임 버퍼(119)로부터 세그먼트화 기반 분할 유닛(121)에 제공되고 세그먼트화 기반 분할 유닛(121)으로부터 인터 예측 유닛(115)에 제공되는 실시예를 도시한다. 명백히, 이는 가능한 구성일 뿐이고 다른 실시예에서는 디코딩된 프레임 S'''_k-1은 또한 프레임 버퍼(119)로부터 직접 인터 예측 유닛(115)에 제공될 수도 있다. 그러한 실시예에서는 프레임 버퍼(119)와 인터 예측 유닛(115) 사이의 직접 연결이 제공될 것이다.

더욱 구체적으로, 인터 예측 유닛(115)은 비디오 신호의 제1 참조 프레임 내의 동일 위치에 배치된 제1 세그먼트 및 비디오 신호의 제2 참조 프레임 내의 동일 위치에 배치된 제2 세그먼트를 결정하도록 구성되며, 여기서 제1 세그먼트 및 동일 위치에 배치된 제1 세그먼트는 제1 세그먼트 움직임 벡터

를 정의하고, 제2 세그먼트 및 동일 위치에 배치된 제2 세그먼트는 제2 세그먼트 움직임 벡터

를 정의한다. 일 실시예에서, 제1 참조 프레임 및 제2 참조 프레임은 동일한 참조 프레임일 수 있다. 일 실시예에서, 인터 예측 유닛(115)의 이러한 기능들은 이하에서 더 상세하게 설명될 세그먼트 움직임 추정 유닛(115a), 세그먼트화 개선 유닛(115b) 및 세그먼트 움직임 보상 유닛(115c)에 의해 제공될 수 있다.

또한, 인터 예측 유닛(115)은 추가로 동일 위치에 배치된 제1 세그먼트 및 동일 배치된 제2 세그먼트에 기초하여, 예측된 비디오 코딩 블록을 생성하도록 구성되며, 예측된 비디오 코딩 블록은 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함한다.

세그먼트화 기반 분할과, 동일 위치에 배치된 제1 세그먼트 및 동일 위치에 배치된 제2 세그먼트에 기초하여 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함하는 예측된 비디오 코딩 블록을 생성하는 것에 대한 보다 상세한 내용은 WO2008/150113A1을 참조하며, 이 문헌은 참조에 의해 본 명세서에 완전히 통합된다.

도 1a 및 도 1b로부터 알 수 있는 바와 같이, 인코딩 장치(100)는 인터 예측 유닛(115)의 하류에 위치한 움직임 의존 필터링 유닛(116)을 더 포함한다. 움직임 의존 필터링 유닛(116)은 제1 세그먼트 움직임 벡터

및 제2 세그먼트 움직임 벡터

에 기초하여 발산 측도를 결정하고 발산 측도에 따라 제1 필터 또는 제2 필터를 예측된 비디오 코딩 블록에 적용한다. 움직임 의존 필터링 유닛(116)의 다른 실시예는 이하에서 더 상세하게 설명될 것이다.

또한, 인코딩 장치(100)는, 도 1a에 도시된 실시예에서 인코딩 유닛(103) 및/또는 엔트로피 코딩 유닛(105)으로 제공되고 또한 필터링된 예측된 비디오 코딩 블록에 기초하여 인코딩된 비디오 코딩 블록을 생성하도록 구성된 인코딩 유닛을 포함한다. 보다 구체적으로, 도 1a에 도시된 실시예에서, 원래 블록과 그 예측 간의 차이인 인트라/인터 화상 예측의 예측 오차는 변환, 변환 건너뛰기, 스케일링(scaling), 양자화 등의 프로세스를 포함하는 인코딩 유닛(103)에 의해 인코딩된다. 인코딩 유닛(103)의 출력은 인트라 예측 유닛(113), 인터 예측 유닛(115) 및 디블록킹 필터/SAO/ALF 유닛(117)에 의해 제공되는 부호화 또는 부가 정보와 함께 엔트로피 코딩 유닛(105)에 의해 더 인코딩된다.

하이브리드 비디오 인코더는 대개 동일한 예측을 생성할 수 있도록 디코더 처리를 복제한다. 따라서, 도 1a에 도시된 실시예에서, 디코딩 유닛(107)은 인코딩 유닛(103)의 역 연삭을 수행하고 예측 오차/잔차 데이터의 디코딩된 근사치를 복제한다. 디코딩된 예측 오차/잔차 데이터는 그런 다음 예측 결과에 가산된. 재구성 유닛(109)의 출력은, 코딩 아티팩트를 평활화하기 위해, 도 1a에 도시된 디블록킹 필터/SAO/ALF 유닛(117)으로 요약되는 하나 이상의 필터에 의해 더 처리될 수 있다. 최종 화상은 프레임 버퍼(119)에 저장되고 후속 프레임의 예측을 위해 사용될 수 있다. 이미 전술한 바와 같이, 세그먼트화 기반 분할 유닛(121)은 가능한 사전 및 사후 처리를 포함하는 객체 경계 기반 분할의 모든 가능한 단계를 수행할 수 있다. 세그먼트화 기반 분할 유닛(121)은 하나 이상의 참조 프레임에 기초하여 현재 블록에 대한 세그먼테이션을 적응적으로 생성할 수 있다. 세그먼테이션 관련 파라미터는 코딩 정보 또는 부가 정보의 일부로서 인코딩되어 도 2a 및도 2b에 도시된 디코딩 장치(200)에 송신될 수 있다.

도 2a 및도 2b는 일 실시예에 따른 비디오 신호를 디코딩하는 장치(200)뿐만 아니라 그 일부 세부적인 개략도를 도시한다. 디코딩 장치(200)는 인코딩된 비디오 신호의 현재 프레임의 비디오 코딩 블록을 디코딩하도록 구성되며,도 2a에 도시된 실시예에서 비트스트림의 형태로 제공되는 인코딩된 비디오 신호는 코딩 정보 또는 부가 정보 및 복수의 프레임을 포함하고, 각각의 프레임은 복수의 비디오 코딩 블록으로 분할된다.

도 2a에 도시된 실시예에서, 디코딩 장치(200)는 하이브리드 디코더로서 구현된다. 엔트로피 디코딩 유닛(205)은 일반적으로 디블록킹 필터, SAO 및 ALF 유닛(217)과 같은 디코딩 장치(200)의 다른 구성요소는 물론 인트라 예측 유닛(213) 및 인터 예측 유닛(220)에서 필요로 하는 예측 오차(즉, 잔차 비디오 코딩 블록), 움직임 데이터 및 기타 부가 정보를 포함할 수 있는 부호화된 비트 스트림의 엔트로피 디코딩을 수행한다. 일반적으로, 도 2a에 도시된 디코딩 장치(200)의 인트라 예측 유닛(213) 및 인터 예측 유닛(215)은, 도 1a에 도시된 인코딩 장치(100)의 인트라 예측 유닛(113) 및 인터 예측 유닛(115)(움직임 추정이 디코딩 장치(200)에 의해 수행되지 않는다는 것을 제외하고)과 동일한 방식으로 수행하므로, 인코딩 장치(100)와 디코딩 장치(200)에 의해 동일한 예측이 생성될 수 있다. 또한 디코딩 장치(200)의 경우, 인터 예측 유닛(215)에 입력되는 신호는 프레임 버퍼(219)에 의해 출력되는 디코딩된 프레임 S'''_k-1을 포함한다. 도 2a에 나타낸 개략 블록도는, 디코딩된 프레임이 먼저 프레임 버퍼(219)로부터 세그먼트화 기반 분할 유닛(221)에 입력되고(이에 대해서는 이하에 더 상세하게 설명될 것임), 그리고 세그먼트화 기반 분할 유닛(221)에서 인터 예측 유닛(215)에 입력되는 구성을 도시한다. 명백히, 이는 가능한 구성이며 다른 실시예에서, 디코딩된 프레임은 또한 프레임 버퍼(219)로부터 직접 인터 예측 유닛(215)에 입력될 수도 있다. 이 경우, 프레임 버퍼(219)외 인터 예측 유닛(215) 사이에 직접 연결이 제공될 것이다.

디코딩 장치(200)의 세그먼트화 기반 분할 유닛(221)은 코딩 정보 또는 부가 정보에 기초하여 비디오 코딩 블록을 제1 세그먼트 및 제2 세그먼트를 포함하는 둘 이상의 세그먼트로 분할하도록 구성되며, 코딩 정보는 비디오 코딩 블록의 제1 세그먼트와 연관된 제1 세그먼트 움직임 벡터

및 비디오 코딩 블록의 제2 세그먼트와 연관된 제2 세그먼트 움직임 벡터

를 포함한다.

디코딩 장치(200)의 인터 예측 유닛(215)은 제1 세그먼트 움직임 벡터

에 기초하여 제1 참조 프레임 내의 동일 위치에 배치된 제1 세그먼트를 결정하고 제2 세그먼트 움직임 벡터

에 기초하여 제2 참조 프레임 내의 동일 위치에 배치된 제2 세그먼트를 결정하고, 동일 위치에 배치된 제1 세그먼트 및 동일 위치에 배치된 제2 세그먼트에 기초하여 예측된 비디오 코딩 블록을 생성하도록 구성되며, 예측된 비디오 코딩 블록은 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함한다. 도 2b에 도시된 바와 같이, 일 실시예에서, 인터 예측 유닛(215) 이 기능 또는 그 일부는 세그먼트 움직임 보상 유닛(215c)에서 구현될 수 있다. 세그먼트 움직임 보상 유닛(215c)의 다른 실시예는 이하에서 더 상세히 설명될 것이다.

디코딩 장치(200)의 움직임 의존 필터링 유닛(216)은 제1 세그먼트 움직임 벡터

및 제2 세그먼트 움직임 벡터

에 기초하여 발산 측도를 결정하고, 발산 측도에 따라 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하도록 구성된다. 움직임 의존 필터링 유닛(216)의 다른 실시예는 이하에서 더 상세히 설명될 것이다.

디코딩 장치(200)의 재구성 유닛(209)은 필터링된 예측된 비디오 코딩 블록 및 잔차 비디오 코딩 블록에 기초하여 비디오 코딩 블록을 재구성하도록 구성된다.

따라서, 비디오 코딩 블록의 인터 예측을 위한 세그먼트화 기반 분할에 기초하고 또한 폐색 및 비폐색에 대한 향상된 처리를 제공하는 디코딩 장치가 제공된다. 특히, 이 디코딩 장치는 제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터의 발산 또는 수렴을 지시하는 발산 측도에 따라, 세그먼트에 상이한 필터를 적용할 수 있게 한다.

도 3은 비디오 신호의 현재 프레임의 비디오 코딩 블록을 인코딩하는 인코딩 방법(300)을 도시하는 개략도를 도시하며, 비디오 신호는 복수의 프레임을 포함하고, 각각의 프레임은 복수의 비디오 코딩 블록으로 분할 가능하다.

이 인코딩 방법(300)은, 비디오 코딩 블록을 제1 세그먼트 및 제2 세그먼트를 포함하는 둘 이상의 세그먼트로 분할하는 단계(301); 비디오 신호의 제1 참조 프레임 내의 동일 위치에 배치된 제1 세그먼트 및 비디오 신호의 제2 참조 프레임 내의 동일 위치에 배치된 제2 세그먼트를 결정하는 단계(303) - 여기서 제1 세그먼트와 동일 위치에 배치된 제1 세그먼트는 제1 세그먼트 움직임를 정의하고, 제2 세그먼트와 동일 위치에 배치된 제2 세그먼트는 제2 세그먼트 움직임 벡터를 정의함 -; 동일 위치에 배치된 제1 세그먼트 및 동일 위치에 배치된 제2 세그먼트에 기초하여 예측된 비디오 코딩 블록을 생성하는 단계(305) - 여기서 예측된 비디오 코딩 블록은 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함함 -; 제1 세그먼트 움직임 벡터 및 제2 세그먼트 움직임 벡터에 기초하여 발산 측도를 결정하는 단계(307); 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계(309); 및 필터링된 예측된 비디오 코딩 블록에 기초하여 인코딩된 비디오 코딩 블록을 생성하는 단계(311)를 포함한다.

도 4는 인코딩된 비디오 신호의 현재 프레임의 비디오 코딩 블록을 디코딩하는 디코딩 방법(400)의 일 실시예를 나타내는 개략도를 도시하며, 인코딩된 비디오 신호는 코딩 정보 및 복수의 프레임을 포함하며, 각각의 프레임은 복수의 비디오 코딩 블록으로 분할된다.

이 디코딩 방법(400)은, 비디오 코딩 블록을 디코딩함으로써 잔차 비디오 코딩 블록을 제공하는 단계(401); 코딩 정보에 기초하여 비디오 코딩 블록을 제1 세그먼트 및 제2 세그먼트를 포함하는 둘 이상의 세그먼트로 분할하는 단계(403) - 여기서 코딩 정보는 비디오 코딩 블록의 제1 세그먼트와 연관된 제1 세그먼트 움직임 벡터 및 비디오 코딩 블록과 연관된 제2 세그먼트 움직임 벡터를 포함함 -; 제1 세그먼트 움직임 벡터에 기초하여 제1 참조 프레임 내의 동일 위치에 배치된 제1 세그먼트를 결정하고 제2 세그먼트 움직임 벡터에 기초하여 제2 참조 프레임 내의 동일 위치에 배치된 제2 세그먼트를 결정하는 단계(405); 동일 위치에 배치된 제1 세그먼트 및 동일 위치에 배치된 제2 세그먼트에 기초하여 예측된 비디오 코딩 블록을 생성하는 단계(407) - 예측된 비디오 코딩 블록은 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함함 -; 제1 세그먼트 움직임 벡터 및 제2 세그먼트 움직임 벡터에 기초하여 발산 측도를 결정하는 단계(409); 발산 측도에 따라 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계(411); 및 필터링된 예측된 비디오 코딩 블록 및 잔차 비디오 코딩 블록에 기초하여 비디오 코딩 블록을 재구성하는 단계(413)를 포함한다.

이하에서는, 본 발명의 다른 실시예를 보다 상세하게 설명될 것이다. 명백하게 언급되지 않는 한, 다른 실시예들은 인코딩 장치(100), 디코딩 장치(200), 인코딩 방법(300) 및 디코딩 방법(400) 중 어느 하나에서 구현될 수 있음을 이해해야 한다.

일 실시예에서, 인코딩 장치(100)의 인터 예측 유닛(115)의 세그먼트 움직임 추정 유닛(115a)은 2 단계 프로세스를 수행하도록 구성된다.

제1 단계에서, 인터 예측 유닛(115)의 세그먼트 움직임 추정 유닛(115a)은 현재의 비디오 코딩 블록에 대해 세그먼트화 마스크 매칭을 수행하도록 구성되며, 여기서 참조 프레임 중에서 최선의 세그먼테이션이 최소화되는 비용 기준(cost criterion) J_B에 따라 선택된다. 일 실시예에서, 비용 기준 J_B는 다음 식에 기초할 수 있다:

여기서 D_SAD는 현재 블록의 세그먼테이션과 참조 블록의 세그먼테이션 사이의 절대 값 차이의 합(sum-of-absolute-differences)에 의해 측정된 왜곡을 나타내며, RMV_B는 경계 움직임 벡터에 대한 레이트 추정치를 나타내며, λ₁, λ₂는 품질 의존 라그랑지안 승수(Lagrangian multiplier)를 나타낸다. 경계 움직임 벡터 및 그 연관 정보는 디코딩 장치(200)에 시그널링될 수 있다.

제2 단계에서, 세그먼트 움직임 추정 유닛(115a)은 이전에 추정된 상보적 세그먼트화 마스크(complementary segmentation mask) M_0, M₁∈{0,1}에 기초하여 현재 블록 C와 참조 블록 R 사이의 세그먼트 단위(segment-wise) 움직임 추정에 의해 세그먼트 S₀ 및 S₁에 대한 움직임 벡터를 계산하도록 구성되며, 여기서

절대 값 차이의 합(SAD)에 의해 추정되는 세그먼트 왜곡을 나타낸다. 블록 단위의 차이의 계산 및 세그먼트화 마스크에 의한 승산은 화소의 정확한 움직임 추정(pixel-exact motion estimation)의 가능한 구현이다. 따라서, 세그먼트 움직임 벡터는 이 시점에서 별도로 선택될 수 있다. 예컨대, 다음 비용 함수의 최소 값에 따라 각각의 세그먼트의 잔차를 최소화한다:

일단 세그먼트 움직임 벡터가 결정되면, 쿼터 화소 개선(quarter-pixel refinement), 쌍방향 예측(bi-prediction)의 테스팅, 진보된 움직임 벡터 예측, 및 움직임 벡터 병합의 테스팅과 같은 추가적인 중요한 추정 단계가 수행될 수 있다. 이들 추가적인 처리 단계에 대한 더 상세한 것은 선행기술에서 찾을 수 있다.

인터 예측 유닛(115)의 세그먼트 움직임 추정 유닛(115a)에 의해 수행되는 세그먼트 움직임 추정 후, 두 세그먼트로부터 생성된 움직임 보상된 예측 신호는, 예를 들어, 도 6에 나타낸 바와 같은 비폐색의 경우에, 눈에 보이는 오차가 드러날 수 있다. 백그라운드 세그먼트를 움직임 보상함으로써, 참조 화상으로부터의 전경 객체의 S₀부분이 예측 신호에 복사될 수 있으며, 이는 이 영역에서 강한 잔차를 초래할 수 있다. 이 문제에 대처하기 위해, 인코딩 장치(100)의 인터 예측 유닛(115)은 도 1b에 도시된 세그먼트화 개선 유닛(115b)을 더 포함할 수 있다. 세그먼트화 개선 유닛(115b)의 목적은 D_SATD에 의해 측정되는 전체 잔차 블록 에너지가 최소화되도록 세그먼트화 마스크를 최적화하는 것이다. 이는 최적화된 경계 시프트 벡터에 기초하여 세그먼트화 마스크를 수평 방향 및 수직 방향으로 인위적으로 시프트함으로써, 그에 따라 예측된 제1 세그먼트와 예측된 제2 세그먼트 사이의 경계를 시프트함으로써 달성될 수 있다. 따라서, 일 실시예에서 세그먼트화 개선 유닛(115b)은 이러한 최적화된 경계 시프트 벡터에 기초하여, 예측된 제1 세그먼트와 예측된 제2 세그먼트 사이의 경계를 시프트하도록 구성된다. 움직임 의존 필터링 유닛(116)은 예측된 제1 세그먼트와 예측된 제2 세그먼트 사이의 시프팅된 경계에 제1 필터 또는 제2 필터를 적용하도록 구성된다.

유의해야 할 것은, 실제 객체 경계와 세그먼트화 마스크 경계가 이 최적화 단계 후에 반드시 일치할 필요는 더 이상 없다는 것이다. SAD 대신에, SATD(sum-of-absolute-transform-difference) 측도가 사용될 수 있는 데, 여기서 H는 하다마드 변환 기저 함수(Hadamard-transform basis function)의 행렬을 나타낸다:

및

여기서, P_m은 상보적인 마스크를 수평 및 수직 방향으로 시프트 또는 오프셋시킴으로써 생성된 수정된 예측 신호를 나타낸다.

은 고정된 채 있는 세그먼트 움직임 벡터이며,

는 시프트된 경계 움직임 벡터, 즉 "실제" 경계 움직임 벡터 플러스 최적화된 경계 시프트 벡터이다. 따라서, 일 실시예에서, 세그먼트화 개선 유닛(115b)은 비디오 코딩 블록과 예측된 비디오 코딩 블록 간의 왜곡 측도에 기초하여 최적화된 경계 시프트 벡터를 결정하고, 따라서 최적화된 경계 움직임 벡터를 결정하도록 구성될 수 있다.

경계 시프트 벡터의 최적화는 세그먼트 움직임 벡터 차이 MV_D로부터 추론될 수 있은 검색 범위 내에서 수행될 수 있으며,

여기서 움직임 벡터 차이의 크기는, 예를 들어 비폐색된 영역의 크기에 대한 근사치를 제공한다. 따라서, 일 실시예에서, 세그먼트화 개선 유닛(115b)은 후보 경계 시프트 벡터의 세트로부터 경계 시프트 벡터를 결정하도록 구성되며, 여기서 후보 경계 시프트 벡터는 제1 세그먼트 움직임 벡터

와 제2 세그먼트 움직임 벡터

사이의 차이 벡터

이하이다.

전체 왜곡 D_SATD을 최소화하는 최적화된 경계 시프트 벡터가 최종적으로 선택된다. 따라서, 최적화된 경계 움직임 벡터, 즉 "실제" 경계 움직임 벡터 플러스 전체 왜곡 D_SATD를 최소화하는 최적화된 경계 시프트 벡터가 최종적으로 선택된다.

도 7은 움직임 보상 후에 경계 움직임 벡터 MV_B를 최적화함으로써 생성되는 개선된 예측 신호를 도시한다는 점에서 도 7은 세그먼트화 개선 유닛(115b)에 의해 제공되는 유리한 효과를 나타내는 예를 도시한다. 경계 움직임 벡터를 최적화함으로써, 비폐색 오차(disocclusion error)가 눈에 띄게 감소되었다. 전경 객체 S₁의 세그먼트화 마스크에 의해 이미 포함된 배경 화소는 새롭게 드러난 영역으로 복사된다.

이미 전술한 바와 같이, 제1 세그먼트 움직임 벡터

및 제2 세그먼트 움직임 벡터

에 기초하여 발산 측도를 결정하고 발산 측도에 따라 제1 필터 또는 제2 필터에 예측된 비디오 코딩 블록을 적용함으로써 예측 신호를 더욱 향상시키기 위해, 움직임 의존 필터링 유닛(116, 216)에서 구현되는 필터링 프로세스는 움직임 의존적이고, 인코더 및 디코더 측에서 세그먼트 움직임 보상 유닛(115c, 215c)에서 구현되는 움직임 보상 프로세스 동안에 및 이후에 수행된다.

일 실시예에서, 움직임 의존 필터링 유닛(116, 216)은, 발산 측도가 제1 세그먼트 움직임 벡터

와 제2 세그먼트 움직임 벡터

가 발산하고 있음을 지시하는 경우, 예측된 비디오 코딩 블록의 예측된 제1 세그먼트와 예측된 제2 세그먼트 사이의 경계에 제1 필터를 적용하도록 구성되고, 여기서 제1 필터는 예측된 제1 세그먼트와 예측된 제2 세그먼트 사이의 경계를 가로질러 평활화하는 방향성 평활화 필터를 포함한다.

일 실시예에서, 움직임 의존 필터링 유닛(116, 216)은 추가로, 발산 측도가 제1 세그먼트 움직임 벡터

와 제2 세그먼트 움직임 벡터

가 수렴하고 있음을 지시하는 경우에, 예측된 비디오 코딩 블록에 제2 필터를 적용하도록 구성되고, 여기서 제2 필터는 배경 세그먼트의 방향으로 또는 전경 세그먼트의 반대 방향으로 페더링하기 위한 페더링 필터를 포함한다. 또한, 움직임 의존 필터링 유닛(116, 216)은 예측된 제1 세그먼트 또는 예측된 제2 세그먼트가 배경 세그먼트인지를 판정하거나, 또는 예측된 제1 세그먼트 또는 예측된 제2 세그먼트가 전경 세그먼트인지를 판정하도록 구성될 수 있다.

일 실시예에서, 제1 세그먼트 움직임 벡터

와 제2 세그먼트 움직임 벡터

는 벡터 장 F를 형성하고, 움직임 의존 필터링 유닛(116)은 벡터 장 F의 발산으로서 제1 세그먼트 움직임 벡터

및 제2 세그먼트 움직임 벡터

에 기초하여 발산 측도를 결정하도록 구성되며, 여기서 벡터 장 F의 발산이 제1 임계치보다 작은 것은 제1 세그먼트 움직임 벡터

와 제2 세그먼트 움직임 벡터

가 수렴하고 있음을 지시하고, 벡터 장의 발산이 제1 임계치보다 큰 것은 제1 세그먼트 움직임 벡터

와 제2 세그먼트 움직임 벡터

가 발산하고 있음을 지시한다.

따라서, 일 실시예에서, 필터링 결정은 다음의 기준에 따라 벡터 장

의 발산으로부터 추론된다 :

-

폐색, 페더링(즉, 제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터가 수렴하고 있음)

비폐색, 방향성 평활화 필터링(즉, 제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터가 발산하고 있음)

벡터 발산 연산자는 유한 차분과 같은 적절한 이산적 실현에 의해 근사될 수 있다. 블록 당 두 개의 세그먼트 움직임 벡터가 고려될 때, 일 실시예에서, 벡터 발산 F_Div(벡터 장 F의 발산이라고도 함)의 근사치는 다음으로부터 획득할 수 있다:

따라서 필터링 유형을 제어하는 정보를 송신할 필요가 없다. 특히, 벡터 장 F의 발산은 제1 세그먼트 움직임 벡터와 제2 세그먼트 움직임 벡터가 어느 정도 수렴 또는 발산하는지에 대한 측도가 될 수 있다. 또한, 차이 벡터는 단지 제1 세그먼트 움직임 벡터에 제2 세그먼트 움직임 벡터를 삔 것일 수 있다.

가중치 부여 예측(weighted prediction)의 일종으로 간주될 수 있은 페더링 필터를 적용하기 위해, 폐색의 경우에, 참조 화상으로부터 취해진 이진 세그먼트화 마스크는 다중 레벨 표현(multilevel representation)으로 변환될 수 있다. 전경 세그먼트와 배경 세그먼트를 분리하는 가파른 경계는 일정한 거리에 걸쳐 평활화될 수 있으며, 여기서 0과 1 사이의 값은 두 세그먼트 사이의 화소 값의 가중치를 지시한다. 이 동작을 통해 전경 세그먼트의 일부를 배경 세그먼트에 혼합할 수 있다. 이는 도 8에 예시되어있다. 두 개의 예측 마스크 M₀ 및 M₁의 추가는 모두 1인 행렬이어야 한다.

배경 객체의 방향으로 적용된 페더링의 양은 도 9에 표시된 것처럼 거리 d로 측정될 수 있다. 강한 움직임의 경우, d 값을 증가시킴으로써 더 많은 페더링이 적용될 수 있다. 일 실시예에서, d 값은 벡터 발산 F_Div에 결합될 수 있다.

이하에서는, 가중치 행렬 기반 페더링 필터(weighting-matrix based feathering filter)가 가능한 실시예로서 명시되며, 이는 정수 산술을 사용하여 구현될 수 있다:

여기서, R_c,0및 R_c,1은 움직임 보상된 세그먼트를 나타내며, M₀및 M₁은 도 9에서 명시된 경계까지의 거리 d에 의존하는 정수 가중치 m_{x, y,}를 포함하는 상보적인 가중치 마스크를 나타낸다. 따라서, 스케일링 인자 s_b 가 이에 따라 가중 합(weighted sum)을 스케일 다운하여, 최종 예측 블록 P_{m, f} 하도록 제공될 수 있다. 효율적인 구현을 위해서는 나눗셈 연산이 비트 시프트로 대체될 수 있도록, 2진 스케일링(base-2 scaling )을 선택하는 것이 바람직하다.

이미 전술한 바와 같이, 비폐색의 경우에, 예측된 제1 세그먼트와 예측된 제2 세그먼트 사이의 경계 화소는 평활화되거나 저역 통과 필터링될 수 있다. 저역 통과 필터는 방향성 필터 또는 대칭 필터로 구현될 수 있다. 이를 위해, 각각의 경계 화소를 중심으로하는 대칭 윈도를 정의하여 현재 관심 영역을 지시할 수 있다. 저역 통과 필터는 방향성일 수 있고 또한 대칭 윈도 내에서 경계의 방위에 적응할 수 있거나 또는 특정 크기(예: 3x3, 5x5, 7x7 등의 화소)의 대칭 커널(symmetric kernel)(예: 2D 가우시안)을 가질 수 있다. 일 실시예에서, 커널의 크기는 벡터 발산의 크기로부터 추론될 수 있다. 또한, 저역 통과 필터 크기 및 강도는 경계를 따라 존재하는 화소 진폭 차이에 적응할 수 있으며, 여기서

로 측정된 더 강한 에지는 더 많은 스무딩이 필요하다는 것을 지시한다. 이는 미리 설정된 임계치

와의 비교로 실현될 수 있다, 즉:

강력한 필터힝.

도 10은 필터링이 예측된 제1 세그먼트와 예측된 제2 세그먼트 사이의 경계의 법선을 따라 수행되는 일 실시예에 따른 방향성 평활화/저역 통과 필터의 동작을 예시한다. 위치 p₀ 및 p₁에서 화소 강도의 차이를 측정함으로써, 필터 강도를 정을시킬 수 있다.

일 실시예에서, 페더링 필터링은 배경 세그먼트의 방향으로 수행되며, 이는 추가 플래그를 통해 디코딩 장치(200)에 시그널링될 수 있다. 세그먼트화 프로세스(segmentation process)는 전경 객체 S₀ 또는 S₁에 임의로 할당할 수 있으므로, 이 모호성은 S₀ 또는 S₁이 실제로 전경인지 여부를 지시함으로써 해결할 수 있다. 도 11은 예시적인 구현을 도시하며, 이 지시자 플래그(1101a)는 세그먼트 움직임 벡터 및 세그먼트화 정보(segmentation information)와 같은 블록 관련 정보를 포함하는 인터 예측 관련 코딩 정보 또는 부가 정보를 따라 전달된다. 따라서, 지시자 플래그(1101a)는 블록 관련 정보(1101)의 일부일 수 있고 코딩 유닛 레벨에서 시그널링될 수 있다.

또한, 지시자 플래그(1101a)의 시그널링은 콘텍스트 적응(context-adaption)을 사용함으로써, 예를 들어, 세그먼트 기반 분할의 형상에 적응하는 콘텍스트 적응형 산술 인코더에 대한 콘텍스트를 선택함으로써 구현될 수 있다.

본 발명의 구첵적인 특징 또는 측면이 몇몇 구현예 또는 실시예 중 하나만에 관하여 개시되었지만, 이러한 특징 또는 측면은 임의의 주어진 또는 구체적인 애플리케이션에 바람직하고 유리할 때 다른 구현예 또는 실시예 중 하나 이상의 다른 특징 또는 측면과 결합될 수 있다. 또한, 상세한 설명 또는 청구 범위에서 "포함한다(include)", "갖는다(have)", "구비한다(with)" 또는 기타 변형은 상세한 설명 또는 청구범위에 사용되는 한, 이러한 용어는 용어 "포함한다(comprise)"와 유사한 방식으로 포괄적인 것으로 의도된다. 또한, 용어 "예시적인", "예를 들어" 및 "예컨대", "예"라는 용어는 최선 또는 최적이 아니라 단지 예시로서 의미된다. 파생어와 함께, 용어 "결합된" 및 "연결된"이 사용될 수 있다. 이러한 용어는 직접적인 물리적 또는 전기적 접촉에 관계없이 또는 서로 직접 접촉하지 않더라도 두 요소가 서로 협력하거나 상호작용함을 나타 내기 위해 사용되었을 수 있음을 이해해야 한다.

본 명세서에서 구체적인 측면이 예시되고 설명되었지만, 당업자라면 다양한 대안적인 및/또는 동등한 구현예가 본 발명의 범위를 벗어나지 않고 도시되고 설명된 특정 양태를 대체할 수 있음을 이해할 것이다. 본 출원은 본 명세서에서 논의된 구체적인 측면의 모든 개조(adaptation) 또는 변형을 포함하는 것으로 의도된다. 이하의 청구범위에 있는 요소는 대응하는 라벨이 부여된 특정 시퀀스로 열거되지만, 청구범위의 기재가 그러한 요소 중 일부 또는 전부를 구현하기 위한 특정 시퀀스를 시사하고 있지 않는 한, 그러한 요소는 반드시 그 특정 시퀀스로 구현되는 것으로 한정되는 것을 의도하지 않는다.

이상의 교시의 관점에서 많은 대안, 수정 및 변형이 당업자에게 명백할 것이다. 물론, 당업자라면 본 명세서에 기재된 것 이상의 수많은 발명의 애플리케이션이 있음을 쉽게 인식할 수 있을 것이다. 본 발명은 하나 이상의 구체적인 실시예를 참조하여 설명되었지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서 많은 변경이 이루어질 수 있음을 알 것이다. 따라서, 첨부된 청구범위 및 그 등가물의 범위 내에서, 본 발명은 본 명세서에 구체적으로 기재된 것과 다르게 실시될 수 있음을 이해해야 한다.

Claims

인코딩된 비디오 신호의 현재 프레임의 비디오 코딩 블록을 디코딩하는 디코딩 장치(200)로서, 상기 인코딩된 비디오 신호는 코딩 정보 및 복수의 프레임을 포함하고, 각각의 프레임은 복수의 비디오 코딩 블록으로 분할 가능하며, 상기 디코딩 장치(200)는,
잔차 비디오 코딩 블록을 제공하기 위해 상기 비디오 코딩 블록을 디코딩하도록 구성된 디코딩 유닛(205, 207);
상기 코딩 정보에 기초하여 상기 비디오 코딩 블록을 제1 세그먼트 및 제2 세그먼트를 포함하는 둘 이상의 세그먼트로 분할하도록 구성된 세그먼트화 기반 분할 유닛(221) - 상기 코딩 정보는 상기 비디오 코딩 블록의 제1 세그먼트와 연관된 제1 세그먼트 움직임 벡터 및 상기 비디오 코딩 블록의 제2 세그먼트와 연관된 제2 세그먼트 움직임 벡터를 포함함 -;
상기 제1 세그먼트 움직임 벡터에 기초하여 제1 참조 프레임 내의 동일 위치에 배치된 제1 세그먼트를 결정하고 상기 제2 세그먼트 움직임 벡터에 기초하여 제2 참조 프레임 내의 동일 위치에 배치된 제2 세그먼트를 결정하여, 상기 동일 위치에 배치된 제1 세그먼트 및 상기 동일 위치에 배치된 제2 세그먼트에 기초하여 예측된 비디오 코딩 블록을 생성하도록 구성된 인터 예측 유닛(215) - 상기 예측된 비디오 코딩 블록은 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함함 -;
상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 발산 측도(divergence measure)를 결정하고, 상기 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하도록 구성된 움직임 의존 필터링 유닛(216); 및
필터링된 상기 예측된 비디오 코딩 블록 및 상기 잔차 비디오 코딩 블록에 기초하여 상기 비디오 코딩 블록을 재구성하도록 구성된 재구성 유닛(209)
을 포함하는 디코딩 장치(200).
제1항에 있어서,
상기 움직임 의존 필터링 유닛(216)은, 상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시하는 경우, 상기 예측된 비디오 코딩 블록의 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 상기 제1 필터를 적용하도록 구성되고, 상기 제1 필터는 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 가로질러 평활화하는 방향성 평활화 필터(directional smoothing filter)를 포함하는, 디코딩 장치(200).
제2항에 있어서,
상기 움직임 의존 필터링 유닛(216)은,
상기 발산 측도에 기초하거나, 또는
상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하거나, 또는
상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 위치하는 화소의 화소 값 간의 차이에 기초하여,
상기 제1 필터의 필터 특성을 조정하도록 구성되고,
상기 제1 필터의 필터 특성은 상기 제1 필터의 제1 필터 강도 또는 제1 필터 크기를 포함하는, 디코딩 장치(200).
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 움직임 의존 필터링 유닛(216)은, 상기 코딩 정보에 기초하여 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지를 판정하도록 구성되고, 상기 코딩 정보는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지에 관한 정보, 또는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 전경 세그먼트인지에 관한 정보를 더 포함하는, 디코딩 장치(200).
제4항에 있어서,
상기 움직임 의존 필터링 유닛(216)은 추가로, 상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하는 경우, 상기 예측된 비디오 코딩 블록에 상기 제2 필터를 적용하도록 구성되고, 상기 제2 필터는 상기 배경 세그먼트의 방향으로 또는 상기 전경 세그먼트의 반대 방향으로 페더링하기 위한 페더링 필터(feathering filter)를 포함하는, 디코딩 장치(200).
제4항 또는 제5항에 있어서,
상기 움직임 의존 필터링 유닛(216)은 상기 발산 측도에 기초하여 상기 제2 필터의 필터 특성을 조정하도록 구성되고, 상기 제2 필터의 필터 특성은 상기 제2 필터의 제2 필터 강도 또는 제2 필터 크기를 포함하는, 디코딩 장치(200).
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터는 벡터 장(vector field)을 형성하고, 상기 움직임 의존 필터링 유닛(216)은 상기 벡터 장의 발산으로서 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 상기 발산 측도를 결정하도록 구성되고, 상기 벡터 장의 발산이 제1 임계치보다 작은 것은 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하고, 상기 벡터 장의 발산이 상기 제1 임계치보다 큰 것은 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시하는, 디코딩 장치(200).
인코딩된 비디오 신호의 현재 프레임의 비디오 코딩 블록을 디코딩하는 디코딩 방법(400)으로서, 상기 인코딩된 비디오 신호는 코딩 정보 및 복수의 프레임을 포함하고, 각각의 프레임은 복수의 비디오 코딩 블록으로 분할되며, 상기 디코딩 방법(400)은,
상기 비디오 코딩 블록을 디코딩함으로써 잔차 비디오 코딩 블록을 제공하는 단계(401);
상기 코딩 정보에 기초하여 상기 비디오 코딩 블록을 제1 세그먼트 및 제2 세그먼트를 포함하는 둘 이상의 세그먼트로 분할하는 단계(403) - 상기 코딩 정보는 상기 비디오 코딩 블록의 제1 세그먼트와 연관된 제1 세그먼트 움직임 벡터 및 상기 비디오 코딩 블록의 제2 세그먼트와 연관된 제2 세그먼트 움직임 벡터를 포함함 -;
상기 제1 세그먼트 움직임 벡터에 기초하여 제1 참조 프레임 내의 동일 위치에 배치된 제1 세그먼트를 결정하고 상기 제2 세그먼트 움직임 벡터에 기초하여 제2 참조 프레임 내의 동일 위치에 배치된 제2 세그먼트를 결정하는 단계(405);
상기 동일 위치에 배치된 제1 세그먼트 및 상기 동일 위치에 배치된 제2 세그먼트에 기초하여 예측된 비디오 코딩 블록을 생성하는 단계(407) - 상기 예측된 비디오 코딩 블록은 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함함 -;
상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 발산 측도를 결정하는 단계(409);
상기 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계(411); 및
필터링된 상기 예측된 비디오 코딩 블록 및 상기 잔차 비디오 코딩 블록에 기초하여 상기 비디오 코딩 블록을 재구성하는 단계(413)
를 포함하는 디코딩 방법(400).
제8항에 있어서,
상기 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계(411)는,
상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시하는 경우, 상기 예측된 비디오 코딩 블록의 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 상기 제1 필터를 적용하는 단계를 포함하고, 상기 제1 필터는 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 가로질러 평활화하는 방향성 평활화 필터를 포함하는, 디코딩 방법(400).
제8항 또는 제9항에 있어서,
상기 디코딩 방법(400)은, 상기 코딩 정보에 기초하여 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지를 판정하는 단계를 더 포함하고,
상기 코딩 정보는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지에 관한 정보, 또는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 전경 세그먼트인지에 관한 정보를 더 포함하는, 디코딩 방법(400)
제10항에 있어서,
상기 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계(411)는,
상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하는 경우, 상기 예측된 비디오 코딩 블록에 상기 제2 필터를 적용하는 단계를 포함하고, 상기 제2 필터는 상기 배경 세그먼트의 방향으로 또는 상기 전경 세그먼트의 반대 방향으로 페더링하기 위한 페더링 필터를 포함하는, 디코딩 방법(400).
비디오 신호의 현재 프레임의 비디오 코딩 블록을 인코딩하는 인코딩 장치(100)로서, 상기 비디오 신호는 복수의 프레임을 포함하고, 각각의 프레임은 복수의 비디오 코딩 블록으로 분할 가능하며, 상기 인코딩 장치(100)는,
상기 비디오 코딩 블록을 제1 세그먼트 및 제2 세그먼트를 포함하는 둘 이상의 세그먼트로 분할하도록 구성된 분할 유닛(121);
상기 비디오 신호의 제1 참조 프레임 내의 동일 위치에 배치된 제1 세그먼트 및 상기 비디오 신호의 제2 참조 프레임 내의 동일 위치에 배치된 제2 세그먼트를 결정하고, 상기 동일 위치에 배치된 제1 세그먼트 및 상기 동일 위치에 배치된 제2 세그먼트에 기초하여 예측된 비디오 코딩 블록을 생성하도록 구성된 인터 예측 유닛(inter prediction unit)(115) - 상기 제1 세그먼트와 상기 동일 위치에 배치된 제1 세그먼트는 제1 세그먼트 움직임 벡터를 정의하고, 상기 제2 세그먼트와 상기 동일 위치에 배치된 제2 세그먼트는 제2 세그먼트 움직임 벡터를 정의하며, 상기 예측된 비디오 코딩 블록은 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함함 -;
상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 발산 측도를 결정하고 상기 발산 측도에 따라, 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하도록 구성된 움직임 의존 필터링 유닛(116); 및
상기 필터링된 예측된 비디오 코딩 블록에 기초하여 인코딩된 비디오 코딩 블록을 생성하도록 구성된 인코딩 유닛(103, 105)
을 포함하는 인코딩 장치(100).
제12항에 있어서,
상기 움직임 의존 필터링 유닛(116)은, 상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시하는 경우, 상기 예측된 비디오 코딩 블록의 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 상기 제1 필터를 적용하도록 구성되고, 상기 제1 필터는 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 가로질러 평활화하는 방향성 평활화 필터를 포함하는, 인코딩 장치(100).
제13항에 있어서,
상기 움직임 의존 필터링 유닛(116),
상기 발산 측도에 기초하거나, 또는
상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하거나, 또는
상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 위치하는 화소의 화소 값 간의 차이에 기초하여,
상기 제1 필터의 필터 특성을 조정하도록 구성되고,
상기 제1 필터의 필터 특성은 상기 제1 필터의 제1 필터 강도 또는 제1 필터 크기를 포함하는, 인코딩 장치(100).
제12항 내지 제14항 중 어느 한 항에 있어서,
상기 움직임 의존 필터링 유닛(116)은, 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지를 판정하거나, 또는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 전경 세그먼트인지를 판정하도록 구성되는, 인코딩 장치(100).
제15항에 있어서,
상기 움직임 의존 필터링 유닛(116)은 추가로, 상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하는 경우에, 상기 예측된 비디오 코딩 블록에 상기 제2 필터를 적용하도록 구성되고, 상기 제2 필터는 상기 배경 세그먼트의 방향으로 또는 상기 전경 세그먼트의 반대 방향으로 페더링하기 위한 페더링 필터를 포함하는, 인코딩 장치(100).
제15항 또는 제16항에 있어서,
상기 움직임 의존 필터링 유닛(116)은 상기 발산 측도에 기초하여 상기 제2 필터의 필터 특성을 조정하도록 구성되고, 상기 제2 필터의 필터 특성은 상기 제2 필터의 제2 필터 강도 또는 제2 필터 크기를 포함하는, 인코딩 장치(100).
제12항 내지 제17항 중 어느 한 항에 있어서,
상기 인코딩 유닛(103, 105)은 추가로,
상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지에 관한 정보를 인코딩된 비디오 신호에 인코딩하거나, 또는
상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 전경 세그먼트인지에 관한 정보를 인코딩된 비디오 신호에 인코딩하도록 구성되는, 인코딩 장치(100).
제12항 내지 제18항 중 어느 한 항에 있어서,
상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터는 벡터 장을 형성하고, 상기 움직임 의존 필터링 유닛(116)은 상기 벡터 장의 발산으로서 상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 상기 발산 측도를 결정하도록 구성되고, 상기 벡터 장의 발산이 제1 임계치보다 작은 것은 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하고, 상기 벡터 장의 발산이 상기 제1 임계치보다 큰 것은 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시하는, 인코딩 장치(100).
제12항 내지 제19항 중 어느 한 항에 있어서,
상기 인터 예측 유닛(115)은, 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 경계와 연관된 경계 시프트 벡터에 기초하여 시프트시키도록 구성된 세그먼트화 개선 유닛(115b)를 더 포함하고;
상기 움직임 의존 필터링 유닛(116)은 상기 발산 측도에 따라 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 시프트된 경계에 상기 제1 필터 또는 상기 제2 필터를 적용하도록 구성되는, 인코딩 장치(100).
제20항에 있어서,
상기 세그먼트화 개선 유닛(115b)은 상기 비디오 코딩 블록과 상기 예측된 비디오 코딩 블록 사이의 왜곡 측도에 기초하여 상기 경계 시프트 벡터를 결정하도록 구성되는, 인코딩 장치(100).
제20항에 있어서,
상기 세그먼트화 개선 유닛(115b)은 후보 경계 시프트 벡터의 세트로부터 상기 경계 시프트 벡터를 결정하도록 구성되며, 상기 후보 경계 시프트 벡터는 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터 사이의 차분 벡터(difference vector) 이하인, 인코딩 장치(100).
비디오 신호의 현재 프레임의 비디오 코딩 블록을 인코딩하는 인코딩 방법(300)으로서, 상기 비디오 신호는 복수의 프레임을 포함하고, 각각의 프레임은 복수의 비디오 코딩 블록으로 분할 가능하며, 상기 인코딩 방법(300)은,
상기 비디오 코딩 블록을 제1 세그먼트 및 제2 세그먼트를 포함하는 둘 이상의 세그먼트로 분할하는 단계(301);
상기 비디오 신호의 제1 참조 프레임 내의 동일 위치에 배치된 제1 세그먼트 및 상기 비디오 신호의 제2 참조 프레임 내의 동일 위치에 배치된 제2 세그먼트를 결정하는 단계(303) - 상기 제1 세그먼트와 상기 동일 위치에 배치된 제1 세그먼트는 제1 세그먼트 움직임 벡터를 정의하고, 상기 제2 세그먼트와 상기 동일 위치에 배치된 제2 세그먼트는 제2 세그먼트 움직임 벡터를 정의함 -;
상기 동일 위치에 배치된 제1 세그먼트 및 상기 동일 위치에 배치된 제2 세그먼트에 기초하여 예측된 비디오 코딩 블록을 생성하는 단계(305) - 상기 예측된 비디오 코딩 블록은 예측된 제1 세그먼트 및 예측된 제2 세그먼트를 포함함 -;
상기 제1 세그먼트 움직임 벡터 및 상기 제2 세그먼트 움직임 벡터에 기초하여 발산 측도를 결정하는 단계(307);
상기 발산 측도에 따라, 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계(309); 및
상기 필터링된 예측된 비디오 코딩 블록에 기초하여 인코딩된 비디오 코딩 블록을 생성하는 단계(311)
를 포함하는 인코딩 방법(300).
제23항에 있어서,
상기 발산 측도에 따라, 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계(309)는,
상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 발산하고 있음을 지시하는 경우, 상기 예측된 비디오 코딩 블록의 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계에 상기 제1 필터를 적용하는 단계 - 상기 제1 필터는 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 가로질러 평활화하는 방향성 평활화 필터를 포함함 -를 포함하는, 인코딩 방법(300).
제23항 또는 제24항에 있어서,
상기 인코딩 방법(300)은, 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 배경 세그먼트인지를 판정하는 단계, 또는 상기 예측된 제1 세그먼트 또는 상기 예측된 제2 세그먼트가 전경 세그먼트인지를 판정하는 단계를 더 포함하는 인코딩 방법(300).
제25항에 있어서,
상기 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계(309)는,
상기 발산 측도가 상기 제1 세그먼트 움직임 벡터와 상기 제2 세그먼트 움직임 벡터가 수렴하고 있음을 지시하는 경우에, 상기 예측된 비디오 코딩 블록에 상기 제2 필터를 적용하는 단계 - 상기 제2 필터는 상기 배경 세그먼트의 방향으로 또는 상기 전경 세그먼트의 반대 방향으로 페더링하기 위한 페더링 필터를 포함함 -를 포함하는, 인코딩 방법(300).
제23항 내지 제26항 중 어느 한 항에 있어서,
상기 인코딩 방법(300)은, 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 경계를 경계와 연관된 경계 시프트 벡터에 기초하여 시프트시키는 단계를 더 포함하고,
상기 발산 측도에 따라 상기 예측된 비디오 코딩 블록에 제1 필터 또는 제2 필터를 적용하는 단계(309)는,
상기 발산 측도에 따라 상기 예측된 제1 세그먼트와 상기 예측된 제2 세그먼트 사이의 시프트된 경계에 상기 제1 필터 또는 상기 제2 필터를 적용하는 단계를 포함하는, 인코딩 방법(300).
컴퓨터상에서 실행될 때, 제8항의 방법(400) 또는 제23항의 방법(300)을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램.