KR20150020175A - 비디오 신호 처리 방법 및 장치 - Google Patents

Abstract

본 발명에 따른 비디오 신호 처리 방법은 타겟 블록의 모션 벡터 후보자로서 공간적 모션 벡터, 시간적 모션 벡터 및 상기 변이 벡터 중 적어도 하나를 포함한 모션 벡터 리스트를 결정하고, 타겟 블록의 예측된 모션 벡터로 이용되는 모션 벡터 후보자를 특정하는 모션 벡터 식별 정보를 추출하며, 모션 벡터 식별 정보에 대응하는 모션 벡터 후보자를 타겟 블록의 예측된 모션 벡터로 설정하고, 예측된 모션 벡터에 기초하여 모션 보상을 수행하는 것을 특징으로 한다. 본 발명은 모션 벡터 후보자를 구성하고 이로부터 타겟 블록의 모션 벡터를 유도함으로써, 보다 정확한 모션 벡터 예측을 가능하게 하고, 이로써 전송되는 레지듀얼 데이터의 양을 줄임으로써 코딩 효율을 향상시킬 수 있다.

Description

비디오 신호 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL}

본 발명은 비디오 신호의 코딩 방법 및 장치에 관한 것이다.

압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 다시점 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성 및 시점간 중복성을 지니고 있는 점에 특징이 있다.

본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.

본 발명은 참조 시점의 시점 식별 정보 및 변이 벡터를 이용하여 시점 간 예측을 수행하는 것을 특징으로 한다.

본 발명은 현재 텍스쳐 픽쳐의 참조 픽쳐 리스트에 포함된 참조 픽쳐를 이용하여 현재 뎁스 픽쳐를 유도하는 것을 특징으로 한다.

본 발명은 모션 영역 맵을 이용하여 뎁스 픽쳐 내의 모션 영역을 검출하고, 해당 모션 영역의 뎁스 데이터를 비트스트림으로부터 추출된 뎁스 데이터로 변경하는 것을 특징으로 한다.

본 발명은 시점 별로 적어도 하나의 뎁스 픽쳐를 설정하고, 이를 업데이트하여 동일 시점 내의 다른 텍스쳐 픽쳐에 대한 뎁스 픽쳐를 유도하는 것을 특징으로 한다.

본 발명은 현재 뎁스 블록에 인접한 이웃 뎁스 블록의 뎁스 데이터를 이용하여 현재 뎁스 블록의 뎁스 데이터를 예측하는 것을 특징으로 한다.

본 발명은 글로버 시프트 벡터를 이용하여 보정된 현재 뎁스 픽쳐를 생성하고, 글로버 시프트 벡터에 따른 홀 영역의 뎁스 데이터는 현재 뎁스 픽쳐의 경계에 위치한 적어도 하나의 뎁스 데이터를 이용하여 유도되는 것을 특징으로 한다.

본 발명은 글로버 변이 가중치 및 글로버 변이 오프셋을 이용하여 현재 뎁스 블록의 뎁스 데이터를 보정하는 것을 특징으로 한다.

본 발명은 공간적 모션 벡터, 시간적 모션 벡터 및 변이 벡터 중 적어도 하나를 포함한 모션 벡터 리스트를 이용하여 타겟 블록의 모션 벡터를 유도하는 것을 특징으로 한다.

본 발명은 뎁스 데이터에 대해서 영역 기반의 적응적 루프 필터를 사용하는 것을 특징으로 한다.

본 발명은 변이 벡터를 이용한 시점 간 예측을 수행함으로써, 시점 간의 상관 관계를 활용하여 비디오 데이터 예측의 정확성을 높일 수 있다. 또한, 변이 벡터를 비트스트림으로부터 추출하지 아니하고, 뎁스 데이터에 기초하여 유도함으로써, 변이 벡터를 코딩함에 필요한 비트수를 절약할 수도 있다.

본 발명은 이웃 시점의 뎁스 픽쳐를 와핑하여 현재 뎁스 픽쳐를 획득하거나, 동일 시점 및 이웃 시간 대에 위치한 뎁스 픽쳐를 업데이트하여 현재 뎁스 픽쳐를 획득함으로써, 뎁스 픽쳐의 뎁스 데이터에 대한 코딩 효율을 향상시킬 수 있다. 또한, 글로버 시프트 벡터 또는 글로버 변이 가중치 등을 이용하여 획득된 현재 뎁스 픽쳐를 보정함으로써 정확한 뎁스 데이터를 유도하고, 나아가 뎁스 데이터로부터 유도되는 변이 벡터의 정확성을 향상시킴으로써 시점 간 예측 기법의 효율을 극대화할 수 있다.

또한, 본 발명은 모션 벡터 후보자를 구성하고 이로부터 타겟 블록의 모션 벡터를 유도함으로써, 보다 정확한 모션 벡터 예측을 가능하게 하고, 이로써 전송되는 레지듀얼 데이터의 양을 줄임으로써 코딩 효율을 향상시킬 수 있다. 또한, 본 발명은 뎁스 데이터에 대해서 영역 기반의 적응적 루프 필터를 적용함으로써, 화질 개선은 물론이고 필터 적용에 따른 복잡도를 줄이고, 동시에 가변적 필터링으로 코딩 효율을 향상시킬 수 있다.

도 1은 본 발명이 적용되는 일실시예로서, 뎁스(depth)의 개념을 설명하기 위해 도시한 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 뎁스 데이터를 이용하여 텍스쳐 픽쳐 내의 타겟 블록의 변이 벡터를 유도하는 방법을 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 시점 식별 정보와 출력 순서 정보에 기초하여 참조 픽쳐 리스트로부터 현재 텍스쳐 픽쳐의 뎁스 데이터를 위한 참조 텍스쳐 픽쳐를 선택하는 방법을 도시한 것이다.
도 5는 본 발명이 적용되는 일실시예로서, 모션 영역 맵을 이용하여 이웃 시점의 뎁스 픽쳐로부터 현재 시점의 뎁스 픽쳐를 획득하는 방법을 도시한 것이다.
도 6은 본 발명이 적용되는 일실시예로서, 뎁스 데이터가 유효하지 아니함을 나타내는 값을 이용하여 이웃 시점의 뎁스 픽쳐로부터 현재 시점의 뎁스 픽쳐를 획득하는 방법을 도시한 것이다.
도 7은 본 발명이 적용되는 일실시예로서, 텍스쳐 픽쳐의 코딩에 이용된 뎁스 픽쳐를 업데이트하는 방법에 도시한 것이다.
도 8은 본 발명이 적용되는 일실시예로서, 두 개의 뎁스 픽쳐 간의 상호 업데이트를 통하여 현재 뎁스 픽쳐를 획득하는 방법을 도시한 것이다.
도 9는 본 발명이 적용되는 일실시예로서, 현재 뎁스 블록에 인접한 이웃 뎁스 블록을 도시한 것이다.
도 10은 본 발명이 적용되는 일실시예로서, 글로버 시프트 벡터(global shift vector)를 이용하여 뎁스 픽쳐를 보정하는 방법을 도시한 것이다.
도 11은 본 발명이 적용되는 일실시예로서, 글로버 시프트 벡터 및 패딩 지시 정보를 이용하여 현재 뎁스 픽쳐를 보정하는 방법을 도시한 것이다.
도 12는 본 발명이 적용되는 일실시예로서, 모션 벡터 리스트 생성부(710)의 개략적인 구성을 도시한 것이다.
도 13은 본 발명이 적용되는 일실시예로서, 공간적 모션 벡터를 결정하는 과정을 도시한 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 처리 방법은 타겟 블록의 변이 벡터를 획득하고, 상기 타겟 블록에 대한 모션 벡터 리스트를 결정하며, 모션 벡터 식별 정보에 대응하는 모션 벡터 후보자를 상기 타겟 블록의 예측된 모션 벡터로 설정하고, 상기 예측된 모션 벡터에 기초하여 모션 보상을 수행할 수 있다.

본 발명에 따르면, 상기 모션 벡터 리스트는 상기 타겟 블록의 예측된 모션 벡터를 위한 모션 벡터 후보자로 구성되고, 상기 모션 벡터 후보자는 공간적 모션 벡터, 시간적 모션 벡터 및 상기 변이 벡터 중 적어도 하나를 포함할 수 있다.

본 발명에 따르면, 타겟 블록을 포함한 현재 텍스쳐 픽쳐에 대응하는 현재 뎁스 픽쳐를 획득하고, 타겟 블록의 위치 정보로부터 상기 현재 뎁스 픽쳐 내의 대응 블록의 위치 정보를 획득하며, 상기 대응 블록의 위치 정보에 해당하는 뎁스 데이터를 획득하고, 상기 획득된 뎁스 데이터와 카메라 파라미터를 이용하여 상기 타겟 블록의 변이 벡터를 유도할 수 있다.

본 발명에 따르면, 현재 텍스쳐 픽쳐와 참조 픽쳐 리스트에 포함된 참조 픽쳐 간의 시점 식별 정보를 비교하고, 상기 비교 결과에 따라 상기 현재 텍스쳐 픽쳐와 상기 참조 픽쳐 간의 시점 식별 정보가 동일한 경우, 상기 현재 텍스쳐 픽쳐의 출력 순서 정보와 상기 참조 픽쳐의 출력 순서 정보 간의 차이값을 획득하며, 상기 차이값을 최소로 하는 참조 픽쳐를 상기 현재 텍스쳐 픽쳐의 현재 뎁스 픽쳐로 선택할 수 있다.

본 발명에 따르면, 현재 텍스쳐 픽쳐와 참조 픽쳐의 출력 순서 정보 간의 차이값을 최소로 하는 참조 픽쳐가 복수 개인 경우, 복수 개의 참조 픽쳐 중에서 최소 출력 순서 정보를 가진 참조 픽쳐가 상기 현재 뎁스 픽쳐로 선택될 수 있다.

본 발명에 따르면, 현재 뎁스 픽쳐 내의 뎁스 블록의 변화량에 기초하여 현재 픽셀값에 대해 영역 기반의 적응적 루프 필터를 적용할지 여부를 결정하고, 상기 영역 기반의 적응적 루프 필터가 적용되는 경우, 이웃 픽셀값에 가중치를 적용하여 필터링된 현재 픽셀값을 획득할 수 있다.

본 발명에 따르면, 타겟 블록과 이웃 블록 간의 참조 픽쳐 동일 여부를 확인하고, 상기 타겟 블록과 상기 이웃 블록 간의 참조 픽쳐가 동일한 경우, 동일한 참조 픽쳐를 가진 이웃 블록의 모션 벡터를 상기 모션 벡터 리스트에 추가하며, 상기 타겟 블록과 상기 이웃 블록 간의 참조 픽쳐가 동일하지 아니한 경우, 상기 이웃 블록의 모션 벡터에 스케일링 팩터를 적용하여 스케일링된 이웃 블록의 모션 벡터를 상기 모션 벡터 리스트에 추가할 수 있다.

본 발명에 따르면, 시간적 모션 벡터는 상기 타겟 블록과 동일 시점에 속한 참조 픽쳐 내에서 타겟 블록과 동일 위치의 블록이 가진 모션 벡터를 의미하고, 동일 시점에 속한 참조 픽쳐는 상기 동일 위치의 블록을 포함한 픽쳐의 레퍼런스 인덱스 정보에 의해서 특정될 수 있다.

발명의 실시를 위한 형태

다시점 비디오 신호 데이터를 압축 부호화 또는 복호화하는 기술은 공간적 중복성, 시간적 중복성 및 시점간 존재하는 중복성을 고려하고 있다. 또한, 다시점 영상의 경우, 3차원 영상을 구현하기 위해 2개 이상의 시점에서 촬영된 다시점 텍스쳐 영상 및 이에 대응되는 다시점 뎁스 영상을 코딩해야 한다. 뎁스 영상을 코딩함에 있어서, 공간적 중복성, 시간적 중복성 또는 시점간 중복성을 고려하여 압축 코딩할 수 있음은 물론이다. 뎁스 영상의 각 샘플값은 카메라와 해당 화소 간의 거리 정보를 표현한 것이며, 이에 대한 구체적인 설명은 도 1을 참조하여 살펴보기로 한다. 또한, 본 명세서 내에서 뎁스 정보, 뎁스 데이터, 뎁스 픽쳐, 뎁스 시퀀스, 뎁스 코딩, 뎁스 비트스트림 등과 같은 용어들은 뎁스에 관련된 정보로 유연하게 해석될 수 있을 것이다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.

도 1은 본 발명이 적용되는 일실시예로서, 뎁스(depth)의 개념을 설명하기 위해 도시한 것이다.

도 1을 참조하면, 카메라의 위치(Oc)는 3차원 카메라 좌표계의 원점을 나타내며, Z축(optical axis)은 눈이 바라보는 방향과 일직선이 된다. 카메라 좌표계의 임의의 한 점 P=(X,Y,Z)는 Z축에 수직인 2차원 이미지 평면의 임의의 한 점 p=(x,y)으로 투영될 수 있다. 여기서, 2차원 이미지 평면 상의 임의의 한 점 p=(x,y)는 3차원 좌표계의 임의의 한 점 P=(X,Y,Z)의 텍스쳐값 또는 컬러값으로 표현될 수 있고, 이 경우의 2차원 이미지 평면은 텍스쳐 픽쳐를 의미할 수 있다. 한편, 2차원 이미지 평면 상의 p=(x,y)는 3차원 좌표계의 P=(X,Y,Z)의 Z 값으로 표현될 수도 있고, 이 경우의 2차원 이미지 평면은 뎁스 픽쳐 또는 뎁스 맵을 의미할 수 있다.

또한, 상기 3차원 좌표계의 P=(X,Y,Z)는 카메라 좌표계의 임의의 한 점을 나타내나, 복수 개의 카메라로 촬영된 경우 상기 복수 개의 카메라들에 대한 공통의 기준 좌표계가 필요할 수 있다. 도 1에서 Ow 점을 기준으로 하는 기준 좌표계의 임의의 점을 Pw=(Xw, Yw, Zw)라 할 수 있고, Pw=(Xw,Yw,Zw)는 3x3 로테이션 매트릭스(rotation matrix) R과 3x1 변환 벡터(translation vector) T를 이용하여 카메라 좌표계의 임의의 한 점 P=(X,Y,Z)으로 변환할 수 있다. 예를 들어, 상기 P는 수학식 1과 같이 획득될 수 있다.

상기의 설명에 기초하여 뎁스 픽쳐를 다시 정의하면, 카메라의 위치를 기준으로 카메라의 위치와 실물 간의 거리를 상대적인 값으로 수치화한 정보들의 집합이라 할 수 있다. 뎁스 픽쳐 내의 뎁스 정보는 텍스쳐 픽쳐의 임의의 픽셀에 대응하는 카메라 좌표계 상의 3차원 좌표 P=(X,Y,Z)의 Z 값으로부터 획득될 수 있다. 여기서, Z 값은 실수 범위에 속하는 값이며, 이를 정수 범위에 속하는 값으로 양자화시켜 뎁스 정보로 이용할 수도 있다. 예를 들어, 뎁스 정보는 다음 수학식 2 또는 수학식 3와 같이 양자화될 수 있다.

여기서, Zq는 양자화된 뎁스 정보를 의미하며, 도 1의 [Top view]를 참조하면, Znear는 Z 좌표값의 하한(the lower limit)을, Zfar는 Z 좌표값의 상한(the upper limit)을 의미할 수 있다. 상기 수학식 2 또는 수학식 3에 따라 양자화된 뎁스 정보는 0∼255 범위 내의 정수값을 가질 수 있다.

뎁스 픽쳐는 텍스쳐 영상 시퀀스와 함께 또는 별개의 시퀀스로 코딩될 수 있으며, 이러한 경우 기존의 코덱과의 호환을 위해 다양한 실시예들이 적용될 수 있다. 예를 들어, HEVC 코덱과 호환될 수 있도록 뎁스 코딩 기술이 부가 기술로 적용될 수 있고, 또는 H.264/AVC 다시점 비디오 코딩 내에서 확장 기술로 적용될 수도 있다. 이하에서는 뎁스 데이터를 이용하여 텍스쳐 데이터를 예측하는 방법 및 장치에 대한 구체적인 실시예들을 살펴보도록 한다.

수학식 4에서 E는 텍스쳐 데이터의 복잡도를 나타내고, C는 복원된 텍스쳐 데이터를 의미하며, N은 복잡도를 산출하고자 하는 텍스쳐 데이터 영역 내의 픽셀 개수를 의미할 수 있다. 수학식 4를 참조하면, 텍스쳐 데이터의 복잡도는 (x,y) 위치에 대응하는 텍스쳐 데이터와 (x-1,y) 위치에 대응하는 텍스쳐 데이터 간의 차분값 및 (x,y) 위치에 대응하는 텍스쳐 데이터와 (x+1,y) 위치에 대응하는 텍스쳐 데이터 간의 차분값을 이용하여 산출될 수 있다. 또한, 복잡도는 텍스쳐 픽쳐와 텍스쳐 블록에 대해서 각각 산출될 수 있고, 이를 이용하여 아래 수학식 5와 같이 양자화 파라미터를 유도할 수 있다.

수학식 5를 참조하면, 뎁스 블록에 대한 양자화 파라미터는 텍스쳐 픽쳐의 복잡도와 텍스쳐 블록의 복잡도의 비율에 기초하여 결정될 수 있다. α 및 β는 디코더에서 유도되는 가변적인 정수일 수 있고, 또는 디코더 내에서 기결정된 정수일 수 있다.

인트라 예측부(400)는 현재 텍스쳐 픽쳐 내의 복원된 텍스쳐 데이터를 이용하여 화면 내 예측을 수행할 수 있다. 뎁스 픽쳐에 대해서도 텍스쳐 픽쳐와 동일한 방식으로 화면 내 예측이 수행될 수 있다. 예를 들어, 텍스쳐 픽쳐의 화면 내 예측을 위해 이용되는 코딩 정보를 텝스 픽쳐에서도 동일하게 이용할 수 있다. 여기서, 화면 내 예측을 위해 이용되는 코딩 정보는 인트라 예측 모드, 인트라 예측의 파티션 정보를 포함할 수 있다. 한편, 인-루프 필터부(500)는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 블록에 인-루프 필터를 적용할 수 있다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 픽쳐의 화질을 향상시킬 수 있다. 필터링을 거친 텍스쳐 픽쳐 또는 뎁스 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(600)에 저장될 수 있다. 한편, 텍스쳐 데이터의 특성과 뎁스 데이터의 특성이 서로 상이하기 때문에 동일한 인-루프 필터를 사용하여 텍스쳐 데이터와 뎁스 데이터의 코딩을 수행할 경우, 코딩 효율이 떨어질 수 있다. 따라서, 뎁스 데이터를 위한 별도의 인-루프 필터를 정의할 수도 있다. 이하, 뎁스 데이터를 효율적으로 코딩할 수 있는 인-루프 필터링 방법으로서, 영역 기반의 적응적 루프 필터 (region-based adaptive loop filter)와 트라일래터럴 루프 필터 (trilateral loop filter)에 대해서 살펴 보기로 한다.

영역 기반의 적응적 루프 필터의 경우, 뎁스 블록의 변화량 (variance)에 기초하여 영역 기반의 적응적 루프 필터의 적용 여부를 결정할 수 있다. 여기서, 뎁스 블록의 변화량은 뎁스 블록 내에서 최대 픽셀값과 최소 픽셀값 간의 차분으로 정의될 수 있다. 뎁스 블록의 변화량과 기결정된 문턱값 간의 비교를 통해서 필터 적용 여부를 결정할 수 있다. 예를 들어, 뎁스 블록의 변화량이 기결정된 문턱값보다 크거나 같은 경우, 뎁스 블록 내의 최대 픽셀값과 최소 픽셀값 간의 차이가 큰 것을 의미하므로 영역 기반의 적응적 루프 필터를 적용하는 것으로 결정할 수 있다. 반대로, 뎁스 변화량이 기결정된 문턱값보다 작은 경우에는 영역 기반의 적응적 루프 필터를 적용하지 아니하는 것으로 결정할 수 있다. 상기 비교 결과에 따라 필터를 적용하는 경우, 필터링된 뎁스 블록의 픽셀값은 소정의 가중치를 이웃 픽셀값에 적용하여 유도될 수 있다. 여기서, 소정의 가중치는 현재 필터링되는 픽셀과 이웃 픽셀 간의 위치 차이 및/또는 현재 필터링되는 픽셀값과 이웃 픽셀값 간의 차분값에 기초하여 결정될 수 있다. 또한, 이웃 픽셀값은 뎁스 블록 내에 포함된 픽셀값 중에서 현재 필터링되는 픽셀값을 제외한 어느 하나를 의미할 수 있다.

본 발명에 따른 트라일래터럴 루프 필터는 영역 기반의 적응적 루프 필터와 유사하나, 텍스쳐 데이터를 추가적으로 고려한다는 점에서 차이가 있다. 구체적으로, 트라일래터럴 루프 필터는 다음의 세가지 조건을 비교하여, 이를 만족하는 이웃 픽셀의 뎁스 데이터를 추출할 수 있다.

조건 1은 뎁스 블록 내의 현재 픽셀(p)와 이웃 픽셀(q) 간의 위치 차이를 기결정된 매개변수 과 비교하는 것이고, 조건 2는 현재 픽셀(p)의 뎁스 데이터와 이웃 픽셀(q)의 뎁스 데이터 간의 차분을 기결정된 매개변수 와 비교하는 것이며, 조건 3은 현재 픽셀(p)의 텍스쳐 데이터와 이웃 픽셀(q)의 텍스쳐 데이터 간의 차분을 기결정된 매개변수 과 비교하는 것이다.

상기 세가지 조건을 만족하는 이웃 픽셀들을 추출하고, 이들 뎁스 데이터의 중간값 또는 평균값으로 현재 픽셀(p)을 필터링할 수 있다.

복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(600)에서는 화면 간 예측을 수행하기 위해서 이전에 코딩된 텍스쳐 픽쳐 또는 뎁스 픽쳐를 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(600)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용할 수 있다. 나아가, 뎁스 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 뎁스 픽쳐와 다른 시점에 있는 뎁스 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 뎁스 픽쳐의 시점을 식별하는 시점 식별 정보를 이용할 수도 있다. 복호 픽쳐 버퍼부(600)는 보다 유연하게 화면 간 예측을 실현하기 위하여 적응 메모리 관리 방법(Memory Management Control Operation Method)과 이동 윈도우 방법(Sliding Window Method) 등을 이용하여 참조 픽쳐를 관리할 수 있다. 이는 참조 픽쳐와 비참조 픽쳐의 메모리를 하나의 메모리로 통일하여 관리하고 적은 메모리로 효율적으로 관리하기 위함이다. 뎁스 코딩에 있어서, 뎁스 픽쳐들은 복호 픽쳐 버퍼부 내에서 텍스쳐 픽쳐들과 구별하기 위하여 별도의 표시로 마킹될 수 있고, 상기 마킹 과정에서 각 뎁스 픽쳐를 식별해주기 위한 정보가 이용될 수 있다. 이러한 과정을 통해 관리되는 참조 픽쳐들은 인터 예측부(700)에서 뎁스 코딩을 위해 이용될 수 있다.

인터 예측부(700)는 복호 픽쳐 버퍼부(600)에 저장된 참조 픽쳐와 모션 정보를 이용하여 현재 블록의 모션 보상을 수행할 수 있다. 본 명세서에서 모션 정보라 함은 모션 벡터, 레퍼런스 인덱스 정보를 포함하는 광의의 개념으로 이해될 수 있다. 또한, 모션 보상은 L0 참조 픽쳐 리스트 내의 하나의 참조 픽쳐를 이용하여 수행될 수 있고, L0 참조 픽쳐 리스트 및 L1 참조 픽쳐 리스트로부터의 복수의 참조 픽쳐를 이용하여 수행될 수도 있다. 한편, 복수 개의 카메라에 의해 촬영된 다시점 영상의 경우, 카메라의 위치 차이에 따른 시점 간의 변이가 발생할 수 있다. 이러한 시점 간의 변이를 보상하기 위해 변이 벡터 (disparity vector)가 이용될 수 있다. 변이 벡터는 현재 시점에 속한 타겟 블록의 위치와 이웃 시점에 속한 참조 블록의 위치 간의 차이로 정의될 수 있다. 이하, 도 3을 참조하여 변이 벡터를 획득하는 방법에 대해서 살펴보기로 한다.

도 3은 본 발명이 적용되는 일실시예로서, 뎁스 데이터를 이용하여 텍스쳐 픽쳐 내의 타겟 블록의 변이 벡터를 유도하는 방법을 도시한 것이다.

도 3을 참조하면, 텍스쳐 픽쳐의 타겟 블록의 위치 정보로부터 뎁스 픽쳐의 대응 블록의 위치 정보를 획득할 수 있다(S300). 본 발명의 뎁스 픽쳐로서 a) 예측된 뎁스 픽쳐, b) 복원된 뎁스 픽쳐, c) 복원 및 필터링된 뎁스 픽쳐 중 어느 하나가 선택적으로 이용될 수 있다. 특히, 본 발명에 따른 예측된 뎁스 픽쳐를 획득하는 방법에 대해서는 도 4 내지 도 6을 참조하여 설명하기로 한다. 뎁스 픽쳐의 대응 블록의 위치는 뎁스 픽쳐와 텍스쳐 픽쳐 간의 공간 해상도를 고려하여 결정될 수 있다. 예를 들어, 뎁스 픽쳐와 텍스쳐 픽쳐가 동일한 공간 해상도로 코딩된 경우, 대응 블록의 위치는 텍스쳐 픽쳐의 타겟 블록과 동일 위치의 블록으로 결정될 수 있다. 한편, 텍스쳐 픽쳐와 뎁스 픽쳐가 상이한 공간 해상도로 코딩될 수도 있다. 카메라와 객체 간의 거리 정보를 나타내는 뎁스 정보의 특성상, 공간 해상도를 낮춰서 코딩하더라도 코딩 효율이 크게 떨어지지 아니할 수 있기 때문이다. 따라서, 뎁스 픽쳐의 공간 해상도가 텍스쳐 픽쳐보다 낮게 코딩된 경우, 디코더는 뎁스 픽쳐의 대응 블록의 위치 정보를 획득하기 전에 뎁스 픽쳐에 대한 업샘플링 과정을 수반할 수 있다. 또한, 업샘플링된 뎁스 픽쳐와 텍스쳐 픽쳐 간의 화면비율 (aspect ratio)이 정확히 일치하지 아니하는 경우, 업샘플링된 뎁스 픽쳐 내에서 대응 블록의 위치 정보를 획득함에 있어서 오프셋 정보를 추가적으로 고려할 수 있다. 여기서, 오프셋 정보는 상단 오프셋 정보, 좌측 오프셋 정보, 우측 오프셋 정보, 하단 오프셋 정보 중 적어도 하나를 포함할 수 있다. 상단 오프셋 정보는 업샘플링된 뎁스 픽쳐의 상단에 위치한 적어도 하나의 픽셀과 텍스쳐 픽쳐의 상단에 위치한 적어도 하나의 픽셀 간의 위치 차이를 나타낼 수 있다. 좌측, 우측, 하단 오프셋 정보 역시 동일한 방식으로 각각 정의될 수 있다.

뎁스 픽쳐 내의 대응 블록의 위치 정보에 해당하는 뎁스 데이터를 획득할 수 있다(S310). 대응 블록 내에 복수 개의 픽셀이 존재하는 경우, 대응 블록의 코너 픽셀 (corner pixel)에 대응하는 뎁스 데이터가 이용될 수 있고, 대응 블록의 중앙 픽셀 (center pixel)에 대응하는 뎁스 데이터가 이용될 수도 있다. 또는, 복수 개의 픽셀에 대응하는 복수 개의 뎁스 데이터 중에서 최대값, 최소값, 최빈값이 선택적으로 이용될 수 있고, 복수 개의 뎁스 데이터 간의 평균값 등이 이용될 수도 있다.

획득된 뎁스 데이터와 카메라 파라미터를 이용하여 타겟 블록의 변이 벡터를 유도할 수 있다(S320). 구체적인 유도 방법은 수학식 6 및 7을 토대로 살펴보기로 한다.

수학식 6을 참조하면, Z는 해당 픽셀의 카메라로부터의 거리를 의미하며, D는 Z를 양자화한 값으로서, 본 발명의 뎁스 데이터에 대응된다. Znear 및 Zfar 는 뎁스 픽쳐가 속한 시점에 대해서 정의된 Z의 최소값 및 최대값을 각각 의미한다. 또한, Znear 및 Zfar 는 시퀀스 파라미터 세트, 슬라이스 헤더 등을 통하여 비트스트림으로부터 추출될 수 있고, 디코더 내에 미리 정의된 정보일 수도 있다. 따라서, 해당 픽셀의 카메라로부터의 거리 Z를 256레벨로 양자화한 경우, 수학식 3과 같이 뎁스 데이터, Znear 및 Zfar 를 이용하여 Z를 복원할 수 있다. 그런 다음, 복원된 Z를 이용하여 수학식 7과 같이 타겟 블록에 대한 변이 벡터를 유도할 수 있다.

수학식 7에서,f는 카메라의 초점 거리를 의미하고, B는 카메라 간의 거리를 의미한다. f 및 B는 모든 카메라에 대해서 동일하다고 가정할 수 있고, 따라서 디코더에 미리 정의된 정보일 수 있다. 이하, 본 발명에 따른 뎁스 픽쳐의 뎁스 데이터를 예측하는 방법에 대해서 살펴보기로 한다.

뎁스 픽쳐의 뎁스 데이터는 뎁스 데이터로 이용 가능한 값의 범위 내에서 선택된 임의의 값을 이용하여 유도될 수 있다. 뎁스 데이터로 이용 가능한 값의 범위는 0∼N의 범위 (N은 자연수)를 가질 수 있고, 이는 디코더에서 기 설정된 것일 수 있다. 또는, 본 발명의 뎁스 데이터는 뎁스 데이터로 이용 가능한 값의 범위 내에서 최소값과 최소값 간의 평균값 또는 중간값으로 유도될 수 있다. 예를 들어, 뎁스 데이터로 이용 가능한 값의 범위가 0∼N의 범위 (N은 자연수)를 가질 경우, 뎁스 픽쳐의 뎁스 데이터는 N/2 값으로 유도될 수 있다. 또는, 본 발명의 뎁스 데이터는 인코더에서 전송된 뎁스 데이터를 이용할 수도 있다. 이 경우, 인코더에서 전송되는 뎁스 데이터는 뎁스 픽쳐 단위로 전송될 수 있고, 뎁스 픽쳐의 파티션 단위로 전송될 수도 있다. 여기서 파티션이라 함은 뎁스 픽쳐를 일정한 크기로 분할한 영역을 의미하는 것으로서, 뎁스 슬라이스, 뎁스 블록 등을 포함할 수 있다.

현재 텍스쳐 픽쳐는 참조 텍스쳐 픽쳐의 뎁스 픽쳐 (이하, 참조 뎁스 픽쳐라 한다.)를 현재 텍스쳐 픽쳐의 뎁스 픽쳐 (이하, 현재 뎁스 픽쳐라 한다.)로 이용할 수 있다. 예를 들어, 현재 텍스쳐 픽쳐의 참조 픽쳐 리스트에 포함된 복수 개의 참조 텍스쳐 픽쳐 중에서 어느 하나의 참조 텍스쳐 픽쳐를 선택할 수 있다. 참조 픽쳐 리스트로부터 참조 텍스쳐 픽쳐를 선택하는 방법에 대해서는 도 4를 참조하여 살펴 보기로 한다. 선택된 참조 텍스쳐 픽쳐의 뎁스 데이터를 현재 텍스쳐 픽쳐의 뎁스 데이터로 설정할 수 있다.

도 4는 본 발명이 적용되는 일실시예로서, 시점 식별 정보와 출력 순서 정보에 기초하여 참조 픽쳐 리스트로부터 현재 텍스쳐 픽쳐의 뎁스 데이터를 위한 참조 텍스쳐 픽쳐를 선택하는 방법을 도시한 것이다.

도 4를 참조하면, 현재 텍스쳐 픽쳐와 참조 픽쳐 리스트 내의 참조 텍스쳐 픽쳐 간의 시점 식별 정보를 비교할 수 있다(S400). 시점 식별 정보는 픽쳐가 속해있는 시점을 특정하는 정보를 의미할 수 있다. 비교 결과 양자의 시점 식별 정보가 동일한 경우, 현재 텍스쳐 픽쳐와 참조 텍스쳐 픽쳐는 동일 시점에 위치함을 의미할 수 있다. 이 경우, 현재 텍스쳐 픽쳐는 시간적으로 가장 가까운 참조 텍스쳐 픽쳐를 선택할 수 있다. 시간적으로 가장 가까운 참조 텍스쳐 픽쳐의 뎁스 데이터가 현재 텍스쳐 픽쳐의 뎁스 데이터와 가장 유사할 가능성이 크기 때문이다. 시간적으로 가장 가까운 참조 텍스쳐 픽쳐를 선택하기 위해서 출력 순서 정보가 이용될 수 있다. 출력 순서 정보라 함은 복원된 픽쳐의 시간적 순서 또는 출력 순서를 나타내는 인덱스를 의미할 수 있다. 예를 들어, 현재 텍스쳐 픽쳐의 출력 순서 정보와 참조 텍스쳐 픽쳐들의 출력 순서 정보 간의 차이값을 최소로 하는 참조 텍스쳐 픽쳐를 선택할 수 있다(S410). 만일 양자의 출력 순서 정보 간의 차이값을 최소로 하는 참조 텍스쳐 픽쳐가 복수 개인 경우, 복수 개의 참조 텍스쳐 픽쳐 중에서 최소 출력 순서 정보를 가진 참조 텍스쳐 픽쳐를 선택할 수 있다(S420). 다만, 이에 한정되지 아니하며, 복수 개의 참조 텍스쳐 픽쳐들 간의 디코딩 순서를 고려하여 선택할 수도 있다. 여기서, 픽쳐의 디코딩 순서를 나타내는 프레임 번호가 이용될 수 있다. 예를 들어, 참조 텍스쳐 픽쳐들 간의 프레임 번호를 비교하여 최대 프레임 번호를 가진 참조 텍스쳐 픽쳐를 선택할 수도 있다.

S400에서 양자의 시점 식별 정보를 비교한 결과, 현재 텍스쳐 픽쳐와 동일한 시점 식별 정보를 가진 참조 텍스쳐 픽쳐가 참조 픽쳐 리스트에 존재하지 아니할 수 있다. 예를 들어, 다시점 영상에서 앵커 픽쳐의 경우, 시점 간 예측만을 수행하며, 시간 방향의 화면 간 예측은 수행하지 아니하므로, 현재 텍스쳐 픽쳐가 앵커 픽쳐인 경우에는 참조 픽쳐 리스트에는 동일한 시점 식별 정보를 가진 참조 텍스쳐 픽쳐가 존재하지 아니할 수 있다. 이 경우에는 현재 텍스쳐 픽쳐와 동일한 출력 순서 정보를 가진 참조 텍스쳐 픽쳐를 선택하도록 설정할 수 있다(S430).

또한, 현재 텍스쳐 픽쳐와 다른 시점에 위치한 참조 텍스쳐 픽쳐가 선택되는 경우, 참조 뎁스 픽쳐를 와핑하여 현재 뎁스 픽쳐를 유도할 수도 있다. 와핑이라 함은 변이 벡터를 이용하여 참조 뎁스 픽쳐의 뎁스 데이터로부터 현재 뎁스 픽쳐의 뎁스 데이터를 유도하는 방법을 의미할 수 있다. 예를 들어, 참조 뎁스 픽쳐의 N번째 라인을 현재 뎁스 픽쳐의 N번째 라인으로 와핑하는 경우를 살펴 보기로 한다. 우선, 현재 뎁스 픽쳐의 N번째 라인에 위치한 뎁스 데이터의 초기값을 설정할 수 있다. 본 발명에 따른 초기값으로 “invalid를 의미하는 값” (예를 들어, 0)이 이용될 수 있다. 그런 다음, 참조 뎁스 픽쳐의 N번째 라인에 위치한 뎁스 데이터 (D)와 카메라 파라미터 (f, B)를 이용하여 각 뎁스 데이터에 대응하는 변이 벡터 (d)를 유도할 수 있다. 변이 벡터 유도 방법에 대해서는 앞서 수학식 6 및 7을 참조하여 살펴 보았는바, 자세한 설명은 생략하기로 한다. 상기 변이 벡터 (d)를 이용하여 참조 뎁스 픽쳐의 뎁스 데이터의 위치 (x, y)에 대응하는 현재 뎁스 픽쳐의 뎁스 데이터의 위치 (x+d, y)를 유도할 수 있다. 그리고, 참조 뎁스 픽쳐의 위치 (x, y)에 대응하는 뎁스 데이터를 상기 현재 뎁스 픽쳐의 위치 (x+d, y)에 할당할 수 있다. 참조 뎁스 픽쳐의 N번째 라인이 현재 뎁스 픽쳐의 N번째 라인으로 와핑이 완료된 후, 현재 뎁스 픽쳐 내에 뎁스 데이터가 할당되지 아니한 영역, 다시 말해 “invalid를 의미하는 값”이 할당된 영역을 탐색할 수 있다. 현재 뎁스 픽쳐의 N번째 라인 내에 뎁스 데이터가 할당되지 아니한 영역이 존재하는 경우, 해당 영역에 인접한 뎁스 데이터를 이용하여 해당 영역의 뎁스 데이터를 유도할 수 있다. 예를 들어, N번째 라인에서 P번째 픽셀부터 Q번째 픽셀까지의 연속된 픽셀에 대해서 “invalid를 의미하는 값”이 할당되어 있는 경우, 해당 영역에 인접한 좌측 픽셀 즉, (P-1)번째 픽셀의 뎁스 데이터 및 우측 픽셀 즉, (Q+1)번째 픽셀의 뎁스 데이터 중 어느 하나의 뎁스 데이터를 이용하여 해당 영역의 뎁스 데이터를 유도할 수 있다. 이 경우, 좌측 픽셀의 뎁스 데이터와 우측 픽셀의 뎁스 데이터 중 작은 값으로 해당 영역의 뎁스 데이터를 설정할 수 있다. 다만, 해당 영역이 현재 뎁스 픽쳐의 경계에 접해있는 경우, 좌측 픽셀 및 우측 픽셀 중 어느 하나는 존재하지 아니할 수 있다. 예를 들어, 해당 영역이 현재 뎁스 픽쳐의 우측 경계에 접해있는 경우, 해당 영역에 인접한 우측 픽셀은 존재하지 아니할 것이므로, 이 경우에는 해당 영역에 인접한 좌측 픽셀의 뎁스 데이터를 이용하는 것으로 설정할 수 있다. 반대로, 해당 영역이 현재 뎁스 픽쳐의 좌측 경계에 접해있는 경우에는 해당 영역에 인접한 우측 픽셀의 뎁스 데이터를 이용하는 것으로 설정할 수 있음은 물론이다.

도 5는 본 발명이 적용되는 일실시예로서, 모션 영역 맵을 이용하여 이웃 시점의 뎁스 픽쳐로부터 현재 시점의 뎁스 픽쳐를 획득하는 방법을 도시한 것이다.

먼저, 이웃 시점의 뎁스 픽쳐를 업데이트하고, 뎁스 픽쳐에 대응하는 모션 영역 맵을 생성할 수 있다(S500). 여기서, 이웃 시점이라 함은 현재 시점 이전에 디코딩이 완료된 시점이다. 예를 들어, 현재 시점의 넌-베이스 시점 (non-base view)인 경우, 이웃 시점은 베이스 시점 및 현재 시점 이전에 디코딩이 완료된 넌-베이스 시점 중 어느 하나일 수 있다. 베이스 시점 (base view)이라 함은 다른 시점을 참조하지 아니하고 독립적으로 디코딩되는 시점을 의미하며, 넌-베이스 시점은 베이스 시점이 아닌 시점을 의미할 수 있다. 한편, 이웃 시점의 뎁스 픽쳐 (이하, 시점 간 뎁스 픽쳐라 한다.)는 현재 시점의 뎁스 픽쳐 (이하, 현재 뎁스 픽쳐라 한다.)와 동일한 시간대에 위치한 픽쳐일 수 있다. 한편, 본 발명에 따른 업데이트 방법에 대해서는 도 7을 참조하여 상세히 살펴 보기로 한다. 모션 영역 맵은 뎁스 픽쳐에 대응하는 텍스쳐 픽쳐 내에서 모션 보상이 수행된 블록을 나타내는 픽쳐를 의미할 수 있다. 즉, 뎁스 픽쳐의 뎁스 블록에 대응하는 텍스쳐 픽쳐의 텍스쳐 블록이 인터 모드로 코딩된 블록인 경우, 뎁스 픽쳐의 뎁스 블록에 대응하는 모션 영역 맵의 해당 영역에 1값을 할당하고, 대응하는 텍스쳐 블록이 인트라 모드로 코딩된 경우에는 모션 영역 맵의 해당 영역에 0값을 할당할 수 있다. 이와 같은 방식으로 이웃 시점의 뎁스 픽쳐에 대응하는 모션 영역 맵을 생성할 수 있다.

업데이트된 시점 간 뎁스 픽쳐를 현재 뎁스 픽쳐로 와핑할 수 있다(S510). 시점 간 뎁스 픽쳐를 현재 뎁스 픽쳐로 와핑하는 방법은 앞서 살펴본 방식과 동일하다. 즉, 시점 간 뎁스 픽쳐의 뎁스 데이터로부터 변이 벡터를 유도하고, 유도된 변이 벡터를 이용하여 시점 간 뎁스 픽쳐의 뎁스 데이터의 위치에 대응하는 현재 뎁스 픽쳐의 뎁스 데이터의 위치를 유도하며, 시점 간 뎁스 픽쳐의 뎁스 데이터를 현재 뎁스 픽쳐의 뎁스 데이터의 위치에 할당할 수 있다.

모션 영역 맵을 이용하여 와핑된 현재 뎁스 픽쳐 내의 모션 영역을 검출할 수 있다(S520). 와핑된 현재 뎁스 픽쳐의 각 뎁스 데이터의 위치에 대응하는 시점 간 뎁스 픽쳐의 뎁스 데이터의 위치를 획득하고, 획득된 시점 간 뎁스 픽쳐의 뎁스 데이터의 위치에 대응하는 모션 영역 맵의 해당 영역이 1인 경우, 와핑된 현재 뎁스 픽쳐의 해당 뎁스 데이터를 모션 영역으로 설정할 수 있다. 이와 같은 방식으로 와핑된 현재 뎁스 픽쳐 내의 모션 영역을 검출할 수 있다.

모션 영역으로 설정된 영역의 뎁스 데이터를 비트스트림으로부터 추출된 뎁스 데이터로 변경할 수 있다(S530). 변이 벡터를 이용하여 시점 간 뎁스 픽쳐를 현재 뎁스 픽쳐로 와핑하는 것만으로는 현재 뎁스 픽쳐의 뎁스 데이터를 정확히 예측하는데 한계가 있을 수 있다. 따라서, 현재 뎁스 픽쳐의 모션 영역에 대해서 모션 보상을 반영하기 위하여 인코더에서 모션 보상이 반영된 뎁스 데이터를 직접 코딩하여 디코더로 전송해 줄 수 있다. 한편, 모션 영역 맵을 이용하지 아니하고, 대신에 “뎁스 데이터가 유효하지 아니함을 나타내는 값” (예를 들어, invalid depth value)을 이용할 수도 있으며, 이는 도 6을 참조하여 살펴 보기로 한다.

도 6은 본 발명이 적용되는 일실시예로서, 뎁스 데이터가 유효하지 아니함을 나타내는 값을 이용하여 이웃 시점의 뎁스 픽쳐로부터 현재 시점의 뎁스 픽쳐를 획득하는 방법을 도시한 것이다.

도 6을 참조하면, 시점 간 뎁스 픽쳐를 업데이트하는 과정에서 시점 간 뎁스 픽쳐의 뎁스 블록에 대응하는 텍스쳐 픽쳐의 텍스쳐 블록이 인터 모드로 코딩된 경우, 해당 시점 간 뎁스 픽쳐의 뎁스 블록의 뎁스 데이터의 값을 “뎁스 데이터가 유효하지 아니함을 나타내는 값”으로 변경할 수 있다. 그런 다음, 업데이트된 시점 간 뎁스 픽쳐를 현재 뎁스 픽쳐로 와핑할 수 있다. 이 때, 시점 간 뎁스 픽쳐에서 “뎁스 데이터가 유효하지 아니함을 나타내는 값”을 가진 픽셀은 뎁스 데이터를 가지고 있지 아니하므로 현재 뎁스 픽쳐로 와핑되지 아니할 것이다. 따라서, 시점 간 뎁스 픽쳐에서 “뎁스 데이터가 유효하지 아니함을 나타내는 값”을 가진 픽셀에 대응하는 현재 뎁스 픽쳐 내의 픽셀 역시 “뎁스 데이터가 유효하지 아니함을 나타내는 값”을 가질 수 있다. 와핑이 완료된 후, 현재 뎁스 픽쳐 내의 “뎁스 데이터가 유효하지 아니함을 나타내는 값”을 가진 픽셀을 검출하고, 검출된 픽셀을 모션 영역이라고 설정할 수 있다. 마찬가지로, 모션 영역으로 설정된 해당 픽셀에 대해서는 비트스트림으러부터 추출된 뎁스 데이터를 할당할 수 있다.

도 7은 본 발명이 적용되는 일실시예로서, 텍스쳐 픽쳐의 코딩에 이용된 뎁스 픽쳐를 업데이트하는 방법에 도시한 것이다.

현재 뎁스 블록에 대응하는 현재 텍스쳐 블록이 인터 모드로 코딩된 블록인지 확인할 수 있다(S700). 이는 현재 텍스쳐 블록의 블록 타입 정보에 기초하여 확인할 수 있다. 여기서, 블록 타입 정보라 함은 텍스쳐 블록이 인터 모드로 코딩된 블록인지 아니면 인트라 모드로 코딩된 블록인지를 나타내는 정보를 의미할 수 있다. 상기 블록 타입 정보에 따라 현재 텍스쳐 블록이 인터 모드로 코딩된 블록인 경우, 현재 텍스쳐 블록이 시간 방향의 화면 간 예측을 수행하는지 확인할 수 있다(S710). 시간 방향의 화면 간 예측이란 텍스쳐 블록이 동일 시점에 위치한 참조 픽쳐 및 시간 방향의 모션 벡터를 이용하여 화면 간 예측을 수행하는 것을 의미할 수 있다. 현재 텍스쳐 블록이 시간 방향의 화면 간 예측을 수행하는 경우, 현재 텍스쳐 블록의 모션 정보를 이용하여 현재 뎁스 블록에 대해 모션 보상을 수행할 수 있다(S720). 즉, 현재 텍스쳐 블록의 모션 정보를 이용하여 현재 뎁스 블록의 참조 뎁스 블록을 특정하고, 특정된 참조 뎁스 블록의 뎁스 데이터로 현재 뎁스 블록의 뎁스 데이터를 업데이트할 수 있다. 한편, 현재 텍스쳐 블록이 시간 방향의 화면 간 예측을 수행하지 않는 경우, 시점 방향의 화면 간 예측을 수행하는지 확인할 수 있다(S730). 시간 방향의 화면 간 예측이란 텍스쳐 블록이 다른 시점에 위치한 참조 픽쳐 및 시점 방향의 모션 벡터를 이용하여 화면 간 예측을 수행하는 것을 의미할 수 있다. 현재 텍스쳐 블록이 시점 방향의 화면 간 예측을 수행하는 경우, 현재 텍스쳐 블록의 시점 방향의 모션 벡터에서 수평 성분 (즉, X 성분)만을 추출하고, 상기 수평 성분에 의해 특정된 참조 뎁스 블록의 뎁스 데이터를 이용하여 현재 뎁스 블록의 뎁스 데이터를 업데이트할 수 있다(S740). 또는, 현재 텍스쳐 블록의 모션 정보를 이용하여 참조 시점에 위치한 현재 뎁스 블록의 참조 뎁스 블록을 특정하고, 특정된 참조 뎁스 블록의 뎁스 데이터로 현재 뎁스 블록의 뎁스 데이터를 업데이트할 수도 있다. 한편, 상기 확인 결과, 현재 텍스쳐 블록이 시점 방향의 화면 간 예측을 수행하지 아니할 수도 있다. 이는 현재 텍스쳐 블록이 대응하는 현재 뎁스 블록의 뎁스 데이터로부터 유도된 변이 벡터를 이용하여 화면 간 예측을 수행한 경우일 것이다. 이 경우에는 해당 변이 벡터로부터 뎁스 데이터를 유도하고, 이를 이용하여 현재 뎁스 블록의 뎁스 데이터를 업데이트할 수 있다. 다만, 현재 텍스쳐 블록의 변이 벡터는 현재 뎁스 블록의 뎁스 데이터로부터 유도된 것이므로, 변이 벡터로부터 유도된 뎁스 데이트는 현재 뎁스 블록의 뎁스 데이터와 동일할 것이다. 따라서, 현재 텍스쳐 블록이 변이 벡터를 이용하여 모션 보상을 수행한 경우에는 해당 뎁스 블록에 대한 뎁스 데이터의 업데이트를 스킵할 수도 있다(S750).

본 발명에 따른 일실시예로서, 현재 텍스쳐 픽쳐에 대응하는 현재 뎁스 픽쳐는 현재 뎁스 픽쳐와 동일 시점에 위치한 이웃 시간 대의 뎁스 픽쳐로부터 유도될 수 있다. 여기서, 현재 뎁스 픽쳐는 동일 시점에 위치한 이웃 시간 대의 뎁스 픽쳐를 업데이트함으로써 획득될 수 있다. 구체적인 업데이트 방법은 도 7을 참조하여 살펴 보았는바, 자세한 설명은 생략하기로 한다.

이하, 동일 시점에 위치한 이웃 시간 대의 뎁스 픽쳐를 이용하여 현재 뎁스 픽쳐를 유도하는 방법에 대한 실시예를 살펴 보기로 한다.

복수 개의 시점 각각에 대해서 하나의 기준 뎁스 픽쳐를 정의할 수 있다. 여기서, 기준 뎁스 픽쳐라 함은 동일 시점 내의 다른 뎁스 픽쳐에 의해 참조되는 뎁스 픽쳐를 의미할 수 있다. 또는 기준 뎁스 픽쳐는 동일 시점 내의 다른 뎁스 픽쳐를 참조하지 아니하고 독립적으로 코딩되는 뎁스 픽쳐를 의미할 수 있다. 예를 들어, 본 발명의 기준 뎁스 픽쳐는 비트스트림으로부터 추출된 뎁스 데이터를 이용하여 복원될 수 있다. 또는, 기준 뎁스 픽쳐에 대응하는 텍스쳐 픽쳐의 인트라 예측을 위한 코딩 정보를 이용하여 뎁스 데이터를 복원할 수도 있다.

이와 같이 각 시점 별로 하나의 기준 뎁스 픽쳐를 설정하고, 이를 업데이트하여 다음 코딩할 텍스쳐 픽쳐의 뎁스 픽쳐로 사용할 수 있다. 이는 디코딩 순서 상 인접한 텍스쳐 픽쳐 간에 출력 순서 차이가 크지 않기 때문에 뎁스 픽쳐가 서로 유사할 것이기 때문이다.

한편, 본 발명은 각 시점 별로 하나의 기준 뎁스 픽쳐를 정의하는 것으로 한정되지 아니하며, 도 8과 같이 두 개의 뎁스 픽쳐를 이용하여 현재 뎁스 픽쳐를 획득할 수도 있다.

도 8은 본 발명이 적용되는 일실시예로서, 두 개의 뎁스 픽쳐 간의 상호 업데이트를 통하여 현재 뎁스 픽쳐를 획득하는 방법을 도시한 것이다.

본 실시예에서는 하나의 시점에 두 개의 뎁스 픽쳐를 정의하고, 이를 각각 제 1 뎁스 픽쳐 및 제 2 뎁스 픽쳐로 명명하기로 한다. 먼저, 이전 텍스쳐 픽쳐에 대한 제 1 뎁스 픽쳐를 획득할 수 있다. 여기서, 이전 텍스쳐 픽쳐는 디코딩 순서 상으로 현재 텍스쳐 픽쳐 이전에 디코딩된 픽쳐를 의미할 수 있다. 이전 텍스쳐 픽쳐의 제 1 뎁스 픽쳐는 앞서 살펴본 기준 뎁스 픽쳐일 수 있다. 또는, 이전 텍스쳐 픽쳐의 제 1 뎁스 픽쳐는 이전 텍스쳐 픽쳐 이전에 디코딩된 텍스쳐 픽쳐의 뎁스 픽쳐를 업데이트하여 획득된 것일 수 있다. 획득된 이전 텍스쳐 픽쳐의 제 1 뎁스 픽쳐를 이용하여 이전 텍스쳐 픽쳐를 디코딩할 수 있다(①). 복원된 이전 텍스쳐 픽쳐를 이용하여 상기 제 1 뎁스 픽쳐를 업데이트할 수 있다(②). 여기서, 업데이트된 제 1 뎁스 픽쳐를 제 2 뎁스 픽쳐로 정의할 수 있다. 그런 다음, 제 2 뎁스 픽쳐를 현재 텍스쳐 픽쳐의 뎁스 픽쳐로 설정하고, 이를 이용하여 현재 텍스쳐 픽쳐를 디코딩할 수 있다(③). 마찬가지로, 복원된 현재 텍스쳐 픽쳐를 이용하여 상기 제 1 뎁스 픽쳐를 업데이트할 수 있다(④). 이와 같이 제 1 뎁스 픽쳐와 제 2 뎁스 픽쳐의 반복적인 업데이트 과정을 통해서 현 시점 내의 텍스쳐 픽쳐에 대한 뎁스 픽쳐를 획득할 수 있다.

현재 텍스쳐 픽쳐와 동일한 액세스 유닛에 속하는 픽쳐의 뎁스 픽쳐를 현재 텍스쳐 픽쳐의 뎁스 픽쳐로 이용할 수도 있다. 여기서, 동일한 액세스 유닛에 속하는 픽쳐의 뎁스 픽쳐는 현재 텍스쳐 픽쳐 이전에 디코딩된 픽쳐 중에서 후순위 디코딩 순서를 가진 픽쳐의 뎁스 픽쳐일 수 있다. 또한, 동일한 액세스 유닛에 속하는 픽쳐는 현재 텍스쳐 픽쳐와 동일 시점에 속하지 아니할 수 있다. 이 경우, 앞서 살펴본 바와 같이 동일한 액세스 유닛에 속하는 픽쳐의 뎁스 픽쳐를 와핑하여 현재 뎁스 픽쳐를 유도할 수도 있다.

앞서 살펴본 방법에 의해서 생성된 뎁스 픽쳐는 예측된 뎁스 픽쳐이며, 정확한 변이 벡터를 유도하기 위해서 복원된 뎁스 픽쳐를 이용하는 것이 바람직할 수도 있다. 예를 들어, 비트스트림으로부터 뎁스 픽쳐에 대한 뎁스 레지듀얼 데이터를 추출하고, 뎁스 레지듀얼 데이터에 대해 역양자화 및 역변환을 수행하여 뎁스 레지듀얼 데이터를 디코딩할 수 있다. 여기서, 뎁스 레지듀얼 데이터는 복원된 뎁스 데이터와 예측된 뎁스 데이터 간의 차분 데이터로 정의될 수 있다. 디코딩된 뎁스 레지듀얼 데이터를 예측된 뎁스 픽쳐에 부가함으로써 뎁스 픽쳐를 복원할 수 있다.

나아가, 본 발명에서는 복원뿐만 아니라 필터링된 뎁스 픽쳐가 이용될 수도 있다. 상기 복원된 뎁스 픽쳐에 대해서 인-루프 필터가 적용될 수 있으며, 이를 통해 영상의 화질을 높이고, 각 블록의 경계 부분을 조정할 수 있다. 여기서, 인-루프 필터는 도 2의 인-루프 필터링부(500)에서 살펴본 영역 기반의 적응적 루프 필터 또는 트라일래터럴 루프 필터가 이용될 수 있으며, 자세한 설명은 생략하기로 한다.

뎁스 픽쳐 내의 뎁스 블록의 뎁스 데이터를 획득하는 방법에 대해서 살펴 보기로 한다. 앞서 살펴본 방법에 따라 획득된 뎁스 픽쳐의 뎁스 데이터를 그대로 이용할 수 있다. 또는, 현재 뎁스 블록에 인접한 이웃 뎁스 블록을 이용하여 현재 뎁스 블록의 뎁스 데이터를 예측할 수도 있으며, 이는 도 9를 참조하여 살펴 보기로 한다. 다만, 본 발명은 이웃 뎁스 블록의 뎁스 데이터로부터 현재 뎁스 블록의 뎁스 데이터를 예측하는 것에 한정되지 아니하며, 이웃 뎁스 블록의 변이 벡터로부터 현재 뎁스 블록의 변이 벡터를 유도하는 방법에도 동일하게 적용될 수 있다. 도 9는 본 발명이 적용되는 일실시예로서, 현재 뎁스 블록 (C)에 인접한 이웃 뎁스 블록 (A, B, D, E)을 도시한 것이다. 도 9를 참조하면, 현재 뎁스 블록에 인접한 이웃 뎁스 블록은 현재 뎁스 블록의 좌측, 상단, 좌측상단, 우측상단에 인접한 뎁스 블록 중 적어도 하나를 포함할 수 있다. 현재 뎁스 블록의 뎁스 데이터는 이웃 뎁스 블록의 뎁스 데이터의 평균값 또는 중간값 (median)으로부터 예측될 수 있다. 또는, 이웃 뎁스 블록의 뎁스 데이터 중 어느 하나를 선택적으로 이용하여 현재 뎁스 블록의 뎁스 데이터를 예측할 수도 있다. 이하, 복수 개의 이웃 뎁스 블록 중 어느 하나를 선택하는 방법에 대해서 살펴 보기로 한다.

본 발명의 일실시예에 따르면, 뎁스 식별 정보를 이용하여 현재 뎁스 블록의 뎁스 데이터를 예측할 수 있다. 뎁스 지시 정보라 함은 뎁스 블록 후보자 중에서 현재 뎁스 블록의 뎁스 데이터 예측을 위해 이용되는 이웃 뎁스 블록을 특정하는 정보를 의미할 수 있다. 여기서, 뎁스 블록 후보자는 상단, 좌측, 좌측상단, 우측상단에 인접한 이웃 뎁스 블록을 포함할 수 있다. 따라서, 뎁스 지시 정보에 의해 특정된 이웃 뎁스 블록으로부터 뎁스 데이터를 추출하고, 이를 현재 뎁스 블록의 뎁스 데이터 예측값으로 설정할 수 있다.

본 발명의 일실시예에 따르면, 현재 뎁스 블록의 뎁스 지시 정보는 뎁스 참조 정보에 기초하여 제한적으로 추출될 수 있다. 뎁스 참조 정보는 현재 뎁스 블록의 뎁스 지시 정보가 현재 뎁스 블록 이전에 코딩된 뎁스 블록의 뎁스 지시 정보로부터 유도되는지 여부를 나타내는 정보를 의미할 수 있다. 예를 들어, 현재 뎁스 블록에 대한 뎁스 참조 정보가 현재 뎁스 블록 이전에 코딩된 뎁스 블록의 뎁스 지시 정보로부터 현재 뎁스 블록의 뎁스 지시 정보가 유도됨을 나타내고, 이전에 코딩된 뎁스 블록의 뎁스 지시 정보가 좌측 이웃 뎁스 블록을 특정하는 경우를 살펴보기로 한다. 이 경우, 뎁스 참조 정보에 따라 현재 뎁스 블록의 뎁스 지시 정보는 좌측 이웃 뎁스 블록이 특정될 수 있고, 현재 뎁스 블록은 현재 뎁스 블록의 좌측에 인접한 뎁스 블록의 뎁스 데이터를 이용하여 현재 뎁스 블록의 뎁스 데이터를 예측할 수 있다. 만일 뎁스 참조 정보가 이전에 코딩된 뎁스 블록으로부터 현재 뎁스 블록의 뎁스 지시 정보가 유도되지 아니함을 나타내는 경우에는 비트스트림으로부터 현재 뎁스 블록의 뎁스 지시 정보를 획득할 수 있다.

본 발명의 일시예로서, 뎁스 지시 플래그 정보를 이용하여 현재 뎁스 블록의 뎁스 데이터를 예측할 수도 있다. 여기서, 뎁스 지시 플래그 정보는 좌측 이웃 뎁스 블록과 상단 이웃 뎁스 블록 중 현재 뎁스 블록의 뎁스 데이터 예측에 이용되는 뎁스 블록을 특정하는 플래그 정보를 의미할 수 있다. 즉, 뎁스 지시 플래그 정보에 따라 특정된 좌측 또는 상단 이웃 뎁스 블록의 뎁스 데이터를 이용하여 현재 뎁스 블록의 뎁스 데이터를 예측할 수 있다. 한편, 뎁스 지시 플래그 정보는 좌측 이웃 뎁스 블록과 상단 이웃 뎁스 블록 간의 뎁스 데이터 차이값과 기결정된 상수값 간의 비교 결과에 기초하여 비트스트림으로부터 획득될 수 있다. 예를 들어, 상기 이웃 뎁스 블록 간의 뎁스 데이터 차이값이 기결정된 상수값보다 큰 경우, 현재 뎁스 블록이 객체와 배경의 경계에 위치하는 것으로 판단할 수 있다. 이 경우, 현재 뎁스 블록은 좌측 이웃 뎁스 블록 또는 상단 이웃 뎁스 블록 중 어느 하나와 유사한 뎁스 데이터를 가질 것이다. 따라서, 상기 이웃 뎁스 블록 간의 뎁스 데이터 차이값이 기결정된 상수값보다 큰 경우에 상기 뎁스 지시 플래그 정보를 추출할 수 있다. 추출된 뎁스 지시 플래그 정보에 의해 특정된 이웃 뎁스 블록의 뎁스 데이터를 이용하여 현재 뎁스 블록의 뎁스 데이터를 예측할 수 있다.

지금까지 현재 뎁스 픽쳐 또는 현재 뎁스 블록의 뎁스 데이터를 획득하는 다양한 실시예를 살펴 보았다. 그러나, 뎁스 데이터를 구하는 과정에서 이용되는 변이 벡터는 블록 단위의 벡터값이므로, 픽셀 단위의 뎁스 데이터를 정확하게 유도하는데 한계가 있고, 텍스쳐 픽쳐의 모션 정보에 기초하여 뎁스 데이터를 업데이트하는 경우에도 해당 모션 정보는 실제 모션 정보와 차이가 있기 때문에 업데이트된 뎁스 데이터 역시 근사치에 불과하다는 문제가 있다. 또한, 와핑을 통해 뎁스 픽쳐를 유도하는 방법 역시 와핑 과정에서 홀(hole)이 발생하게 되므로 일부 뎁스 데이터의 왜곡 발생이 불가피하다. 이에 현재 텍스쳐 픽쳐를 코딩하기에 앞서 뎁스 픽쳐의 뎁스 데이터를 보정함으로써 뎁스 데이터의 정확도를 향상시키는 방법을 제안하고자 한다.

도 10은 본 발명이 적용되는 일실시예로서, 글로버 시프트 벡터(global shift vector)를 이용하여 뎁스 픽쳐를 보정하는 방법을 도시한 것이다.

본 발명의 글로버 시프트 벡터는 현재 뎁스 픽쳐의 공간적 및/또는 시간적 변이를 보상해주는 벡터 정보를 의미할 수 있다. 예를 들어, 도 10(a)를 참조하면, 현재 뎁스 픽쳐는 공간적으로(①) 및/또는 시간적으로(②) 인접한 이웃 뎁스 픽쳐로부터 유도될 수 있다. 공간적으로 인접한 뎁스 픽쳐로부터 유도되는 경우에는 현재 뎁스 픽쳐에 대해 공간적인 변이를 보상해 줄 필요가 있고, 시간적으로 인접한 뎁스 픽쳐로부터 유도되는 경우에는 현재 뎁스 픽쳐에 대해 시간적인 모션 변화를 보상해 줄 필요가 있다. 따라서, 공간적 및/또는 시간적 변이 보상이 요구되는 현재 뎁스 픽쳐에 대해 전체적인 평균 변이를 반영하기 위해 글로버 시프트 벡터가 이용될 수 있다. 상기 글로버 시프트 벡터는 픽쳐 단위 또는 GOP (Group Of Pictures) 단위로 코딩될 수 있다. 또는, 글로버 시프트 벡터는 베이스 시점에서 획득된 모션 벡터들의 평균값 등을 사용하여 추정될 수도 있다. 글로버 시프트 벡터를 사용함으로써 현재 뎁스 픽쳐의 뎁스 데이터의 정확도를 향샹시킬 수 있다.

도 10(b)를 참조하면, 픽쳐 (A)는 현재 뎁스 픽쳐를 나타내고, 픽쳐 (B)는 시프트된 현재 뎁스 픽쳐를 나타낸다. 현재 뎁스 픽쳐를 x방향으로 sx만큼 옮기고, y방향으로 sy만큼 옮겨서 시프트된 현재 뎁스 픽쳐를 생성할 수 있고, 여기서 (sx, sy)는 글로버 시프트 벡터를 의미할 수 있다. 글로버 시프트 벡터에 의해서 생성된 픽쳐 (B)는 픽쳐 (A)에 포함되지 아니하는 영역 (C)을 포함할 수 있다. 된다. 영역 (C)의 뎁스 데이터는 픽쳐 (A)의 뎁스 데이터를 이용하여 유도될 수 있다. 예를 들어, 영역 (C)와 픽쳐 (A)의 경계에 위치한 픽쳐 (A) 내의 뎁스 데이터를 이용하여 영역 (C)의 뎁스 데이터를 유도할 수 있다. 또는, 영역 (C)의 뎁스 데이터는 홀 뎁스 데이터를 이용하여 유도될 수 있다. 여기서, 홀 뎁스 데이터는 상기 영역 (C)에 할당되는 뎁스 데이터로서, 인코더에서 코딩되어 디코더로 전송되는 정보일 수 있다. 만일 영역 (C)이 기존 객체의 연장이라고 한다면, 픽쳐 (A)의 경계에 위치한 뎁스 데이터를 이용하여 영역 (C)의 뎁스 데이터를 유도함이 바람직할 것이다. 그러나, 영역 (C)에 새로운 객체가 등장하는 경우에는 인코더에서 전송되는 홀 뎁스 데이터를 이용하여 유도함이 바람직할 것이다. 이를 위해 패딩 지시 정보를 정의할 수 있으며, 이하 도 11을 참조하여 살펴 보기로 한다.

도 11은 본 발명이 적용되는 일실시예로서, 글로버 시프트 벡터 및 패딩 지시 정보를 이용하여 현재 뎁스 픽쳐를 보정하는 방법을 도시한 것이다.

도 11을 참조하면, 글로버 시프트 벡터에 의해 변경된 현재 뎁스 블록의 위치 결정할 수 있다(S1100). 변경된 현재 뎁스 블록의 위치가 현재 뎁스 픽쳐 내에 포함되는지 확인할 수 있다(S1110). 현재 뎁스 픽쳐 내에 포함되는지 여부는 변경된 현재 뎁스 블록의 위치가 현재 뎁스 픽쳐의 크기 정보 (dimension information)에 기초하여 판단할 수 있다. 즉, 변경된 현재 뎁스 블록의 x좌표가 현재 뎁스 픽쳐의 너비 범위 내에 속하는지, 그리고 현재 뎁스 블록의 y 좌표가 현재 뎁스 픽쳐의 높이 범위 내에 속하는지에 기초하여 판단할 수 있다. 만일 변경된 현재 뎁스 블록의 위치가 현재 뎁스 픽쳐 내에 포함되지 아니하는 경우, 비트스트림으로부터 패딩 지시 정보를 추출할 수 있다(S1120). 패딩 지시 정보는 홀 영역의 뎁스 데이터를 현재 뎁스 픽쳐의 뎁스 데이터로부터 유도할지 여부를 나타내는 정보를 의미할 수 있다. 여기서, 홀 영역은 글로버 시프트 벡터에 의해 변경된 현재 뎁스 픽쳐에 포함되는 영역인 동시에 변경 전 현재 뎁스 픽쳐에 포함되지 아니하는 영역을 의미할 수 있다. 패딩 지시 정보가 홀 영역의 뎁스 데이터가 현재 뎁스 픽쳐의 뎁스 데이터로부터 유도되는지 여부를 확인할 수 있다(S1130). 추출된 패딩 지시 정보가 홀 영역의 뎁스 데이터가 현재 뎁스 픽쳐의 뎁스 데이터로부터 유도됨을 나타내는 경우, 현재 뎁스 픽쳐의 경계에 위치한 적어도 하나의 뎁스 데이터를 이용하여 홀 영역의 뎁스 데이터를 유도할 수 있다(S1140). 여기서, 현재 뎁스 픽쳐의 경계에 위치한 뎁스 데이터는 홀 영역의 위치를 고려하여 특정될 수 있다. 예를 들어, 홀 영역이 현재 뎁스 픽쳐의 상단에 위치하는 경우에는 현재 뎁스 픽쳐의 상단 경계에 위치한 적어도 하나의 뎁스 데이터가 이용될 수 있다. 또는, 홀 영역이 현재 뎁스 픽쳐의 우측상단 코너에 위치하는 경우에는 현재 뎁스 픽쳐 내 우측 상단 코너에 위치한 뎁스 데이터가 이용될 수 있고, 또는 상단, 우측상단 및 우측 경계에 위치한 뎁스 데이터 간의 평균값으로부터 유도될 수도 있다. 한편, 추출된 패딩 지시 정보가 홀 영역의 뎁스 데이터가 현재 뎁스 픽쳐의 뎁스 데이터로부터 유도되지 아니함을 나타내는 경우 되는 경우, 비트스트림으로부터 홀 뎁스 데이터를 추출할 수 있다(S1150). 홀 뎁스 데이터는 앞서 살펴본 바와 같이 인코더에서 코딩되어 전송되는 데이터를 의미하나, 이에 한정되지 아니하며, 디코더에 기결정된 뎁스 데이터를 이용할 수도 있다. 추출된 홀 뎁스 데이터를 이용하여 홀 영역의 뎁스 데이터를 유도할 수 있다(S1160). 만일 변경된 현재 뎁스 블록의 위치가 현재 뎁스 픽쳐 내에 포함되는 경우, 변경된 현재 뎁스 블록의 위치에 대응하는 뎁스 데이터가 보정된 뎁스 데이터가 될 것이므로 패딩 지시 정보를 추출할 필요가 없다.

본 발명의 일실시예로서, 글로버 변이 가중치와 글로버 변이 오프셋을 이용하여 현재 뎁스 블록의 뎁스 데이터를 보정할 수도 있다. 글로버 변이 가중치는 현재 뎁스 블록의 뎁스 데이터에 적용되는 스케일링 팩터를 의미할 수 있다. 또한, 글로버 변이 오프셋은 스케일링된 뎁스 데이터와 보정된 뎁스 데이터의 차분값으로 정의할 수 있다. 예를 들어, 글로버 변이 가중치 및 글로버 변이 오프셋에 기초하여 보정된 뎁스 데이터는 다음 수학식 8과 같이 선형 함수로 표현될 수 있다.

상기 수학식 8에서 는 보정된 뎁스 데이터를 의미하고, GDW는 글로버 변이 가중치를 의미하며, 는 현재 보정되는 뎁스 데이터를 의미하고, GDO는 글로버 변이 오프셋을 의미한다. 한편, 글로버 변이 가중치 및 글로버 변이 오프셋은 비트스트림으로부터 추출될 수 있고, 또는 디코더에 기결정된 값으로부터 유도될 수도 있다. 또한, 글로버 변이 가중치 및 글로버 변이 오프셋은 픽쳐 단위로 획득될 수 있고, 또는 정확한 뎁스 데이터를 획득하기 위해서 블록 단위로 획득될 수도 있다.

이하, 타겟 블록의 변이 벡터를 이용하여 타겟 블록의 모션 벡터를 유도하는 방법을 살펴보기로 한다. 본 명세서에서 모션 벡터라 함은 공간적 모션 벡터, 시간적 모션 벡터, 변이 벡터 중 어느 하나를 의미하는 것으로 유연하게 해석될 수 있다.

앞서 획득된 변이 벡터를 타겟 블록의 모션 벡터로 설정할 수 있다. 또는, 상기 변이 벡터가 타겟 블록의 예측된 모션 벡터으로 이용될 수도 있다. 이 경우, 모션 벡터 차분값이 코딩되어 비트스트림을 통해 전송될 수 있다. 모션 벡터 차분값은 복원된 모션 벡터와 예측된 모션 벡터 간의 차분 벡터를 의미할 수 있다. 디코더는 엔트로피 디코딩을 통하여 비트스트림으로부터 모션 벡터 차분값을 추출할 수 있다. 나아가, 변이 벡터와 추출된 모션 벡터 차분값을 이용하여 타겟 블록의 모션 벡터를 복원할 수 있다.

변이 벡터를 포함한 모션 벡터 후보자 리스트를 이용하여 타겟 블록의 모션 벡터를 유도할 수도 있다. 이하, 도 12 및 도 13을 참조하여, 모션 벡터 후보자 리스트를 생성하는 방법 및 이로부터 타겟 블록의 모션 벡터를 유도하는 방법에 대해서 살펴보기로 한다.

도 12는 본 발명이 적용되는 일실시예로서, 모션 벡터 리스트 생성부(710)의 개략적인 구성을 도시한 것이다.

본 발명의 모션 벡터 리스트 생성부 (710)는 디코더의 인터 예측부(700)에 포함될 수 있다. 모션 벡터 리스트 생성부(710)는 크게 리스트 초기화부(720)와 리스트 수정부(730)로 구성될 수 있다. 리스트 초기화부(720)는 모션 벡터 후보자들로 구성된 모션 벡터 리스트를 생성할 수 있다. 여기서, 모센 벡터 후보자는 타겟 블록의 예측된 모션 벡터로 이용 가능한 모션 벡터의 집합을 의미할 수 있다. 본 발명의 모션 벡터 후보자는 공간적 모션 벡터, 시간적 모션 벡터 및 변이 벡터 중 적어도 하나를 포함할 수 있다. 또한, 변이 벡터에 의해서 지시된 것으로서, 이웃 시점 내의 참조 블록이 사용한 모션 벡터도 모션 벡터 후보자로 이용될 수 있다. 모션 벡터 리스트 초기화부 (720)에 포함된 공간적 모션 벡터 결정부(740)는 타겟 블록에 공간적으로 인접한 이웃 블록의 모션 벡터로부터 공간적 모션 벡터를 결정할 수 있다. 공간적 모션 벡터를 결정하는 방법에 대해서는 도 7을 참조하여 구체적으로 살펴 보기로 한다. 리스트 초기화부(720)에 포함된 시간적 모션 벡터 결정부(750)는 타겟 블록에 시간적으로 인접한 이웃 블록의 모션 벡터를 시간적 모션 벡터로 결정할 수 있다. 예를 들어, 시간적으로 인접한 이웃 블록은 타겟 블록과 동일 시점에 속한 참조 픽쳐 내에서 타겟 블록과 동일 위치의 블록(collocated block)에 해당할 수 있다. 여기서, 참조 픽쳐는 상기 동일 위치의 블록을 포함하고 있는 픽쳐의 레퍼런스 인덱스 정보에 의해서 특정될 수 있다. 또한, 리스트 초기화부(720)에 포함된 변이 벡터 결정부(760)는 모션 벡터 리스트에 추가되는 변이 벡터를 결정할 수 있다. 모션 벡터 리스트에 변이 벡터를 추가하는 방법에 대해서는 도 8을 참조하여 살펴 보기로 한다.

리스트 초기화부(720)에서 생성된 모션 벡터 리스트는 타겟 블록의 모션 벡터를 유도하기 위한 최종적인 모션 벡터 리스트로 이용될 수도 있고, 모션 벡터 후보자 간의 중복성 제거 등을 위하여 리스트 수정부(730)를 거쳐 수정될 수도 있다. 예를 들어, 리스트 수정부(730)는 리스트 초기화부(720)에서 생성된 모션 벡터 리스트에서 공간적 모션 벡터들 간의 동일 여부를 확인할 수 있다. 확인 결과, 동일한 공간적 모션 벡터들이 존재하는 경우, 둘 중의 어느 하나를 모션 벡터 리스트로부터 제거할 수 있다. 나아가, 모션 벡터 리스트 내에서 모션 벡터 후보자 간의 중복성을 제거한 이후에 모션 벡터 리스트에 남아있는 모션 벡터 후보자의 개수가 2개 미만인 경우에는 제로 모션 벡터(zero motion vector)를 추가할 수 있다. 반면, 모션 벡터 후보자 간의 중복성을 제거한 이후에도 모션 벡터 리스트에 남아있는 모션 벡터 후보자의 개수가 2개를 초과하는 경우에는 2개의 모션 벡터 후보자를 제외한 나머지 모션 벡터 후보자를 모션 벡터 리스트에서 제거할 수 있다. 여기서, 모션 벡터 리스트에 남아있는 2개의 모션 벡터 후보자는 모션 벡터 리스트 내에서 상대적으로 작은 리스트 식별 인덱스를 가진 것일 수 있다. 리스트 식별 인덱스는 모션 벡터 리스트에 포함된 모션 벡터 후보자에 각각 할당된 것으로서, 모션 벡터 리스트 내의 모션 벡터 후보자를 식별하기 위한 번호를 의미할 수 있다.

도 13은 본 발명이 적용되는 일실시예로서, 공간적 모션 벡터를 결정하는 과정을 도시한 것이다.

공간적 모션 벡터는 타겟 블록에 공간적으로 인접한 이웃 블록의 모션 벡터로부터 결정될 수 있다. 공간적으로 인접한 이웃 블록은 타겟 블록의 좌측, 상단, 좌측하단, 좌측상단, 우측상단에 각각 위치한 블록 중 어느 하나를 의미할 수 있다. 공간적 모션 벡터를 결정함에 있어서, 타겟 블록과 이웃 블록 간의 참조 픽쳐 동일 여부를 판단할 수 있다(S1300). 예를 들어, 타겟 블록과 이웃 블록 간의 참조 픽쳐 동일 여부를 판단하기 위하여 레퍼런스 인덱스 정보가 동일한지를 비교할 수 있다. 또는, 타겟 블록의 참조 픽쳐에 할당된 POC(Picture Order Count) 정보와 이웃 블록의 참조 픽쳐에 할당된 POC 정보가 동일한지를 비교할 수도 있다. 만일, 타겟 블록과 이웃 블록이 이용하는 참조 픽쳐 리스트가 상이한 경우에도 참조 픽쳐에 할당된 POC 정보를 비교함으로써 참조 픽쳐의 동일 여부를 판단할 수 있다. POC 정보는 픽쳐의 출력 순서 또는 시간적 순서를 나타내는 정보이고, 출력 순서는 각 픽쳐의 고유의 값이기 때문이다. 또한, 참조 픽쳐 동일 여부를 판단하는 과정은 공간적으로 인접한 이웃 블록을 2개의 그룹으로 나누어 수행할 수 있다. 예를 들어, 타겟 블록의 좌측과 좌측하단 이웃 블록을 제 1그룹으로, 타겟 블록의 상단, 좌측상단, 우측상단 이웃 블록을 제 2그룹으로 각각 나눌 수 있다. 이 경우, 타겟 블록은 제 1그룹에 포함된 이웃 블록 중 적어도 하나와 참조 픽쳐 동일 여부를 판단할 수 있고, 제 2 그룹에 포함된 이웃 블록 중 적어도 하나와 참조 픽쳐 동일 여부를 판단할 수 있다. 또한, 참조 픽쳐 동일 여부에 대한 판단은 기결정된 순서대로 타겟 블록과 이웃 블록을 비교하여 수행될 수 있다. 예를 들어, 제 1그룹의 경우, 좌측하단 이웃 블록, 좌측 이웃 블록 순으로 참조 픽쳐 동일 여부를 비교할 수 있고, 제 2그룹의 경우, 우측상단 이웃 블록, 상단 이웃 블록, 좌측상단 이웃 블록 순으로 참조 픽쳐 동일 여부를 비교할 수 있다. S1300에 따라 타겟 블록과 이웃 블록의 참조 픽쳐가 동일하다고 판단되는 경우, 동일한 참조 픽쳐를 가진 이웃 블록의 모션 벡터는 모션 벡터 리스트에 추가될 수 있다(S1310). 반면, 타겟 블록과 이웃 블록의 참조 픽쳐가 동일하지 아니하다고 판단되는 경우, 이웃 블록의 모션 벡터에 소정의 스케일링 팩터 (scaling factor)를 적용할 수 있다(S1320). 스케일링 팩터는 타겟 블록을 포함한 현재 픽쳐와 타겟 블록의 참조 픽쳐 간의 시간적 거리를 고려하여 결정될 수 있다. 예를 들어, 현재 픽쳐에 할당된 POC 정보와 타겟 블록의 참조 픽쳐에 할당된 POC 정보 간의 차분값을 고려하여 결정될 수 있다. 또한, 현재 픽쳐와 이웃 블록의 참조 픽쳐 간의 시간적 거리를 더 고려할 수도 있다. 예를 들어, 현재 픽쳐에 할당된 POC 정보와 이웃 블록의 참조 픽쳐에 할당된 POC 정보 간의 차분값을 고려하여 결정될 수 있다. 스케일링된 이웃 블록의 모션 벡터는 모션 벡터 리스트에 추가될 수 있다(S1330).

도 12 및 도 13을 참조하여, 모션 벡터 리스트를 생성하는 방법에 대해서 살펴보았으며, 이하 인터 예측부(700)에서 모션 벡터 리스트로부터 타겟 블록의 모션 벡터를 유도하는 방법에 대해서 살펴보기로 한다.

타겟 블록에 대한 모션 벡터 식별 정보를 비트스트림으로부터 추출할 수 있다. 모션 벡터 식별 정보는 타겟 블록의 예측된 모션 벡터로 이용되는 모션 벡터 리스트 내의 모션 벡터 후보자를 특정하는 정보일 수 있다. 즉, 추출된 모션 벡터 식별 정보에 대응하는 모션 벡터 후보자를 모션 벡터 리스트로부터 추출하고, 이를 타겟 블록의 예측된 모션 벡터로 설정할 수 있다. 또한, 타겟 블록에 대해 코딩된 모션 벡터 차분값이 비트스트림을 통해 전송될 수 있다. 모션 벡터 차분값은 디코딩된 모션 벡터와 예측된 모션 벡터 간의 차분 벡터를 의미할 수 있다. 모션 벡터 리스트로부터 획득된 예측된 모션 벡터와 비트스트림으로부터 추출된 모션 벡터 차분값을 이용하여 타겟 블록의 모션 벡터를 디코딩할 수 있다. 디코딩된 모션 벡터 및 참조 픽쳐 리스트를 이용하여 타겟 블록의 픽셀값을 예측할 수 있다. 여기서, 참조 픽쳐 리스트는 시간적 예측을 위한 참조 픽쳐뿐만 아니라 시점 간 예측을 위한 참조 픽쳐를 포함할 수 있다.

이상에서 설명한 바와 같이, 본 발명이 적용되는 디코딩/인코딩 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 디코딩하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.

또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.

본 발명은 비디오 신호를 코딩하는데 이용될 수 있다.

Claims (14)

1. 타겟 블록의 변이 벡터를 획득하는 단계;여기서, 상기 변이 벡터는 현재 시점에 속한 상기 타겟 블록의 위치와 이웃 시점에 속한 참조 블록의 위치 간의 차이를 의미함;
   상기 타겟 블록에 대한 모션 벡터 리스트를 결정하는 단계;여기서, 상기 모션 벡터 리스트는 상기 타겟 블록의 예측된 모션 벡터를 위한 모션 벡터 후보자로 구성되고, 상기 모션 벡터 후보자는 공간적 모션 벡터, 시간적 모션 벡터 및 상기 변이 벡터 중 적어도 하나를 포함함;
   비트스트림으로부터 상기 타겟 블록에 대한 모션 벡터 식별 정보를 추출하는 단계;여기서, 상기 모션 벡터 식별 정보는 상기 타겟 블록의 예측된 모션 벡터로 이용되는 모션 벡터 리스트 내의 모션 벡터 후보자를 특정하는 정보임;
   상기 모션 벡터 식별 정보에 대응하는 모션 벡터 후보자를 상기 타겟 블록의 예측된 모션 벡터로 설정하는 단계; 및
   상기 예측된 모션 벡터에 기초하여 모션 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
2. 제 1항에 있어서, 상기 변이 벡터를 획득하는 단계는,
   상기 타겟 블록을 포함한 현재 텍스쳐 픽쳐에 대응하는 현재 뎁스 픽쳐를 획득하는 단계;
   상기 타겟 블록의 위치 정보로부터 상기 현재 뎁스 픽쳐 내의 대응 블록의 위치 정보를 획득하는 단계;
   상기 대응 블록의 위치 정보에 해당하는 뎁스 데이터를 획득하는 단계; 및
   상기 획득된 뎁스 데이터와 카메라 파라미터를 이용하여 상기 타겟 블록의 변이 벡터를 유도하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
3. 제 2항에 있어서, 현재 뎁스 픽쳐를 획득하는 단계는,
   상기 현재 텍스쳐 픽쳐와 참조 픽쳐 리스트에 포함된 참조 픽쳐 간의 시점 식별 정보를 비교하는 단계;
   상기 비교 결과에 따라 상기 현재 텍스쳐 픽쳐와 상기 참조 픽쳐 간의 시점 식별 정보가 동일한 경우, 상기 현재 텍스쳐 픽쳐의 출력 순서 정보와 상기 참조 픽쳐의 출력 순서 정보 간의 차이값을 획득하는 단계; 및
   상기 차이값을 최소로 하는 참조 픽쳐를 상기 현재 텍스쳐 픽쳐의 현재 뎁스 픽쳐로 선택하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
4. 제 3항에 있어서, 상기 차이값을 최소로 하는 참조 픽쳐가 복수 개인 경우, 복수 개의 참조 픽쳐 중에서 최소 출력 순서 정보를 가진 참조 픽쳐가 상기 현재 뎁스 픽쳐로 선택되는 것을 특징으로 하는 비디오 신호 처리 방법.
5. 제 2항에 있어서,
   상기 현재 뎁스 픽쳐 내의 뎁스 블록의 변화량에 기초하여 현재 픽셀값에 대해 영역 기반의 적응적 루프 필터를 적용할지 여부를 결정하는 단계;여기서, 상기 뎁스 블록의 변화량은 뎁스 블록 내에서 최대 픽셀값과 최소 픽셀값 간의 차분을 의미함;
   상기 영역 기반의 적응적 루프 필터가 적용되는 경우, 이웃 픽셀값에 가중치를 적용하여 필터링된 현재 픽셀값을 획득하는 단계;여기서, 상기 이웃 픽셀값은 현재 픽셀값을 제외한 뎁스 블록 내에 포함된 픽셀값 중 어느 하나를 의미함;
   를 더 포함하되,
   상기 뎁스 데이터는 상기 영역 기반의 적응적 루프 필터가 적용된 뎁스 픽쳐로부터 획득되는 것을 특징으로 하는 비디오 신호 처리 방법.
6. 제 1항에 있어서,
   상기 타겟 블록에 대한 모션 벡터 리스트를 결정하는 단계는,
   상기 타겟 블록과 이웃 블록 간의 참조 픽쳐 동일 여부를 확인하는 단계;
   상기 타겟 블록과 상기 이웃 블록 간의 참조 픽쳐가 동일한 경우, 동일한 참조 픽쳐를 가진 이웃 블록의 모션 벡터를 상기 모션 벡터 리스트에 추가하는 단계;
   상기 타겟 블록과 상기 이웃 블록 간의 참조 픽쳐가 동일하지 아니한 경우, 상기 이웃 블록의 모션 벡터에 스케일링 팩터를 적용하는 단계;여기서, 상기 스케일링 팩터는 상기 타겟 블록을 포함한 현재 픽쳐와 상기 타겟 블록의 참조 픽쳐 간의 시간적 거리를 고려하여 결정됨; 및
   상기 스케일링된 이웃 블록의 모션 벡터를 상기 모션 벡터 리스트에 추가하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
7. 제 1항에 있어서,
   상기 시간적 모션 벡터는 상기 타겟 블록과 동일 시점에 속한 참조 픽쳐 내에서 상기 타겟 블록과 동일 위치의 블록이 가진 모션 벡터를 의미하고, 상기 동일 시점에 속한 참조 픽쳐는 상기 동일 위치의 블록을 포함한 픽쳐의 레퍼런스 인덱스 정보에 의해서 특정되는 것을 특징으로 하는 비디오 신호 처리 방법.
8. 타겟 블록의 변이 벡터를 획득하는 인터 예측부;여기서, 상기 변이 벡터는 현재 시점에 속한 상기 타겟 블록의 위치와 이웃 시점에 속한 참조 블록의 위치 간의 차이를 의미함;
   상기 타겟 블록에 대한 모션 벡터 리스트를 결정하는 모션 벡터 리스트 생성부;여기서, 상기 모션 벡터 리스트는 상기 타겟 블록의 예측된 모션 벡터를 위한 모션 벡터 후보자로 구성되고, 상기 모션 벡터 후보자는 공간적 모션 벡터, 시간적 모션 벡터 및 상기 변이 벡터 중 적어도 하나를 포함함;
   비트스트림으로부터 상기 타겟 블록에 대한 모션 벡터 식별 정보를 추출하는 파싱부;여기서, 상기 모션 벡터 식별 정보는 상기 타겟 블록의 예측된 모션 벡터로 이용되는 모션 벡터 리스트 내의 모션 벡터 후보자를 특정하는 정보임;
   상기 모션 벡터 식별 정보에 대응하는 모션 벡터 후보자를 상기 타겟 블록의 예측된 모션 벡터로 설정하는 상기 인터 예측부; 및
   상기 예측된 모션 벡터에 기초하여 모션 보상을 수행하는 상기 인터 예측부를 포함하는 것을 특징으로 하는 비디오 신호 처리 장치.
9. 제 8항에 있어서, 상기 인터 예측부는 상기 타겟 블록을 포함한 현재 텍스쳐 픽쳐에 대응하는 현재 뎁스 픽쳐를 획득하고, 상기 타겟 블록의 위치 정보로부터 상기 현재 뎁스 픽쳐 내의 대응 블록의 위치 정보를 획득하며, 상기 대응 블록의 위치 정보에 해당하는 뎁스 데이터를 획득하고, 상기 획득된 뎁스 데이터와 카메라 파라미터를 이용하여 상기 타겟 블록의 변이 벡터를 유도하는 것을 특징으로 하는 비디오 신호 처리 장치.
10. 제 9항에 있어서, 상기 인터 예측부는 상기 현재 텍스쳐 픽쳐와 참조 픽쳐 리스트에 포함된 참조 픽쳐 간의 시점 식별 정보를 비교하고, 상기 비교 결과에 따라 상기 현재 텍스쳐 픽쳐와 상기 참조 픽쳐 간의 시점 식별 정보가 동일한 경우, 상기 현재 텍스쳐 픽쳐의 출력 순서 정보와 상기 참조 픽쳐의 출력 순서 정보 간의 차이값을 획득하며, 상기 차이값을 최소로 하는 참조 픽쳐를 상기 현재 텍스쳐 픽쳐의 현재 뎁스 픽쳐로 선택하는 것을 특징으로 하는 비디오 신호 처리 장치.
11. 제 10항에 있어서, 상기 차이값을 최소로 하는 참조 픽쳐가 복수 개인 경우, 복수 개의 참조 픽쳐 중에서 최소 출력 순서 정보를 가진 참조 픽쳐가 상기 현재 뎁스 픽쳐로 선택되는 것을 특징으로 하는 비디오 신호 처리 장치.
12. 제 9항에 있어서,
    상기 현재 뎁스 픽쳐 내의 뎁스 블록의 변화량에 기초하여 현재 픽셀값에 대해 영역 기반의 적응적 루프 필터를 적용할지 여부를 결정하는 인-루프 필터링부;여기서, 상기 뎁스 블록의 변화량은 뎁스 블록 내에서 최대 픽셀값과 최소 픽셀값 간의 차분을 의미함;
    상기 영역 기반의 적응적 루프 필터가 적용되는 경우, 이웃 픽셀값에 가중치를 적용하여 필터링된 현재 픽셀값을 획득하는 상기 인-루프 필터링부;여기서, 상기 이웃 픽셀값은 현재 픽셀값을 제외한 뎁스 블록 내에 포함된 픽셀값 중 어느 하나를 의미함;
    를 더 포함하되,
    상기 뎁스 데이터는 상기 영역 기반의 적응적 루프 필터가 적용된 뎁스 픽쳐로부터 획득되는 것을 특징으로 하는 비디오 신호 처리 장치.
13. 제 8항에 있어서, 상기 모션 벡터 리스트 생성부는,
    상기 타겟 블록과 이웃 블록 간의 참조 픽쳐 동일 여부를 확인하고, 상기 타겟 블록과 상기 이웃 블록 간의 참조 픽쳐가 동일한 경우, 동일한 참조 픽쳐를 가진 이웃 블록의 모션 벡터를 상기 모션 벡터 리스트에 추가하는 공간적 모션 벡터 결정부; 및
    상기 타겟 블록과 상기 이웃 블록 간의 참조 픽쳐가 동일하지 아니한 경우, 상기 이웃 블록의 모션 벡터에 스케일링 팩터를 적용하고, 상기 스케일링된 이웃 블록의 모션 벡터를 상기 모션 벡터 리스트에 추가하는 상기 공간적 모션 벡터 결정부를 포함하되,
    상기 스케일링 팩터는 상기 타겟 블록을 포함한 현재 픽쳐와 상기 타겟 블록의 참조 픽쳐 간의 시간적 거리를 고려하여 결정되는 것을 특징으로 하는 비디오 신호 처리 장치.
14. 제 8항에 있어서,
    상기 시간적 모션 벡터는 상기 타겟 블록과 동일 시점에 속한 참조 픽쳐 내에서 상기 타겟 블록과 동일 위치의 블록이 가진 모션 벡터를 의미하고, 상기 동일 시점에 속한 참조 픽쳐는 상기 동일 위치의 블록을 포함한 픽쳐의 레퍼런스 인덱스 정보에 의해서 특정되는 것을 특징으로 하는 비디오 신호 처리 장치.

Images