KR20090111833A

KR20090111833A - 비디오 신호 디코딩 방법 및 장치

Info

Publication number: KR20090111833A
Application number: KR1020097016426A
Authority: KR
Inventors: 구한서; 전병문; 박승욱; 전용준
Original assignee: 엘지전자 주식회사
Priority date: 2007-01-17
Filing date: 2008-01-17
Publication date: 2009-10-27
Also published as: EP2105021A1; EP2105021A4; JP2010517360A; TWI442774B; JP5475464B2; WO2008088175A1; US20100142617A1; TW200845757A; CN101617537A; US8320456B2; WO2008088176A1; TW200843510A

Abstract

본 발명은 비디오 신호 처리 방법으로서, 참조 시점에 존재하며, 부분적으로 디코딩된 인터 참조 유닛이 인트라 모션 정보를 이용하여 현재 시점에 존재하는 인트라 참조 블록을 결정하는 단계; 및상기 인트라 참조 블록을 이용하여 현재 시점에 존재하는 현재 블록을 디코딩하는 단계를 포함한다. 본 발명에 의하면, 비디오 신호를 부호화하는데 있어서, 현재 픽쳐의 복원을 위하여 실질적으로 참조되지 않는 픽쳐들을 생략할 수 있을 뿐만 아니라, 본 발명의 다른 측면에 따르면 중복성이 높은 레지듀얼 정보를 생략할 수 있으므로 압축율이 높아지는 효과가 있다.

Description

비디오 신호 디코딩 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING A VEDIO SIGNAL}

본 발명은 비디오 신호의 처리에 관한 것으로, 보다 상세하게는 비디오 신호를 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.

압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성을 지니고 있는 점에 있다.

Technical Problem

이와 같은 공간적 중복성 및 시간적 중복성을 충분히 제거하지 아니하는 경우, 비디오 신호를 부호화하는 데 있어 압축율이 낮아지는 문제점이 있을 뿐만 아니라, 공간적 중복성 및 시간적 중복성을 과도하게 제거하는 경우, 비디오 신호를 디코딩하기 위하여 필요한 정보를 충분히 생성하지 못하기 때문에 복원율이 나빠지는 문제점이 존재한다.

특히, 다시점 비디오 신호에 있어서, 시점간 픽처들은 대부분의 경우 카메라의 위치에 따른 차이만 존재하기 때문에, 관련성과 중복성이 매우 높으므로, 이러한 시점간 중복성을 충분히 제거하지 아니하는 경우, 압축율 또는 복원율이 매우 낮아지는 문제점이 있다.

Technical Solution

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 관련성이 있는 시점간 픽쳐들을 구분하여, 관련성 있는 시점간 픽쳐의 모션 정보만을 디코딩하여 시점간 픽처들의 중복성이 제거된 비디오 신호를 디코딩할 수 있는 비디오 신호 처리 방법 및 장치를 제공한다.

본 발명의 다른 목적은, 시점간 픽쳐들의 관련성을 근거로 하여 관련성 있는 픽쳐의 모션 정보를 이용하여 비디오 신호를 디코딩하는 비디오 신호 처리 방법 및 장치를 제공한다.

Advantageous Effects

본 발명에 일 측면에 따르면, 비디오 신호를 복호화하는데 있어서, 관련성이 없는 픽쳐들의 복호화를 생략할 수 있기 때문에, 비디오 신호의 복원이 신속해지는 효과가 있다.

본 발명의 다른 측면에 따르면, 비디오신호를 부호화하는데 있어서 중복성이 높은 모션 정보를 생략할 수 있으므로, 압축율이 높아지는 효과가 있다.

본 발명의 또 다른 측면에 따르면, 현재 블록의 모션 정보가 전송되지 않더라도, 다른 시점에 존재하는 대응 블록의 모션 정보를 이용하여 현재 블록의 모션 정보를 유도할 수 있어 압축률이 향상되는 효과가 있다.

도 1 은 본 발명의 비디오 신호 디코딩 장치의 구성을 개략적으로 나타내는 구성도이다.

도 2 는 본 발명의 일실시예에 따른 NAL 헤더 확장 영역에 추가되는 다시점 영상에 대한 속성 정보를 나타내는 것이다.

도 3은 본 발명의 일실시예에 따른 SPS 확장 영역에 추가되는 다시점 영상에 대한 속성 정보를 나타내는 것이다.

도 4 는 본 발명의 일실시예에 따른 단일 루프 모드에 의한 비디오 신호 디코딩 장치의 구성을 나타내는 것이다.

도 5 및 도 6 은 본 발명의 일실시예에 따른 단일 루프 모드에 의한 비디오 신호 디코딩 방법을 나타내는 것이다.

도 7 내지 도 9 는 본 발명의 일실시예에 따른 모션 스킵 모드를 위한 신택스의 예를 나타내는 것이다.

도 10 은 본 발명의 일실시예 따른 모션정보 획득부 및 인터 모션 정보 획득부의 구성을 나타내는 것이다.

도 11 내지 도 13 은 다른 실시예에 따른 모션 스킵 모드를 위한 신택스의 예를 나타내는 것이다.

Best Mode for Carrying Out the Invention

상기와 같은 목적을 달성하기 위한 본 발명의 비디오 신호 처리 방법은, 참 조 시점에 존재하며, 부분적으로 디코딩된 인터 참조 유닛의 인트라 모션 정보를 이용하여 현재 시점에 존재하는 인트라 참조 블록을 결정하는 단계; 및 상기 인트라 참조 블록을 이용하여 현재 시점에 존재하는 현재 블록을 디코딩하는 단계를 포함한다.

또한, 상기와 같은 목적을 달성하기 위하여 본 발명의 또다른 비디오 신호 처리 방법은, 현재 시점에 존재하는 현재 유닛의 인터 모션 정보를 이용하여, 참조 시점에 존재하며 부분적으로 디코딩된 참조 유닛의 인트라 모션 정보를 획득하는 단계; 및 상기 인트라 모션 정보를 이용하여 현재 시점의 현재 유닛을 디코딩하는 단계를 포함한다.

이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위하여 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적 인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미고서 본 발명을 파악하여야 함을 밝혀두고자 한다.

비디오 신호를 압축 부호화하는 기술은 공간적 중복성, 시간적 중복성, 스케일러블한 중복성, 및 시점간 중복성을 고려하며, 압축 부호화 과정에서 시점간 존재하는 상호 중복성을 고려하여 압축 코딩을 할 수 있다. 시점간 중복성을 고려하는 압축 기술은 본 발명의 실시예일 뿐이며, 본 발명의 기술적 사상은 시간적 중복성, 공간적 중복성 등에도 적용될 수 있다.

먼저, 본 발명에서 사용되는 유닛이라 함은 비디오 신호에 적용함에 있어서 블록, 서브 블록, 매크로블록, 슬라이스, 픽쳐, 프레임, 픽쳐 그룹, 시퀀스 등의 의미를 모두 포함할 수 있음을 밝혀둔다. 예를 들어, 상기 유닛은 블록, 서브 블록, 매크로블록 등을 나타내는 하위 유닛과 슬라이스, 픽쳐, 프레임, 픽쳐, 그룹,시퀀스 등을 나타내는 상위 유닛으로 이용될 수 있다. 따라서, 상기 유닛의 의미는 각각의 적용례에 따라 그에 상응하는 의미로 해석되어야 할 것이다. 또한, 비디오 신호뿐만 아니라, 다른 신호 등에 적용할 때에는 그 신호에 적합한 다른 의미로 해석될 수 있다.

특히, 본 발명에서의 모션 정보는 시간 방향의(temporal) 모션 정보 뿐만 아니라, 시점간 방향의(interview) 모션 정보를 포함하는 개념으로서 이해되어야 한다. 나아가, 모션 벡터(motion vector)는 시간 방향의 움직임 차이(motion offset) 뿐만 아니라, 시점간 방향의 변이 차이(disparity offset)까지 포함하는 개념으로 이해되어야 한다.

또한, 제1 도메인(domain)은 시간 방향(temporal direction), 제1 도메인상의 픽처는 동일 시점(view)을 갖는 픽처들의 집합을 지칭하는 것으로 한정되어서는 아니되고, 제2 도메인은 시점 방향(interview direction)(또는 공간 방향(spatial direction)), 제2 도메인상의 픽처는 동일 시간(temporal instance)을 갖는 픽처들의 집합을 지칭하는 것으로 한정 해석되어서는 안된다. 또한, 상기 제 1 도메인과 제 2 도메인은 시간 방향 및 시점 방향 중 각각 하나의 방향을 지칭하는 것으로 해석될 수 있다.

도 1 은 본 발명이 적용되는 비디오 신호 디코딩 장치의 구성을 개략적으로 나타내는 블록도이며, 크게 파싱부(100), 엔트로피 디코딩부(200), 역양자화/역변환부(300), 인트라 예측부(400), 디블록킹 필터부(500), 복호 픽쳐 버퍼부(600), 및 인터예측부(700)를 포함한다,

파싱부(100)는 수신된 비디오 영상을 복호하기 위하여 NAL(Network Abstraction Layer) 단위로 파싱을 수행한다. 일반적으로 슬라이스 헤더와 슬라이스 데이터가 디코딩 되기 전, 하나 이상의 시퀀스 파라미터 세트와 픽쳐 파라미터 세트가 디코더로 전송된다. 이 때, NAL 헤더 영역, NAL 헤더의 확장 영역 또는 시퀀스 파라미터 세트의 확장 영역에는 비디오 영상의 여러가지 속성 정보가 포함될 수 있다.

MVC(Multiview Video Coding)은 AVC 기술에 대한 추가적인 기술로 MVC 비트 스트림인 경우에 한하여, 이와 관련된 여려가지 속성 정보들을 추가할 수 있다. 예를 들어, 상기 NAL 헤더 영역 또는 NAL 헤더의 확장 영역에서 MVC 비트스트림인지 여부를 식별할 수 있는 플래그 정보를 추가할 수 있다. 상기 플래그 정보에 따라 입력된 비트스트림이 다시점 영상 코딩된 비트스트림인 경우에 한하여, 다시점 영상에 대한 속성 정보들을 추가할 수 있다. 상기 속성 정보들은 우선 순위(priority) 정보, 픽쳐(picture) 속성 정보, 단일 뷰(single view) 정보 등일 수 있다. NAL 단위에 포함되는 상기 속성 정보에 대하여는 이하 도 2 및 도 3 에서 상세히 설명하도록 한다.

도 2 는 본 발명의 일실시예 따른, NAL 헤더의 확장 영역 내에 우선 순위 정보를 포함하는 NAL 단위의 구성을 나타내는 것이다. NAL 단위는 기본적으로 NAL 헤더와 RBSP 의 두 부분으로 구성된다. NAL 헤더에는 그 NAL 단위의 참조픽쳐가 되는 슬라이스가 포함되어 있는지 여부를 나타내는 플래그 정보(nal_ref_idc)와 NAL 단위의 종류를 나타내는 식별자(nal_unit_type) 정보가 포함되어 있다. 또한, 영상의 우선 순위를 나타내는 정보인 우선 순위 정보(priority_id)를 더 포함할 수 있다.

NAL 단위에서는 NAL header가 14 또는 20의 식별번호를 갖는 경우, 해당 픽쳐가 SVC(Sacaleable Video Coding) 또는 MVC(Multiviow Video Coding) 비디오 신호인지를 판단한다. 상기 해당 픽쳐가 MVC 로 이루어진 경우, 상기 NAL 단위는 우선 순위 정보(priority_id)를 포함한다. 상기 우선 순위 정보에 의하여 다시점 영상의 시점 픽쳐들의 디코딩 순서가 결정되며, 각각의 시점 픽쳐들은 자신보다 적은 수의 우선 정보를 갖는 시점간 픽쳐들을 참조하여 디코딩을 수행하게 된다. 상기 우선 정보는 다시점 영상에 있어, 적은 값일 수록 우선 순위에 해당함을 나타낸다.

RBSP 에는 압축된 원본의 데이터를 저장하며, RBSP 의 길이를 8비트의 배수로 표현하기 위하여 RBSP 의 마지막에는 RBSP trailing bit(RBSP 채워넣기 비트)를 첨가한다.

본 발명에 있어서 현재 시점(target view)이란, 다시점(multi-view) 영상에 있어서 디코딩하여 출력하고자 하는 시점을 지칭한다. 상기 현재 시점은 시간 도메인상으로 복수의 픽쳐들을 포함하고 있으며, 상기 현재 시점 자체는 하나 또는 그 이상일 수 있다. 상기 현재 시점을 구성하는 각각의 픽쳐들은 다른 시점 또는 다른 시간상 픽쳐들과 종속성을 가질 수 있다. 또한, 현재 시점은 상기 다른 픽쳐들과의 종속성 여부에 관계없이 모든(fully) 정보가 디코딩되어야 한다.

또한, 본 발명에 있어서 부분적 디코딩(partially decoding)은, 상위 유닛에서의 부분적 디코딩과 하위 유닛의 부분적 디코딩을 포함하며, 상기 부분적 디코딩의 상세한 설명은 하기 해당 부분에서 언급하기로 한다. 특히, 상위 유닛의 부분적 디코딩의 일 예는, 본 발명의 단일 뷰 디코딩 모드(single view decoding mode)일 수 있다.

도 3 은 본 발명의 일실시예에 따른, SPS 확장 영역 내에 단일 뷰 디코딩 정보(non_anchor_single_loop_decoding_flag)를 포함하는 NAL 단위의 구성을 나타내는 것이다. 여기서, 단일 뷰 디코딩 모드란 현재 시점에 속한 현재 픽쳐가 참조하는 픽쳐에서 레지듀얼 등의 정보는 디코딩하지 아니하고, 모션 정보나 블록 타입 만을 부분적으로 디코딩하는 방식을 말한다. 상기 단일 뷰 디코딩 정보는 해당 시 퀀스가 단일 루프 방식을 수행하는지를 나타내는 것으로, 단일 뷰 디코딩 정보가 0 인 경우는 일반적인 다중 뷰 모드로, 현재 시점에 속한 현재 픽쳐의 복호화에 참조되는 참조 픽쳐를 포함한 참조 시점(view)의 모든 픽쳐들의 모든 정보를 디코딩한다. 반면, 단일 뷰 디코딩 정보가 '1'의 값을 갖는 경우는, 현재 픽쳐가 참조하지 않는 시점(view)의 픽쳐들은 디코딩하지 아니하며, 현재 픽쳐가 참조하는 시점에 포함된 참조 픽쳐의 모션 정보(레퍼런스 인덱스, 모션 벡터 등)와 매크로블록 타입만을 부분적으로 디코딩한다.

예를 들어, NAL 단위의 NAL header 가 15의 식별번호를 갖는 경우, 상기 NAL 단위는 MVC를 지칭하는 프로파일 식별자(profile ID)를 가지고 하부 MVC 확장 프로파일을 호출한다. 상기 하부 MVC 확장 프로파일은 SPS 확장 영역 내에 상기 단일 뷰 디코딩 정보(non_anchor_single_loop_decoding_flag)를 포함한다.

도 1 을 참조하면, 파싱된 비트스트림은 엔트로피 디코딩부(20)를 통하여 엔트로피 디코딩되고, 각 매크로블록의 계수, 모션 벡터 등이 추출된다. 역양자화/역변환부(30)에서는 수신된 양자화된 값에 일정한 상수를 곱하여 변환된 계수값을 획득하고, 상기 계수값을 역변환하여 화소값을 복원하게 된다. 인트라 예측부(40)는 상기 복원된 화소값을 이용하여 현재 픽쳐 내의 디코딩된 샘플로부터 화면내 예측을 수행한다. 디블록킹 필터부(50)에서는 각각의 코딩된 매크로블록에 블록 왜곡 현상을 감소시키기 위하여 필터를 사용한다. 상기 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프레임의 화질을 향상시키며, 이러한 필터링 과정의 선택은 경계 세기(boundary strength)와 경계 주위의 이미지 샘플의 변화(gradient)에 의하 여 좌우된다. 상기 디블록킹 필터부(50)에서 출력된 픽쳐는 출력 및/또는 참조 픽쳐로 사용되기 위하여 복호 픽쳐 버퍼부(60)에 입력되어 저장된다.

복호 픽쳐 버퍼부(Decoded Picture Buffer Unit;60)는 상기 인트라 예측부(40)에서 화면내 예측을 수행하기 위하여 이전에 코딩된 픽쳐를 저장하거나, 기 저장된 픽쳐를 출력한다. 다시점 영상 비디오 코딩에 있어서 상기 저장 또는 출력되는 픽쳐는 현재 픽쳐와 다른 시점의 픽쳐들도 존재한다. 따라서, 이러한 픽쳐들을 모두 참조 픽쳐로 이용하기 위하여는 각 픽쳐의 frame_num, POC(Picture Order Count)등을 이용하게 된다. 또한, 상기 frame_num, POC 이외에 각각의 픽쳐의 시점을 식별할 수 있는 시점 정보 등을 이용할 수 있다.

본 발명에 따른 단일 뷰 디코딩 모드(Single view decoding mode)란, 화면간 예측의 수행시, 현재 시점에 포함되는 현재 픽쳐의 디코딩을 위하여 현재 시점과 다른 시점에 포함되는 픽쳐들을 전부 디코딩하지 아니하고, 현재 픽쳐가 참조하는 참조 픽쳐의 모션 정보와 블록 타입만을 디코딩 한 후, 그 정보를 이용하여 현재 픽쳐를 복원하는 방식을 지칭한다. 시점간 픽쳐들의 경우, 동일한 대상을 카메라의 위치만 달리하여 촬영된 픽쳐들로서 서로 유사성이 크고, 현재 픽쳐의 모션 정보도 현재 픽쳐가 참조하는 다른 시점의 모션 정보와 유사성이 크다.

특히, 현재 픽쳐는 화면간 예측을 위하여 가장 유사한 다른 시점의 픽쳐들을 참조하므로, 현재 픽쳐의 복호화를 위하여 실질적으로 필요한 정보는 참조 픽쳐에 대부분 존재한다. 그러나, 일반적으로 다시점 비디오 영상(Multi-view video coding)의 복원시 현재 픽쳐의 참조 픽쳐가 아닌 픽쳐도 모두 디코딩하는 방식 (Multi view decoding mode)을 채택하고 있으며, 모션 정보 이외의 참조 픽쳐에 대한 다른 정보도 필요로 하므로, 영상의 수가 많아지거나 사용자가 특정 뷰(view)만을 시청하기를 원하는 경우, 비효율적인 측면이 있다. 따라서, 다시점 비디오 신호의 경우, 특히 본 발명에 따른 단일 뷰 디코딩 모드를 이용하는 것이 유리할 수 있다.

인터 예측부(70)은 상기 복호 픽쳐 버퍼부(60)에서 출력되는 기 저장된 픽쳐를 참조 픽쳐로 이용하여 화면간 예측을 수행한다. 상기 인터 예측부(70)는 다중 뷰 모드에서는 상기 엔트로피 디코딩부(20)로부터 전송되는 정보들을 이용하여 현재 블록의 모션을 디코딩한다. 비디오 신호로부터 현재 블록에 이웃하는 블록들의 모션 벡터들을 추출하고, 상기 현재 블록의 모션 벡터 예측값을 획득한다. 상기 획득된 모션 벡터 예측값과 비디오 신호로부터 추축되는 차분 벡터를 이용하여 현재 블록의 모션을 보상한다.

그러나, 본 발명의 단일 뷰 디코딩 모드에서는 시점간 예측 시 현재 블록의 모션정보를 다른 시점에 위치하는 참조 블록의 모션 정보를 이용하여 추출한다. 상기 추출되는 모션 정보는 하나 이상의 참조 블록을 이용하여 수행될 수 있다. 다시점 비디오 코딩에 있어서, 현재 픽쳐가 다른 시점에 있는 픽쳐들을 참조하는 경우에는, 시퀀스 레벨에서 획득한 시점 종속성(view dependency)를 이용하여 모션 정보를 획득하고 상기 모션 정보를 이용하여 현재 블록을 디코딩할 수 있다. 상기 모션 정보를 획득하는 과정에 대하여는 도 10 이하에서 상세히 설명하기로 한다.

상기 과정을 통하여 인터 예측된 픽쳐 및 인트라 예측된 픽쳐들은 예측 모드 에 따라 선택되어 현재 픽쳐를 복원하게 된다. 특히, 단일 뷰 디코딩 모드로 수행하는 경우, 현재 픽쳐가 현재 시점에 속하는 픽쳐의 시점간 예측을 위한 참조 픽쳐로 이용되는 경우, 모션 정보와 블록 타입과 같은 부분적인 정보만 디코딩한다. 그리고 타켓 시점에 속하는 픽쳐를 디코딩 할 시, 참조 픽쳐의 모션 정보와 블록 타입을 이용하여 현재 블록의 모션 정보와 블록 타입을 획득하고, 획득된 모션 정보를 이용하여 현재 블록을 디코딩한다.

이하, 도면을 참조하면서, 본 발명에 따른 단일 뷰 디코딩 모드에 관하여 구체적으로 설명하도록 한다.

도 4 는 본 발명의 일실시예에 따른 단일 뷰 디코딩 모드(single view decoding mode)를 따르는 비디오 신호 디코딩 장치의 구성 중 인터 예측부(70)의 개략적인 블록도이고, 도 5 및 도 6 은 본 발명의 일실시예에 따른 단일 뷰 디코딩 모드에 의한 비디오 신호의 디코딩 방법을 나타내는 도면이다.

먼저, 도 4 를 참조하면, 다시점 비디오 영상의 화면간 예측을 수행하는 본 발명의 비디오 수신 장치의 구성은 크게 단일 뷰 디코딩 판별부(410), 제 1 참조픽쳐 판별부(420), 제 2 참조픽쳐 판별부(430), 모션 스킵 판별부(440), 인터 모션 정보 획득부(450), 모션 정보 획득부(460), 현재 블록 복원부(470)를 포함한다. 상기 모션 스킵 판별부(440), 인터 모션 정보 획득부(450), 및 모션 정보 획득부(460)는 이하 모션 스킵 모드와 관련된 부분에서 상세히 설명하기로 한다.

단일 뷰 디코딩 판별부(410)는 단일 뷰 디코딩 정보(non_anchor_single_loop_decoding_flag) 등을 추출하여 현재 시퀀스가 단일 뷰 디 코딩 모드인지 아닌지를 판별한다. 도 3에서 설명한 바와 같이, NAL 단위의 SPS 확장 영역에서 단일 뷰 디코딩 정보를 추출한다. 단일 뷰 디코딩 정보는 타켓 시점에 속하는 현재 블록이 시점간 예측을 위한 참조 블록의 모션 정보만을 이용하여 디코딩되는 단일 뷰 디코딩 모드가 사용되었는지 여부를 나타내는 정보로, 단일 뷰 디코딩 정보(non_anchor_single_loop_decoding_flag)가 '0'인 경우에는, 현재 블록의 복원을 위하여 다중 뷰 모드에 의해 상기 참조 블록의 모든 정보를 디코딩함을 의미한다.

단일 뷰 디코딩 모드는 타켓 시점에 속하는 현재 픽쳐의 복원을 위하여 다시점 픽쳐들 중 일부만을 디코딩하게 된다. 하지만, 앵커 픽쳐의 경우, 시점간 예측만 존재하기 때문에 현재 픽쳐가 앵커 픽쳐이면 시간적 예측을 위한 모션 정보가 존재하지 않는다. 따라서, 현재 픽쳐가 앵커 픽쳐이면 상기 현재 픽쳐의 모든 정보를 디코딩 해야 한다. 따라서, 단일 뷰 디코딩 판별부(410)에서 판별하는 단계 이전에, NAL 유닛의 헤더 확장 영역의 앵커픽쳐 플래그정보(anchor_pic_flag)를 추출하는 과정을 더 포함할 수 있다(미도시). 상기 앵커픽쳐 플래그 정보(anchor_pic_flag)는 현재 픽쳐가 앵커픽쳐인지 여부를 나타내는 정보이다. 현재 픽쳐가 앵커픽쳐인 경우에는, 단일 뷰 디코딩 모드가 사용되기 않기 때문에, 상기 단일 뷰 디코딩 정보를 추출할 필요가 없다.

단일 뷰 디코딩 정보가 '0'인 경우에는, 현재 픽쳐의 참조되는 픽쳐만을 부분적으로 디코딩할 필요가 없으므로, 디코딩할 참조 픽쳐를 판별하는 단계가 불필요하게 되어, 제 1 참조 픽쳐 판별부(420) 및 제 2 참조 픽쳐 판별부(430)를 거치 지 아니하고, 모션 스킵 판별부(440)로 입력되게 된다. 반면, 단일 뷰 디코딩 정보가 '1' 인 경우는 상기 제 1 참조 픽쳐 판별부(420) 및 제 2 참조 픽쳐 판별부(430)에서 현재 픽쳐의 복원을 위하여 디코딩될 참조 픽쳐들의 판별이 필요하다. 상기 판별의 과정에 대하여 이하 도 5 및 도 6에서 상세히 살펴보기로 한다.

도 5 를 참조하면, 상기 제 1 참조 픽쳐 판별부(420)에 입력된 비디오 신호는 도 2 의 우선 순위 정보를 참조하여 현재 픽쳐의 복원을 위해 디코딩할 픽쳐들을 포함하는 시점(view)을 판단하여 필요없는 시점에 포함된 픽쳐와 관련된 비트스트림을 제거(discarding)한다. 도 5 의 x축은 시간 도메인을 나타내며, y축을 시점(view) 도메인이고, 픽쳐 내의 숫자는 우선 순위 정보를 나타낸다.

상기에서 언급한 바와 같이, 우선 순위 정보는 적은 숫자일수록 높은 우선 순위를 가진다. 예를 들어, 현재 픽쳐가 S2 시점에 존재하는 경우, 우선 순위 정보는 5 이며, 상기 숫자보다 큰 우선 순위 정보인 6을 갖는 S1 시점의 픽쳐들은 현재 픽쳐의 디코딩을 위하여 필요하지 않게 된다. 따라서, 상기 제 1 참조 픽쳐 판별부(420)에서 현재 시점의 우선 순위 정보보다 큰 숫자의 우선 순위 정보를 갖는 시점의 픽쳐들은 모두 디코딩 되지 않는다.

그 후, 도 6 을 참조하면, 제 2 참조 픽쳐 판별부(430)는 현재 시점에 있어서, 논앵커 픽쳐의 시점 종속성(view dependency)를 판단한다. 논앵커 픽쳐에 있어서의 시점 종속성(view dependency)이란, 현재의 픽쳐가 다른 시점에 속한 픽쳐의 시점간 예측에 참조되는지 여부를 나타내는 것이다. 시점 종속성은 시퀀스 파라미터 세트 확장 정보(SPS(Sequence Parameter Set) extension)에 따라 결정될 수 있 는 데, 시퀀스 파라미터 세트 확장 정보를 이용해서 시점 종속성을 판단하는 과정은, 블록 단위의 디코딩 수행 과정 이전에 수행될 수 있다.

도 6에서 화살표는 시점의 종속관계를 나타내며, 상기 제 1 참조 픽쳐 판별부(420)에서 1차적으로 제거되고 남은 픽쳐들에 대하여 상기 제 2 참조 픽쳐 판별부(430)에서 시점 종속성이 없는 픽쳐들을 제거한다. 따라서, 도 6에서는 현재 뷰인 S2 레벨의 픽쳐들에 대하여 T0 시간에서 S0 레벨의 픽쳐는 시점 종속관계를 가지므로 디코딩이 수행되고, T1 시간에 있어서는 S0 레벨의 픽쳐는 시점 종속관계가 없으므로 디코딩이 수행되지 않는다.

한편, 논앵커 픽쳐의 시점 종속성(view dependency)은 시점간 참조 픽쳐의 개수정보(num_non_anchor_refs_1X) 및 상기 참조 픽쳐의 시점 판별 정보(non_anchor_ref_1X)에 따라 결정될 수 있다. 논앵커 픽쳐인 현재 픽쳐와 시점 종속성이 없는 픽쳐의 경우, 현재 픽쳐의 디코딩을 위하여 시점 종속성이 없는 픽쳐의 모션 정보를 필요로 하지 아니하므로 디코딩 하지 아니한다. 따라서, 상기 제 2 참조 픽쳐 판별부(430)에서는 현재 픽쳐와 시점 종속성이 존재하는 참조 픽쳐들을 판별하고, 추후 설명할 모션 스킵 모드에서 판별된 참조 픽쳐들의 정보를 이용하여 현재 픽쳐를 복원할 수 있다.

본 발명에 따른 모션 스킵 모드(motion skip mode)란, 픽쳐간 예측에 필요한 모션 정보(예를 들어, 블록 타입, 모션 벡터, 참조 픽쳐 판별 정보, 예측 방향 식별 정보 등)가 전송되지 아니하는 경우, 자체적으로 다른 시점에 존재하는 블록의 모션 정보를 이용하여 현재 블록의 모션 정보를 생성하는 방식을 일컫는다. 특히, 다시점 영상(multi-view video) 중 시점간 유닛들은 카메라의 위치만 달리하여 얻어진 것으로 서로 유사성이 크며, 모션 정보에 있어서도 현재 유닛과 다른 유닛, 예를 들어, 다른 시점에 존재하는 참조 블록간에 큰 유사성을 갖는다.

도 4 및 도 7을 참조하면, 본 발명의 모션 스킵 판별부(440)는 현재 유닛의 모션 정보를 다른 시점의 유닛의 모션 정보를 이용하여 생성할지 여부를 판별한다. 이때, 도 7에 나타낸 바와 같이, 모션 스킵 플래그(motion_skip_enable_flag)를 이용할 수 있다. 만일 모션 스킵 플래그가 '0' 인 경우는 모션 스킵 모드를 수행하지 아니하고 전송된 비트스트림으로부터 현재 블록의 모션 정보를 획득한다. 반면, 모션 스킵 플래그가 '1' 인 경우에는 모션 스킵 모드를 수행하여 현재 블록의 모션 정보를 다른 시점에 존재하는 블록의 모션 정보로부터 유도하게 된다. 또한, 도 8 및 도 9 은 본 발명의 다른 실시예에 따른 모션 스킵 플래그정보를 전송하는 경우의 신택스의 일 예를 나타낸다. 도 8 을 참조하면, 앵커 픽쳐는 시점간 예측으로만 디코딩을 수행하기 때문에 모션 스킵 모드가 사용되지 않는다. 그러므로, 현재 슬라이스가 속한 픽쳐가 앵커 픽쳐인 경우 모션 스킵 플래그정보를 추출할 필요가 없다. 따라서, 모든 슬라이스에 대하여 모션 스킵 플래그정보를 추출할 필요가 없이, 논앵커 픽쳐인 조건(if(!anchor_pic_flag))일 때에만 모션 스킵 플래그 정보를 획득할 수 있다.

도 9 를 참조하면, 모션 스킵 모드는 논앵커 픽쳐에서만 적용되고, 단일 뷰 디코딩 모드 또한 논앵커 픽쳐에서 적용되기 때문에, 단일 뷰 디코딩 정보단일 뷰 디코딩 정보slngle_loop_decoding_flag)가 '1'으로 단일 뷰 디코딩 모드를 이용하 는 경우는 해당 논앵커 픽쳐에서 모션 스킵 모드가 적용될 것임을 유추할 수 있다.

따라서, 논앵커 픽쳐 및 단일 뷰 리코딩 모드인 조건(if(!anchor_pic_flag ＆＆ !non_anchor_single_loop_decoding_flag))일 때에만 모션 스킵 플래그 정보를 획득하여 코딩의 복잡도(complexity)를 감소시킬 수 있다.

도 10 은 본 발명의 일실시예에 따른 모션정보 획득부 및 글로벌 모션벡터 획득부의 구성을 나타내는 것이다. 도 10 을 참조하면, 모션정보 획득부(460)는 모션정보 추출부(461), 모션정보 스킵부(462), 인터 참조블록 탐색부(464), 모션 정보 발생부(465), 인트라 모션 정보 추출부(466), 및 인트라 참조블록 획득부(467)를 포함한다. 현재 블록이 모션 스킵 모드가 아닌 경우는 모션 정보 추출부(461)에서 현재 블록에 전송된 모션 정보를 추출한다. 그러나, 현재 유닛이 모션 스킵 모드인 경우는 모션 정보 스킵부(463)에서 현재 유닛에서 모션 정보를 비트스트림으로부터 추출하는 것을 생략한다. 그 후, 인터 참조 블록 탐색부(464)에서는 인터 참조 유닛 내에서의 참조 블록을 탐색한다.

인터 참조블록 탐색부(464)는 인터 참조 블록을 탐색하기 위해, 먼저, 참조 블록이 존재하는 참조 시점을 결정한다. 상기 참조 시점(reference view layer)이란, 현재 블록이 속하는 시점과 다른 시점으로, 현재 블록의 모션정보로 사용하기에 적합한 모션 정보를 갖는 픽쳐의 시점이다. 현재 블록의 이웃 시점의 시점 식별자(view_id)는, 슬라이스 레이어 또는 매크로블록 레이어에 포함되는 특정 변수를 통하여 명시적으로 전송될 수 있다. 또는 명시적으로 전송되지 아니하고, 앞서 설명된 단일 뷰 판별시 현재 픽쳐의 시점 종속성(view dependency)를 근거로 하여, 현재 블록의 이웃 시점의 식별자를 추정할 수도 있다. 또한, 상기 참조 시점은 포함하는 모든 픽쳐단위의 유닛이 디코딩되지 아니하며, 현재 블록을 포함하는 픽쳐와의 시점 종속성 여부에 따라 부분적으로 디코딩 될 수 있다.

본 발명에 있어서, 부분적인 디코딩(partially decoding)은 시점 또는 픽쳐단위에서 사용될 때에는 지칭하는 시점 또는 픽쳐에 포함되는 각각의 하위 유닛 모두가 디코딩 되지 아니하였음을 나타내며, 블록단위에서 사용될 때에는 레지듀얼 정보 등은 디코딩되지 아니하고, 모션 정보 및 블록타입만이 디코딩됨을 나타낸다.

상기 참조 시점을 결정하기 위하여, 순차적으로 현재 픽쳐와 시점 종속성이 있는 픽쳐들의 해당 블록이 중 인트라(intra)모드로 이루어지지 아니한 픽쳐를 검색한다. 상기 시점 종속성이 있는 픽쳐들은 두 개 이상의 참조 픽쳐 리스트 중 중 하나의 리스트에 존재할 수 있으며, 예를 들어, 첫번재 리스트에 속한 참조 픽쳐 중 현재 픽쳐로부터 가장 가까운 픽쳐의 해당 블록을 검색한다. 상기 해당 블록이 인트라(intra) 모드로 이루어진 경우는, 두번째 리스트에 속한 참조 픽쳐 중 현재 픽쳐로부터 가장 가까운 픽쳐의 해당 블록을 검색한다. 상기 해당 블록도 인트라(intra) 모드로 이루어진 경우에는, 다시 첫번째 리스트에 속한 참조 픽쳐 중 상기 가장 가까운 픽쳐 다음으로 가까운 픽쳐의 해당 블록을 검색하게 되며, 상기 해당 블록이 인터(inter) 모드로 이루어진 경우에 상기 해당 블록을 갖는 픽쳐를 참조 픽쳐로 결정한다. 이러한 참조 픽쳐의 결정은 첫번째 참조 픽쳐 리스트, 두번째 참조 픽쳐 리스트를 번갈아가면서 해당 블록이 인트라(intra) 모드로 이루어지지 아니한 경우까지 검색을 계속한다. 또한, 각각의 리스트에서 해당 블록의 검색을 수 행하는 픽쳐의 순서는 시점 식별자(view_id) 에 따라 수행될 수도 있으며, 이에 한정되지 아니한다.

그 후, 인터 참조블록 탐색부(464)는 참조 블록들 탐색하기 위하여 시점 간의 변이 차이를 나타내는 정보를 이용할 수 있다. 예를 들어, 시점 간에 생기는 모션 벡터는 각 객체(object)들의 깊이(depth)에 의존적일 수 있으며, 영상의 깊이가 공간적으로 매우 심한 변화가 없고, 시간축의 변화에 따른 영상의 움직임 자체가 매우 심하지 않다면, 각 매크로블록 위치에서의 깊이 자체는 크게 변하지 않을 수 있다. 여기서, 깊이(depth)란, 시점 간의 변이 차이를 나타낼 수 있는 정보를 의미한다.

본 발명의 방법에 의하면, 상기 참조 시점의 대응 블록은 인터 모션 정보(inter motion information)를 이용하여 결정된다. 상기 인터 모션 정보는 시점간 예측을 위하며, 시점간 중복성을 감소시키기 위하여 사용되며, 예를 들어, 글로벌 모션 벡터(global disparity vector), 로컬 모션 벡터(local disparity vector)등 일 수 있다. 기본적으로 다시점 비디오 영상(MVC)에서는 카메라 간에 글로벌 모션 벡터 등의 인터 모션 정보의 영향이 존재할 수 있으므로, 인터 모션 정보가 깊이 변화에 비하여 충분히 큰 경우, 인터 모션 정보를 이용하는 것이 효율적이다.

상기 인터 모션 정보(inter motion information)이란, 그 일부 영역을 포함하는 전체 영역에 대응되는 모션 정보이다. 여기서, 전체 영역은 하나의 슬라이스에 대응될 수도 있고, 하나의 픽처에 대응될 수도 있으며, 시퀀스 전체에 대응될 수도 있다. 경우에 따라서는, 픽처내 하나 이상의 오브젝트 영역, 및 배경에 각각 대응될수도 있다.

한편, 하위 유닛의 인터 모션 정보는 4x4 블록 단위, 8x8 블록 단위, 매크로블록 단위, 픽셀 단위, 또는 1/4픽셀 단위의 값을 가질 수 있는 데 비해, 상위 유닛의 인터 모션 정보의 일 예인 글로벌 모션 정보는 슬라이스 단위, 픽쳐 또는 프레임 단위, 또는 필드 단위의 값이 될 수도 있다.

인터 모션 정보의 전송 방식 또한 다양할 수 있는데, 논앵커 픽처내 모든 슬라이스마다 전송될 수도 있고, 논앵커 픽처마다 전송될 수도 있으며, 앵커픽처의 속하는 슬라이스마다 전송될 수도 있다. 또한, 앵커 픽쳐마다 전송될 수도 있다. 논앵커픽쳐의 시점 종속성이 있는 경우에 한하여, 앵커픽처의 각 슬라이스마다 전송될 수도 있다.

도 11 내지 도 13 은 본 발명의 다른 실시예에 따른 인터 모션 정보의 일 예인 글로벌 모션 벡터 정보를 전송하는 신택스의 일 예를 나타낸다.

도 11 를 참조하면, 글로벌 모션 벡터 정보는 모션 스킵 모드시 모션 정보를 생성하기 위하여 필요한 것으로, 논앵커 픽쳐에서 이용되어 진다. 다중 뷰 디코딩 모드(multi view decoding mode)는 논앵커 픽쳐에서 픽셀 정보를 이용한 화면간 예측(inter-view prediction) 및 모션 스킵 모드가 모두 적용되므로, 일부 논앵커 픽쳐의 블록은 하위 유닛에 대응되는 시점간 모션 벡터(local disparity vector)를 가질 수 있다. 상기 시점간 모션 벡터는 시점내 예측을 위한 시점내 모션 정보(intra motion information)를 유도하기 위하여 사용될 수 있으므로, 위 경우에는 모션 스킵을 위하여 글로벌 모션 벡터를 전송할 필요가 없다.

반면, 단일 뷰 디코딩 모드(single view decoding mode)의 논앵커 픽쳐는 모션 스킵만을 수행하므로, 현재 시점에 속한 현재 블록을 디코딩하기 위해서는 참조 시점(reference view)의 인터 참조블록으로부터 모션 정보를 획득해야 한다.

따라서, 논앵커 픽쳐의 모션 스킵을 위하여, 즉 참조 시점의 인터 참조블록을 획득하기 위하여 논앵커 픽쳐는 글로벌 모션 벡터 정보(Global motion vector)가 필요하다. 한편, 모든 경우 글로벌 모션 벡터 정보(Global motion vector)를 추출할 필요가 없다. 즉, 디코딩 모드가 단일 뷰 디코딩 모드이고 현재 픽쳐가 앵커 픽쳐일 때(if(anchor_pic_flag ＆＆ non_anchor_single_loop_decoding_flag))에만 글로벌 모션 벡터 정보(Global motion vector)를 획득할 수 있다.

도 12 를 참조하면, 글로벌 모션 벡터는 논앵커 픽쳐의 모션 스킵을 위하여 필요한 정보로서, 앵커 픽쳐에서만 전송될 필요는 없다. 따라서, 논앵커 픽쳐인 조건(if(!anchor_pic_flag))에서 각각의 논앵커 픽쳐마다 글로벌 모션 벡터를 전송할 수 있다. 또한, 도 13 을 참조하면, 글로벌 모션 벡터는 단일 뷰 디코딩 모드 또는 다중 뷰 디코딩 모드임에 관계없이, 논앵커 픽쳐에서 모션 스킵을 수행하기 위하여 이용되므로, 현재 픽쳐가 논앵커 픽쳐이고 모션 스킵 모드일때(if(!anchor_pic_flag: ＆＆ motion_skip_enable_flag))에서만 글로벌 모션 벡터를 전송할 수 있다.

다시 도 10을 참조하면, 인터 모션 정보 획득부(450)는 도 10, 11, 12에서 제시한 것과 같은 조건에서 글로벌 모션 벡터를 획득하여 인터 참조 블록 탐색부(464)에 입력할 수 있다. 상기 인터 참조 블록 탐색부(464)는 상기 글로벌 모션 벡 터를 획득할 수 있는데, 이는 앵커픽쳐들의 글로벌 모션 벡터를 근거로 하여 산출된 것일 수 있고, 앵커픽쳐의 글로벌 모션 벡터가 전송되지 않은 경우(예를 들어, 앵커픽쳐의 시점 종속성이 없는 경우)에는, 미리 정해진 값 또는 미리 정해진 방식으로 산출된 값일 수도 있으나, 본 발명은 이에 한정되지 아니한다.

상기 인터 참조블록 탐색부(464)는 결정된 참조 시점 및 인터 모션 정보를 이용하여 인터 참조 블록을 결정한다. 구체적으로 참조 블록(mbAddrNeighbor)은 현재 블록와 동일 위치(mbAddr)에서 글로벌 모션벡터(globaIDisparityMbLX)만큼 이동한 지점의 위치로, 참조 블록의 주소는 다음 수학식 1에 따라 계산될 수 있다.

[수학식 1]

mbAddrNeighbor = mbAddr + globalDisparityMbLX[1] * PicWidthInMbs + globalDisparityMbLX[0]

수학식 1을 참조하면, 참조 블록의 주소(mbAddrNeighbor)는, 현재 블록의 주소(mbAddr)에 인터 모션 정보(globalDisparityMbLX)의 주소값을 더한 값이며, 여기서 인터 모션 정보의 주소값(globalDisparityMbLX[1]*PicWidthInMbs + globalDisparityMbLX[0])이란, 예를 들어, 인터 모션 정보가 글로벌 모션벡터인 경우, 글로벌 모션 벡터의 y축 성분(globalDisparityMbLX[1])에 픽처내 가로 방향의 블럭 개수(PicWidthInMbs)를 곱하고, 여기에 글로벌 모션벡터의 x축 성분(globalDisparityMbLX[0])을 더함으로써, 이차원 벡터를 일차원 인덱스로 변환한 값이다. 여기서, 참조 블록은, 이웃 시점에 있는 픽처들 중에서도, 현재 블록과 동일 시간을 갖는 픽처내에 존재하는 것으로 결정하는 것이 바람직하며, 이는 전체적 으로(fully) 디코딩 되지 아니하고, 모션 정보 및 블록타입만을 부분적으로 디코딩한다. 상기 모션 정보는 모션 벡터 및 참조 인덱스 중 어느 하나 이상일 수 있다.

또한, 본 발명의 디코딩 방법에 의하면, 상기 참조 블록은 시점내 예측을 위한, 여기에서는 예를 들어, 시간적(temporal)인 예측을 위한 인트라 모션 정보(intra motion information)을 포함한다. 상기 인트라 모션 정보는 동일 시점에 있어서 다른 시간대의 있는 픽쳐의 예측을 위한 정보로, 모션 벡터, 블록 타입 정보, 또는 참조 인덱스 정보 등일 수 있다. 상기 대응 블록의 인트라 모션 정보에 의하여 본 발명의 현재 블록은, 현재 블록과 동일한 시점상의 다른 픽쳐에 존재하는 인트라 참조 블록(intra reference block)을 결정할 수 있으며, 상기 인트라 참조 블록으로부터 현재 블록의 디코딩에 필요한 정보를 획득하여 이용할 수 있다.

모션 정보 발생부(465)는 참조 블록의 모션 정보 및 블록 타입을 추출한다. 참조 블록의 모션정보 또는 블록 타입은 모션정보 추출부(461)에 의해 현재 블록에서 추출된 정보일 수 있다. 예를 들어, 다중 루프 모드에서 현재 시점에 속하는 현재 블록이 시점간 예측을 위한 모션 정보를 가지고 있을 때, 상기 시점간 모션 정보를 이용하여 참조 블록을 포함하는 참조 픽쳐와 참조블록의 위치를 획득할 수 있다.

모션 정보 발생부(465)는 상기 방법으로 추출된 모션정보와 블록타입을 이용하여 현재 블록의 모션정보와 블록 타입을 획득한다. 참조 블록의 모션정보를 그대로 현재 블록의 모션정보로 사용할 수 있으나, 본 발명은 이에 한정되지 아니한다. 다중 루프 디코딩 모드에서의 모션 스킵 모드는 모션 정보 발생부(465)에서 획득한 현재 블록의 모션 정보를 이용하여, 참조 픽쳐에 있는 픽셀 값과 비트스트림으로부터 전송되는 레지듀얼 값을 더하여 픽셀 값을 획득한다(sample prediction). 그러나, 본 발명의 비디오 신호 처리 방법에 따른 단일 뷰 디코딩 모드에서는, 상기에 언급한 바와 같이 현재 시점에 존재하는 현재 픽쳐와 시점 종속성(view dependency)를 가지는 참조 픽쳐포 이용되는 픽쳐로부터, 모션 벡터, 블록 타입, 레퍼런스 인덱스 등의 모션 정보만을 디코딩하며, 다중 루프 방식에서 수행하는 픽셀 값을 획득하는 단계는 수행하지 아니한다. 따라서, 상기 단일 뷰 디코딩 모드는 다중 뷰 디코딩 모드의 모션 스킵과 달리 복잡성(complexity)를 감소시킬 수 있다.

또한, 단일 뷰 방식의 모션 스킵은 현재 시점에 속하는 현재 픽쳐의 참조 픽쳐에서 블록 타입 및 모션 정보만을 파싱하여 디코딩하고, 상기에 언급한 바와 같이 상기 모션 정보로부터 참조 픽쳐에서 디코딩을 수행하지 아니하므로 레지듀얼 등의 모션 정보 이외의 정보를 참조 픽쳐로부터 획득할 수 없다. 참조 픽쳐로부터 획득할 수 없는 모션 정보 이외의 현재 픽쳐의 복원에 필요한 정보는 기 디코딩된 현재 픽쳐와 동일 뷰 의 다른 시간상의 픽쳐들을 참조하여 획득하게 된다.

본 발명의 비디오 신호 처리 방법은 프로파일에 의하여 수행될 수 있다. 여기서, 프로파일(압축부호화 기능)이란 비디오 부호화/복호화 과정에서 알고리즘 부호화 과정을 실행하기 위한 처리순서상 들어가는 기술적 구성요소를 구격화한 것을 의미한다. 즉, 압축된 영상의 비트열을 복호하기 위하여 필요한 기술요소의 집합이라 할 수 있다.

이러한 프로파일은 대표적인 응용시스템마다 최소한으로 필요로 하는 기술요 소와 기능을 모아둔 것으로 정의되며, 본 발명의 비디오 신호 처리 방법에 있어서는 하기와 같은 프로파일을 정의할 수 있다.

먼저, 단일 뷰 디코딩 프로파일(single view decoding profile)은 참조 시점(reference view)의 부분적인 디코딩을 허용하며, 참조 블록의 경우에는 모션 정보 및 블록 타입만을 디코딩하는 것을 허용한다.

상기 단일 뷰 디코딩 프로파일에서는 현재 시점과 관련된 참조 시점은 시점 종속성 정보를 이용하여, 종속성이 있는 참조 시점을 부분적으로 디코딩 하는 방식을 채택한다. 이러한 참조 시점(reference view)의 선택은 뷰 레벨 개념을 적용할 수 있으며, 예를 들어, 현재 뷰가 S2 인 경우, S2 보다 높은 뷰 레벨은 부분적으로도 디코딩되지 않을 수 있다. 따라서, 모션 스킵 정보(motion_skip_flag)는 B 및 P 뷰 모두에서 코딩된다.

또한, 다중 뷰 디코딩 프로파일(multi-loop decoding profile)은 접근 단위(access unit)에 존재하는 모든 뷰를 전부 디코딩 하는 방식을 채택한다. 따라서, 상기 프로파일에서는 모든 뷰가 시점 종속성 정보와 관계없이 모션 스킵 모드를 위하여 이용되므로, 모션 스킵 정보는 B 및 P 뷰 모두에서 코딩된다.

이상에서 설명한 바와 같이, 본 발명이 적용되는 디코딩/인코딩 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 복호화하는데 사용될 수 있다. 또한, 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.

또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.

본 발명은 다시점 비디오 부호화 및 복호화에 이용될 수 있다.

Claims

참조 시점에 존재하며, 부분적으로 디코딩된 인터 참조 유닛의 인트라 모션 정보를 이용하여 현재 시점에 존재하는 인트라 참조 블록을 결정하는 단계; 및

상기 인트라 참조 블록을 이용하여 현재 시점에 존재하는 현재 블록을 디코딩하는 단계

를 포함하는 것을 특징으로 하는 현재 블록의 디코딩 방법.
제 1 항에 있어서,

상기 인트라 참조 블록은 상기 현재 블록이 존재하는 현재 유닛을 제외한 상기 현재 시점의 다른 유닛에 존재하는 것을 특징으로 하는 현재 블록의 디코딩 방법.
제 1 항에 있어서,

상기 인트라 참조 블록은 인터 참조 유닛에 대응하는 현재 블록에 상기 인트라 모션 정보를 더하여 결정하는 것을 특징으로 하는 현재 블록의 디코딩 방법.
제 1 항에 있어서,

상기 인트라 모션 정보는 모션 벡터, 블록 타입 정보, 및 참조 인덱스를 포함하는 것을 특징으로 하는 현재 블록의 디코딩 방법.
제 1 항에 있어서,

상기 인터 참조 유닛은 상기 현재 블록이 존재하는 현재 유닛과 동일한 시간의 상기 참조 시점에 존재하는 것을 특징으로 하는 현재 블록의 디코딩 방법.
제 1 항에 있어서,

상기 부분적으로 디코딩된 인터 참조 유닛은 모션 벡터, 블록 타입 정보, 및 참조 인덱스를 포함하는 것을 특징으로 하는 현재 블록의 디코딩 방법.
제 1 항에 있어서,

상기 인터 참조 유닛은 인터 참조 픽쳐, 인터 참조 슬라이스, 및 인터 참조 블록인 것을 특징으로 하는 현재 블록의 디코딩 방법.
제 1 항에 있어서,

상기 참조 시점은 상기 현재 시점과 시점 종속성을 갖는 것을 특징으로 하는 현재 블록의 디코딩 방법.
제 8 항에 있어서,

상기 참조 시점은, 상기 현재 유닛과 시점 종속성을 갖는 상기 인터 참조 유닛만을 부분적으로 디코딩하는 것을 특징으로 하는 현재 블록의 디코딩 방법.
제 9 항에 있어서,

상기 부분적으로 디코딩되는 유닛은 상기 현재 유닛과 시점 종속성을 갖는 시점, 픽쳐 또는 슬라이스 인 것을 특징으로 하는 비디오 신호 처리 방법.
제 8 항에 있어서,

상기 시점 종속성은 시퀀스 파라미터 세트 확장정보에 포함되어 있는 참조 도메인의 개수 정보 및, 참조 도메인의 식별정보를 이용하여 추정된 것을 특징으로 하는 비디오 신호 처리 방법.
제 1 항에 있어서,

상기 비디오 신호는 방송 신호인 것을 특징으로 하는 현재 블록의 디코딩 방법.
제 1 항에 있어서,

상기 비디오 신호는, 디지털 매체를 통해 수신된 것임을 특징으로 하는 현재 블록의 디코딩 방법.
제 1 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
현재 유닛의 인터 모션 정보를 이용하여 인터 참조 블록으로부터 인트라 모션 정보를 추출하는 인트라 모션 정보 추출부;

상기 인트라 모션 정보를 이용하여 현재 시점의 인트라 참조 블록을 결정하는 인트라 참조 블록 결정부; 및

상기 인트라 참조 블록을 이용하여 현재 블록을 디코딩하는 현재 블록 디코딩부를 포함하는 현재 블록 디코딩 장치.