KR102290091B1 - 다계층 기반의 영상 부호화/복호화 방법 및 장치 - Google Patents

Abstract

본 발명은 복수의 계층을 지원하는 영상 복호화 방법 및 장치가 개시된다. 상기 영상 복호화 방법은 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 획득하는 단계 및 상기 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로 상기 타일 관련 정보를 획득하는 단계를 포함한다.

Description

다계층 기반의 영상 부호화/복호화 방법 및 장치{METHOD AND APPARATUS FOR VIDEO ENCODING/DECODING BASED ON MULTI-LAYER}

본 발명은 영상 부호화 및 복호화에 관한 것으로, 보다 상세하게는 비디오 비트스트림 내 한 개 이상의 계층이 존재하는 경우의 타일 및 픽처의 표현 방법에 관한 것이다.

최근 멀티미디어(multimedia) 환경이 구축되면서, 다양한 단말과 네트워크가 이용되고 있으며, 이에 따른 사용자 요구도 다변화하고 있다.

예컨대, 단말의 성능과 컴퓨팅 능력(computing capability)가 다양해짐에 따라서 지원하는 성능도 기기별로 다양해지고 있다. 또한 정보가 전송되는 네트워크 역시 유무선 네트워크와 같은 외형적인 구조뿐만 아니라, 전송하는 정보의 형태, 정보량과 속도 등 기능별로도 다양해지고 있다. 사용자는 원하는 기능에 따라서 사용할 단말과 네트워크를 선택하며, 또한 기업이 사용자에게 제공하는 단말과 네트워크의 스펙트럼도 다양해지고 있다.

이와 관련하여, 최근 HD(High Definition) 해상도를 가지는 방송이 국내뿐만 아니라 세계적으로 확대되어 서비스되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다. 이에 따라서 많은 영상 서비스 관련 기관들이 차세대 영상 기기에 대한 개발에 많은 노력을 하고 있다.

또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 가지는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상을 압축하여 처리하는 기술에 대한 요구는 더 높아지고 있다.

영상을 압축하여 처리하기 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 다른 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 인코딩 기술 등이 사용될 수 있다.

상술한 바와 같이, 지원하는 기능이 상이한 각 단말과 네트워크 그리고 다변화된 사용자의 요구를 고려할 때, 지원되는 영상의 품질, 크기, 프레임 등도 이에 따라 다변화될 필요가 있다.

이와 같이, 이종의 통신망과 다양한 기능 및 종류의 단말로 인해, 영상의 화질, 해상도, 크기, 프레임 율, 시점 등을 다양하게 지원하는 스케일러빌리티(scalability)는 비디오 포맷의 중요한 기능이 되고 있다.

따라서, 고효율의 비디오 부호화 방법을 기반으로 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해 시간, 공간, 화질, 시점 등의 측면에서 효율적인 비디오 부호화와 복호화가 가능하도록 스케일러빌리티 기능을 제공하는 것이 필요하다.

본 발명은 영상 부호화/복호화 효율을 향상시킬 수 있는 영상 부호화/복호화 방법 및 장치를 제공한다.

본 발명은 부호화/복호화 효율을 향상시킬 수 있는 스케일러블 비디오 코딩에서 타일 관련 정보를 시그널링하는 방법 및 장치를 제공한다.

본 발명은 부호화/복호화 효율을 향상시킬 수 있는 스케일러블 비디오 코딩에서 표현 포맷(representation format) 관련 정보를 시그널링하는 방법 및 장치를 제공한다.

본 발명의 일 실시예에 따르면, 복수의 계층을 지원하는 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 획득하는 단계 및 상기 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로 상기 타일 관련 정보를 획득하는 단계를 포함한다.

상기 타일 관련 정보는, 현재 계층의 픽처에 존재하는 타일의 위치가 상기 현재 계층이 참조하는 참조 계층의 픽처에 존재하는 타일의 위치와 대응되는지(collocated) 여부를 나타내는 정보일 수 있다.

본 발명의 다른 실시예에 따르면, 복수의 계층을 지원하는 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 색차 포맷(chroma format) 관련 정보와 비트 깊이(bit-depth) 관련 정보가 존재하는지 여부를 지시하는 정보를 획득하는 단계 및 상기 색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로, 상기 색차 포맷 관련 정보와 상기 비트 깊이 관련 정보를 획득하는 단계를 포함한다.

본 발명에서는 계층적 비트스트림 내에서 계층마다 한 개 이상의 타일로 구성되는 있는 경우, 계층 간의 상관 관계에 대한 시그널링을 통해 계층적 비트스트림의 병렬 부호화/복호화가 가능하도록 하며, 타일로 구성된 관심 영역의 부호화/복호화를 용이하게 할 수 있다. 또한, 효율적인 픽처 표현 관련 정보를 시그널링함으로써 부호화/복호화 효율을 향상시킬 수 있다.

도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 하나의 픽처 내 제거되어 비게 되는 타일 영역을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 복수의 계층을 지원하는 스케일러블 비디오 코딩 구조에서 타일 관련 정보를 획득하는 방법을 개략적으로 나타내는 순서도이다.
도 6은 본 발명의 실시예에 따른 복수의 계층을 지원하는 스케일러블 비디오 코딩 구조에서 표현 포맷 관련 정보를 획득하는 방법을 개략적으로 나타내는 순서도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.

본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

멀티 레이어(multi-layer) 구조를 지원하는 스케일러블(scalable) 비디오 부호화 장치는, 단일 레이어 구조의 일반적인 영상 부호화 장치를 확장(extension)하여 구현될 수 있다. 도 1의 블록도는 멀티 레이어 구조에 적용 가능한 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.

도 1을 참조하면, 영상 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다.

인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다. 이때, 입력 영상은 원 영상(original picture)를 의미할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화/복호화된 블록의 샘플 값을 참조 샘플로 이용할 수 있다. 인트라 예측부(120)는 참조 샘플을 이용하여 공간적 예측을 수행하고 현재 블록에 대한 예측 샘플들을 생성할 수 있다.

인터 모드인 경우, 인터 예측부(110)는, 움직임 예측 과정에서 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처에서 입력 블록(현재 블록)과의 차이가 가장 적은 참조 블록을 특정하는 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.

멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(110)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.

한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.

예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에는 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.

어떤 레이어의 픽처를 이용하여 인터 레이어 참조 픽처를 구성할 것인지는 부호화 코스트 등을 고려하여 결정될 수 있다. 부호화 장치는 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보를 복호화 장치로 전송할 수 있다.

또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다.

변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 생성된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 생성된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.

변환 생략(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔차 블록에 대한 변환을 생략할 수도 있다.

양자화부(140)는 입력된 변환 계수를 양자화 파라미터(quantization parameter, 또는 양자화 매개변수)에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다. 양자화된 계수는 양자화된 변환 계수 레벨(quantized transform coefficient level)로 불릴 수도 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 입력된 변환 계수를 양자화할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 부호화부(150)는 비디오의 화소 정보 외에 비디오 디코딩을 위한 정보(예컨대, 신택스 엘리먼트(syntax element) 등)을 엔트로피 부호화 할 수도 있다.

부호화 파라미터는 부호화 및 복호화에 필요한 정보로서, 신택스 엘리먼트와 같이 부호화 장치에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다.

예를 들어, 부호화 파라미터는 인트라/인터 예측 모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔차 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다.

잔차 신호는 원신호와 예측 신호 간의 차이를 의미할 수 있고, 또한 원신호와 예측 신호 간의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호 간의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔차 신호는 블록 단위에서는 잔차 블록이라 할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.

엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.

도 1의 실시예에 따른 영상 부호화 장치(100)는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 생성된다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽처 버퍼(190)에 저장될 수 있다.

도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

멀티 레이어(multi-layer) 구조를 지원하는 스케일러블(scalable) 비디오 복호화 장치는, 단일 레이어 구조의 일반적인 영상 복호화 장치를 확장(extension)하여 구현될 수 있다. 도 2의 블록도는 멀티 레이어 구조에 적용 가능한 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.

도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다.

인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient)와 신택스 엘리먼트 등의 정보를 출력할 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환된다. 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 생성될 수 있다. 이때, 역양자화부(220)에서는 양자화된 계수에 양자화 행렬을 적용할 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 샘플 값을 이용하여 공간적 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 생성할 수 있다.

인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.

멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(250)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.

한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.

예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에 인터 레이어 예측이 적용된다면, 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.

이때, 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보는 부호화 장치로부터 복호화 장치로 전송될 수 있다.

또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.

복원된 레지듀얼 블록과 예측 블록은 가산기(255)에서 더해져서, 복원 블록이 생성된다. 다시 말하면, 레지듀얼 샘플과 예측 샘플이 더해져서 복원된 샘플 또는 복원된 픽처가 생성된다.

복원된 픽처는 필터부(260)에서 필터링 된다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된(modified) 혹은 필터링된(filtered) 복원 픽처(reconstructed picture)를 출력한다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.

또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 파싱부(미도시)를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.

도 1과 도 2에서는 하나의 부호화 장치/복호화 장치가 멀티 레이어에 대한 부호화/복호화를 모두 처리하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 부호화 장치/복호화 장치는 레이어별로 구성될 수도 있다.

이 경우, 상위 레이어의 부호화 장치/복호화 장치는 상위 레이어의 정보 및 하위 레이어의 정보를 이용하여 해당 상위 레이어의 부호화/복호화를 수행할 수 있다. 예컨대, 상위 레이어의 예측부(인터 예측부)는 상위 레이어의 픽셀 정보 또는 픽처 정보를 이용하여 현재 블록에 대한 인트라 예측 또는 인터 예측을 수행할 수도 있고, 하위 레이어로부터 복원된 픽처 정보를 수신하고 이를 이용하여 상위 레이어의 현재 블록에 대한 인터 예측(인터 레이어 예측)을 수행할 수도 있다. 여기서는, 레이어 간의 예측만을 예로서 설명하였으나, 부호화 장치/복호화 장치는 레이어별로 구성되든, 하나의 장치가 멀티 레이어를 처리하든 상관없이, 다른 레이어의 정보를 이용하여 현재 레이어에 대한 부호화/복호화를 수행할 수 있다.

본 발명에서 레이어는 뷰(view, 시점)를 포함할 수 있다. 이 경우, 인터 레이어 예측의 경우는 단순히 하위 레이어의 정보를 이용하여 상위 레이어의 예측을 수행하는 것이 아니라, 레이어 간 의존성을 특정하는 정보에 의해 의존성이 있는 것으로 특정된 레이어들 사이에서 다른 레이어의 정보를 이용하여 인터 레이어 예측이 수행될 수도 있다.

도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.

영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.

스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’혹은 ‘스케일러블 비디오 코딩’이라 함)은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 인코딩 및 디코딩 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적(spatial), 시간적(temporal), 화질적(혹은 품질적, quality), 시점(view) 관점에서 다양한 스케일러빌리티를 제공할 수 있다.

스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 디코딩 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 디코딩 정보 및 일반적인 영상 디코딩 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.

기본 계층(Base layer)은 베이스 레이어라고 지칭할 수도 있고, 하위 계층(lower layer)이라 지칭할 수도 있다. 향상 계층(Enhancement layer)은 인핸스먼트 레이어 혹은 상위 계층(higher layer)이라 지칭할 수도 있다. 이때, 하위 계층은 특정 계층 보다 낮은 레벨의 스케일러빌러티(공간적, 시간적, 화질적, 혹은 시점 스케일러빌러티)를 지원하는 계층을 의미할 수 있으며, 상위 계층은 특정 계층 보다 높은 레벨의 스케일러빌러티(공간적, 시간적, 화질적, 혹은 시점 스케일러빌러티)를 지원하는 계층을 의미할 수 있다. 또한, 다른 계층의 부호화/복호화에 참조되는 계층을 참조 계층(참조 레이어)라고 하고, 다른 계층을 이용하여 부호화/복호화되는 계층을 현재 계층(현재 레이어)라고 할 수 있다. 참조 계층은 현재 계층보다 하위 계층일 수 있으며, 현재 계층은 참조 계층보다 상위 계층일 수 있다.

여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 디코딩 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도, 시점(view) 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다.

도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHD (ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다.

상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다. 예를 들어, 전송 대역폭이 4Mbps라면 상기 제1 향상계층 HD의 프레임 레이트를 줄여서 15Hz 이하로 전송할 수 있다.

스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적, 시점 스케일러빌리티를 제공할 수 있다. 본 명세서에서 스케일러블 비디오 코딩은 인코딩 관점에서는 스케일러블 비디오 인코딩, 디코딩 관점에서는 스케일러블 비디오 디코딩과 동일한 의미를 가진다.

HEVC(High Efficiency Video Coding) 표준에서는 하나의 픽처를 타일(tile) 형태로 분할하여 독립적으로 부호화하는 방식이 존재한다. 다시 말해, 하나의 픽처를 다수의 타일로 분할하고, 하나의 픽처 내 분할된 각 타일을 독립적으로 부호화/복호화 함으로써 병렬 처리를 가능하게 한다. 따라서, 비트스트림 내 픽처가 어떻게 타일 형태로 구성되어 있는지를 알려주는 정보가 필요하며, HEVC에서는 이러한 타일 관련 정보를 PPS(Picture Parameter Set)에 기술하도록 되어 있다. 또한, HEVC에서는 픽처 표현(representation)과 관련된 정보, 예컨대 공간 해상도, 색차 포맷(chroma format), 비트 깊이(bit-depth) 관련 정보를 SPS(Sequence Parameter Set)에 기술하도록 되어 있다.

스케일러빌리티를 제공하기 위해 HEVC를 확장한 비디오 표준인 스케일러블 비디오 코딩의 경우, 비트스트림 내 복수의 계층이 존재할 수 있으며, 계층 간의 상관 관계가 존재할 수 있다. 따라서, 본 발명에서는 계층적 비트스트림에서 계층마다 픽처가 하나 이상의 타일로 구성되어 있는 경우, 계층 간의 상관 관계에 대한 시그널링을 통해 타일 관련 정보를 효율적으로 부호화/복호화할 수 있는 방법을 제공한다. 또한, 본 발명에서는 스케일러블 비디오 코딩에서 효율적으로 픽처 표현 관련 정보를 시그널링할 수 있는 방법을 제공한다.

타일 관련 정보

타일은 하나의 픽처 내 코딩 트리 블록들(coding tree blocks) 혹은 코딩 트리 유닛들(coding tree units)로 이루어진 사각형의 영역을 말하며, 코딩 트리 블록들 혹은 코딩 트리 유닛들의 시퀀스일 수 있다. 타일은 항상 정수 개의 코딩 트리 유닛들로 구성된다. 여기서, 코딩 트리 블록 혹은 코딩 트리 유닛은 픽처 내 샘플들의 처리 단위일 수 있다.

예를 들어, 하나의 픽처는 픽처 내 수직의 타일 경계선(a vertical tile boundary)에 의해 두 개의 타일로 분할될 수 있다. 분할된 각 타일은 정수 개의 코딩 트리 유닛들을 포함하며, 직사각형의 영역일 수 있다.

스케일러블 비디오 코딩을 지원하기 위한 표준인 SHVC(Scalable HEVC)와 멀티 뷰를 지원하기 위한 표준인 MV-HEVC(multiview HEVC)에서는 타일과 관련된 정보를 VPS(Video Parameter Set)과 PPS에서 시그널링할 수 있다. 특히, VPS에서는 해당 계층에 포함되어 있는 타일들의 위치가 해당 계층의 참조 계층들에 포함되어 있는 타일들의 위치와 대응/일치되도록 부호화/복호화 되어 있는지를 알려주는 플래그(flag) 정보가 존재한다. 이때, 참조 계층의 공간 해상도가 해당 계층의 공간 해상도와 일치하지 않는 경우, 참조 계층의 공간 해상도를 해당 계층의 공간 해상도와 동일하도록 스케일링(scaling)하고, 스케일링된 참조 계층에 포함되어 있는 타일들의 위치를 기반으로 해당 계층의 타일들의 위치와 대응/일치하는지 여부를 판단할 수 있다.

타일들 간의 위치가 대응/일치한다는 것은 타일의 경계 부분이 대응/일치한다는 것을 의미한다. 따라서, 해당 계층에 포함되어 있는 타일들의 위치가 해당 계층의 참조 계층들에 포함되어 있는 타일들의 위치와 대응/일치되도록 부호화/복호화 되어 있는지를 알려주는 플래그로써, tile_boundaries_aligned_flag[i][j]를 사용할 수 있다. tile_boundaries_aligned_flag[i][j]는 i번째 계층이 j번째 참조 계층과 타일의 위치(타일의 경계)가 일치하는지 여부를 지시한다. 그런데, 전체 비트스트림에서 계층별로 타일이 한 개씩만 포함되어 있는 경우, tile_boundaries_aligned_flag[i][j]를 시그널링할 필요가 없다.

따라서, 적어도 두 개 이상의 타일을 포함하고 있는 픽처가 존재하는 경우에만 tile_boundaries_aligned_flag[i][j]를 시그널링하는 것이 효율적일 수 있다.

이하, 본 발명에서는 tile_boundaries_aligned_flag[i][j]를 효율적으로 시그널링하는 방법에 대해 신택스(syntax)를 예로 들어 설명한다.

표 1은 본 발명의 실시예에 따른 tile_boundaries_aligned_flag[i][j]를 시그널링하는 방법을 나타내는 신택스의 일예이다.

표 1을 참조하면, vps_tiles_enabled_flag가 1의 값을 가지는 경우, 해당 VPS를 참조하는 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재할 수 있음을 의미한다. vps_tiles_enabled_flag가 0의 값을 가지는 경우, CVS(Coded Video Stream)의 모든 픽처들이 한 개의 타일만을 포함하고 있음을 의미한다.

예를 들어, vps_tiles_enabled_flag가 1인 경우, tile_boundaries_aligned_flag[i][j]가 시그널링될 수 있다.

표 2는 본 발명의 실시예에 따른 tile_boundaries_aligned_flag[i][j]를 시그널링하는 방법을 나타내는 신택스의 다른 예이다.

표 2를 참조하면, tiles_not_in_use_flag가 1의 값을 가지는 경우, CVS의 모든 픽처들이 한 개의 타일만을 포함하고 있음을 의미한다. tiles_not_in_use_flag가 0의 값을 가지는 경우, 해당 VPS를 참조하는 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재할 수 있음을 의미한다.

예를 들어, tiles_not_in_use_flag가 0인 경우, tile_boundaries_aligned_flag[i][j]가 시그널링될 수 있다.

표 3은 본 발명의 실시예에 따른 tile_boundaries_aligned_flag[i][j]를 시그널링하는 방법을 나타내는 신택스의 또 다른 예이다.

표 3을 참조하면, vps_tiles_enabled_flag[i]가 1의 값을 가지는 경우, i번째 계층의 각 픽처들이 적어도 두 개 이상의 타일을 포함하고 있음을 의미한다. vps_tiles_enabled_flag[i]가 0의 값을 가지는 경우, i번째 계층의 모든 픽처들이 한 개의 타일만을 포함하고 있음을 의미한다.

예를 들어, vps_tiles_enabled_flag[i]가 1인 경우, tile_boundaries_aligned_flag[i][j]가 시그널링될 수 있다.

표 4는 본 발명의 실시예에 따라 상기 표 1의 VPS에서 시그널링되는 vps_tiles_enabled_flag를 이용하여 PPS에서 시그널링하는 방법을 나타내는 신택스의 일예이다.

표 4를 참조하면, tiles_enabled_flag가 1의 값을 가지는 경우, 해당 PPS를 참조하는 모든 픽처들이 두 개 이상의 타일을 포함하고 있음을 의미한다. tiles_enabled_flag가 0의 값을 가지는 경우, PPS를 참조하는 모든 픽처들이 한 개의 타일만을 포함하고 있음을 의미한다. 만약, tiles_enabled_flag 값이 시그널링되지 않는다면, tiles_enabled_flag 값은 0으로 가정한다.

상기 표 4와 같이, vps_tiles_enabled_flag에 의해 tiles_enabled_flag의 시그널링 여부가 결정될 수도 있다. 그러나, vps_tiles_enabled_flag와는 무관하게 표 5와 같이 tiles_enabled_flag가 시그널링 되는 경우, vps_tiles_enabled_flag의 값이 1인 경우에만 tiles_enabled_flag의 값이 1이 될 수 있어야 한다. 다시 말해, vps_tiles_enabled_flag의 값이 0인 경우에는 tiles_enabled_flag의 값은 항상 0이 되어야만 한다.

표 6은 본 발명의 실시예에 따라 SPS에서 vps_tiles_enabled_flag의 시그널링 없이 sps_tiles_enabled_flag를 시그널링하는 방법을 나타내는 신택스의 일예이다.

표 6을 참조하면, sps_tiles_enabled_flag가 1의 값을 가지는 경우, 해당 SPS를 참조하는 모든 픽처들이 두 개 이상의 타일을 포함함을 의미한다. sps_tiles_enabled_flag가 0의 값을 가지는 경우, 해당 SPS를 참조하는 모든 픽처들이 한 개의 타일을 포함함을 의미한다.

상기 표 6과 연관하여 PPS에서 상기 표 4 대신 다음 표 7과 같이 tiles_enabled_flag를 시그널링할 수도 있다.

PPS 에서 tiles _ enabled _ flag 의 수정( revision of tile - enabled flag in PPS )

HEVC 표준에 따르면, tiles_enabled_flag는 다음과 같은 제약을 가진다.

“CVS(coded video stream) 내에서 활성화된 모든 PPS들에 대해 tiles_enabled_flag는 같은 값을 가져야 한다.”

상기와 같은 제약에 따라, 본 발명에서는 CVS 내에 포함된 PPS들을 일관성 있고 단순하게 하기 위해서, 계층 식별자(nuh_layer_id) 값이 0보다 클 때 tiles_enabled_flag를 PPS에서 시그널링하지 않고 SPS에서 시그널링하는 방법을 제안한다.

표 8은 본 발명의 실시예에 따라 계층 식별자(nuh_layer_id) 정보를 기반으로 SPS에서 tiles_enabled_flag를 시그널링하는 방법을 나타내는 신택스의 일예이다.

표 8에 도시된 신택스들의 의미는 앞에서 설명한 것과 동일하므로, 여기서는 신택스의 설명을 생략한다.

표 9는 본 발명의 실시예에 따라 계층 식별자(nuh_layer_id) 정보를 기반으로 tiles_enabled_flag를 시그널링하는 방법을 나타내는 신택스의 다른 예이다.

표 9를 참조하면, tiles_enabled_flag가 1의 값을 가지는 경우, 해당 PPS를 참조하는 모든 픽처들이 두 개 이상의 타일을 포함함을 의미한다. tiles_enabled_flag가 0의 값을 가지는 경우, 해당 PPS를 참조하는 모든 픽처들이 한 개의 타일만을 포함함을 의미한다. 만약, tiles_enabled_flag 값이 시그널링되지 않는다면 tiles_enabled_flag 값은 sps_tiles_enabled_flag 값으로 추론된다.

이때, tiles_enabled_flag 값은 CVS의 특정 계층 내에 활성화된 모든 PPS에 대해 동일한 값을 가져야만 한다.

VPS 에서 타일 정보( Tile information in VPS )

어떤 CVS들은 일부 디코더에서 실시간으로 디코딩하기에 복잡할 수도 있다. 만약 타일 관련 정보가 디코더에 전달된다면, 디코더는 해당 CVS를 디코딩할 수 있는지 여부를 미리 알 수 있다. 즉, VPS에서 시그널링되는 타일 관련 정보는 세션 협상(session negotiation)을 위해 유용할 수 있다. 더불어, 만약 특정 계층 내의 픽처들이 동일한 타일 세팅을 가진다면, 즉 동일한 기본(default) 타일의 형태를 가진다면, 모든 PPS에서 타일 관련 정보를 시그널링할 필요가 없을 수 있다.

따라서, 본 발명에서는 VPS에서 일반적으로 기본(default) 타일 관련 정보 혹은 최대 및 최소 타일의 수와 관련된 정보를 기술하는 것을 제안한다.

실시예 1

표 10은 본 발명의 실시예에 따른 VPS에서 타일 관련 정보를 시그널링하는 방법을 나타내는 신택스의 일예이다.

표 10을 참조하면, tiles_not_in_use_flag가 1의 값을 가지는 경우, CVS의 모든 픽처들이 한 개의 타일만을 포함하고 있음을 의미한다. tiles_not_in_use_flag가 0의 값을 가지는 경우, 해당 VPS를 참조하는 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재할 수 있음을 의미한다.

default_tile_info_flag[ i ]가 1의 값을 가지는 경우, i번째 계층의 픽처가 기본 타일 세팅(default tile setting)을 가짐을 의미할 수 있다. default_tile_info_flag[ i ]가 0의 값을 가지는 경우, i번째 계층의 픽처가 기본 타일 세팅(default tile setting)을 가질 수도 있고 가지지 않을 수도 있음을 나타낸다.

num_tile_columns_minus1[ i ] 더하기 1의 값은 i번째 계층의 픽처를 나누는(partitioning) 타일의 열(tile column)의 개수를 나타낸다. num_tile_columns_minus1[ i ]이 시그널링 되지 않는 경우에는 num_tile_columns_minus1[i]를 0으로 가정한다.

num_tile_rows_minus1[ i ] 더하기 1의 값은 i번째 계층의 픽처를 나누는(partitioning) 타일의 행(tile row)의 개수를 나타낸다. num_tile_rows_minus1[ i ]이 시그널링 되지 않는 경우에는 num_tile_rows_minus1[i]를 0으로 가정한다.

uniform_spacing_flag[ i ]가 1의 값은 가지는 경우, i번째 계층의 픽처에 타일의 열(tile column)과 타일의 행(tile row)이 일정 간격으로 위치해 있음을 의미한다. Uniform_spacing_flag[i]가 0의 값을 가지는 경우, i번째 계층의 픽처에 타일의 열(tile column)과 타일의 행(tile row)이 일정 간격으로 위치해 있지 않음을 의미하며, 이때, 각 타일들의 column_width_minus1[i][j]와 row_height_minus1[i][j]를 이용하여 열(column)의 너비(width)와 행(row)의 높이(height)를 시그널링할 수 있다. uniform_spacing_flag 값이 존재하지 않는 경우에는 uniform_spacing_flag 값을 1로 가정할 수 있다.

column_width_minus1[ i ][ j ] 더하기 1의 값은 i번째 계층의 j번째 타일의 열(column)의 넓이(width)를 코딩 트리 블록(coding tree block) 단위로 기술한 것이다.

row_height_minus1[ i ][ j ] 더하기 1의 값은 i번째 계층의 j번째 타일의 행(row)의 높이(height)를 코딩 트리 블록(coding tree block) 단위로 기술한 것이다.

loop_filter_across_tiles_enabled_flag[ i ]가 1의 값은 가지는 경우, i번째 계층의 픽처에서 타일 경계 부분에 대해 인-루프 필터링(in-loop filtering)을 한다는 것을 나타낸다. loop_filter_across_tiles_enabled_flag[ i ]가 0의 값을 가지는 경우, i번째 계층의 픽처의 타일 경계 부분에 대해 인-루프 필터링(in-loop filtering)을 하지 않는다는 것을 나타낸다. 인-루프 필터링(In-loop filtering) 동작은 디블록킹 필터(deblocking filter)와 적응적 오프셋 필터(adaptive offset filter) 동작을 포함한다. loop_filter_across_tiles_enabled_flag 값이 시그널링되지 않는 경우는 loop_filter_across_tiles_enabled_flag 값을 1로 가정한다.

상기 표 10에서와 같이, VPS에서 타일 관련 정보를 보내는 대신에 SEI(Supplemental enhancement information) 메시지에서 위와 동일한 정보를 시그널링할 수도 있다.

또한, PPS에서 시그널링되는 타일 관련 정보를 필요 시에만 업데이트 할 수 있도록 PPS를 수정할 수도 있다.

표 11은 본 발명의 실시예에 따른 PPS에서 시그널링되는 타일 관련 정보를 필요 시에만 업데이트 할 수 있도록 하는 방법을 나타내는 신택스의 일예이다.

표 11을 참조하면, tiles_enabled_flag가 1의 값을 가지는 경우, 해당 PPS를 참조하는 모든 픽처들이 두 개 이상의 타일을 포함함을 의미한다. tiles_enabled_flag가 0의 값을 가지는 경우, PPS를 참조하는 모든 픽처들이 한 개의 타일만을 포함함을 의미한다. 만약에 tiles_enabled_flag 값이 시그널링되지 않는다면, tiles_enabled_flag 값은 0 값으로 추론된다.

update_tiles_info_flag가 1의 값을 가지는 경우, 해당 PPS를 참조하는 픽처들의 타일 관련 정보가 업데이트 되는 것을 나타낸다. update_tiles_info_flag가 0의 값을 가지는 경우, 해당 PPS를 참조하는 픽처들의 타일 관련 정보가 업데이트 되지 않았음을 나타낸다.

실시예 2

표 12는 본 발명의 실시예에 따른 VPS에서 타일 관련 정보를 시그널링하는 방법을 나타내는 신택스의 다른 예이다.

PPS의 업데이트 메커니즘은 다음 표 13과 같이 타일의 수와 루프 필터 시그널링 관련 내용에만 적용될 수 있다.

상기 표 12 및 표 13에 도시된 신택스들의 시맨틱스(semantics)는 실시예 1의 표 10 및 표 11에서 설명한 신택스들과 의미가 동일하다.

실시예 3

표 14는 본 발명의 실시예에 따른 VPS에서 타일 관련 정보를 시그널링하는 방법을 나타내는 신택스의 또 다른 예이다.

상기 표 14에 도시된 신택스들의 시맨틱스는 실시예 1의 표 10 및 표 11에서 설명한 신택스들과 의미가 동일하다.

실시예 4

표 15는 본 발명의 실시예에 따른 VPS에서 타일 관련 정보를 시그널링하는 방법을 나타내는 신택스의 또 다른 예이다.

표 15를 참조하면, min_max_tile_info_flag[ i ]가 1의 값을 가지는 경우, 비트스트림에 포함된 i번째 계층의 픽처가 가지는 최대 타일 개수와 최소 타일 개수를 시그널링함을 의미한다. min_max_tile_info_flag[ i ]가 0의 값을 가지는 경우, 비트스트림에 포함된 i번째 계층의 픽처가 가지는 최대 타일 개수와 최소 타일 개수를 시그널링하지 않음을 의미한다.

max_num_tile_columns_minus1[ i ] 더하기 1의 값은 i번째 계층의 픽처를 나누는(partitioning) 타일의 열(tile column)의 최대 개수를 나타낸다. max_num_tile_columns_minus1[ i ]가 시그널링 되지 않는 경우에는 max_num_tile_columns_minus1[i]를 0으로 가정한다.

min_num_tile_columns_minus1[ i ] 더하기 1의 값은 i번째 계층의 픽처를 나누는(partitioning) 타일의 열(tile column)의 최소 개수를 나타낸다. min_num_tile_columns_minus1[ i ]가 시그널링 되지 않는 경우에는 min_num_tile_columns_minus1[i]를 0으로 가정한다.

max_num_tile_rows_minus1[ i ] 더하기 1의 값은 i번째 계층의 픽처를 나누는(partitioning) 타일의 행(tile row)의 최대 개수를 나타낸다. max_num_tile_rows_minus1[ i ]가 시그널링 되지 않는 경우에는 max_num_tile_rows_minus1[i]를 0으로 가정한다.

min_num_tile_rows_minus1[ i ] 더하기 1의 값은 i번째 계층의 픽처를 나누는(partitioning) 타일의 행(tile row)의 최소 개수를 나타낸다. min_num_tile_rows_minus1[ i ]가 시그널링 되지 않는 경우에는 min_num_tile_rows_minus1[i]를 0으로 가정한다.

실시예 5

표 16은 본 발명의 실시예에 따른 VPS에서 타일 관련 정보를 시그널링하는 방법을 나타내는 신택스의 또 다른 예이다.

표 16을 참조하면, max_tile_info_flag[ i ]가 1의 값을 가지는 경우, 비트스트림에 포함된 i번째 계층의 픽처가 가지는 최대 타일 개수를 시그널링함을 의미한다. max_tile_info_flag[ i ]가 0의 값을 가지는 경우, 비트스트림에 포함된 i번째 계층의 픽처가 가지는 최대 타일 개수를 시그널링하지 않음을 의미한다.

min_tile_info_flag[ i ]가 1의 값을 가지는 경우, 비트스트림에 포함된 i번째 계층의 픽처가 가지는 최소 타일 개수를 시그널링함을 의미한다. min_tile_info_flag[ i ]가 0의 값을 가지는 경우, 비트스트림에 포함된 i번째 계층의 픽처가 가지는 최소 타일 개수를 시그널링하지 않음을 의미한다.

상기 실시예 4와 실시예 5는 vps_vui()에서 시그널링될 수도 있다.

SPS 에서 타일 정보( Tile information in SPS )

일반적으로 특정 계층 내 픽처들의 타일 세팅은 동일할 것이므로, 타일 관련 정보를 기술하는 다른 방식은 SPS에 기술할 수 있다. 만약 VPS에 타일 관련 정보를 수정하지 않는다면, SPS는 다음 표 17과 같이 수정될 수 있다.

표 17은 본 발명의 실시예에 따른 SPS에서 타일 관련 정보를 시그널링하는 방법을 나타내는 신택스의 일예이다.

표 17에 기술된 신택스들의 시맨틱스는 앞서 설명한 VPS에서 타일 정보를 시그널링하는 신택스들과 동일하므로, 여기서는 설명을 생략한다.

존재하지 않는 타일 영역에 대한 기술( Description of not - present tile sets )

현재 한 개의 CVS 내 독립적으로 복호 가능한 영역들(즉, 타일 영역 혹은 타일 세트, tile sets)은 “inter-layer constrained tile sets SEI messages"와 “motion-constrained SEI message”에 기술될 수 있다. 이때, 기술된 영역 밖의 부분(CVS 내 독립적으로 복호 가능한 영역을 제외한 영역)은 해당 부분에 대한 부호화된 데이터를 보내지 않고 생략(skip)될 수 있다.

그러나, 도 4에 도시된 바와 같이, 나중에 의도적으로 제거되어 비게(empty)되는 타일 영역(tile set)이 있을 수 있다. 이러한 타일 영역은 추후에 콘텐츠 전달 경로(광고 박스 등을 위해 사용)에 존재하는 디바이스에 의해 채워질 수 있다. 이를 위해, 어느 타일 영역들(즉, 독립적으로 복호 가능한 영역들)이 제거 되었는지를 디코더가 알 수 있다면 도움이 될 것이다.

현재의 “inter-layer constrained tile sets SEI messages"는 독립적으로 복호화 가능한 영역만을 기술하며, 전달 경로에서 제거된 영역이 어느 영역인지에 대해서는 기술하지 않는다.

따라서, 본 발명에서는 픽처 내 복호화 가능한 영역과 제거된 영역을 식별할 수 있도록 타일 영역에 대한 정보를 기술할 수 있는 방법을 제공한다.

일예로, 픽처 내 타일 영역이 존재하는지 여부를 나타내기 위해 각각의 정의된 타일 영역에 플래그를 추가할 수 있다.

표 18은 본 발명의 실시예에 따른 타일 영역이 존재하는지 여부를 나타내는 플래그를 이용하는 방법을 나타낸 신택스의 일예이다.

표 18을 참조하면, present_flag[i]가 1의 값인 경우, CVS 내에 인식된 타일영역(tile set)이 존재함을 의미한다. present_flag[i]가 0의 값인 경우, CVS 내에 인식된 타일 영역이 존재하지 않음을 의미한다.

다른 예로, CVS 내에 각각의 타일 영역이 존재하는지 여부를 알려주는 새로운 SEI 메시지를 만들 수 있다. 이 경우, “inter-layer constrained tile sets SEI message”는 수정하지 않아도 된다.

표현 포맷의 수정( Revision of representation formats )

이하, 본 발명에서는 VPS와 SPS에 기술된 “표현 포맷(representation format)”에 대한 표현을 개선하기 위한 방안을 제안한다.

표 19는 본 발명의 실시예에 따른 표현 포맷을 시그널링하는 방법을 나타내는 신택스의 일예이다.

표 19를 참조하면, vps_rep_format_idx[ i ]는 i번째 계층에 적용되는 rep_format() 신택스의 리스트에 대한 인덱스를 나타낸다.

상기 표 19의 신택스는 다음 표 20과 같이 수정될 수도 있다. 표 20과 같이 수정될 경우, 디코더 혹은 미들 박스에서 VPS 파싱 과정이 vps_num_rep_formats_minus1=0 일 때, “for” 루프에 대해 시그널링하지 않아도 된다는 장점이 있다.

표 20은 본 발명의 실시예에 따른 표현 포맷을 시그널링하는 방법을 나타내는 신택스의 다른 예이다.

한 개의 픽처 사이즈 또는 비트 깊이(bit-depth)가 몇 개의 계층들에 대해서만 변경될 때 중복적인 정보의 시그널링을 막기 위해서 표현 포맷에 대한 정보를 다음 표 21과 같이 시그널링할 수도 있다.

표 21은 본 발명의 실시예에 따라서 중복적인 정보가 시그널링되는 것을 개선하기 위한 표현 포맷 신택스를 나타낸 일예이다.

표 21을 참조하면, chroma_size_vps_present_flag가 1의 값을 가지는 경우, 색차 포맷(chroma format)과 픽처 사이즈 관련 정보가 신택스 내에 포함되어 있음을 나타낸다. chroma_size_vps_present_flag가 0의 값을 가지는 경우, 색차 포맷(chroma format)과 픽처 사이즈 관련 정보가 이전에 시그널링된 rep_format()을 참조함을 의미한다. 첫번째 rep_format()의 chroma_size_vps_present_flag의 값은 1이어야만 한다.

bit_depth_vps_present_flag가 1의 값을 가지는 경우, 비트 깊이(bit-depth)관련 정보가 신택스 내에 포함되어 있음을 나타낸다. bit_depth_vps_present_flag가 0의 값을 가지는 경우, 비트 깊이(bit-depth) 관련 정보가 이전에 시그널링된 rep_format()을 참조함을 의미한다. 첫번째 rep_format()의 bit_depth_vps_present_flag의 값은 1이어야만 한다.

한 개의 픽처 사이즈는 계층별로 다르지만 색차 포맷과 비트 깊이는 계층별로 다르지 않는 경우가 많을 때 중복적인 정보의 시그널링을 막기 위하여 표현 포맷에 대한 정보를 다음 표 22와 같이 시그널링할 수도 있다.

표 22는 본 발명의 실시예에 따라서 중복적인 정보가 시그널링되는 것을 개선하기 위한 표현 포맷 신택스를 나타낸 다른 예이다.

표 22를 참조하면, depth_chroma_vps_present_flag가 1의 값을 가지는 경우, 색차 포맷(chroma format)과 비트 깊이(bit-depth) 관련 정보가 신택스 내에 포함되어 있음을 나타낸다. depth_chroma_vps_present_flag가 0의 값을 가지는 경우, 색차 포맷(chroma format)과 비트 깊이(bit-depth) 관련 정보가 이전에 시그널링된 rep_format()을 참조함을 의미한다. 이때, 이전에 시그널링된 rep_format()은 현재 rep_format()이 적용되는 계층의 바로 아래 계층에 적용되는 rep_format()을 의미할 수도 있다. 첫번째 rep_format()의 depth_chroma_vps_present_flag의 값은 1이어야만 한다.

추가로, SPS에서 update_re_format_flag는 아래의 표 23과 같이 색차 포맷(chromate format)과 픽처 사이즈 관련 업데이트 정보가 존재함을 나타내는update_chroma_size_flag와 비트 깊이(bit-depth) 관련 업데이트 정보가 존재함을 나타내는 update_bit_depth_flag로 대체될 수 도 있다.

표 23은 본 발명의 실시예에 따라서 SPS에서 색차 포맷, 픽처 사이즈 및 비트 깊이 관련 업데이트 정보를 시그널링하는 방법을 나타내는 신택스의 일예이다.

표 23을 참조하면, update_chroma_size_flag가 1의 값을 가지는 경우, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, 및 pic_height_in_luma_samples가 SPS에서 시그널링되고, 해당 SPS를 참조하는 nuh_layer_id 값이 0보다 큰 모든 계층들이 상기 시그널링되는 값들을 사용한다. 이때, nuh_layer_id 값이 0보다 큰 계층은 VPS에서 시그널링되는 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, 및 pic_height_in_luma_samples 관련 값들을 사용하지 않는다.

update_chroma_size_flag가 0의 값을 가지는 경우, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, 및 pic_height_in_luma_samples 값이 SPS에 시그널링되지 않는다는 것을 나타내며, 해당 SPS를 참조하는 모든 계층들이 VPS에서 시그널링되는 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, 및 pic_height_in_luma_samples 값들을 사용한다. update_chroma_size_flag가 시그널링되지 않는 경우, update_chroma_size_flag 값은 1로 간주한다.

nuh_layer_id 값이 0보다 큰 값(nuh_layer_id = layerIdCurr > 0)을 가지는 현재 픽처가 특정 SPS를 참조하는 경우, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples는 다음의 값으로 간주되거나 제약될 수 있다.

- 활성화된 SPS의 nuh_layer_id 값이 0인 경우, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값은 활성화된 VPS의 vps_ref_format_idx[j]-th rep_format()의 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples으로 간주된다. 이때, j는 LayerIdxInVps[ layerIdCurr ]이며, 활성화된 SPS에서 시그널링된 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값은 무시된다.

활성화된 비-기본 계층(an active non-base layer)이 기본 계층에서도 사용되는 SPS를 참조할 때, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값들은 VPS로부터 유추되며, 이때 SPS는 nuh_layer_id가 0 값을 가진다. 활성화된 기본 계층의 경우, 활성화된 SPS에서 시그널링된 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값들이 적용된다.

- 활성화된 SPS의 nuh_layer_id 값이 0보다 크다면, 다음을 적용한다.

만약 update_chroma_size_flag 값이 0인 경우, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값들은 활성화된 VPS의 vps_ref_format_idx[j]-th rep_format()의 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples으로 간주된다. 이때, j는 LayerIdxInVps[ layerIdCurr ]이다.

만약 update_chroma_size_flag 값이 1인 경우, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값들은 활성화된 VPS의 vps_ref_format_idx[j]-th rep_format()의 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값들보다 작거나 같아야 한다. 이때, j는 LayerIdxInVps[ layerIdCurr ]이다.

update_bit_depth_flag가 1의 값을 가지는 경우, bit_depth_luma_minus8과 bit_depth_chroma_minus8가 SPS에서 시그널링되고, 해당 SPS를 참조하는 nuh_layer_id 값이 0보다 큰 모든 계층들이 상기 시그널링되는 값들을 사용한다. 이때, nuh_layer_id 값이 0보다 큰 계층에서는 VPS에서 시그널링되는 bit_depth_luma_minus8과 bit_depth_chroma_minus8 관련 값들을 사용하지 않는다.

update_bit_depth_flag가 0의 값을 가지는 경우, bit_depth_luma_minus8과 bit_depth_chroma_minus8 값이 SPS에 시그널링되지 않는다는 것을 나타내며, 해당 SPS를 참조하는 모든 계층들이 VPS에서 시그널링되는 bit_depth_luma_minus8과 bit_depth_chroma_minus8 값들을 사용한다. update_bit_depth_flag가 시그널링되지 않는 경우, update_bit_depth_flag 값은 1로 간주한다.

nuh_layer_id 값이 0보다 큰 값(nuh_layer_id = layerIdCurr > 0)을 가지는 현재 픽처가 특정 SPS 를 참조하는 경우, bit_depth_luma_minus8과 bit_depth_chroma_minus8는 다음의 값으로 간주되거나 제약될 수 있다.

- 활성화된 SPS의 nuh_layer_id 값이 0인 경우, bit_depth_luma_minus8과 bit_depth_chroma_minus8 값은 활성화된 VPS의 vps_ref_format_idx[j]-th rep_format()의 bit_depth_luma_minus8과 bit_depth_chroma_minus8으로 간주된다. 이때, j는 LayerIdxInVps[ layerIdCurr ]이며, 활성화된 SPS에서 시그널링된 bit_depth_luma_minus8과 bit_depth_chroma_minus8 값은 무시된다.

활성화된 비-기본 계층(an active non-base layer)이 기본 계층에서도 사용되는 SPS를 참조할 때, bit_depth_luma_minus8과 bit_depth_chroma_minus8 값들은 VPS로부터 유추되며, 이때 SPS는 nuh_layer_id가 0 값을 가진다. 활성화된 기본 계층의 경우, 활성화된 SPS에서 시그널링된 bit_depth_luma_minus8과 bit_depth_chroma_minus8 값들이 적용된다.

- 활성화된 SPS의 nuh_layer_id 값이 0보다 크다면, 다음을 적용한다.

만약 update_bit_depth_flag 값이 0인 경우, bit_depth_luma_minus8과 bit_depth_chroma_minus8 값들은 활성화된 VPS의 vps_ref_format_idx[j]-th rep_format()의 bit_depth_luma_minus8과 bit_depth_chroma_minus8로 간주된다. 이때, j는 LayerIdxInVps[ layerIdCurr ]이다.

만약 update_bit_depth_flag 값이 1인 경우, bit_depth_luma_minus8과 bit_depth_chroma_minus8 값은 활성화된 VPS의 vps_ref_format_idx[j]-th rep_format()의 bit_depth_luma_minus8과 bit_depth_chroma_minus8 보다 작거나 같아야 한다. 이때, j는 LayerIdxInVps[ layerIdCurr ]이다.

VPS extension 에서의 sps _ max _ sub _ layers _ minus1 시그널링 관련

비트스트림에 포함된 계층별 시간 서브 레이어(temporal sub-layer)의 개수는 VPS 확장(extension)에서 시그널링될 수 있다.

표 24는 본 발명의 실시예에 따른 최대 시간 서브 레이어(temporal sub-layer)의 개수를 시그널링하는 방법을 나타내는 신택스의 일예이다.

표 24를 참조하면, vps_sub_layers_max_minus_present_flag가 1인 경우, sub_layer_vps_max_minus1[i] 값이 시그널링됨을 나타내며, vps_sub_layers_max_minus_present_flag가 0인 경우, sub_layer_vps_max_minus1[i] 값이 시그널링되지 않음을 나타낸다.

sub_layers_vps_max_minus1[i]+1은 nuh_layer_id 값이 layer_id_in_nuh[i]인 계층에 존재하는 최대 시간 서브 레이어(temporal sub-layer)의 수를 나타낸다. sub_layers_vps_max_minus1[i] 값은 0부터 vps_max_sub_layers_minus1의 범위를 가지며, sub_layer_vps_max_minus1[i] 값이 시그널링되지 않는다면, sub_layers_vps_max_minus1[i]값은 vps_max_sub_layers_minus1 값으로 추론된다.

한편, SPS에서는 해당 SPS를 참조하는 계층이 0의 nuh_layer_id 값을 가지는 경우, 해당 계층이 가질 수 있는 최대 시간 서브 레이어(temporal sub-layer)의 수를 나타내기 위한 sps_max_sub_layers_minus1을 시그널링한다. 그러나, SPS에서는 해당 SPS를 참조하는 계층이 0보다 큰 nuh_layer_id 값을 가지는 경우에, 해당 계층이 가질 수 있는 최대 시간 서브 레이어(temporal sub-layer)의 수를 나타내기 위한 sps_max_sub_layers_minus1을 따로 시그널링하지 않는다. 이러한 경우, 해당 계층의 최대 시간 서브 레이어(temporal sub-layer)의 수가 아닌 전체 비트스트림에 존재하는 최대 시간 서브 레이어(temporal sub-layer)의 수인 vps_max_sub_layers_minus1+1 값으로 정한다.

그러나 앞에서 설명하였듯이, VPS extension에서 계층별 최대 시간 서브 레이어(temporal sub-layer)의 수를 시그널링하는 경우, nuh_layer_id 값이 0보다 큰 경우의 sps_max_sub_layers_minus1 값은 다음과 같이 sub_layers_vps_max_minus1[i] 값으로 정하는 것이 명확할 수 있다.

sps_max_sub_layers_minus1+1은 해당 SPS를 참조하는 계층이 0보다 큰 nuh_layer_id를 가지는 경우, 해당 계층이 가질 수 있는 최대 시간적 서브 레이어(temporal sub-layer)의 수를 나타낸다. sps_max_sub_layers_minus1은 0부터 6사이의 값을 가진다. sps_max_sub_layers_minus1이 시그널링되지 않는 경우, sps_max_sub_layers_minus1 값은 nuh_layer_id 값이 layer_id_in_nuh_[i]인 i번째 계층의 sub_layers_vps_max_minus1[i]값과 같다고 추론한다.

VPS 에서의 temporal _ id _ nesting _ flag 시그널링

VPS에서 시그널링되는 vps_temporal_id_nesting_flag는 비트스트림의 모든 계층에 대해 시간 서브 레이어의 스위칭 업(switching-up)이 가능함을 알려주기 위해 사용된다. 즉, vps_max_sub_layers_minus1 값이 0보다 큰 경우, vps_temporal_id_nesting_flag 값은 해당 VPS를 참조하는 CVS(부호화된 비디오 비트스트림)에 대해 화면간 예측을 추가적으로 제한할지 여부를 나타낸다. vps_max_sub_layers_minus1 값이 0인 경우, vps_temporal_id_nesting_flag는 1 값을 가져야만 한다.

그러나, 복호화기나 비트스트림 추출기가 SPS를 분석하지 않고 계층별로 스위칭 업이 가능한지 여부를 아는 것도 유용할 수 있다. 따라서, VPS에서 계층별로 스위칭 업이 가능한지 여부를 나타내는 temporal_id_nesting_flag를 시그널링하는 방안을 다음 표 25와 같이 제안한다.

표 25는 본 발명의 실시예에 따른 계층별로 스위칭 업이 가능한지 여부를 나타내는 플래그를 시그널링하는 방법을 나타내는 신택스의 일예이다.

표 25를 참조하면, vps_layer_temporal_id_nesting_present_flag 값이 1인 경우, vps_layer_temporal_id_nesting_flag[i]가 존재함을 나타낸다. vps_layer_temporal_id_nesting_present_flag 값이 0인 경우, vps_layer_temporal_id_nesting_flag[i]가 시그널링되지 않음을 나타낸다.

vps_layer_temporal_id_nesting_flag[ i ]는 sub_layers_vps_max_minus1[i]이 0보다 큰 경우에, i번째 계층의 픽처에 대해 화면간 예측이 추가적으로 제약되는지 여부를 나타낸다. sub_layers_vps_max_minus[i]가 0인 경우, vps_layer_temporal_id_nesting_flag[i]는 1값을 가져야만 한다. vps_layer_temporal_id_nesting_flag[i]가 시그널링되지 않는 경우, vps_layer_temporal_id_nesting_flag[i]는 vps_temporal_id_nesting_flag 값과 동일하다고 추론한다.

추가로, SPS에서 시그널링되는 sps_temporal_id_nesting_flag의 시맨틱은 다음과 같이 수정될 수 있다.

sps_temporal_id_nesting_flag는 sps_max_sub_layers_minus1가 0보다 큰 경우에, 해당 SPS를 참조하는 CVS(부호화된 비디오 스트림)에 대해 추가적으로 화면간 예측을 제한할지 여부를 나타낸다.

vps_temporal_id_nesting_flag 값이 1인 경우, sps_temporal_id_nesting_flag 값은 1이어야만 한다. sps_max_sub_layers_minus1가 0인 경우, sps_temporal_id_nesting_flag 값은 1이여야만 한다. sps_temporal_id_nesting_flag 값이 시그널링되지 않는 경우, sps_temporal_id_nesting_flag 값은 nuh_layer_id 값이 layer_id_in_nuh[i]인 i번째 계층의 vps_layer_temporal_id_nesting_flag[i] 값과 동일하다고 추론한다.

도 5는 본 발명의 실시예에 따른 복수의 계층을 지원하는 스케일러블 비디오 코딩 구조에서 타일 관련 정보를 획득하는 방법을 개략적으로 나타내는 순서도이다.

도 5의 방법은 상술한 도 2의 영상 복호화 장치(보다 구체적으로, 엔트로피 복호화부)에 의해 수행될 수 있다. 본 실시예에서는 설명의 편의 상 복호화 장치에 의해 수행되는 것으로 기술하나, 그 역과정이 부호화 장치에 의해 수행될 수 있다.

도 5를 참조하면, 복호화 장치는 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 획득한다(S500).

복호화 장치는 스케일러블 비트스트림을 수신하고, 이를 엔트로피 디코딩하여 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 획득할 수 있다.

타일 관련 정보가 존재하는지 여부를 지시하는 정보는, 상술한 바와 같이, 계층 내 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재하는지 여부를 나타내는 정보일 수 있다.

예컨대, 계층 내 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재하는 경우, 타일 관련 정보가 존재하는지 여부를 지시하는 정보는 타일 관련 정보가 존재하는 것으로 설정될 수 있다. 반면, 계층 내 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재하지 않는 경우, 즉 계층 내 모든 픽처들이 한 개의 타일만을 포함하는 있는 경우, 타일 관련 정보가 존재하는지 여부를 지시하는 정보는 타일 관련 정보가 존재하지 않는 것으로 설정될 수 있다.

복호화 장치는 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로 타일 관련 정보를 획득한다(S510).

비트스트림 내 타일 관련 정보가 존재하는 것으로 지시된 경우, 복호화 장치는 타일 관련 정보를 엔트로피 디코딩함으로써 획득할 수 있다.

타일 관련 정보는, 현재 계층의 픽처에 존재하는 타일의 위치가 현재 계층이 참조하는 참조 계층의 픽처에 존재하는 타일의 위치와 대응되는지 여부를 나타내는 정보일 수 있다. 예컨대, 상술한 바와 같이, 타일 관련 정보는 tile_boundaries_aligned_flag일 수 있다.

상기 타일 관련 정보가 존재하는지 여부를 지시하는 정보와 타일 관련 정보는 VPS, PPS, SPS 등을 통해 부호화기로부터 전송될 수 있다.

상술한 본 발명의 실시예에 따른 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로 타일 관련 정보를 획득하는 과정은 표 1 내지 표 7에 기술된 신택스와 같이 수행될 수도 있고, 상기 실시 예들의 여러 조합으로도 적용 가능하다.

도 6은 본 발명의 실시예에 따른 복수의 계층을 지원하는 스케일러블 비디오 코딩 구조에서 표현 포맷 관련 정보를 획득하는 방법을 개략적으로 나타내는 순서도이다.

도 6의 방법은 상술한 도 2의 영상 복호화 장치(보다 구체적으로, 엔트로피 복호화부)에 의해 수행될 수 있다. 본 실시예에서는 설명의 편의 상 복호화 장치에 의해 수행되는 것으로 기술하나, 그 역과정이 부호화 장치에 의해 수행될 수 있다.

도 6을 참조하면, 복호화 장치는 색차 포맷(chroma format) 관련 정보와 비트 깊이(bit-depth) 관련 정보가 존재하는지 여부를 지시하는 정보를 획득한다(S600).

복호화 장치는 스케일러블 비트스트림을 수신하고, 이를 엔트로피 디코딩하여 색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보를 획득할 수 있다.

색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보는 표 19 내지 표 23을 통해 설명한 바 있으며, 예컨대 rep_format_idx_present_flag, depth_chroma_vps_present_flag, chroma_size_vps_present_flag, bit_depth_vps_present_flag 등일 수 있다.

복호화 장치는 색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로 색차 포맷 관련 정보와 비트 깊이 관련 정보를 획득한다(S610).

비트스트림 내 색차 포맷 관련 정보 및 비트 깊이 관련 정보가 존재하는 것으로 지시된 경우, 복호화 장치는 색차 포맷 관련 정보 및 비트 깊이 관련 정보를 엔트로피 디코딩함으로써 획득할 수 있다.

색차 포맷 관련 정보는 색차와 루마(luma) 샘플링에 관한 정보로서, 모노크롬 샘플링, 4:2:0 샘플링, 4:2:2 샘플링, 4:4:4 샘플링 색차 포맷이 존재한다.

모토크롬 샘플링은 루마 배열(array)로만 구성된 샘플 배열을 말한다. 4:2:0 샘플링은 두 개의 색차 배열 각각이 루마 배열의 1/2 높이와 1/2 너비를 가지는 것을 말한다. 4:2:2 샘플링은 두 개의 색차 배열 각각이 루마 배열의 높이와 1/2 너비를 가지는 것을 말한다. 4:4:4 샘플링은 두 개의 색차 배열 각각이 루마 배열의 높이와 너비와 같거나, 모노크롬 샘플링으로 처리되는 것을 말한다.

비트스트림 내 색차 포맷 관련 정보 및 비트 깊이 관련 정보가 존재하지 않는 것으로 지시된 경우, 색차 포맷 관련 정보는 이전에 시그널링된 색차 포맷 관련 정보를 참조하며, 비트 깊이 관련 정보는 이전에 시그널링된 비트 깊이 관련 정보를 참조할 수 있다.

상기 색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보, 색차 포맷 관련 정보, 비트 깊이 관련 정보는 VPS, PPS, SPS, 표현 포맷과 관련된 정보들을 기술하는 신택스인 rep_format() 등을 통해 부호화기로부터 전송될 수 있다.

상술한 본 발명의 실시예에 따른 색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로 색차 포맷 관련 정보 및 비트 깊이 관련 정보를 획득하는 과정은 표 19 내지 표 23을 통해 기술한 바 있으므로, 여기서는 구체적인 설명을 생략한다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

1. 복수의 계층을 지원하는 영상 복호화 방법에 있어서,
   비트스트림으로부터 영상 시퀀스에 속하는 모든 픽처가 단일 타일로 구성되는지 여부를 나타내는 제1 플래그를 복호화하는 단계; 및
   상기 제1 플래그가 영상 시퀀스에 속하는 모든 픽처가 단일 타일로 구성되지 않음을 나타낼 때, 상기 비트스트림으로부터 현재 계층이 상기 타일의 경계에서 참조 계층과 일치하는지 여부를 나타내는 제2 플래그를 복호화하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
2. 제1항에 있어서,
   상기 제1 플래그는 VUI(Video Usability Information)에 포함되는 것을 특징으로 하는 영상 복호화 방법.
3. 제1항에 있어서,
   상기 방법은,
   상기 제1 플래그가 영상 시퀀스에 속하는 모든 픽처가 단일 타일로 구성되지 않음을 나타낼 경우, 상기 비트스트림으로부터 상기 현재 계층의 픽처에서 타일의 경계 부분에 대해 인-루프 필터링이 수행되는지 여부를 나타내는 제3 플래그를 복호화하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
4. 삭제
5. 복수의 계층을 지원하는 영상 부호화 방법에 있어서,
   영상 시퀀스에 속하는 모든 픽처가 단일 타일로 구성되는지 여부를 결정하는 단계;
   상기 결정에 기초하여, 영상 시퀀스에 속하는 모든 픽처가 단일 타일로 구성되는지 여부를 나타내는 제1 플래그를 부호화하는 단계;
   상기 제1 플래그 가 영상 시퀀스에 속하는 모든 픽처가 단일 타일로 구성되지 않음을 나타낼 때, 현재 계층이 상기 타일의 경계에서 참조 계층과 일치하는지 여부를 나타내는 제2 플래그를 부호화하는 단계; 및
   상기 제1 플래그 및 상기 제2 플래그 중 적어도 하나를 포함하는 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
6. 제5항에 있어서,
   상기 제1 플래그는 VUI(Video Usability Information)에 포함되는 것을 특징으로 하는 영상 부호화 방법.
7. 영상 복호화 장치에 의해 수신되고 복호화되어 영상을 복원하는데 사용되는 영상 데이터를 저장하는 컴퓨터 판독가능한 비일시적 기록 매체에 있어서,
   상기 영상 데이터는 영상 시퀀스에 속하는 모든 픽처가 단일 타일로 구성되는지 여부를 나타내는 제1 플래그를 포함하고,
   상기 영상 데이터는 상기 제1 플래그 가 영상 시퀀스에 속하는 모든 픽처가 단일 타일로 구성되지 않음을 나타낼 때, 현재 계층이 상기 타일의 경계에서 참조 계층과 일치하는지 여부를 나타내는 제2 플래그를 포함하는 것을 특징으로 하는 컴퓨터 판독가능한 비일시적 기록 매체.
8. 삭제
9. 삭제

Images