KR100763196B1

KR100763196B1 - 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치

Info

Publication number: KR100763196B1
Application number: KR1020060004139A
Authority: KR
Inventors: 이배근; 한우진
Original assignee: 삼성전자주식회사
Priority date: 2005-10-19
Filing date: 2006-01-13
Publication date: 2007-10-04
Also published as: JP2007116695A; JP4589290B2; CN1976458A; CA2564008A1; AU2006225239A1; MXPA06011817A; WO2007046633A1; BRPI0604311A; TW200718220A; EP1777968A1; RU2324302C1; KR20070042853A; US20070086516A1

Abstract

본 발명은 다 계층 기반의 코덱에 있어서, 계층별 플래그 간의 연관성을 이용하여 상기 플래그를 효율적으로 부호화하는 방법 및 장치에 관한 것이다.

상기 부호화하는 방법은, 소정의 단위 영역에 포함되는 상기 현재 계층의 플래그들과, 상기 기초 계층의 플래그들이 모두 동일한가를 판단하는 단계와, 상기 판단 결과에 따라 소정의 예측 플래그를 설정하는 단계와, 상기 판단 결과 그러하다면 상기 현재 계층의 플래그들을 스킵하고, 상기 기초 계층의 플래그들 및 상기 예측 플래그를 비트스트림에 삽입하는 단계로 이루어진다.

스케일러블 비디오 코딩, 다 계층 비디오, 엔트로피 코딩, 플래그

Description

어떤 계층의 플래그를 계층간의 연관성을 이용하여 부호화하는 방법, 상기 부호화된 플래그를 복호화하는 방법, 및 장치{Method for coding flags in a layer using inter-layer correlation, method for decoding the coded flags, and apparatus thereof}

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코딩 구조를 보여주는 도면.

도 2는 같이 하나의 이산 계층과 적어도 하나 이상의 FGS 계층으로 구성되는 FGS 부호화의 구조를 보여주는 도면.

도 3은 스케일러블 비디오 코딩에서 제공하는 3개지 예측 기법을 개념적으로 도시하는 도면.

도 4는 본 발명의 일 실시예에 따른 플래그 부호화 장치의 구성을 도시하는 블록도.

도 5는 정제 계수의 예를 보여주는 도면.

도 6은 본 발명의 일 실시예에 따른 플래그 복호화 장치의 구성을 도시하는 블록도.

도 7은 본 발명의 일 실시예에 따른 플래그 부호화 방법을 나타내는 흐름도.

도 8은 본 발명의 다른 실시예에 따른 플래그 부호화 방법을 나타내는 흐름 도.

도 9는 본 발명의 일 실시예에 따른 플래그 복호화 방법을 나타내는 흐름도.

도 10은 본 발명의 다른 실시예에 따른 플래그 복호화 방법을 나타내는 흐름도.

도 11은 도 4의 플래그 부호화 장치가 적용될 수 있는 다 계층 기반의 비디오 인코더의 구성을 도시하는 블록도.

도 12는 도 6의 플래그 복호화 장치가 적용될 수 있는 다 계층 기반의 비디오 인코더의 구성을 도시하는 블록도.

(도면의 주요부분에 대한 부호 설명)

100 : 플래그 부호화 장치 110 : 플래그 판독부

120 : 예측 플래그 설정부 130 : 연산부

140, 340, 440 : 엔트로피 부호화부 150 : 삽입부

200 : 플래그 복호화 장치 210 : 비트스트림 판독부

220 : 예측 플래그 판독부 230 : 치환부

240, 610, 710 : 엔트로피 복호화부 250 : 연산부

300 : 기초 계층 인코더 305 : 다운 샘플링부

310, 410 : 예측부 320, 420, 변환부

330, 430 : 양자화부 350, 450 : 플래그 설정부

360 : Mux 400 : 현재 계층 인코더

500 : 비디오 인코더 600 : 기초 계층 디코더

620, 720 : 역양자화부 630, 730 : 역변환부

640, 740 : 역예측부 650 : Demux

700 : 현재 계층 디코더 800 : 비디오 디코더

본 발명은 비디오 압축 기술에 관한 것으로, 보다 상세하게는 다 계층 기반의 코덱에 있어서, 계층별 플래그 간의 연관성을 이용하여 상기 플래그를 효율적으로 부호화하는 방법 및 장치에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 특성을 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높 은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

데이터의 중복을 제거한 결과는 다시 양자화 과정을 통하여 소정의 양자화 스텝에 따라서 손실 부호화된다. 상기 양자화된 결과는 최종적으로 엔트로피 부호화(entropy coding)를 통하여 최종적으로 무손실 부호화된다.

현재, ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)와 ITU(International Telecommunication Union)의 비디오 전문가들 모임인 JVT(Joint Video Team)에서 진행중인 스케일러블 비디오 코딩(이하, SVC 라 함) 초안(draft)에서는, 기존의 H.264를 기반으로 한 다 계층 기반의 코딩 기술에 관한 연구가 활발히 진행되고 있다.

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코딩 구조를 보여주고 있다. 먼저 제1 계층을 QCIF(Quarter Common Intermediate Format), 15Hz(프레임율)로 정의하고, 제2 계층을 CIF(Common Intermediate Format), 30hz로, 제3 계층을 SD(Standard Definition), 60hz로 정의한다. 만약 CIF 0.5Mbps 스트림(stream)을 원한다면, 제2 계층의 CIF_30Hz_0.7M에서 비트율(bit-rate)이 0.5M로 되도록 비트스트림을 잘라내면 된다. 이러한 방식으로 공간적, 시간적, SNR 스케일러빌리티를 구현할 수 있다. 그런데, 계층 간에는 어느 정도 유사성이 존재하기 때문에 각 계 층을 부호화함에 있어서는, 다른 계층으로부터 예측된 정보를 이용함으로써, 어떤 계층(텍스쳐 데이터, 모션 데이터 등)의 부호화 효율을 높이는 방법이 많이 이용되고 있다.

한편, 스케일러블 비디오 코딩에 있어서는, 계층간 정보의 이용 여부와 관련된 다양한 플래그(flag) 들이 존재하는데, 이들 플래그는 슬라이스(slice) 별, 매크로블록(macroblock) 별, 서브블록(sub-block) 별, 심지어는 하나의 계수(coefficient) 별로 설정되기도 한다. 따라서, 비디오 코딩에 있어서 상기 플래그에 의하여 증가되는 오버헤드(overhead)도 무시할 수 없는 실정에 있다.

그런데, 현재로서는 상기 텍스쳐 데이터나 모션 데이터와는 달리 상기 플래그들에 대하여는, 계층간의 연관성(correlation)을 고려하지 않고 별도로 부호화되거나 전혀 부호화되지 않는 실정에 있다.

본 발명은 상기한 필요성을 고려하여 고안된 것으로, 다 계층 기반의 스케일러블 비디오 코덱에서 사용되는 다양한 플래그들을 계층간의 연관성을 고려하여 효율적으로 부호화하는 방법 및 장치를 제공하는 것을 기술적 과제로 한다.

본 발명의 목적은 상기 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기한 기술적 과제를 달성하기 위하여, 다계층 기반의 비디오에서 사용되는 현재 계층의 플래그들을, 상기 현재 계층에 대응되는 기초 계층의 플래그들과의 연 관성을 이용하여 부호화하는 방법으로서, 소정의 단위 영역에 포함되는 상기 현재 계층의 플래그들과, 상기 기초 계층의 플래그들이 모두 동일한가를 판단하는 단계; 상기 판단 결과에 따라 소정의 예측 플래그를 설정하는 단계; 및 상기 판단 결과 그러하다면 상기 현재 계층의 플래그들을 스킵하고, 상기 기초 계층의 플래그들 및 상기 예측 플래그를 비트스트림에 삽입하는 단계를 포함한다.

상기한 기술적 과제를 달성하기 위하여, 다계층 기반의 비디오에서 사용되는 현재 계층의 플래그들을, 상기 현재 계층에 대응되는 기초 계층의 플래그들과의 연관성을 이용하여 부호화하는 방법으로서, 상기 현재 계층의 플래그들 및 상기 기초 계층의 플래그들 간의 배타적 논리합을 구하는 단계; 상기 구해진 논리합을 엔트로피 부호화하는 단계; 및 상기 엔트로피 부호화된 결과 및 상기 기초 계층의 플래그들을 비트스트림에 삽입하는 단계를 포함한다.

상기한 기술적 과제를 달성하기 위하여, 다계층 기반의 비디오에 있어서 기초 계층의 플래그들과의 연관성을 이용하여 부호화된 현재 계층의 플래그들을 복호화하는 방법으로서, 입력된 비트스트림으로부터 예측 플래그, 상기 기초 계층의 플래그들을 판독하는 단계; 상기 예측 플래그가 제1 비트 값을 갖는 경우, 상기 예측 플래그가 할당된 소정의 단위 영역 내에서, 상기 현재 계층의 플래그들을 상기 판독된 기초 계층의 플래그들로 치환하는 단계; 및 상기 치환된 현재 계층의 플래그들을 출력하는 단계를 포함한다.

상기한 기술적 과제를 달성하기 위하여, 다계층 기반의 비디오에서 기초 계층의 플래그들과의 연관성을 이용하여 부호화된 현재 계층의 플래그들을 복호화하 는 방법으로서, 입력된 비트스트림으로부터 상기 기초 계층의 플래그들 및 상기 부호화된 현재 계층의 플래그들을 판독하는 단계; 상기 부호화된 현재 계층의 플래그들을 엔트로피 복호화하는 단계; 상기 엔트로피 복호화된 결과 및 상기 판독된 기초 계층의 플래그들 간의 배타적 논리합을 구하는 단계; 및 상기 구한 배타적 논리합의 결과를 출력하는 단계를 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특성, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

J Ridge 및 M. Karczewicz에 의하여 16번째 JVT 미팅에서 제출된 문서 "Variable length code for SVC"(JVT-P056, Poznan, 16-th　JVT meeting; 이하 JVT-P056이라고 함)에서는 SVC의 특성을 고려한 CAVLC 기법을 제시하고 있다. JVT-P056은, 이산 계층(discrete layer)에서는 기존의 H.264와 동일한 처리 과정을 따르지만, FGS 계층(Fine Granular Scalability layer)에서는 별도의 통계적 특성에 따른 VLC 기법을 사용한다. 상기 FGS 계층은 FGS 코딩에 있어서의 제2 계층 이상의 계층을 의미하고, 상기 이산 계층은 상기 FGS 코딩에 있어서의 제1 계층을 의미한다.

도 2와 같이 하나의 이산 계층과 적어도 하나 이상의 FGS 계층으로 구성되는 계수들(coefficients)을 엔트로피 부호화함에 있어서는, 세 가지의 스캐닝 패스(scanning pass)가 있다. 상기 스캐닝 패스는 중요 패스(significance pass), 정제 패스(refinement pass), 및 잔여 패스(remainder pass)를 포함한다. 각각의 스캐닝 패스에 대하여, 그 통계적 특성에 따라 서로 다른 방법이 적용된다. 특히, 정제 패스에서는 엔트로피 코딩에 있어서 "0" 값이 보다 선호된다는 사실에 근거하여 얻어지는 하나의 VLC 테이블을 이용된다. 일반적으로, 대응되는 이산 계층 계수가 0인 FGS 계층 계수는 중요 계수라고 불리고, 대응되는 이산 계층 계수가 0이 아닌 FGS 계층 계수는 정제 계수(refinement coefficient)라고 불린다. 상기 중요 계수는 중요 패스에 의하여, 상기 정제 계수는 정제 패스에 의하여 부호화된다.

JVT-P056에서는 FGS 계층을 위한 VLC 기법을 제시한다. 상기 기법은 이산 계층에서는 종래의 CAVLC 기법을 그대로 사용하지만, FGS 계층에서의 통계적 특성을 이용한 별도의 기법을 사용한다. 특히, JVT-P056는 상기 세가지 스캐닝 패스 중, 정제 패스에서의 정제 계수를 코딩함에 있어서, 4개를 단위로 정제 계수의 절대값을 그룹화(grouping)하고, 상기 그룹화된 정제 계수를 VLC 테이블을 이용하는 부호화하고, 상기 정제 계수의 양/음을 식별하는 부호, 즉 사인 플래그(sign flag)는 이와는 별도로 부호화한다. 상기 정제 계수의 사인 플래그는 각 정제 계수 별로 부여되기 때문에(정제 계수가 0인 경우는 제외) 이로 인한 오버헤드는 상당히 크다. 따라서, 상기 사인 플래그의 오버헤드를 감소시키기 위하여, 상기 사인 플래그에 대하여 런-레벨(run-level) 코딩 등의 엔트로피 부호화를 적용하고 있다. 그러나, 이는 어디까지나 해당 FGS 계층 내의 정보만을 이용하여 이루어지고, 다른 FGS 계층의 정보를 이용하지는 않는다.

그런데, 다양한 비디오 샘플에 대하여 관찰한 결과, 대부분의 경우에 제1 FGS 계층의 정제 계수의 사인과, 이와 대응되는 이산 계층의 계수의 사인은 동일하다는 것을 알 수 있다. 그럼에도 불구하고, 제1 FGS 계층의 정제 계수의 사인 플래그를 부호화함에 있어서 해당 계층의 정보만을 이용한다는 것은 상당히 비효율적이다.

이러한 FGS 계층의 엔트로피 부호화에서의 사인 플래그 이외에도, 현재 스케일러블 비디오 코딩 초안에서는 잔차 예측 플래그(residual_prediction_flag), 인트라 베이스 플래그(intra_base_flag), 모션 예측 플래그(motion_prediction_flag), 베이스 모드 플래그(base_mode_flag) 등 다양한 플래그 들이 이용되고 있으며, 이들 플래그들은 비트스트림에 포함되어 비디오 디코더 단으로 전송된다.

잔차 예측 플래그는 잔차 예측을 사용하는지 여부를 표시하는 플래그이다. 잔차 예측이란, 어떤 계층의 잔차 신호(residual signal)를 대응되는 기초 계층의 잔차 신호를 이용하여 예측함으로써, 잔차 신호들의 계층간 중복성을 감소시키기 위한 기법이다. 상기 기초 계층은 어떤 계층을 효율적으로 부호화하기 위하여 참조되는 다른 계층을 임의의 계층으로서, 제1 계층에 한정되지는 않으며 반드시 하위의 계층을 의미하는 것도 아니다.

이러한 잔차 예측을 사용하는지 여부는 잔차 예측 플래그에 의하여 표시되어 비디오 디코더 단으로 전달된다. 그 플래그가 1이면 잔차 예측을 사용하는 것을 표시하고, 0이면 사용하지 않는 것을 표시한다. 일반적으로, 어떤 플래그가 1이면 해당 기능을 사용한다는 것을, 0이면 해당 기능을 사용하지 않는다는 것을 의미한다.

인트라 베이스 플래그는 인트라 베이스 예측을 사용하는지 여부를 표시하는 플래그이다. 현재 스케일러블 비디오 코딩 초안에서는 도 3과 같이 기존의 H.264에서 사용되던 인터 예측(①) 및 인트라 예측(②)뿐만 아니라, 기초 계층의 이미지를 이용하여 현재 계층에서의 프레임을 예측함으로써 부호화할 데이터를 감소시키는 인트라 베이스 예측(③)도 아울러 지원한다. 상기 초안에서는 인트라 베이스 예측은 인트라 예측의 일종으로서 취급하며, 인트라 예측에 있어서 상기 인트라 베이스 플래그가 0이면 종래의 방향적(directional) 인트라 예측을, 상기 플래그가 1이면 인트라 베이스 예측을 표시한다.

모션 예측 플래그는 현재 계층의 모션 벡터를 예측하여 모션 벡터 차분(motion vector difference; MVD)을 구함에 있어서, 동일 계층의 다른 모션 벡터를 이용하는가 기초 계층의 모션 벡터를 이용하는가 여부를 표시하는 플래그이다. 상기 플래그가 1인 경우 기초 계층의 모션 벡터를 이용함을 의미하고, 0인 경우 동일 계층의 다른 모션 벡터를 이용함을 의미한다.

베이스 모드 플래그는 현재 계층의 모션 정보를 표시함에 있어서, 기초 계층의 모션 정보를 이용하는가 여부를 나타내는 플래그이다. 만약, 베이스 모드 플래그가 1이면, 현재 계층의 모션 정보로는 기초 계층의 모션 정보를 그대로 이용하거나, 기초 계층의 모션 정보에서 다소 정제(refine)된 값을 이용하게 된다. 베이스 모드 플래그가 0이면 현재 계층의 모션 정보는 기초 계층의 모션 정보와 무관하게 별도로 검색되어 기록됨을 나타낸다. 상기 모션 정보는 매크로블록 종류(macroblock type; mb_type), 인터 예측시 픽쳐의 참조 방향(순방향, 역방향, 양방향 등), 및 모션 벡터를 포함한다.

이상의 플래그를 포함한 다양한 플래그들은 각 계층 간에 다소나마 연관성을 가진다. 즉, 현재 계층의 플래그는 이 계층에 대한 기초 계층의 플래그와 동일한 값을 가질 확률이 높다는 것이다. 또한, 통상의 엔트로피 부호화에 있어서는 부호화될 값들 중 0이 많이 포함될수록 압축 효율이 향상된다는 것이 잘 알려져 있다. 이는 상기 엔트로피 부호화에서 연속된 0을 하나의 런(run)으로 처리하거나, 0에 편향(bias)된 테이블을 참조하는 기법을 사용하고 있기 때문이다. 이러한 점들을 고려한다면, 기초 계층의 플래그와 대응되는 현재 계층의 플래그가 동일한 경우에는 0, 그렇지 않은 경우에는 1으로 표시함으로써 엔트로피 부호화시 압축 효율을 향상시킬 수 있을 것이다.

도 4는 본 발명의 일 실시예에 따른 플래그 부호화 장치(100)의 구성을 도시하는 블록도이다. 플래그 부호화 장치(100)는 플래그 판독부(110), 예측 플래그 설정부(120), 연산부(130), 엔트로피 부호화부(140), 및 삽입부(150)를 포함하여 구성될 수 있다.

플래그 판독부(110)는 소정의 메모리 영역에 저장된 플래그의 값을 판독한다. 일반적으로, 플래그 값은 1비트(1 또는 0)로 표시되지만, 반드시 이에 한하는 것은 아니다. 상기 플래그는 현재 계층의 플래그들(F_C) 및 상기 현재 계층에 대한 기초 계층의 플래그들(F_B)를 포함한다.

예측 플래그 설정부(120)는 소정의 단위 영역 내에서, 상기 현재 계층의 플래그들(F_C) 및 이에 각각 대응되는 기초 계층의 플래그들(F_B)이 모두 동일한지를 판단하여, 그러하다면 예측 플래그(P_flag)를 0으로 설정하고 그러하지 아니하다면 상기 예측 플래그(P_flag)를 1로 설정한다. 상기 단위 영역은 프레임, 슬라이스, 매크로블록 또는 서브블록 등이 될 수 있다. 단위 영역 내에 포함된 플래그가 계층간에 동일하다면, 상기 예측 플래그를 1로 표시하는 대신 현재 계층의 플래그(F_C)는 스킵(skip)할 수 있다. 이 때에는, 하위 계층의 플래그(F_B) 및 예측 플래그(P_flag) 만이 비트스트림에 삽입되어 비디오 디코더 단으로 전송된다.

연산부(130)는 상기 예측 플래그가 0으로 설정되는 경우에, 현재 계층의 플래그들(F_C)과 이에 각각 대응되는 기초 계층의 플래그들(F_B)에 대하여 배타적 논리합(exclusive OR) 연산을 수행한다. 배타적 논리합 연산은 두 개의 비트 값이 입력될 때, 상기 비트 값들이 동일하면 0을, 동일하지 않으면 1을 출력하는 논리 연산 방법이다. 서로 대응되는 계층 간의 플래그들(F_C, F_B)이 동일할 가능성이 높다면 상기 연산에 의하여 대부분의 출력은 0이 될 것이고, 이에 따라서 엔트로피 부호화의 효율을 향상시킬 수가 있는 것이다.

예를 들어, 제1 FGS 계층을 현재 계층이라고 할 때, 도 5와 같이 서브블록 당 정제 계수(음영으로 표시)가 나타난다고 한다. 점선 화살표로 표시된 순서(지그재그 스캔)으로 정제 계수를 배열한다면, 현재 계층의 사인 플래그(양은 0, 음은 1로 표시됨)는 {10101}이 되고, 이에 대응되는 기초 계층(이산 계층)의 사인 플래그는 {10100}가 된다. 상기 플래그들의 집합에 대하여 배타적 논리합 연산을 수행하면 {00001}이 된다. 이 경우 현재 계층의 사인 플래그 {10101}을 엔트로피 부호화하는 것 보다는 연산 결과인 {00001}을 엔트로피 부호화하는 것이 압축 효율면에서 유리하다.

다시 도 4로 돌아가면, 엔트로피 부호화부(140)는 연산부(130)에서의 연산 결과(RC)를 무손실 부호화한다. 이러한 무손실 부호화 방법으로는, 가변 길이 부호화(CAVLC 포함), 산술 부호화(Context-Based Adaptive Binary Arithmetic Coding 포함), 허프만 부호화, 등 다양한 방법을 사용할 수 있다.

삽입부(150)는 예측 플래그(P_flag)가 1인 경우, 상기 예측 플래그와, 기초 계층의 플래그들(F_B)을 비트스트림(BS)에 삽입한다. 반면에, 예측 플래그가 0인 경우, 상기 예측 플래그, 기초 계층의 플래그들(F_B) 및 상기 엔트로피 부호화된 연산 결과(R_C')를 비트스트림(BS)에 삽입한다. 상기 비트스트림(BS)은 다계층 비디오 인코더에 의하여 손실 부호화된 데이터이며, 상기 삽입 결과 최종 비트스트림이 생성된다.

도 6은 본 발명의 일 실시예에 따른 플래그 복호화 장치(200)의 구성을 도시하는 블록도이다. 플래그 복호화 장치(200)는 비트스트림 판독부(210), 예측 플래 그 판독부(220), 치환부(230), 엔트로피 복호화부(240), 및 연산부(250)를 포함하여 구성될 수 있다.

비트스트림 판독부(210)는 최종 비트스트림을 파싱하여, 기초 계층의 플래그들(F_B) 및 예측 플래그(P_flag)를 추출한다. 그리고, 존재한다면 엔트로피 부호화된 연산 결과(R_C')도 아울러 추출한다.

예측 플래그 판독부(220)는 상기 추출된 예측 플래그(P_flag)를 판독하여 그 값이 0이면, 연산부(250)를 그 값이 1이면 치환부(230)를 동작하게 한다.

치환부(230)는 예측 플래그 판독부(220)로부터 예측 플래그가 1임이 통지된 경우, 현재 계층의 플래그들(F_C)을 기초 계층의 플래그들(F_B)로 치환(substitution)한다. 따라서, 출력되는 기초 계층의 플래그들(F_B)와 현재 계층의 플래그들(F_C)은 동일하게 된다.

한편, 엔트로피 복호화부(240)는 상기 연산 결과(R_C')를 무손실 복호화한다. 이러한 복호화는 상기 엔트로피 부호화부(140)에 의한 무손실 부호화의 역으로 수행된다.

연산부(250)는 예측 플래그 판독부(220)로부터 예측 플래그가 0임이 통지된 경우, 기초 계층의 플래그들(F_B)과 상기 무손실 부호화 결과(R_C)에 대하여 배타적 논리합 연산을 수행한다. 애초에, 연산부(130)에서 수학식 1과 같은 연산(^는 배타적 논리합 연산 표시임)을 통하여 R_C를 계산하였는데, 상기 수학식 1의 양 변에 "^F_B"를 취하면 우변의 "^F_B^F_B"는 소거되어 다음의 수학식 2와 같은 결과가 나타난다.

R_C = F_C ^ F_B

R_C ^ F_B = F_C

따라서, 연산부(250)는 R_C와 F_B에 대한 배타적 논리합 연산을 수행함으로써, 현재 계층의 플래그들(F_C)를 복원할 수 있는 것이다. 최종적으로, 플래그 복호화 장치(200)의 출력은 기초 계층의 플래그들(F_B)와, 현재 계층의 플래그들(F_C)가 된다.

지금까지 도 4 및 도 6의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크(task), 클래스(glass), 서브 루틴(sub-routine), 프로세스(process), 오브젝트(object), 실행 쓰레드(execution thread), 프로그램(program)과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.

도 7은 본 발명의 일 실시예에 따른 플래그 부호화 방법을 나타내는 흐름도 이다.

먼저, 플래그 판독부(110)는 기초 계층의 플래그들(F_B) 및 현재 계층의 플래그들(F_C)를 읽는다(S11). 그러면, 예측 플래그 설정부(120)는 단위 영역 내에서 상기 읽은 F_B와 대응되는 F_C가 모두 동일한지를 판단한다(S12).

상기 판단 결과, 그러하다면(S12의 예) 예측 플래그 설정부(120)는 예측 플래그(P_flag)를 1로 설정하고(S17), 삽입부(150)는 비트스트림에 상기 예측 플래그(P_flag) 및 F_B를 삽입한다(S18).

한편, 상기 판단 결과 그러하지 아니하다면(S12의 아니오), 예측 플래그 설정부(120)는 예측 플래그(P_flag)를 0으로 설정한다. 그러면 연산부(130)는 상기 읽은 F_B 및 F_C에 대하여 배타적 논리합 연산을 수행한다(S14). 다른 실시예에 있어서, 상기 S14의 과정은 생략될 수도 있다(이 경우에는 FC가 직접 엔트로피 부호화될 것이다).

엔트로피 부호화부(140)는 상기 연산 수행 결과(R_C)를 엔트로피 부호화한다(S15). 마지막으로, 삽입부(150)는 비트스트림에 상기 예측 플래그(P_flag), F_B, 및 상기 엔트로피 부호화 결과(R_C')를 삽입한다.

도 8은 본 발명의 다른 실시예에 따른 플래그 부호화 방법을 나타내는 흐름도로서, 도 7의 흐름도에서 예측 플래그를 설정 과정을 제외한 것이다. 도 8에서는 단위 영역 내에서 F_B와 F_C가 동일한지 여부와 상관없이 배타적 논리합 연산을 적용한다.

먼저, 플래그 판독부(110)는 기초 계층의 플래그들(F_B) 및 현재 계층의 플래그들(F_C)를 읽는다(S21). 그러면, 연산부(130)는 상기 읽은 F_B 및 F_C에 대하여 배타적 논리합 연산을 수행한다(S22). 엔트로피 부호화부(140)는 상기 연산 수행 결과(R_C)를 엔트로피 부호화한다(S23). 마지막으로, 삽입부(150)는 비트스트림에 F_B, 및 상기 엔트로피 부호화된 연산 결과(R_C')를 삽입한다.

도 9는 본 발명의 일 실시예에 따른 플래그 복호화 방법을 나타내는 흐름도이다.

먼저, 비트스트림 판독부(210)는 최종 비트스트림(최종 BS)를 판독하여, 기초 계층의 플래그들(F_B)과, 상기 엔트로피 부호화된 연산 결과(R_C')와, 상기 예측 플래그(P_flag)를 추출한다(S31). 그러면, 예측 플래그 판독부(220)는 상기 추출된 예측 플래그(P_flag)가 0인가를 판단한다(S32).

상기 판단 결과 상기 예측 플래그(P_flag)가 1이라면(S32의 아니오), 치환부(230)는 단위 영역 내에서, 현재 계층의 플래그들(F_C)을 상기 추출된 기초 계층의 플래그들(F_B)로 치환하고(S35), 상기 치환된 현재 계층의 플래그들(F_C)를 출력한다(S36). 상기 단위 영역은 프레임, 슬라이스, 매크로블록 또는 서브블록 등이 될 수 있다.

한편, 상기 판단 결과 상기 예측 플래그(P_flag)가 0이라면(S32의 예), 엔트로피 복호화부(240)는 상기 엔트로피 부호화된 연산 결과(R_C')를 복호화하여 연산 결과(R_C)를 복원한다(S33). 이러한 복호화는 상기 엔트로피 부호화의 역으로 수행될 수 있다.

연산부(250)는 기초 계층의 플래그들(F_B)과 상기 무손실 부호화 결과(R_C)에 대하여 배타적 논리합 연산을 수행하여, 현재 계층의 플래그들(F_C)를 복원한다(S34). 그리고, 상기 복원된 현재 계층의 플래그들(F_C)을 출력한다(S36).

도 10은 본 발명의 다른 실시예에 따른 플래그 복호화 방법을 나타내는 흐름도로서, 도 9의 흐름도에서 예측 플래그와 관련된 과정을 제외한 것이다. 도 10에서는 P_flag의 값을 불문하고, 엔트로피 복호화(S42) 및 배타적 논리합 연산(S43)을 적용한다.

먼저, 비트스트림 판독부(210)는 최종 비트스트림(최종 BS)를 판독하여, 기초 계층의 플래그들(F_B)과, 상기 엔트로피 부호화된 연산 결과(R_C')를 추출한다(S41). 그러면, 엔트로피 복호화부(240)는 상기 엔트로피 부호화된 연산 결과(R_C')를 복호화하여 연산 결과(R_C)를 복원한다(S42). 연산부(250)는 기초 계층의 플래그들(F_B)과 상기 무손실 부호화 결과(R_C)에 대하여 배타적 논리합 연산을 수행하여, 현재 계층의 플래그들(F_C)를 복원한다(S43). 그리고, 상기 복원된 현재 계층의 플래 그들(F_C)을 출력한다(S44).

도 11은 도 4의 플래그 부호화 장치(100)가 적용될 수 있는 다 계층 기반의 비디오 인코더(500)의 구성을 도시하는 블록도이다.

오리지널 비디오 시퀀스는 현재 계층 인코더(400)로 입력되고, 아울러 다운샘플링부(350)에 의하여 다운샘플링(계층간에 해상도의 변화가 있는 경우에 한함)된 후 기초 계층 인코더(300)로 입력된다.

예측부(410)는 현재 매크로블록에서 소정의 방법으로 예측된 이미지를 차분함으로써 잔차 신호를 구한다. 상기 예측 방법으로는 방향적 인트라 예측, 인터 예측, 인트라 베이스 예측, 및 잔차 예측 등이 있다.

변환부(420)는 상기 구한 잔차 신호를 DCT, 웨이브렛 변환 등 공간적 변환 기법을 이용하여 변환하여 변환 계수를 생성한다.

양자화부(430)는 상기 변환 계수를 소정의 양자화 스텝으로 양자화하여(양자화 스텝이 클수록 데이터의 손실 내지 압축률이 높다) 양자화 계수를 생성한다.

엔트로피 부호화부(440)는 상기 양자화 계수를 무손실 부호화하여 현재 계층 비트스트림을 출력한다.

플래그 설정부(450)는 다양한 단계에서 얻어지는 정보들로부터 플래그를 설정한다. 예를 들어, 잔차 예측 플래그(residual_prediction_flag), 인트라 베이스 플래그(intra_base_flag) 등은 예측부(410)에서 얻어지는 정보를 통하여 설정되며, 정제 계수의 사인 플래그(sign flag)는 엔트로피 부호화부(440)로부터 얻어지는 정 보를 통하여 설정된다. 이와 같이 설정된 현재 계층의 플래그들(F_C)은 플래그 부호화 장치(100)로 입력된다.

현재 계층 인코더(400)에서와 마찬가지로, 기초 계층 인코더(300)도 동일한 기능의 예측부(310), 변환부(320), 양자화부(330), 엔트로피 부호화부(340), 및 플래그 설정부(350)를 포함한다. 엔트로피 부호화부(340)는 기초 계층 비트스트림을 Mux(multiplexer; 360)로 출력하며, 플래그 설정부(350)는 기초 계층의 플래그들(F_B)을 플래그 부호화 장치(100)에 제공한다.

Mux(360)는 현재 계층 비트스트림과 기초 계층 비트스트림을 결합하여 비트스트림(BS)을 생성하여, 플래그 부호화 장치(100)에 제공한다.

플래그 부호화 장치(100)는 상기 제공된 F_B, F_C 간의 연관성을 이용하여 F_C를 부호화하고, 상기 부호화된 F_C 및 상기 제공된 F_B를 상기 제공된 비트스트림에 삽입함으로써, 최종 비트스트림(최종 BS)를 출력한다.

도 12는 도 6의 플래그 복호화 장치(200)가 적용될 수 있는 다 계층 기반의 비디오 인코더(800)의 구성을 도시하는 블록도이다.

입력되는 최종 비트스트림(최종 BS)은 플래그 복호화 장치(200) 및 Demux(demultiplexer; 650)에 입력된다. Demux(650)는 상기 최종 비트스트림을 현재 계층 비트스트림 및 기초 계층 비트스트림으로 분리하여 현재 계층 인코더(700) 및 기초 계층 디코더(600)에 각각 제공한다.

엔트로피 복호화부(710)는 엔트로피 부호화부(440)과 대응되는 방식으로 무 손실 복호화를 수행하여 양자화 계수를 복원한다.

역양자화부(720)는 상기 복원된 양자화 계수를 양자화부(430)에서 사용된 양자화 스텝으로 역 양자화한다.

역변환부(730)는 상기 역 양자화된 결과를 역 DCT 변환, 역 웨이브렛 변환 등의 역공간적 변환 기법을 사용하여 역변환한다.

역예측부(740)는 예측부(410)에서 구한 예측 이미지를 동일한 방식으로 구하고, 상기 구한 예측 이미지를 상기 역변환된 결과와 가산함으로써 비디오 시퀀스를 복원한다.

현재 계층 디코더(700)에서와 마찬가지로, 기초 계층 디코더(600)도 동일한 기능의 엔트로피 복호화부(610), 역양자화부(620), 역변환부(630), 및 역예측부(640)를 포함한다.

한편, 플래그 복호화 장치(200)는 상기 최종 비트스트림으로부터 기초 계층의 플래그들(F_B)과, 현재 계층의 플래그들(F_C)의 부호화된 값을 추출하고, 상기 F_B와 상기 부호화된 값으로부터 현재 계층의 플래그들(F_C)을 복원한다.

상기 추출된 기초 계층의 플래그들(F_B)은 기초 계층 디코더(600)의 구성 요소들(610, 620, 630, 640)에서 해당 동작을 수행하는 데에 이용되고, 상기 복원된 현재 계층의 플래그들(F_C)은 또는 현재 계층 디코더(700)의 구성요소들(710, 720, 730, 740)에서 해당 동작을 수행하는 데에 이용된다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특성을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

본 발명에 따르면, 다 계층 기반의 스케일러블 비디오 코덱에서 사용되는 다양한 플래그들의 부호화 효율을 향상시킬 수 있다.

Claims

다계층 기반의 비디오에서 사용되는 현재 계층의 플래그들을, 상기 현재 계층에 대응되는 기초 계층의 플래그들과의 연관성을 이용하여 부호화하는 방법으로서,

소정의 단위 영역에 포함되는 상기 현재 계층의 플래그들과, 상기 기초 계층의 플래그들이 모두 동일한가를 판단하는 단계;

상기 현재 계층의 플래그들과 상기 기초 계층의 플래그들이 모두 동일한가를 기초로 소정의 예측 플래그를 설정하는 단계; 및

상기 현재 계층의 플래그들과 상기 기초 계층의 플래그들이 모두 동일하다면, 상기 현재 계층의 플래그들을 스킵하고, 상기 기초 계층의 플래그들 및 상기 예측 플래그를 비트스트림에 삽입하는 단계를 포함하는 상기 방법.
제1항에 있어서, 상기 현재 계층의 플래그들과 상기 기초 계층의 플래그들이 모두 동일한 것은 아니라면,

상기 현재 계층의 플래그들을 엔트로피 부호화하는 단계; 및

상기 기초 계층의 플래그들, 상기 예측 플래그, 및 상기 엔트로피 부호화된 현재 계층의 플래그들을 비트스트림에 삽입하는 단계를 더 포함하는 상기 방법.
제2항에 있어서, 상기 엔트로피 부호화 단계 이전에

상기 현재 계층의 플래그들 및 상기 기초 계층의 플래그들 간의 배타적 논리합을 구하는 단계를 더 포함하며,

상기 엔트로피 부호화되는 현재 계층의 플래그들은 상기 구해진 배타적 논리합인 상기 방법.
제1항에 있어서, 상기 단위 영역은

프레임, 슬라이스, 매크로블록 또는 서브블록인 상기 방법.
제1항에 있어서, 상기 현재 계층의 플래그들 및 상기 기초 계층의 플래그들은

잔차 예측 플래그, 인트라 베이스 플래그, 모션 예측 플래그, 베이스 모드 플래그, 및 정제 계수의 사인(sign) 플래그 중 적어도 하나를 포함하는 상기 방법.
제1항에 있어서,

상기 판단 결과 그러하다면 상기 예측 플래그는 1로 설정되고, 상기 판단 결과 그러하지 아니하다면 상기 예측 플래그는 0으로 설정되는 상기 방법.
다계층 기반의 비디오에서 사용되는 현재 계층의 플래그들을, 상기 현재 계층에 대응되는 기초 계층의 플래그들과의 연관성을 이용하여 부호화하는 방법으로서,

상기 현재 계층의 플래그들 및 상기 기초 계층의 플래그들 간의 배타적 논리합을 구하는 단계;

상기 구해진 논리합을 엔트로피 부호화하는 단계; 및

상기 엔트로피 부호화된 결과 및 상기 기초 계층의 플래그들을 비트스트림에 삽입하는 단계를 포함하는 상기 방법.
제7항에 있어서, 상기 엔트로피 부호화는

가변 길이 부호화, 산술 부호화, 허프만 부호화 중 적어도 하나를 포함하는 상기 방법.
제7항에 있어서, 상기 현재 계층의 플래그들 및 상기 기초 계층의 플래그들은

잔차 예측 플래그, 인트라 베이스 플래그, 모션 예측 플래그, 베이스 모드 플래그, 및 정제 계수의 사인(sign) 플래그 중 적어도 하나를 포함하는 상기 방법.
다계층 기반의 비디오에서 기초 계층의 플래그들과의 연관성을 이용하여 부호화된 현재 계층의 플래그들을 복호화하는 방법으로서,

입력된 비트스트림으로부터 예측 플래그, 상기 기초 계층의 플래그들을 판독하는 단계;

상기 예측 플래그가 제1 비트 값을 갖는 경우, 상기 예측 플래그가 할당된 소정의 단위 영역 내에서, 상기 현재 계층의 플래그들을 상기 판독된 기초 계층의 플래그들로 치환하는 단계; 및

상기 치환된 현재 계층의 플래그들을 출력하는 단계를 포함하는 상기 방법.
제10항에 있어서,

상기 입력된 비트스트림으로부터, 상기 부호화된 현재 계층의 플래그들을 판독하는 단계;

상기 예측 플래그가 제2 비트 값을 갖는 경우 상기 부호화된 현재 계층의 플래그들을 엔트로피 복호화하는 단계;

상기 엔트로피 복호화된 결과 및 상기 판독된 기초 계층의 플래그들 간의 배타적 논리합을 구하는 단계; 및

상기 구한 배타적 논리합의 결과를 출력하는 단계를 더 포함하는 상기 방법.
제11항에 있어서, 상기 엔트로피 복호화는

가변 길이 복호화, 산술 복호화, 허프만 복호화 중 적어도 하나를 포함하는 상기 방법.
제10항에 있어서, 상기 단위 영역은

프레임, 슬라이스, 매크로블록 또는 서브블록인 상기 방법.
제10항에 있어서, 상기 현재 계층의 플래그들 및 상기 기초 계층의 플래그들은

잔차 예측 플래그, 인트라 베이스 플래그, 모션 예측 플래그, 베이스 모드 플래그, 및 정제 계수의 사인(sign) 플래그 중 적어도 하나를 포함하는 상기 방법.
다계층 기반의 비디오에서 기초 계층의 플래그들과의 연관성을 이용하여 부호화된 현재 계층의 플래그들을 복호화하는 방법으로서,

입력된 비트스트림으로부터 상기 기초 계층의 플래그들 및 상기 부호화된 현재 계층의 플래그들을 판독하는 단계;

상기 부호화된 현재 계층의 플래그들을 엔트로피 복호화하는 단계;

상기 엔트로피 복호화된 결과 및 상기 판독된 기초 계층의 플래그들 간의 배타적 논리합을 구하는 단계; 및

상기 구한 배타적 논리합의 결과를 출력하는 단계를 포함하는 상기 방법.
제15항에 있어서, 상기 엔트로피 복호화는

가변 길이 복호화, 산술 복호화, 허프만 복호화 중 적어도 하나를 포함하는 상기 방법.
제15항에 있어서, 상기 현재 계층의 플래그들 및 상기 기초 계층의 플래그들은

잔차 예측 플래그, 인트라 베이스 플래그, 모션 예측 플래그, 베이스 모드 플래그, 및 정제 계수의 사인(sign) 플래그 중 적어도 하나를 포함하는 상기 방법.
다계층 기반의 비디오에서 사용되는 현재 계층의 플래그들을, 상기 현재 계층에 대응되는 기초 계층의 플래그들과의 연관성을 이용하여 부호화하는 장치로서,

소정의 단위 영역에 포함되는 상기 현재 계층의 플래그들과, 상기 기초 계층의 플래그들이 모두 동일한가를 판단하고, 상기 판단 결과에 따라 소정의 예측 플래그를 설정하는 예측 플래그 설정부; 및

상기 판단 결과 그러하다면 상기 현재 계층의 플래그들을 스킵하고, 상기 기초 계층의 플래그들 및 상기 예측 플래그를 비트스트림에 삽입하는 삽입부를 포함하는 상기 장치.
다계층 기반의 비디오에서 사용되는 현재 계층의 플래그들을, 상기 현재 계층에 대응되는 기초 계층의 플래그들과의 연관성을 이용하여 부호화하는 장치로서,

상기 현재 계층의 플래그들 및 상기 기초 계층의 플래그들 간의 배타적 논리합을 구하는 연산부;

상기 구해진 논리합을 엔트로피 부호화하는 엔트로피 부호화부; 및

상기 엔트로피 부호화된 결과 및 상기 기초 계층의 플래그들을 비트스트림에 삽입하는 삽입부를 포함하는 상기 장치.
다계층 기반의 비디오에 있어서 기초 계층의 플래그들과의 연관성을 이용하여 부호화된 현재 계층의 플래그들을 복호화하는 장치로서,

입력된 비트스트림으로부터 예측 플래그, 상기 기초 계층의 플래그들을 판독하는 비트스트림 판독부;

상기 예측 플래그가 제1 비트 값을 갖는 경우, 상기 예측 플래그가 할당된 소정의 단위 영역 내에서, 상기 현재 계층의 플래그들을 상기 판독된 기초 계층의 플래그들로 치환하고, 상기 치환된 현재 계층의 플래그들을 출력하는 치환부를 포함하는 상기 장치.
다계층 기반의 비디오에 있어서, 기초 계층의 플래그들과의 연관성을 이용하여 부호화된 현재 계층의 플래그들을 복호화하는 장치로서,

입력된 비트스트림으로부터 상기 기초 계층의 플래그들 및 상기 부호화된 현재 계층의 플래그들을 판독하는 비트스트림 판독부;

상기 부호화된 현재 계층의 플래그들을 엔트로피 복호화하는 엔트로피 복호화부;

상기 엔트로피 복호화된 결과 및 상기 판독된 기초 계층의 플래그들 간의 배타적 논리합을 구하고, 상기 구한 배타적 논리합의 결과를 출력하는 연산부를 포함하는 상기 장치.