KR20140038319A - 다중 계층 비디오를 위한 계층 간 예측 장치 및 방법 - Google Patents

다중 계층 비디오를 위한 계층 간 예측 장치 및 방법 Download PDF

Info

Publication number
KR20140038319A
KR20140038319A KR1020130110448A KR20130110448A KR20140038319A KR 20140038319 A KR20140038319 A KR 20140038319A KR 1020130110448 A KR1020130110448 A KR 1020130110448A KR 20130110448 A KR20130110448 A KR 20130110448A KR 20140038319 A KR20140038319 A KR 20140038319A
Authority
KR
South Korea
Prior art keywords
unit
layer
video
prediction
partition structure
Prior art date
Application number
KR1020130110448A
Other languages
English (en)
Inventor
장형문
안용조
심동규
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Publication of KR20140038319A publication Critical patent/KR20140038319A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다층 비디오를 위한 복호화기와 계층 간 예측 장치 및 방법이 개시된다. 본 발명의 구성에 따른 다층 비디오를 위한 복호화기는, 참조 계층의 분할 정보를 참조하여 향상 계층의 분할 구조를 결정하는 계층 간 분할 구조 예측부와 향상 계층의 분할 구조에 기반하여 예측 모드를 결정하는 인터/인트라 예측부를 포함하여 구성될 수 있다. 다층 비디오를 위한 계층 간 분할 구조 예측 방법은, 참조 계층의 분할 정보에 기반하여 향상 계층의 비디오를 분할 시 참조 분할 정보를 사용할 것인지 여부를 판단하는 분할 구조 사용 판단 단계와, 향상 계층의 분할 단위에 상응하는 위치의 참조 계층의 분할 단위를 결정하는 대응위치 구조 선택 단계와, 참조 계층의 부호화 단위와 변환 단위의 분할 정보의 참조 여부를 선택하여 역양자화부에 송신하는 분할 구조 예측 레벨 선택 단계를 포함하여 구성될 수 있다.

Description

다중 계층 비디오를 위한 계층 간 예측 장치 및 방법{DEVICE AND METHOD FOR INTER-LAYER PREDICTION OF MULTI-LAYER VIDEO}
본 발명은 비디오 복호화에 관한 것으로, 더욱 상세하게는 차세대 비디오 압축 표준 기술인 HEVC(High Efficiency Video Coding)를 기반으로 다중 계층 비디오를 고속으로 복호화하고 압축하는 기술에 관한 것이다.
High Efficiency Video Coding(HEVC)은 ISO/IEC의 MPEG과 ITU-T의 VCEG가 공동으로 구성한 Joint Collaborative Team on Video Coding(JCT-VC)에 의하여 개발되고 있는 차세대 압축 표준 기술이다. HEVC main profile은 종래의 H.264/AVC high profile에 비하여 약 두 배의 압축 성능을 갖고 있는 것으로 알려져 있다. HEVC의 표준화는 2013년 2월에 Final Draft International Standard(FDIS)가 완성되었으며, HEVC를 기반으로 다중 계층 비디오를 효과적으로 부호화하기 위한 표준이 추가적으로 제정될 예정이다.
이른바, 비디오 부호화의 계위성(Scalability)을 제공하기 위한 표준화 작업은 최근 무선망 및 인터넷이 초고속으로 발전함에 따라 다양한 멀티미디어 서비스가 활성화되고, 특히, 방송통신 융합망의 등장으로 압축 부호화 기술만을 개발하던 시기와는 달리 멀티미디어의 생성, 전송 및 소비 환경의 다양한 조건들에서 QoS(Quality of Service)를 보장하기 위해 필요한 실정이다.
스케일러블 비디오 코딩(SVC, Scalable Video Coding) 기술은, 하나의 압축된 비트스트림에서 서로 다른 종류의 해상도(Spatial), 품질(Quality), 프레임율(Temporal)을 갖는 영상을 다양한 단말기와 네트워크 환경에 적응적으로 복원할 수 있도록 하는 것이다. SVC는 H.264/AVC의 높은 압축률에 다양한 멀티미디어 기기에 적응적으로 대응할 수 있는 계층성을 부여한 비디오 코덱으로, H.264/MPEG-4 PART 10의 수정판(Amendment)으로 JVT(Joint Video Team)에서 표준화를 진행하고 있다. 즉, HEVC에 대한 확장(extension) 버전으로 표준화가 진행되고 있다.
HEVC는 Coding Unit(CU), Prediction Unit(PU), Transform Unit(TU)을 사용하고 기존의 비디오 코덱과 달리 CU, TU는 쿼드트리(QuadTree) 기반의 계층적 블록 구조를 가지고 있으며 PU는 정방향, 장방향과 같은 다양한 모양으로 분할되어 부호화 효율을 향상시킨다. 이러한 HEVC의 쿼드트리 기반의 블록 구조와 다양한 모양의 PU는 HEVC 부호화의 높은 복잡도를 야기시킨다. 따라서 다중 계층 비디오 부호화에서 높은 복잡도를 제거하는 방법을 사용함으로써 보다 효율적인 비디오 압축 기술이 필요한 시점이다.
본 발명은 참조 계층의 복호화에서 사용되었던 분할 구조 정보를 향상 계층에서 사용함으로써 복호화 성능을 향상시키고자 하는 데에 그 목적이 있다. 다중 계층 비디오 간의 유사성을 이용하여 계층 간 분할 구조를 예측하고 참조 계층의 분할 구조 정보를 사용하여 향상 계층의 비디오 복호화 시 고속으로 할 수 있는 방법 및 장치를 제공하는데 그 목적이 있다.
일반적으로 temporal scalable video 뿐만 아니라 spatial scalable video 및 quality scalable video는 각 계층 간의 영상이 유사한 특성을 가지고 있기 때문에 분할되는 정도나 모양 역시 유사한 모양을 가지게 된다. 이러한 유사성을 이용하여 향상 계층의 분할정보를 split flag로 표현하는 대신에 참조계층의 분할 정보를 이용하여 복호화함으로써 비트 절감을 통한 효율적인 복호화에 그 목적이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 일 측면에 따른 다층 비디오를 위한 복호화기는, 참조 계층의 비디오를 구성하는 참조 영상의 분할 구조 정보를 참조하여 향상 계층의 현재 영상의 분할 구조를 결정하는 계층 간 분할 구조 예측부와, 결정된 향상 계층의 현재 영상의 분할 구조에 기반하여 향상 계층의 향상 예측 단위의 향상 예측 모드를 결정하는 예측부를 포함하여 구성될 수 있다.
여기에서, 상기 다층 비디오를 위한 복호화기는, 참조 계층의 비디오의 비트스트림을 엔트로피 복호화하여 생성된 참조 영상의 분할 구조 정보를 계층 간 분할 구조 예측부에 전달하는 엔트로피 복호화부를 더 포함하여 구성될 수 있다.
여기에서, 상기 다층 비디오를 위한 복호화기는, 향상 예측 모드 및 참조 계층의 비디오(video)를 구성하는 참조 변환 단위(transform unit)의 분할 구조 정보에 기반하여 결정된 향상 계층의 비디오를 구성하는 향상 변환 단위의 분할 구조에 따라 역양자화를 수행하는 역양자화부를 더 포함하여 구성될 수 있다.
여기에서, 상기 참조 영상과 상기 현재 영상의 분할 구조는 부호화 단위에 대한 분할 구조일 수 있다.
나아가, 상기 부호화 단위, 상기 예측 단위 및 상기 변환 단위는, 각각 부호화 블록, 예측 블록 및 변환 블록을 포함하고, 동일한 단위를 구성하고 있는 블록들은 각각 상이한 분할 구조로 분할될 수 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 측면에 따른 다층 비디오를 위한 계층 간 분할 구조 예측 방법은, 다층 비디오를 위한 계층 간 분할 구조 예측 장치가 수행하는 방법에 있어서, 참조 계층의 비디오를 분할하는 단위 별 참조 분할 구조 정보에 기반하여 향상 계층의 비디오를 분할 시 참조 분할 구조 정보를 사용할 것인지 여부를 판단하는 분할 구조 사용 판단 단계와, 참조 분할 구조 정보를 사용한다는 판단에 따라 향상 계층의 비디오를 분할하는 단위에 상응하는 위치의 참조 계층의 비디오를 분할하는 단위를 결정하는 대응위치 구조 선택 단계와, 참조 계층의 비디오를 분할하는 단위 중 부호화 단위와 변환 단위의 분할 구조 정보의 참조 여부를 선택하여 역양자화부 또는 예측부에 송신하는 분할 구조 예측 레벨 선택 단계를 포함하여 구성될 수 있다.
여기에서, 상기 분할 구조 사용 판단 단계는, 참조 분할 구조 정보를 사용하지 않는다는 판단에 상응하는 스플릿 플래그 정보를 역양자화부에 송신할 수 있다.
여기에서, 상기 향상 계층의 비디오를 분할하는 단위와 상기 참조 계층의 비디오를 분할하는 단위는, 예측 블록(prediction block)과 변환 블록(transform block)을 최소 단위로 하고 시퀀스(sequence)를 최대 단위로 할 수 있다.
여기에서, 상기 분할 구조 예측 레벨 선택 단계는, 부호화 단위의 분할 구조 정보를 참조하도록 선택하는 경우, 움직임 보상부와 인트라 예측부가 부호화 단위의 분할 구조 정보에 기반하여 향상 계층의 예측 단위(prediction unit)의 예측 모드(prediction mode)를 결정하도록 조정하고, 변환 단위의 분할 구조 정보를 참조하도록 선택하는 경우, 변환 단위의 분할 구조 정보에 기반하여 역양자화부가 역양자화를 수행하도록 조정할 수 있다.
여기에서, 상기 분할 구조 예측 레벨 선택 단계는, 부호화 단위의 참조 깊이 사용 플래그가 1이라면, 부호화 단위의 참조 깊이와 동일한 깊이로 향상 계층의 부호화 단위를 분할하고, 부호화 단위의 참조 깊이 사용 플래그가 0이라면, 스플릿 플래그(split flag) 정보를 상기 역양자화부에 송신하여 변환 단위의 분할 구조 정보에 기반하여 역양자화부가 역양자화를 수행하도록 조정할 수 있다.
여기에서, 상기 부호화 단위와 상기 변환 단위는, 각각 부호화 블록, 변환 블록을 포함하고, 동일한 단위를 구성하고 있는 블록들은 각각 상이한 분할 구조로 분할될 수 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 측면에 따른 다층 비디오를 위한 계층 간 분할 구조 예측 장치는, 참조 계층의 비디오를 분할하는 단위 별 참조 분할 구조 정보에 기반하여 향상 계층의 비디오를 분할 시 상기 참조 분할 구조 정보를 사용할 것인지 여부를 판단하는 분할 구조 사용 판단부와, 분할 구조 사용 판단부의 참조 분할 구조 정보를 사용한다는 판단에 따라 향상 계층의 비디오를 분할하는 단위에 상응하는 위치의 참조 계층의 비디오를 분할하는 단위를 결정하는 대응위치 구조 선택부와, 참조 계층의 비디오를 분할하는 단위 중 부호화 단위와 변환 단위의 분할 구조 정보의 참조 여부를 선택하여 역양자화부 또는 예측부에 송신하는 분할 구조 예측 레벨 선택부를 포함하여 구성될 수 있다.
여기에서, 상기 분할 구조 사용 판단부는, 참조 분할 구조 정보를 사용하지 않는다는 판단에 상응하는 스플릿 플래그(split flag) 정보를 역양자화부에 송신할 수 있다.
여기에서, 상기 향상 계층의 비디오를 분할하는 단위와 상기 참조 계층의 비디오를 분할하는 단위는, 예측 블록(prediction block)과 변환 블록(transform block)을 최소 단위로 하고 시퀀스(sequence)를 최대 단위로 할 수 있다.
여기에서, 상기 분할 구조 예측 레벨 선택부는, 부호화 단위의 분할 구조 정보를 참조하도록 선택하는 경우, 움직임 보상부와 인트라 예측부가 부호화 단위의 분할 구조 정보에 기반하여 향상 계층의 예측 단위(prediction unit)의 예측 모드(prediction mode)를 결정하도록 조정하고, 변환 단위의 분할 구조 정보를 참조하도록 선택하는 경우, 역양자화부가 변환 단위의 분할 구조 정보에 기반하여 역양자화를 수행하도록 조정할 수 있다.
여기에서, 상기 분할 구조 예측 레벨 선택부는, 부호화 단위의 참조 깊이 사용 플래그가 1이라면, 부호화 단위의 참조 깊이와 동일한 깊이로 향상 계층의 부호화 단위를 분할하고, 부호화 단위의 참조 깊이 사용 플래그가 0이라면, 스플릿 플래그(split flag) 정보를 역양자화부에 송신하여 변환 단위의 분할 구조 정보에 기반하여 역양자화부가 역양자화를 수행하도록 조정할 수 있다.
여기에서, 상기 부호화 단위와 상기 변환 단위는, 각각 부호화 블록과 변환 블록을 포함하고, 동일한 단위를 구성하고 있는 블록들은 각각 상이한 분할 구조로 분할될 수 있다.
상기와 같은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 복호화 장치 및 방법을 사용하면, HEVC의 다양한 크기와 모양의 블록을 사용하여 복호화하는 과정에서 발생하는 높은 복호화기 복잡도를 감소시킬 수 있는 장점이 있다. 다시 말해, 계층 간 영상의 유사성을 이용하여 참조 계층의 coding unit과 transform unit의 분할 구조를 참조하여 향상계층의 분할 구조로 사용함으로써 복호화 성능이 향상될 수 있다.
일반적으로 temporal scalable video 뿐만 아니라 spatial scalable video 및 quality scalable video는 각 계층 간의 영상이 유사한 특성을 가지고 있기 때문에 분할되는 정도나 모양 역시 유사한 모양을 가지게 된다. 이러한 유사성을 이용하여 향상 계층의 분할정보를 split flag로 표현하는 대신에 참조계층의 분할 정보를 이용하여 복호화함으로써 비트 절감을 통한 효율적인 복호화를 할 수 있다는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 HEVC 기반의 SVC에서 참조 계층의 분할 구조 정보를 이용하여 향상 계층에서의 복호화를 위한 다층 비디오를 위한 복호화기를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 다층 비디오를 위한 계층 간 분할 구조 예측 장치의 동작을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 비디오를 분할하는 단위를 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 다층 비디오를 위한 계층 간 분할 구조 예측 장치가 동작하는 일례를 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 대응위치 구조 선택부(420)가 수행하는 계층 간 영상(다른 크기의 영상)의 대응 위치를 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 대응위치 구조 선택부(420)가 수행하는 계층 간 영상(같은 크기의 영상)의 대응 위치를 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 분할 구조 예측 레벨 선택부(430)의 부호화 단위 분할 구조를 사용할 것인지를 판단하는 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 분할 구조 예측 레벨 선택부(430)의 변환 단위 분할 구조를 사용할 것인지를 판단하는 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 다층 비디오를 위한 계층 간 분할 구조 예측 장치와 그 구성요소를 설명하기 위한 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.
이하에서 후술할 복호화기(Video Decoding Apparatus)는 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA, Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 플레이스테이션 포터블(PSP, PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 화면간 또는 화면 내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화기로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다.
다중 계층 비디오(scalable video)란, 임의의 비트율(bit rate)에서도 복호가 가능하도록 압축된 비트스트림을 계층적으로 구성한 비디오를 말한다. 단일 계층 복호화기는 하나의 비트율, 프레임율, 영상크기만을 지원하는 하나의 비트스트림만을 복호하는데 비하여, 다중 계층 비디오를 위한 복호화기는 다양한 비트율, 프레임율, 영상크기에 대한 scalability를 지원할 수 있다.
SVC 표준에서는 하나의 비트스트림을 여러 개의 비디오 계층으로 복호화하며, 각 계층은 각각의 비트율, 프레임율, 영상크기, 화질을 가진다. 즉, 하나의 비트스트림은 하위 계층과 계위적(scalable)인 상위 계층들로 구성될 수 있다. 일반적으로 상위 계층은 이전의 하위 계층들로 만들어진 비디오보다 높은 화질을 갖도록 부호화할 수 있다.
본 출원에서 사용하는 용어로서 향상 계층은 위에서 말한 상위 계층을 의미할 수 있고, 참조 계층은 하위 계층을 의미할 수 있다. 또한 향상 부호화 단위란 현재 복호화의 대상이 되는 향상 계층의 비디오의 부호화 단위를 의미한다. 참조 부호화 단위는 향상 부호화 단위의 복호화시 참조될 수 있는 참조 계층의 비디오의 부호화 단위를 의미한다.
통상적으로 동영상은 일련의 픽처(picture)로 구성될 수 있으며, 각 픽처들은 블록(block)과 같은 소정의 영역으로 분할될 수 있다. 또한, 이하에 기재된 픽처(picture)라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 HEVC 기반의 SVC에서 참조 계층의 분할 구조 정보를 이용하여 향상 계층에서의 복호화를 위한 다층 비디오를 위한 복호화기를 설명하기 위한 블록도이다.
도 1을 참조하면, 다층 비디오를 위한 복호화기는, 참조 계층의 비디오(video)를 구성하는 참조 영상의 분할 구조 정보를 참조하여 향상 계층의 현재 영상의 분할 구조를 결정하는 계층 간 분할 구조 예측부(400)와, 결정된 향상 계층의 현재 영상의 분할 구조에 기반하여 향상 계층의 향상 예측 단위(prediction unit)의 향상 예측 모드를 결정하는 예측부(204, 205)를 포함하여 구성될 수 있다.
또한, 다층 비디오를 위한 복호화기는, 참조 계층의 비디오의 비트스트림을 엔트로피 복호화하여 생성된 참조 영상의 분할 구조 정보를 계층 간 분할 구조 예측부(400)에 전달하는 엔트로피 복호화부(101)를 더 포함하여 구성될 수 있다. 그리고, 향상 예측 모드 및 상기 참조 계층의 비디오(video)를 구성하는 참조 변환 단위(transform unit)의 분할 구조 정보에 기반하여 결정된 향상 계층의 비디오를 구성하는 향상 변환 단위의 분할 구조에 따라 역양자화를 수행하는 역양자화부(202)를 더 포함하여 구성될 수 있다.
다층 비디오를 위한 계층 간 예측 장치는 다층 비디오를 위한 복호화기에 포함된 형태로 구성될 수 있지만, 복호화기에 독립된 형태로 구성하는 것도 가능하다. 다중화된 비트스트림 형태로서 디멀티플렉서(300)로 입력된 신호는 참조 계층과 향상 계층으로 분배되어 각 계층의 비디오 복호화기에서 복호화되어 영상으로 재생될 수 있다.
본 발명의 일 실시예로서 도 1은 2개의 계층을 예로 들어 설명하였지만 2개 이상의 계층을 대상으로 한 계층 간 예측 장치도 가능할 수 있음은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.
엔트로피 복호화부(101, 201)는 디멀티플렉서(300)에서 분배된 비트스트림의 양자화값을 엔트로피 복호화할 수 있다. 또한, 양자화값은 CAVLC(Context-Adaptive Variable Length Coding) 또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 기법 등을 이용하여 엔트로피 복호화할 수 있으며, 이외에 엔트로피 부호화 시에 부호화되었던 다른 정보들도 복호화할 수 있다.
역양자화부(102, 202)는 엔트로피 복호화된 양자화값을 역양자화할 수 있다. 즉, 역양자화부(102, 202)는 양자화값으로부터 주파수 영역의 값(주파수 계수)을 복원할 수 있다.
역변환부(103, 203)는 역양자화부(102, 202)로부터 제공받은 주파수 영역의 값(주파수 계수)을 주파수 영역에서 공간 영역으로 변환함으로써 잔차 영상을 복원하고, 이후 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상에 역변환부(103, 203)에 의해 복원된 잔차 영상을 가산됨으로써 입력 영상의 복원 영상이 생성된다.
디블록킹 필터부(106, 206)는 복원된 영상에 대하여 영상의 부호화시 발생한 블록왜곡을 감소시키기 위한 필터링을 수행하는 곳으로, 블록 경계 부근에서 인접하는 블록 간의 화소값이 다르기 때문에 생기는 블록 경계에 보이는 왜곡을 줄여준다.
샘플 적응적 오프셋(SAO, Sample Adaptive Offset)부(107, 207)는, 쿼드트리 기반으로 영상을 다수의 SAO 영역으로 분할하고, 각 영역 단위로 에러 보정을 위한 오프셋 값을 전송함으로써 복호화된 화소의 에러를 보정할 수 있다.
복원 픽처 버퍼(108, 208)는 디블록킹 필터부(106, 206)와 샘플 적응적 오프셋부(107, 207)에서 에러를 보정시킨 복원 영상을 저장하는 곳이다. 또한 각 계층의 분할 단위 별 분할 구조 정보도 저장할 수 있다.
예측부는 인트라 예측부(105, 205)와 움직임 보상부(104, 204)를 포함하여 구성될 수 있다. 인트라 예측부(105, 205)는 화면 내 예측(Intra Prediction)을 수행하며, 움직임 보상부(104, 204)는 화면 간 예측, 즉 인터 예측(Inter Prediction)을 위한 움직임 벡터를 보상한다.디멀티플렉서(300)는 수신된 다중화된 비트스트림을 수신하여 참조 계층과 향상 계층의 비트스트림으로 분배하여 준다.
본 발명이 제안하는 HEVC 기반 SVC 비디오 복호화기의 주요 구성요소를 좀 더 자세히 설명하면 다음과 같다. 향상 계층의 역양자화부(202)는 역양자화를 위하여 참조 계층의 transform unit의 분할 구조를 참조하여 결정된 향상 계층의 transform unit의 분할 구조에 따라 잔차신호에 대한 역양자화를 수행할 수 있다. 역변환부(203)는 역양자화가 수행된 잔차신호를 역변환할 수 있다. 계층 간 분할 구조 예측부(400)는 참조 계층의 coding unit 분할 구조를 이용하여 향상 계층의 coding unit 분할 구조를 결정할 수 있다. 향상 계층의 인트라 예측부(205)와 움직임 보상부(204)는 결정된 향상계층의 coding unit에 대하여 해당 분할구조에서 prediction unit의 mode를 통하여 예측 값을 만들 수 있다.
참조 영상과 현재 영상의 분할 구조는 부호화 단위(coding unit)에 대한 분할 구조일 수 있다. 또한 부호화 단위, 예측 단위 및 변환 단위는, 각각 부호화 블록, 예측 블록 및 변환 블록을 포함하고, 동일한 단위를 구성하고 있는 블록들은 각각 상이한 분할 구조로 분할될 수 있다.
HEVC 기반의 SVC에서 이른바 부호화 단위(CU, Coding Unit)는 하나의 픽처 상에서의 휘도 성분(luma sample)과 두 개의 색차 신호 성분(chroma sample)의 부호화 블록을 모두 포함하여 일컫는 말이다. 따라서 휘도 성분만을 갖는 단색(monochrome) 픽처의 경우 부호화 단위는 휘도 성분의 부호화 블록과 실질적으로 동일한 대상을 가리키게 된다.
부호화 블록과 예측 블록, 변환 블록은 각각 HEVC에서의 부호화 단위(CU, Coding Unit), 예측 단위(PU, Prediction Unit), 변환 단위(TU, Transform Unit)에 대한 휘도 성분의 블록이거나 색차 신호의 블록일 수 있다. 또한 향상 블록과 참조 블록은 부호화 블록, 예측 블록, 또는 변환 블록일 수 있다.
도 2는 본 발명의 일 실시예에 따른 다층 비디오를 위한 계층 간 분할 구조 예측 장치(400)의 동작을 설명하기 위한 흐름도이다.
도 2를 참조하면, 다중 계층 비디오를 위한 계층 간 분할 구조 예측 장치(400)가 수행하는 방법에 있어서, 다층 비디오를 위한 계층 간 분할 구조 예측 방법은, 참조 계층의 비디오를 분할하는 단위 별 참조 분할 구조 정보에 기반하여 향상 계층의 비디오를 분할 시 참조 분할 구조 정보를 사용할 것인지 여부를 판단하는 분할 구조 사용 판단 단계(S210)와, 참조 분할 구조 정보를 사용한다는 판단에 따라 향상 계층의 비디오를 분할하는 단위에 상응하는 위치의 참조 계층의 비디오를 분할하는 단위를 결정하는 대응 위치 구조 선택 단계(S230)부와, 참조 계층의 비디오를 분할하는 단위 중 부호화 단위와 변환 단위의 분할 구조 정보의 참조 여부를 선택하여 역양자화부(202) 또는 예측부(204, 205)에 송신하는 분할 구조 예측 레벨 선택 단계(S240)를 포함하여 구성될 수 있다. 분할 구조 사용 판단 단계(S210)는, 참조 분할 구조 정보를 사용하지 않는다는 판단에 상응하는 스플릿 플래그(split flag) 정보를 역양자화부(202)에 송신할 수 있다.
다층 비디오를 위한 계층 간 분할 구조 예측 장치(400)의 동작은 하나의 실시예를 중심으로 후술하는 도 4 내지 도 6을 참조로 하여 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 비디오를 분할하는 단위를 설명하기 위한 개념도이다.
도 3을 참조하면, 향상 계층의 비디오를 분할하는 단위와 참조 계층의 비디오를 분할하는 단위는, 예측 블록(prediction block)과 변환 블록(transform block)을 최소 단위로 하고 시퀀스(sequence)를 최대 단위로 할 수 있다.
시퀀스(sequence)는 NAL(Network Abstraction Layer) unit stream 상에서 부호화된 픽처를 형성하는 일련의 비트들을 의미한다. 따라서, 시퀀스 단위는 시간적으로 연속된 영상 중 하나의 영상인 픽처보다 더 큰 개념일 수도 있고 작은 개념일 수도 있다. 본 발명에서 이야기하는 시퀀스는 하나의 계층의 전부 혹은 일부를 나타내는 일련의 비트들을 의미하는 것으로 픽처보다 크거나 같은 단위일 수 있다.
본 발명의 일 실시예에 따른 비디오를 분할하는 단위는 후술하는 도 4의 설명에서는 시퀀스, 슬라이스, Coding Tree Block(CTB)를 예로 들었지만, 이에 한정하지 않고 정의 가능하다. 즉, 비디오를 분할하는 단위를 어떻게 정의하여 동작하는가 하는 것은 부호화된 영상을 복호화하는데 있어서 복호화 효율에 영향을 미칠 뿐, 어느 특정한 분할 단위에 제한되지 않는다. 말하자면, 도 3에서 열거된 각 분할 단위들의 포함관계에 기반하여 비디오를 분할하는 단위를 정의할 수 있다.
도 4는 본 발명의 일 실시예에 따른 다층 비디오를 위한 계층 간 분할 구조 예측 장치(400)가 동작하는 일례를 설명하기 위한 예시도이고, 도 5는 대응위치 구조 선택부가 수행하는 계층 간 영상(다른 크기의 영상)의 대응 위치를 설명하기 위한 개념도이다. 도 6은 대응위치 구조 선택부가 수행하는 계층 간 영상(같은 크기의 영상)의 대응 위치를 설명하기 위한 개념도이다.
도 4를 참조하면, 분할 구조 사용 판단부(410)는 엔트로피 복호화부(101)를 통하여 시퀀스 단위로 복호화된 inter_layer_structure_prediction_sequence_enable_flag 신택스 요소(syntax element)를 참조할 수 있다(S410). 해당 신택스 요소의 복호화된 값이 1인 경우에는 해당 시퀀스에서 계층 간 구조분할 예측을 사용할 수 있다(S430). 해당 신택스 요소의 복호화 된 값이 0일 경우 해당 시퀀스는 계층 간 구조분할 예측을 사용하지 않고 향상 계층에서 스플릿 플래그(split flag) 신택스 요소를 참조하여 복호화할 수 있다(S420). Inter_layer_structure_prediction_sequence_enable_flag 신택스 요소가 1일 경우, 시퀀스를 구성하는 단위인 슬라이스 단위로 내려와 신택스 요소를 참조할 수 있다(S430). 엔트로피 복호화부(101)를 통하여 슬라이스 단위로 복호화된 inter_layer_structure_prediction_slice_enable_flag 신택스 요소를 참조하여, 해당 신택스 요소가 1일 경우 해당 시퀀스의 해당 슬라이스는 계층 간 구조 분할 예측을 사용할 수 있다(S450). 해당 신택스 요소가 0일 경우 해당 슬라이스는 계층 간 구조분할 예측을 사용하지 않고 split flag 신택스 요소를 참조하여 복호화할 수 있다(S440). 상술한 해당 신택스 요소 모두가 1일 경우 엔트로피 복호화부(101)를 통하여 복호화된 inter_layer_structure_prediction_CTB_enable_flag 신택스 요소를 참조할 수 있다(S450). 해당 신택스 요소가 1일 경우 해당 CTB는 계층 간 구조 분할 예측을 사용하여 향상 계층의 구조분할을 할 수 있다(S470). 해당 신택스 요소가 0일 경우 해당 CTB는 split flag를 사용하여 복호화할 수 있다(S460).
SVC의 temporal scalable video coding, quality scalable video coding, spatial scalable video coding과 같이 coding 방식에 따라 계층 간의 영상의 크기가 같거나 다르다. 도 5 내지 도 6을 참조하면 계층 간 영상 크기 차이에 따른 대응 위치를 나타낸다. 예를 들어 spatial scalable video을 지원하는 계층 간 영상은 각각 다르기 때문에 대응되는 위치를 계산 할 필요가 있다. 반면 temporal scalable video 와 quality scalable video와 같은 coding 방식은 영상의 크기가 동일하기 때문에 각 위치에 따른 구조 분할을 계산할 필요가 없다.
도 7은 본 발명의 일 실시예에 따른 분할 구조 예측 레벨 선택부(430)의 부호화 단위 분할 구조를 사용할 것인지를 판단하는 방법을 설명하기 위한 흐름도이고, 도 8은 본 발명의 일 실시예에 따른 분할 구조 예측 레벨 선택부(430)의 변환 단위 분할 구조를 사용할 것인지를 판단하는 방법을 설명하기 위한 흐름도이다.
도 7 내지 도 8을 참조하면, 분할 구조 예측 레벨 선택 단계는, 부호화 단위의 분할 구조 정보를 참조하도록 선택하는 경우, 움직임 보상부(204)와 인트라 예측부(205)가 부호화 단위의 분할 구조 정보에 기반하여 상기 향상 계층의 예측 단위(prediction unit)의 예측 모드(prediction mode)를 결정하도록 조정하고, 변환 단위의 분할 구조 정보를 참조하도록 선택하는 경우, 역양자화부(202)가 변환 단위의 분할 구조 정보에 기반하여 역양자화를 수행하도록 조정하고, 부호화 단위와 변환 단위의 분할 구조 정보를 모두 참조하도록 선택하는 경우, 두 가지 동작을 모두 수행하도록 조정할 수 있다.
분할 구조 예측 레벨 선택 단계(S240)는, 부호화 단위의 참조 깊이 사용 플래그가 1이라면, 부호화 단위의 참조 깊이와 동일한 깊이로 향상 계층의 부호화 단위를 분할하고(S730), 부호화 단위의 참조 깊이 사용 플래그가 0이라면, 스플릿 플래그(split flag) 정보를 상기 역양자화부(202)에 송신하여 변환 단위의 분할 구조 정보에 기반하여 역양자화부(202)가 역양자화를 수행하도록 조정할 수 있다(S720).
도 7을 참조하면, 엔트로피 복호화부(101)에서 복호화된 inter_layer_CU_depth_use_flag 신택스 요소를 참조할 수 있다(S710). 해당 신택스 요소가 1이면 해당 CTB를 참조 계층의 대응되는 CTB와 동일한 분할 구조로 분할할 수 있다(S730). 반면 해당 신택스 요소가 0이면 해당 CTB는 split flag를 이용하여 구조 분할을 하며 Transform Unit의 분할 구조는 참조 계층의 Transform Unit 분할 구조를 참조할 수 있다(S720). 해당 신택스 요소가 0일 경우 도 8의 분할 구조 예측 레벨 선택부(430)의 transform unit 분할을 위한 inter_layer_TU_depth_use_flag를 복호화 하지 않고 참조 계층의 transform unit 분할 구조를 사용하는 이유는 도 4에서 참조한 inter_layer_structure_prediction_CTB_enable_flag를 사용하여 현재 CTB에서 계층 간 구조 분할 예측을 사용할 것인지 안 할 것인지 미리 판단하였기 때문에 inter_layer_styructure_prediction_CTB_enable_flag가 1이라면 inter_layer_CU_detph_use_flag가 0이었을 때 inter_layer_TU_depth_use_flag가 1인 경우와 동일하게 판단할 수 있다.
도 8은 본 발명의 일 실시예에 따른 분할 구조 예측 레벨 선택부(430)의 transform unit 분할 구조를 사용할 것인지를 판단하는 방법을 나타낸다. 도 8을 참조하면, 엔트로피 복호화부(101)에서 복호화된 inter_layer_TU_depth_use_flag 신택스 요소를 참조할 수 있다. 해당 신택스 요소가 1이면 해당 CU를 참조 계층의 대응되는 CU와 동일한 구조로 변환 구조 블록을 분할할 수 있다. 반면 해당 신택스 요소가 0이면 해당 CU는 split flag를 이용하여 분할할 수 있다.
도 9는 본 발명의 일 실시예에 따른 다층 비디오를 위한 계층 간 분할 구조 예측 장치(400)와 그 구성요소를 설명하기 위한 블록도이다.
도 9를 참조하면, 다층 비디오를 위한 계층 간 분할 구조 예측 장치(400)는, 참조 계층의 비디오를 분할하는 단위 별 참조 분할 구조 정보에 기반하여 향상 계층의 비디오를 분할 시 참조 분할 구조 정보를 사용할 것인지 여부를 판단하는 분할 구조 사용 판단부(410)와, 분할 구조 사용 판단부(410)의 참조 분할 구조 정보를 사용한다는 판단에 따라 향상 계층의 비디오를 분할하는 단위에 상응하는 위치의 참조 계층의 비디오를 분할하는 단위를 결정하는 대응 위치 구조 선택부(420)와, 참조 계층의 비디오를 분할하는 단위 중 부호화 단위와 변환 단위의 분할 구조 정보의 참조 여부를 선택하여 역양자화부(202) 또는 예측부(204, 205)에 송신하는 분할 구조 예측 레벨 선택부(430)를 포함하여 구성될 수 있다.
상기 분할 구조 사용 판단부(410)는, 참조 분할 구조 정보를 사용하지 않는다는 판단에 상응하는 스플릿 플래그(split flag) 정보를 역양자화부(202)에 송신할 수 있다.
도 9를 참조하면, 계층 간 분할 구조 예측 장치(400)는, 분할 구조 사용 판단부(410), 대응 위치 구조 선택부(420), 분할 구조 예측 레벨 선택부(430)를 포함하여 구성될 수 있다. 분할 구조 사용 판단부(410)는 비디오를 분할하는 단위로 참조 계층의 분할 구조를 사용하여 향상 계층의 분할 구조를 결정할 것인가를 판단할 수 있다. 분할 구조 사용 판단부(410)에서 계층 간 분할 구조를 사용하지 않게 선택되면 split flag를 이용하여 coding unit 분할과 transform unit 분할을 할 수 있다.
대응위치 구조 선택부는 분할 구조 사용 판단부(410)에 의하여 계층 간 분할 구조 예측을 사용하는 모드로 선택되었을 경우 향상 계층의 비디오를 분할하는 단위에 대응되는 참조 계층의 대응 위치를 계산하여 선택할 수 있다. 분할 구조 예측 레벨 선택부(430)는 coding unit 분할 구조를 참조할 것인지 transform unit 분할 구조를 참조할 것인지, coding unit 분할 구조와 transform unit 분할 구조 모두를 참조할 것인지 판단한다. 분할 구조 판단부에서 coding unit 분할 구조만을 사용하기로 결정되면 도 1의 움직임 보상부(204)와 인트라 예측부(205)의 예측값을 만들기 위한 prediction unit의 mode를 결정하기 위하여 선택된 coding unit 분할 구조를 전달한다. transform unit 분할 구조만을 사용하기로 결정하였다면 도 1의 역양자화부(202)와 역변환부(203)를 통해 잔차신호를 복호화할 수 있도록, 선택된 transform unit 분할 구조를 전달한다. 또한 coding unit과 transform unit 분할 구조 모두를 사용하도록 선택되면 상술한 두 가지 동작 모두를 수행할 수 있도록 coding unit 분할 구조와 transform unit 분할 구조를 모두 전달한다.
향상 계층의 비디오를 분할하는 단위와 상기 참조 계층의 비디오를 분할하는 단위는, 예측 블록(prediction block)과 변환 블록(transform block)을 최소 단위로 하고 시퀀스(sequence)를 최대 단위로 할 수 있다.
시퀀스 단위는 시간적으로 연속된 영상 중 하나의 영상인 픽처보다 더 큰 개념일 수도 있고 작은 개념일 수도 있다. 본 발명에서 이야기하는 시퀀스는 하나의 계층의 전부 혹은 일부를 나타내는 일련의 비트들을 의미하는 것으로 픽처보다 크거나 같은 단위일 수 있다. 비디오를 분할하는 단위는 도 4의 설명에서 상술하였으므로 중복하여 기재하지는 않는다.
부호화 단위의 분할 구조 정보를 참조하도록 선택하는 경우, 움직임 보상부(204)와 인트라 예측부(205)가 부호화 단위의 분할 구조 정보에 기반하여 향상 계층의 예측 단위(prediction unit)의 예측 모드(prediction mode)를 결정하도록 조정하고, 변환 단위의 분할 구조 정보를 참조하도록 선택하는 경우, 역양자화부(202)가 변환 단위의 분할 구조 정보에 기반하여 역양자화를 수행하도록 조정하고, 부호화 단위와 변환 단위의 분할 구조 정보를 모두 참조하도록 선택하는 경우, 두 가지 동작을 모두 수행하도록 조정할 수 있다.
분할 구조 예측 레벨 선택부(430)는, 부호화 단위의 참조 깊이 사용 플래그가 1이라면, 부호화 단위의 참조 깊이와 동일한 깊이로 향상 계층의 부호화 단위를 분할하고, 부호화 단위의 참조 깊이 사용 플래그가 0이라면, 스플릿 플래그(split flag) 정보를 역양자화부(202)에 송신하여 변환 단위의 분할 구조 정보에 기반하여 역양자화부(202)가 역양자화를 수행하도록 조정할 수 있다.
부호화 단위와 변환 단위는, 각각 부호화 블록과 변환 블록을 포함하고, 동일한 단위를 구성하고 있는 블록들은 각각 상이한 분할 구조로 분할될 수 있다.
비록 몇몇의 측면들은 방법의 관점에서 설명되었지만, 이러한 측면들은 상응하는 장치의 설명을 나타내는 것이 명확하며, 여기서 장치는 방법의 단계에 대응한다. 특정 구현 요구들에 따르면, 발명의 실시예들은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 본 발명의 실시예들은 프로그램 코드, 방법들 중 하나의 수행을 위해 동작하는 프로그램 코드를 가지는 컴퓨터 프로그램 제품으로서 수행될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
101, 201: 엔트로피 복호화부 102, 202: 역양자화부
103, 203: 역변환부 104, 204: 움직임 보상부
105, 205: 인트라 예측부 106, 206: 디블록킹 필터부
107, 207: 샘플 적응적 오프셋부 108, 208: 복원 픽처 버퍼
300: 디멀티플렉서 400: 계층 간 분할 구조 예측부(장치)
410: 분할 구조 사용 판단부 420: 대응 위치 구조 선택부
430: 분할 구조 예측 레벨 선택부

Claims (17)

  1. 참조 계층의 비디오(video)를 구성하는 참조 영상의 분할 구조 정보를 참조하여 향상 계층의 현재 영상의 분할 구조를 결정하는 계층 간 분할 구조 예측부; 및
    상기 결정된 향상 계층의 현재 영상의 분할 구조에 기반하여 상기 향상 계층의 향상 예측 단위(prediction unit)의 향상 예측 모드를 결정하는 예측부를 포함하는 다층 비디오를 위한 복호화기.
  2. 청구항 1에 있어서,
    상기 다층 비디오를 위한 복호화기는
    상기 참조 계층의 비디오의 비트스트림을 엔트로피 복호화하여 생성된 상기 참조 영상의 분할 구조 정보를 상기 계층 간 분할 구조 예측부에 전달하는 엔트로피 복호화부를 더 포함하는 것을 특징으로 하는 다층 비디오를 위한 복호화기.
  3. 청구항 1에 있어서,
    상기 다층 비디오를 위한 복호화기는
    상기 향상 예측 모드 및 상기 참조 계층의 비디오(video)를 구성하는 참조 변환 단위(transform unit)의 분할 구조 정보에 기반하여 결정된 상기 향상 계층의 비디오를 구성하는 향상 변환 단위의 분할 구조에 따라 역양자화를 수행하는 역양자화부를 더 포함하는 것을 특징으로 하는 다층 비디오를 위한 복호화기.
  4. 청구항 1에 있어서,
    상기 참조 영상과 상기 현재 영상의 분할 구조는 부호화 단위(coding unit)에 대한 분할 구조인 것을 특징으로 하는 다층 비디오를 위한 복호화기.
  5. 청구항 3 또는 4에 있어서,
    상기 부호화 단위, 상기 예측 단위 및 상기 변환 단위는
    각각 부호화 블록, 예측 블록 및 변환 블록을 포함하고, 동일한 단위를 구성하고 있는 블록들은 각각 상이한 분할 구조로 분할될 수 있는 것을 특징으로 하는 다층 비디오를 위한 복호화기.
  6. 다층 비디오를 위한 계층 간 분할 구조 예측 장치가 수행하는 방법에 있어서,
    참조 계층의 비디오를 분할하는 단위 별 참조 분할 구조 정보에 기반하여 향상 계층의 비디오를 분할 시 상기 참조 분할 구조 정보를 사용할 것인지 여부를 판단하는 분할 구조 사용 판단 단계;
    상기 참조 분할 구조 정보를 사용한다는 판단에 따라 상기 향상 계층의 비디오를 분할하는 단위에 상응하는 위치의 상기 참조 계층의 비디오를 분할하는 단위를 결정하는 대응위치 구조 선택 단계; 및
    상기 참조 계층의 비디오를 분할하는 단위 중 부호화 단위와 변환 단위의 분할 구조 정보의 참조 여부를 선택하여 역양자화부 또는 예측부에 송신하는 분할 구조 예측 레벨 선택 단계를 포함하는 다층 비디오를 위한 계층 간 분할 구조 예측 방법.
  7. 청구항 6에 있어서,
    상기 분할 구조 사용 판단 단계는
    상기 참조 분할 구조 정보를 사용하지 않는다는 판단에 상응하는 스플릿 플래그(split flag) 정보를 상기 역양자화부에 송신하는 것을 특징으로 하는 다층 비디오를 위한 계층 간 분할 구조 예측 방법.
  8. 청구항 6에 있어서,
    상기 향상 계층의 비디오를 분할하는 단위와 상기 참조 계층의 비디오를 분할하는 단위는
    예측 블록(prediction block)과 변환 블록(transform block)을 최소 단위로 하고 시퀀스(sequence)를 최대 단위로 하는 것을 특징으로 하는 다층 비디오를 위한 계층 간 분할 구조 예측 방법.
  9. 청구항 6에 있어서,
    상기 분할 구조 예측 레벨 선택 단계는
    상기 부호화 단위의 분할 구조 정보를 참조하도록 선택하는 경우, 움직임 보상부와 인트라 예측부가 상기 부호화 단위의 분할 구조 정보에 기반하여 상기 향상 계층의 예측 단위(prediction unit)의 예측 모드(prediction mode)를 결정하도록 조정하고,
    상기 변환 단위의 분할 구조 정보를 참조하도록 선택하는 경우, 역양자화부가 상기 변환 단위의 분할 구조 정보에 기반하여 역양자화를 수행하도록 조정하는 것을 특징으로 하는 다층 비디오를 위한 계층 간 분할 구조 예측 방법.
  10. 청구항 6에 있어서,
    상기 분할 구조 예측 레벨 선택 단계는
    상기 부호화 단위의 참조 깊이 사용 플래그가 1이라면, 상기 부호화 단위의 참조 깊이와 동일한 깊이로 상기 향상 계층의 부호화 단위를 분할하고,
    상기 부호화 단위의 참조 깊이 사용 플래그가 0이라면, 스플릿 플래그(split flag) 정보를 상기 역양자화부에 송신하여 상기 변환 단위의 분할 구조 정보에 기반하여 상기 역양자화부가 역양자화를 수행하도록 조정하는 것을 특징으로 하는 다층 비디오를 위한 계층 간 분할 구조 예측 방법.
  11. 청구항 6에 있어서,
    상기 부호화 단위와 상기 변환 단위는
    각각 부호화 블록, 변환 블록을 포함하고, 동일한 단위를 구성하고 있는 블록들은 각각 상이한 분할 구조로 분할될 수 있는 것을 특징으로 하는 다층 비디오를 위한 계층 간 분할 구조 예측 방법.
  12. 다중 계층 비디오를 위한 복호화기에 있어서,
    참조 계층의 비디오를 분할하는 단위 별 참조 분할 구조 정보에 기반하여 향상 계층의 비디오를 분할 시 상기 참조 분할 구조 정보를 사용할 것인지 여부를 판단하는 분할 구조 사용 판단부;
    상기 분할 구조 사용 판단부의 상기 참조 분할 구조 정보를 사용한다는 판단에 따라 상기 향상 계층의 비디오를 분할하는 단위에 상응하는 위치의 상기 참조 계층의 비디오를 분할하는 단위를 결정하는 대응위치 구조 선택부; 및
    상기 참조 계층의 비디오를 분할하는 단위 중 부호화 단위와 변환 단위의 분할 구조 정보의 참조 여부를 선택하여 역양자화부 또는 예측부에 송신하는 분할 구조 예측 레벨 선택부를 포함하는 다층 비디오를 위한 계층 간 분할 구조 예측 장치.
  13. 청구항 12에 있어서,
    상기 분할 구조 사용 판단부는
    상기 참조 분할 구조 정보를 사용하지 않는다는 판단에 상응하는 스플릿 플래그(split flag) 정보를 상기 역양자화부에 송신하는 것을 특징으로 하는 다층 비디오를 위한 계층 간 분할 구조 예측 장치.
  14. 청구항 12에 있어서,
    상기 향상 계층의 비디오를 분할하는 단위와 상기 참조 계층의 비디오를 분할하는 단위는
    예측 블록(prediction block)과 변환 블록(transform block)을 최소 단위로 하고 시퀀스(sequence)를 최대 단위로 하는 것을 특징으로 하는 다층 비디오를 위한 계층 간 분할 구조 예측 장치.
  15. 청구항 12에 있어서,
    상기 분할 구조 예측 레벨 선택부는
    상기 부호화 단위의 분할 구조 정보를 참조하도록 선택하는 경우, 움직임 보상부와 인트라 예측부가 상기 부호화 단위의 분할 구조 정보에 기반하여 상기 향상 계층의 예측 단위(prediction unit)의 예측 모드(prediction mode)를 결정하도록 조정하고,
    상기 변환 단위의 분할 구조 정보를 참조하도록 선택하는 경우, 역양자화부가 상기 변환 단위의 분할 구조 정보에 기반하여 역양자화를 수행하도록 조정하는 것을 특징으로 하는 다층 비디오를 위한 계층 간 분할 구조 예측 장치.
  16. 청구항 12에 있어서,
    상기 분할 구조 예측 레벨 선택부는
    상기 부호화 단위의 참조 깊이 사용 플래그가 1이라면, 상기 부호화 단위의 참조 깊이와 동일한 깊이로 상기 향상 계층의 부호화 단위를 분할하고,
    상기 부호화 단위의 참조 깊이 사용 플래그가 0이라면, 스플릿 플래그(split flag) 정보를 상기 역양자화부에 송신하여 상기 변환 단위의 분할 구조 정보에 기반하여 상기 역양자화부가 역양자화를 수행하도록 조정하는 것을 특징으로 하는 다층 비디오를 위한 계층 간 분할 구조 예측 장치.
  17. 청구항 12에 있어서,
    상기 부호화 단위와 상기 변환 단위는
    각각 부호화 블록과 변환 블록을 포함하고, 동일한 단위를 구성하고 있는 블록들은 각각 상이한 분할 구조로 분할될 수 있는 것을 특징으로 하는 다층 비디오를 위한 계층 간 분할 구조 예측 장치.
KR1020130110448A 2012-09-17 2013-09-13 다중 계층 비디오를 위한 계층 간 예측 장치 및 방법 KR20140038319A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120102986 2012-09-17
KR20120102986 2012-09-17

Publications (1)

Publication Number Publication Date
KR20140038319A true KR20140038319A (ko) 2014-03-28

Family

ID=50646747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130110448A KR20140038319A (ko) 2012-09-17 2013-09-13 다중 계층 비디오를 위한 계층 간 예측 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20140038319A (ko)

Similar Documents

Publication Publication Date Title
US11388393B2 (en) Method for encoding video information and method for decoding video information, and apparatus using same
KR101962183B1 (ko) 인트라 예측 모드 부호화/복호화 방법 및 장치
JP6874032B2 (ja) ピクチャの符号化／復号化方法及びこれを利用する装置
AU2012267007B2 (en) Method and apparatus of scalable video coding
CA2909259C (en) Video encoding and decoding device and method in which the granularity of the quantization is controlled
US20150036743A1 (en) Interlayer prediction method and device for image signal
WO2013048033A1 (ko) 인트라 예측 모드 부호화/복호화 방법 및 장치
US9167258B2 (en) Fast mode determining method and apparatus in scalable video coding
KR20140081681A (ko) 영상의 부호화 방법 및 이를 이용하는 장치
KR102219841B1 (ko) 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
KR20140038319A (ko) 다중 계층 비디오를 위한 계층 간 예측 장치 및 방법
KR20140048806A (ko) 공간 해상도에 기반한 계층 간 예측 장치 및 방법
KR101307406B1 (ko) 참조 프레임을 압축하여 저장하는 영상 부호화/복호화 장치
WO2014092434A2 (ko) 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
KR20140038316A (ko) 디블록킹 필터를 이용한 계층 간 예측 방법 및 장치
KR20140082915A (ko) 다중 계층 비디오의 계층 간 부호화/복호화 장치 및 방법
KR20140038323A (ko) 다중 계층 비디오의 계층 간 참조 장치 및 방법

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination