KR20100008757A - Ｍｇｓ 기반 ｓｖｃ 비트스트림을 ａｖｃ 비트스트림으로 변환하는 장치 - Google Patents

Ｍｇｓ 기반 ｓｖｃ 비트스트림을 ａｖｃ 비트스트림으로 변환하는 장치 Download PDF

Info

Publication number
KR20100008757A
KR20100008757A KR1020090062074A KR20090062074A KR20100008757A KR 20100008757 A KR20100008757 A KR 20100008757A KR 1020090062074 A KR1020090062074 A KR 1020090062074A KR 20090062074 A KR20090062074 A KR 20090062074A KR 20100008757 A KR20100008757 A KR 20100008757A
Authority
KR
South Korea
Prior art keywords
mgs
avc
dcd
bitstream
residual signal
Prior art date
Application number
KR1020090062074A
Other languages
English (en)
Inventor
탕쯔엉꽁
강정원
유정주
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to PCT/KR2009/003908 priority Critical patent/WO2010008210A2/ko
Priority to US13/000,855 priority patent/US20110103474A1/en
Publication of KR20100008757A publication Critical patent/KR20100008757A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

MGS(Medium Grained Scalability) 기반 SVC(Scalable Video Coding) 비트스트림에 포함된 키 픽쳐(key picture)의 적어도 하나의 MGS 계층(layer)의 합산된 잔여신호(residual)를 수정하여 상기 MGS 기반 SVC 비트스트림을 AVC(Advanced Video Coding) 비트스트림으로 재작성(rewriting)하는 MGS-to-AVC 변환 장치가 개시된다.
SVC, MGS, CGS, AVC, 재작성, 변환

Description

ＭＧＳ 기반 ＳＶＣ 비트스트림을 ＡＶＣ 비트스트림으로 변환하는 장치{APPARATUS FOR TRANSFORMING SCALABLE VIDEO CODING BITSTREAM BASED ON MEDIUM GRAINED SCALABILITY TO ADVANCED VIDEO CODING BITSTREAM}
본 발명의 실시예들은 MGS(Medium Grained Scalability) 기반 SVC(Scalable Video Coding) 비트스트림을 AVC(Advanced Video Coding) 비트스트림으로 변환 또는 재작성(rewriting)하는 기법과 관련된다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-S-006-01, 과제명: 유무선 환경의 개방형 IPTV(IPTV 2.0) 기술개발].
SVC(Scalable Video Coding)는 멀티미디어 통신의 응용에 적합한 비디오 압축방식이다. SVC는 최신 AVC(Advanced Video Coding) 방식을 확장한 것으로 높은 압축효율을 가지며 다양한 비트율로 압축하는 것이 가능하다.
SVC 비트스트림은 단말 및 네트워크의 다양한 특성 및 변화에 적합하도록 여러가지 방식으로 쉽게 적응될 수 있다.
이를 위해 SVC는 세가지 영역에서 스케일러빌리티(scalability)를 제공한 다. 공간, 시간, SNR(품질)이 그것이다.
표준에서는 SNR 스케일러빌리티와 관련하여 CGS(Coarse Grained Scalability) 및 MGS(Medium Grained Scalability)의 두 가지 모드를 제안한다.
AVC와 동일하게 SVC 비트스트림은 NAL(Network Abstraction Layer) 유닛(unit)으로 나뉘어질 수 있다. SVC NAL unit들은 각각 공간계층(spatial layer), 품질계층(quality layer), 시간계층(temporal layer), priority 계층을 나타내는 식별자인 dependency_id, quality_id, temporal_id, priority_id를 포함하는 기본요소들로 구별된다.
기존 AVC 비트스트림을 디코딩 할 수 있는 다수의 단말에서 활용되기 위해 현재의 SVC 표준은 CGS 기반의 SVC 비트스트림을 AVC 비트스트림으로 고속 재작성(rewriting)하는 기법을 제안하고 있다.
이 방법은 근본적으로 움직임 정보, 매크로블록 분할(partitioning)정보와 예측모드 관련 정보를 모두 유지하고, 여러 개의 CGS 계층의 잔여신호를 모두 더해서(accumulate) 한 개의 계층을 구성하는 기법이다.
이러한 재작성 과정은 주파수 도메인에서 일어나고, 예측 과정(prediction loop)이 필요하지 않다는 것 때문에 무척 빠르다고 할 수 있다. 이때, 이러한 재작성 기법을 "CGS-to-AVC rewriting"라고 명명할 수 있다.
SVC에서 MGS 모드는 패킷(packet) 기반의 스케일러빌리티의 특성으로 인해서 많은 관심이 집중되고 있다. 그러나, MGS 향상 계층을 포함하는 SVC 비트스트림은 CGS 향상 계층을 포함하는 SVC 비트스트림의 경우와 달리, 쉽게 AVC 비트스트 림으로 재작성될 수 없다.
따라서, MGS 기반의 SVC 비트스트림을 AVC 비트스트림으로 재작성하는 기법에 대한 연구가 필요하다.
본 발명의 실시예들은 MGS(Medium Grained Scalability) 기반 SVC(Scalable Video Coding) 비트스트림을 AVC(Advanced Video Coding) 비트스트림으로 변환하는 기법을 제공하고자 한다.
본 발명의 일실시예에 따른 MGS(Medium Grained Scalability) 기반 SVC(Scalable Video Coding) 비트스트림을 AVC(Advanced Video Coding) 비트스트림으로 변환하는 장치는 상기 MGS 기반 SVC 비트스트림에 포함된 키 픽쳐(key picture)의 MGS 계층(layer)을 축출하는 축출부 및 상기 MGS 계층이 축출된 키 픽쳐의 액세스 유닛(access unit)을 AVC 액세스 유닛으로 재작성(rewriting)하는 재작성부를 포함한다.
또한, 본 발명의 다른 일실시예에 따른 MGS(Medium Grained Scalability) 기반 SVC(Scalable Video Coding) 비트스트림을 AVC(Advanced Video Coding) 비트스트림으로 변환하는 장치는 상기 MGS 기반 SVC 비트스트림을 생성하는 SVC 인코딩부 및 상기 MGS 기반 SVC 비트스트림에 포함된 키 픽쳐(key picture)의 적어도 하나의 MGS 계층(layer)의 합산된 잔여신호(residual)를 수정하여 상기 MGS 기반 SVC 비트스트림을 AVC 비트스트림으로 재작성(rewriting)하는 재작성부를 포함한다.
본 발명의 실시예들은 MGS(Medium Grained Scalability) 기반 SVC(Scalable Video Coding) 비트스트림을 AVC(Advanced Video Coding) 비트스트림으로 변환하는 기법을 제공할 수 있다.
이하에서, 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
코딩 방식 측면에서 MGS(Medium Grained Scalability)는 CGS(Coarse Grained Scalability)와 매우 유사하나 하이-레벨 신택스(high-level syntax) 및 키 픽쳐(key picture)의 개념에서 다소 차이를 갖는다.
하이-레벨 신택스는 비트율 제약조건을 만족시키기 위해 데이터를 축출하는데 있어서의 유연함과 관련된 것이고, 키 픽쳐는 MGS NAL(Network Abstraction Layer) 유닛(unit)들을 축출함에 의해 발생하는 에러의 영향을 조절하는 것과 관련된 것이다.
도 1은 MGS와 AVC에서의 프레임간 예측을 도시한 도면이다.
설명의 편의상 도 1에서는 한 개의 논-키 픽쳐(non-key picture)(120)만을 표현하였다.
도 1에 도시된 바와 같이, 키 픽쳐 2(130)의 기본계층을 위한 움직임 보상(motion compensation)은 이전 키 픽쳐인 키 픽쳐 1(110)의 기본 계층 표현(base layer representation)을 기초로 이루어진다.
반면, 논-키 픽쳐(120)의 기본계층 및 상위계층의 움직임 보상은 하위 시간 계층에 속하는 프레임(frame)의 최상위 계층 표현(highest layer representation)을 기초로 이루어진다.
만약, 품질 기본 계층과 MGS 계층이 한 개의 계층으로 결합된다면, 논-키 픽쳐(120)를 위해 사용된 참조 영상의 품질은 변하지 않는다.
이는 논-키 픽쳐(120)에 대한 MGS 기반 SVC 비트스트림을 AVC 비트스트림으로 재작성(이하, "MGS-to-AVC rewriting" 이라고 함)하는 과정이 CGS 기반 SVC 비트스트림을 AVC 비트스트림으로 재작성(이하, "CGS-to-AVC rewriting" 이라고 함)하는 과정과 동일한 방식으로 이루어질 수 있음을 의미한다.
하지만, MGS-to-AVC rewriting을 위해 품질 기본 계층과 MGS 계층이 한 개의 계층으로 결합되는 경우, 키 픽쳐 2(130)의 품질 기본 계층의 프레임간 예측을 위해 사용되는 참조 영상인 키 픽쳐 1(110)의 품질이 키 픽쳐 2(130) 인코딩시 키 픽쳐 2(130)을 예측하기 위해서 사용된 키 픽쳐 1(110)의 품질 기본 계층보다 높은 품질을 가질 수 있다.
즉, 품질 기본 계층과 MGS 계층이 한 개의 계층으로 결합되는 경우, 키 픽쳐 2(130)를 예측하는데 있어, 키 픽쳐 1(110)의 MGS 계층과 키 픽쳐 2(130)의 MGS 계층 사이에 불일치가 발생할 수 있다.
이로 인해, 키 픽쳐 1(110)로부터 예측되는 키 픽쳐 2(130)의 품질이 나빠질 수 있고, 키 픽쳐 2(120)를 기초로 예측되는 다음 키 픽쳐의 품질도 나빠질 수 있으며, 결과적으로 키 픽쳐들을 기초로 예측되는 논-키 픽쳐(120)들의 품질 또한 나빠지는 드리프트 현상(drift effect)을 일으킬 수 있다.
따라서, MGS-to-AVC rewriting 과정에서 키 픽쳐들 사이의 MGS 계층의 불일치를 방지하기 위한 기법에 대해 연구가 필요하다.
이와 관련하여 본 명세서에서는 MGS-to-AVC rewriting 과정에서 키 픽쳐들 사이의 MGS 계층의 불일치를 방지하기 위한 몇 가지 실시예들을 제안한다.
< MGS 계층을 축출하는 실시예 >
본 실시예에서는 MGS-to-AVC rewriting 과정에서 SVC 키 픽쳐의 액세스 유닛(access unit)이 AVC 액세스 유닛으로 재작성되기 전에 키 픽쳐들의 모든 MGS 계층을 축출하는 기법을 제안한다.
즉, 본 실시예는 키 픽쳐들의 모든 MGS 계층을 재작성 전에 미리 축출함으로써, 키 픽쳐들 사이의 MGS 계층의 불일치를 방지할 수 있다.
이때, 키 픽쳐들의 모든 MGS 계층을 축출한 이후 일반적인 CGS-to-AVC rewriting 과정을 적용하여 MGS-to-AVC rewriting 과정을 수행할 수 있다.
다만, 본 실시예는 키 픽쳐들의 MGS 계층을 축출하기 때문에 키 픽쳐들의 품질이 다소 낮아질 수 있다. 또한, 키 픽쳐의 MGS 데이터는 논-키 픽쳐들의 프레임간 예측에 사용되기 때문에, 논-키 픽쳐들의 품질도 낮아질 수 있다.
따라서, 키 픽쳐들의 MGS 계층을 축출하지 않고, MGS-to-AVC rewriting을 수행하기 위한 다른 실시예를 제안한다.
< MGS 계층의 수정을 수행하는 실시예 >
1. 일반적 구조
본 실시예는 앞서 <MGS 계층을 축출하는 실시예>와는 달리 키 픽쳐들의 품질을 그대로 유지하면서 키 픽쳐들에서의 불일치를 방지할 수 있는 실시예이다.
도 2는 본 실시예에 따른 AVC 변환 장치를 나타낸 블록도를 도시한 도면이다.
SVC 인코더(encoder)(210)에 의해 생성된 MGS 기반 비트스트림은 드리프트 보상 데이터(Drift-Compensation Data: DCD) 생성기(220)로 전달된다.
만약, 키 픽쳐가 이전 키 픽쳐로부터 예측된다면, 상기 키 픽쳐는 상기 이전 키 픽쳐의 MGS 계층에 의해 야기되는 불일치를 보상하기 위해 사용되는 보조 데이터를 수반할 수 있다.
이때, 상기 보조 데이터를 드리프토 보상 데이터(Drift-Compensation Data: DCD)라고 명명한다.
DCD 생성기(220)는 SVC 인코더(210)로부터 전달받은 상기 MGS 기반 비트스트림을 기초로 DCD를 생성한다.
MGS-to-AVC 재작성기(230)는 상기 DCD를 이용하여 상기 MGS 기반 비트스트림에 포함된 키 픽쳐의 적어도 하나의 MGS 계층의 합산된 잔여신호(residual)를 수정함으로써, MGS-to-AVC rewriting을 수행한다.
이때, 상기 잔여신호의 수정은 키 픽쳐의 인터-코디드 블록(inter-coded block)에만 적용된다. 또한, 상기 DCD는 디코딩 과정에서는 사용되지 않는다.
본 발명의 일실시예에 따르면, DCD 생성기(220)는 AVC 변환 장치와는 별개 의 스탠드-어론(stand-alone) 장치로 구현될 수 있고, SVC 인코더(210)에 포함될 수도 있으며, MGS-to-AVC 재작성기(230)에 포함될 수도 있다.
이상, 도 2를 참조하여 본 발명의 일실시예에 따른 AVC 변환 장치를 간략히 살펴보았다. AVC 변환 장치의 구체적 동작은 이후 설명하기로 하고, 먼저, DCD 생성기(220)의 구체적 동작에 대해 상세히 설명하기로 한다.
2. DCD 생성
먼저, 여러 계층의 잔여신호들은 트랜스폼 계수 도메인(transform coefficient domain) 또는 트랜스폼 계수 레벨 도메인(transform coefficient level domain)에서 합산될 수 있음을 고려한다.
상기 트랜스폼 계수 도메인과 상기 트랜스폼 계수 레벨 도메인 간의 차이는 트랜스폼 계수 레벨이 트랜스폼 계수 값을 양자화한 것에 의해 획득된다는 점이다.
따라서, 트랜스폼 계수 도메인에서 잔여신호를 합산하기 위해서는 트랜스폼 계수 레벨들의 역양자화가 필요하고, 트랜스폼 계수 레벨 도메인에서 잔여신호를 합산하기 위해서는 역양자화가 불필요하다.
DCD의 생성은 다양한 방식으로 이루어질 수 있다. 먼저, 가장 간단한 방법으로 도 3에 도시된 바와 같이, AVC 인코더에 의해 생성된 정확한 잔여신호와 CGS-to-AVC 재작성기에서 생성된 합산된 잔여신호를 비교하는 방법이 있다.
도 3은 본 발명의 일실시예에 따른 DCD 생성기를 나타낸 블록도이다.
SVC 디코더(310)는 기본계층의 잔여신호와 향상계층의 잔여신호로부터 AVC 인코더(330)에 전달할 정확한 픽셀(pixel) 값을 획득한다.
AVC 인코더(330)는 SVC 디코더(310)로부터 상기 픽셀 값을 전달받아 잔여신호를 생성한다. 이때, AVC 인코더(330)가 생성하는 잔여신호가 MGS-to-AVC rewriting을 위해 MGS-to-AVC 재작성기(230)에서 생성되어야할 정확한 잔여신호이다.
여기서, SVC 디코더(310)와 AVC 인코더(330)의 결합은 이미 잘 알려진 캐스캐이드 트랜스코더(cascaded transcoder)의 구조와 동일하다.
스위치 A는 위치 1에 위치하는 경우, 트랜스폼 계수 값으로서의 정확한 잔여신호를 추출하고, 위치 2에 위치하는 경우, 트랜스폼 계수 레벨 값으로서의 정확한 잔여신호를 추출한다.
CGS-to-AVC 재작성기의 잔여신호 합산부(320)는 향상계층의 잔여신호와 기본계층의 잔여신호로부터 합산된 잔여신호를 생성한다.
이때, DCD는 CGS-to-AVC 재작성기의 잔여신호 합산부(320)에서 생성된 잔여신호와 AVC 인코더(330)에서 생성된 정확한 잔여신호의 차이를 통해 생성된다.
만약, DCD가 미리 계산되어서 MGS-to-AVC 재작성기(230)로 전달되는 경우, MGS-to-AVC 재작성기(230)에서 생성되어야 하는 정확한 잔여신호는 CGS-to-AVC 재작성기의 잔여신호 합산부(320)에서 생성된 잔여신호에서 상기 DCD를 빼는것에 의해 획득할 수 있다.
이때, AVC 인코더(330)는 MGS 기반 비트스트림의 최상위 계층의 움직임 정보, 블록 모드/분할(partition), 양자화 계수들을 재사용한다.
도 4는 본 발명의 또 다른 일실시예에 따른 DCD 생성기를 나타낸 블록도이다.
도 4는 DCD를 생성하기 위한 보다 빠른 방법을 나타낸 것으로 폐루프 트랜스코딩(closed-loop transcoding) 구조에 기반한다.
도 4에서 Q1과 Q2는 각각 기본 계층과 향상 계층의 양자화 과정을 의미한다.
본 방법에서는 이전 키 픽쳐의 품질 기본 계층 표현(base quality representation)과 최상위 품질 표현(highest quality representation)의 차를 디코딩하여 픽쳐 버퍼(picture buffer)에 저장한다.
이때, 저장된 두 영상 사이의 차이의 움직임 보상 버전(P)은 현재 키 픽쳐에서 제거되거나 보상되어야 하는 값이다.
따라서, DCD를 얻기 위해 저장된 두 영상 사이의 차이의 움직임 보상 버전(P)에 트랜스폼과 양자화가 적용된다.
이때, 스위치 A의 사용 방법은 도 3에서 설명한 방법과 동일하다.
도 4에 도시된 시스템 블록도는 DCD를 획득하기 위한 것일 뿐 AVC 포맷으로 트랜스코딩된 픽쳐를 획득하기 위한 시스템 블록도가 아니므로 도 4는 향상 계층의 잔여신호만을 복호화해서 움직임 보상을 수행하는 도 5의 블록도와 같은 형태로 단순화될 수 있다.
도 5에서 양자화와 역양자화에 사용된 양자화 계수는 향상 계층을 위한 것이다.
이전 키 픽쳐가 하나 이상의 MGS 계층을 가지고 있을 때, DCD는 각 MGS 계층에 따라 순차적으로 획득될 수 있다.
MGS 계층 j부터 MGS 계층 i(j≤i)를 포함하는 향상 계층 데이터에 해당하는 DCD 값을 DCDj ~i라 하는 경우, DCDj ~i는 하기의 수학식 1과 같이 나타낼 수 있다.
Figure 112009041567006-PAT00001
여기서, DCDi는 MGS 계층 i에 해당하는 DCD 값을 의미하고, DCDi -는 DCD--i~i-와 동일하다.
현재의 SVC 표준에 따르면, 키 픽쳐에서 잔여신호의 합산은 트랜스폼 계수 레벨 도메인에서 수행될 수 없다. 따라서, 트랜스폼 계수 레벨 도메인에서 MGS-to-AVC rewriting이 가능하도록 하기 위해 본 실시예에서는 키 픽쳐에서 신택스(syntax) 요소(element)인 tcoeff_level_prediction_flag 값이 "1"이 될 수 있도록 제안한다.
SVC 인코더(210)와 관련하여 가상(virtual) 디코더가 인코딩 과정에 포함되어 있다는 점과 기본 계층의 잔여신호와 향상 계층의 잔여신호는 공간적(spatial) 도메인과 트랜스폼 도메인 모두에서 항상 사용 가능하다는 점은 이미 잘 알려진 사실이다.
따라서, 앞서 도 3 내지 도 5를 이용하여 설명한 DCD 생성 기법들은 SVC 인 코더(210)에 용이하게 결합될 수 있다.
DCD는 SVC 인코더(210) 또는 DCD 생성기(220)를 통해 오프라인으로 생성될 수 있다. 이러한 경우, DCD를 저장하기 위한 소정의 포맷이 필요하다. 이와 관련하여 DCD 저장에 대한 내용은 차후 설명하기로 한다.
또한, DCD는 MGS-to-AVC 재작성기에서 온라인으로 생성될 수도 있다. 이 경우, DCD의 저장은 불필요하다.
이상, DCD의 생성에 대해 상세히 설명하였다. 이하에서는 도 6을 참조하여 생성된 DCD를 기초로 MGS-to-AVC rewriting하는 과정을 상세히 설명한다.
3. MGS-to-AVC rewriting
도 6은 본 발명의 일실시예에 따른 MGS-to-AVC rewriting 과정을 나타낸 흐름도이다.
도 6에 도시된 MGS-to-AVC rewriting 과정은 CGS-to-AVC rewriting 과정과 유사하다. 다만, MGS-to-AVC rewriting 과정은 CGS-to-AVC 재작성기에서 합산된 잔여신호가 DCD에 의해 수정된다는 점에서 CGS-to-AVC rewriting 과정과 차이를 갖는다.
먼저, 이전 키 픽쳐가 DCD1 ~n에 대응하는 n개의 MGS 계층을 갖는다고 가정한다.
만약, {DCDi} 세트가 이미 가용하다면, DCD1 ~n은 하기의 수학식 2와 같이 연 산될 수 있다.
Figure 112009041567006-PAT00002
만약, {DCDi} 세트가 가용하지 않다면, DCD1 ~n은 온라인에서 획득될 수 있다.
DCD를 획득하였으면, 키 픽쳐에서 n개의 MGS 계층이 존재하는 것을 보상하기 위해 CGS-to-AVC 재작성기에 의해 합산된 잔여신호로부터 DCD1 ~n 값을 빼주어 수정된 잔여신호를 획득한다.
그리고 나서, 움직임 정보, 블록 분할, 예측 모드 등과 같은 예측 데이터와 상기 수정된 잔여신호가 비트스트림 코더로 입력된다.
이때, 비트스트림 코더는 상기 예측 데이터와 상기 수정된 잔여신호를 기초로 단일 계층을 갖는 비트스트림을 생성한다.
만약, DCD가 트랜스폼 계수 레벨 도메인에서 획득되고, CGS-to-AVC 재작성기에 의해 합산된 잔여신호가 트랜스폼 계수 도메인인 경우, DCD는 수정된 잔여신호를 획득하는 과정에서 사용되기 전에 역양자화 되어야 한다.
또한, DCD 및 CGS-to-AVC 재작성기에 의해 합산된 잔여신호 모두 트랜스폼 계수 레벨 도메인이고, 다른 양자화 계수를 가지는 경우, 두 값 모두 수정된 잔여 신호를 획득하는 과정에서 사용되기 전에 역양자화 되어야 한다.
즉, DCD와 CGS-to-AVC 재작성기에 의해 합산된 잔여신호는 동일한 양자화 계수에 대응해야 한다.
4. DCD의 저장
MGS 기반 비트스트림의 키 픽쳐를 위한 DCD가 미리 생성되어 있는 경우, 상기 DCD는 다양한 방법으로 저장될 수 있다.
이때, SVC 신택스가 DCD를 표현하기 위해 재사용될 수 있다. 보다 구체적으로 각 DCDi는 slice_data_in_scalable_extension() 신택스를 포함하는 하나의 SEI(Supplemental Enhancement Information) 메시지에 저장될 수 있다. 이때, MGS 재작성 SEI 메시지(MGS rewriting SEI message)의 신택스는 하기의 표 1과 같이 나타낼 수 있다.
MGS_Rewriting( payload ) { C Descriptor
dependency _ idx 5 u(3)
mgs _ layer _ idx 5 u(4)
num _ covered _ mgs _ layer _ minus1 5 ue(v)
slice_data_in_scalable_extension()
}
이하에서는 상기 MGS 재작성 SEI 메시지의 시멘틱스에 대해 설명한다.
상기 MGS 재작성 SEI 메시지는 키 액세스 유닛에만 적용된다. 현재의 키 픽쳐에 의해 참조되는 이전 키 픽쳐의 다수의 MGS 계층이 하나의 계층으로 결합될 때, 이러한 메시지는 현재의 키 픽쳐에서 드리프트를 보상하기 위해 사용되는 데이터를 포함한다.
- dependency_idx: 이전 키 픽쳐에서 특정 dependency layer의 dependency_id를 나타낸다.
- mgs_layer_idx: 이전 키 픽쳐에서 존재하는 특정 MGS 계층의 quality_id를 나타낸다.
- num_covered_mgs_layer_minus1: num_covered_mgs_minus1+1은 현재의 MGS 재작성 SEI 메시지가 포함하는 DCD를 위한 주변(adjacent) MGS 계층(mgs_layer_idx가 최상위 quality_id가 되는 MGS 계층)들의 수를 나타낸다.
또한, 다음과 같은 수정이 slice_data_in_scalable_extension()에 적용되어야 한다.
- inter-coded 매트로블록만이 인코딩되고, 모든 다른 매크로블록들은 스킵(skip)되어야만 한다.
- default_base_mode_flag가 1이라고 가정하거나 각 인코딩된 매크로블록의 base_mode_flag가 1이어야만 한다.
- inter-coded 매크로블록에 대해 움직임 정보는 포함되지 않아야 한다.
- adaptive_residual_prediction_flag와 default_residual_prediction_flag 모두 0이어야만 한다.
- 인코딩된 블록의 transform_size_8x8_flag는 현재 키 픽쳐의 프라이머리 코디드 슬라이스(primary coded slice)에서 동일한 위치의 블록과 같은 값을 갖는다.
- mb_qp_delta의 시멘틱스는 다음과 같이 변경된다. mb_qp_delta=0 이면, 잔여신호(bmFlag, startIdx, endIdx)에서 variable level[][]은 트랜스폼 계수 값을 나타낸다. mb_qp_delta=1 이면, 잔여신호에서 variable level[][]은 트랜스폼 계수 레벨을 나타내고, 양자화 계수는 이전 키 픽쳐의 mgs_layer_idc와 동일한 quality_id를 갖는 MGS 계층의 양자화 계수와 동일하다. mb_qp_delta의 새로운 시멘틱스에 대한 또 다른 솔루션은 mb_qp_delta가 해당되는 DCD의 양자화 계수를 나타내는 것이다.
본 실시예에서는 각 SEI 메시지에서 각각의 DCDi를 저장함으로써, 전체 DCD를 획득하기 위해 필요한 DCDi만을 전달 및 분석할 수 있다. 예컨대, 이전 키 픽쳐는 5개의 MGS 계층을 가질 수 있으나 재작성시에 단지 2개의 MGS 계층만 남은 경우, DCD1과 DCD2에 해당하는 2개의 MGS 재작성 SEI 메시지만이 드리프트 보상을 위해 사용될 수 있다.
이상, 도 1 내지 도 6을 참조하여 MGS-to-AVC rewriting을 위한 다양한 실시예들을 설명하였다. 이하에서는 도 7 및 도 8을 이용하여 상기 실시예들과 연관된 AVC 변환 장치의 다양한 실시예들을 설명하기로 한다.
도 7은 본 발명의 일실시예에 따른 AVC 변환 장치의 구조를 도시한 도면이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 AVC 변환 장치(710)는 축출부(711) 및 재작성부(712)를 포함한다.
축출부(711)는 MGS 기반 SVC 비트스트림에 포함된 키 픽쳐의 MGS 계층을 축출한다.
재작성부(712)는 상기 축출된 MGS 계층과 품질 기본 계층을 한 개의 AVC 액세스 유닛으로 재작성한다.
도 7에 도시된 실시예는 앞서 설명한 <MGS 계층을 축출하는 실시예>의 구성과 대응될 수 있으므로, 보다 상세한 설명은 생략한다.
도 8은 본 발명의 또 다른 일실시예에 따른 AVC 변환 장치의 구조를 도시한 도면이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 AVC 변환 장치(810)는 재작성부(812)를 포함한다.
재작성부(812)는 상기 MGS 기반 SVC 비트스트림에 포함된 키 픽쳐의 적어도 하나의 MGS 계층의 합산된 잔여신호를 수정하여 상기 MGS 기반 SVC 비트스트림을 AVC 비트스트림으로 재작성한다.
본 발명의 일실시예에 따르면, 재작성부(812)는 생성부(813), 연산부(814) 및 비트스트림 코딩부(815)를 포함할 수 있다.
생성부(813)는 CGS 기반 SVC 비트스트림을 AVC 비트스트림으로 재작성하는 CGS-to-AVC 재작성기를 이용하여 상기 키 픽쳐의 적어도 하나의 MGS 계층의 합산된 잔여신호를 생성한다.
연산부(814)는 상기 합산된 잔여신호와 DCD의 차를 기초로 상기 키 픽쳐에 대한 수정된 잔여신호를 연산한다.
여기서, DCD는 상기 키 픽쳐가 이전 키 픽쳐로부터 예측되는 경우, 상기 이전 키 픽쳐의 MGS 계층에 의해 발생가능한 상기 키 픽쳐 예측의 불일치를 보상하는 보조 데이터를 의미한다.
비트스트림 코딩부(815)는 상기 이전 키 픽쳐로부터 상기 키 픽쳐를 예측하기 위한 예측 데이터와 상기 수정된 잔여신호를 기초로 단일 계층의 비트스트림을 생성한다.
본 발명의 일실시예에 따르면, 상기 DCD는 트랜스폼 계수 도메인 또는 트랜스폼 계수 레벨 도메인일 수 있다.
또한, 상기 CGS-to-AVC 재작성기를 이용하여 생성한 상기 키 픽쳐의 적어도 하나의 MGS 계층의 합산된 잔여신호 및 상기 DCD는 동일한 양자화 계수에 상응하도록 스케일링(scaling)될 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 DCD는 SEI 메시지에 저장될 수 있다.
이때, 상기 SEI 메시지는 상기 표 1의 신택스로 정의될 수 있다.
본 발명의 다른 일실시예에 따르면, AVC 변환 장치(810)는 상기 DCD를 생성하는 DCD 생성부(816)를 더 포함할 수 있다.
이때, DCD 생성부(816)는 SVC 디코딩부(미도시), AVC 인코딩부(미도시), 제2 잔여신호 생성부(미도시) 및 DCD 연산부(미도시)를 포함할 수 있다.
SVC 디코딩부는 상기 MGS 기반 SVC 비트스트림을 디코딩하여 픽셀 값을 획득한다.
AVC 인코딩부는 상기 SVC 디코딩부로부터 상기 픽셀 값을 전달받아 제1 잔여신호를 생성한다.
제2 잔여신호 생성부는 상기 CGS-to-AVC 재작성기를 이용하여 상기 키 픽쳐의 적어도 하나의 MGS 계층의 합산된 제2 잔여신호를 생성한다.
DCD 연산부는 상기 제2 잔여신호와 상기 제1 잔여신호의 차를 이용하여 상기 DCD를 연산한다.
도 8에 도시된 실시예는 앞서 설명한 <MGS 계층의 수정을 수행하는 실시예>의 구성과 대응될 수 있으므로, 보다 상세한 설명은 생략한다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 MGS와 AVC에서의 프레임간 예측을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 AVC 변환 장치를 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 DCD 생성기를 나타낸 블록도이다.
도 4는 본 발명의 또 다른 일실시예에 따른 DCD 생성기를 나타낸 블록도이다.
도 5는 본 발명의 또 다른 일실시예에 따른 DCD 생성기를 나타낸 블록도이다.
도 6은 본 발명의 일실시예에 따른 MGS-to-AVC rewriting 과정을 나타낸 흐름도이다.
도 7은 본 발명의 일실시예에 따른 AVC 변환 장치의 구조를 도시한 도면이다.
도 8은 본 발명의 또 다른 일실시예에 따른 AVC 변환 장치의 구조를 도시한 도면이다.

Claims (9)

  1. MGS(Medium Grained Scalability) 기반 SVC(Scalable Video Coding) 비트스트림을 AVC(Advanced Video Coding) 비트스트림으로 변환하는 장치에 있어서,
    상기 MGS 기반 SVC 비트스트림에 포함된 키 픽쳐(key picture)의 MGS 계층(layer)을 축출하는 축출부; 및
    상기 축출된 MGS 계층과 품질 기본 계층을 한 개의 AVC 액세스 유닛으로 재작성(rewriting)하는 재작성부
    를 포함하는 AVC 변환 장치.
  2. MGS(Medium Grained Scalability) 기반 SVC(Scalable Video Coding) 비트스트림을 AVC(Advanced Video Coding) 비트스트림으로 변환하는 장치에 있어서,
    상기 MGS 기반 SVC 비트스트림에 포함된 키 픽쳐(key picture)의 적어도 하나의 MGS 계층(layer)의 합산된 잔여신호(residual)를 수정하여 상기 MGS 기반 SVC 비트스트림을 AVC 비트스트림으로 재작성(rewriting)하는 재작성부
    를 포함하는 AVC 변환 장치.
  3. 제2항에 있어서,
    상기 재작성부는
    CGS 기반 SVC 비트스트림을 AVC 비트스트림으로 재작성하는 CGS-to-AVC 재 작성기를 이용하여 상기 키 픽쳐의 적어도 하나의 MGS 계층의 합산된 잔여신호를 생성하는 생성부;
    상기 합산된 잔여신호와 드리프트 보상 데이터(Drift-Compensating Data: DCD)의 차를 기초로 상기 키 픽쳐에 대한 수정된 잔여신호를 연산하는 연산부; 및
    이전(previous) 키 픽쳐로부터 상기 키 픽쳐를 예측하기 위한 예측 데이터와 상기 수정된 잔여신호를 기초로 단일 계층의 비트스트림을 생성하는 비트스트림 코딩부
    를 포함하고,
    상기 DCD는 상기 키 픽쳐가 상기 이전 키 픽쳐로부터 예측되는 경우, 상기 이전 키 픽쳐의 MGS 계층에 의해 발생가능한 상기 키 픽쳐 예측의 불일치를 보상하는 보조 데이터인 AVC 변환 장치.
  4. 제3항에 있어서,
    상기 DCD를 생성하는 DCD 생성부
    를 더 포함하는 AVC 변환 장치.
  5. 제4항에 있어서,
    상기 DCD 생성부는
    상기 MGS 기반 SVC 비트스트림을 디코딩하여 픽셀(pixel) 값을 획득하는 SVC 디코딩부;
    상기 SVC 디코딩부로부터 상기 픽셀 값을 전달받아 제1 잔여신호를 생성하는 AVC 인코딩부;
    상기 CGS-to-AVC 재작성기를 이용하여 상기 키 픽쳐의 적어도 하나의 MGS 계층의 합산된 제2 잔여신호를 생성하는 제2 잔여신호 생성부; 및
    상기 제2 잔여신호와 상기 제1 잔여신호의 차를 이용하여 상기 DCD를 연산하는 DCD 연산부
    를 포함하는 AVC 변환 장치.
  6. 제3항에 있어서,
    상기 DCD는
    트랜스폼 계수 도메인(transform coefficient domain) 또는 트랜스폼 계수 레벨 도메인(transform coefficient level domain) 중 어느 하나인 AVC 변환 장치.
  7. 제3항에 있어서,
    상기 CGS-to-AVC 재작성기를 이용하여 생성한 상기 키 픽쳐의 적어도 하나의 MGS 계층의 합산된 잔여신호 및 상기 DCD는 동일한 양자화 계수에 상응하도록 스케일링(scaling)되는 AVC 변환 장치.
  8. 제3항에 있어서,
    상기 DCD는 SEI(Supplemental Enhancement Information) 메시지에 저장되는 AVC 변환 장치.
  9. 제8항에 있어서,
    상기 SEI 메시지는
    하기의 표 1에서 나타낸 신택스(syntax)로 정의되는 AVC 변환 장치.
    [표 1]
    MGS_Rewriting( payload ) { C Descriptor dependency _ idx 5 u(3) mgs _ layer _ idx 5 u(4) num _ covered _ mgs _ layer _ minus1 5 ue(v) slice_data_in_scalable_extension() }
KR1020090062074A 2008-07-16 2009-07-08 Ｍｇｓ 기반 ｓｖｃ 비트스트림을 ａｖｃ 비트스트림으로 변환하는 장치 KR20100008757A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2009/003908 WO2010008210A2 (ko) 2008-07-16 2009-07-16 Mgs 기반 svc 비트스트림을 avc 비트스트림으로 변환하는 장치
US13/000,855 US20110103474A1 (en) 2008-07-16 2009-07-16 Apparatus for transforming medium grained scalability-based scalable video coding bitstream into advanced video coding bitstream

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080068860 2008-07-16
KR1020080068860 2008-07-16

Publications (1)

Publication Number Publication Date
KR20100008757A true KR20100008757A (ko) 2010-01-26

Family

ID=41817316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090062074A KR20100008757A (ko) 2008-07-16 2009-07-08 Ｍｇｓ 기반 ｓｖｃ 비트스트림을 ａｖｃ 비트스트림으로 변환하는 장치

Country Status (2)

Country Link
US (1) US20110103474A1 (ko)
KR (1) KR20100008757A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101144539B1 (ko) * 2008-06-05 2012-05-14 한국전자통신연구원 스케일러블 비디오 코딩 비트스트림의 적응 변환 장치 및 그 방법
EP2866440B1 (en) * 2012-06-24 2018-08-08 Lg Electronics Inc. Image decoding method and apparatus using same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060233247A1 (en) * 2005-04-13 2006-10-19 Visharam Mohammed Z Storing SVC streams in the AVC file format
US8320450B2 (en) * 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
JP2009182442A (ja) * 2008-01-29 2009-08-13 Univ Of Fukui 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置

Also Published As

Publication number Publication date
US20110103474A1 (en) 2011-05-05

Similar Documents

Publication Publication Date Title
US10264288B2 (en) Method for video coding and an apparatus, a computer-program product, a system, and a module for the same
JP2021521730A (ja) 動画を復号する方法、装置、及びコンピュータプログラム
CN112055968B (zh) 视频解码方法、装置、存储介质以及电子设备
CN113396590B (zh) 视频解码的方法和装置、计算机设备及存储介质
CN115941954A (zh) 视频编码的方法和装置
BR112021004800A2 (pt) aparelho e método para refinamento de vetor de movimento de lado de decodificador condicional em condificação de vídeo
JP2016539545A (ja) ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
CN113424532B (zh) 视频编解码方法、装置和存储介质
CN113661703A (zh) 视频编解码的方法和装置
CN112135134B (zh) 视频解码方法、装置、计算机设备和存储介质
US20050265444A1 (en) Moving image encoding/decoding apparatus and method
CN113412622A (zh) 视频编解码的方法和装置
CN111836056A (zh) 视频解码的方法和装置、计算机设备和存储介质
CN113273201B (zh) 视频解码的方法、装置、介质及计算机设备
CN110730348B (zh) 视频解码方法和装置、计算机设备以及存储介质
CN111726622A (zh) 视频解码的方法和装置
CN112771869A (zh) 小型编码块的简化合并列表构建
KR20100008757A (ko) Ｍｇｓ 기반 ｓｖｃ 비트스트림을 ａｖｃ 비트스트림으로 변환하는 장치
CN112135135A (zh) 视频解码方法、装置、计算机设备及存储介质
CN112333449B (zh) 视频解码的方法和装置、计算机设备和存储介质
CN115486075A (zh) 视频编解码的方法和装置
CN115486072A (zh) 用于视频译码的方法和设备
CN112437306A (zh) 视频编解码方法、装置、计算机设备和存储介质
CN112399180A (zh) 视频解码方法、装置及存储介质
US11627328B2 (en) Method and apparatus for video coding

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid