KR100825752B1 - Ｓｖｃ에서 효율적인 비트율 제어 방법 및 장치 - Google Patents

Ｓｖｃ에서 효율적인 비트율 제어 방법 및 장치 Download PDF

Info

Publication number
KR100825752B1
KR100825752B1 KR1020060115194A KR20060115194A KR100825752B1 KR 100825752 B1 KR100825752 B1 KR 100825752B1 KR 1020060115194 A KR1020060115194 A KR 1020060115194A KR 20060115194 A KR20060115194 A KR 20060115194A KR 100825752 B1 KR100825752 B1 KR 100825752B1
Authority
KR
South Korea
Prior art keywords
frame
bits
bit
allocated
gop
Prior art date
Application number
KR1020060115194A
Other languages
English (en)
Other versions
KR20070053642A (ko
Inventor
전동산
김재곤
홍진우
한종기
박내리
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020060115194A priority Critical patent/KR100825752B1/ko
Priority to US12/093,788 priority patent/US8175149B2/en
Priority to PCT/KR2006/004899 priority patent/WO2007058515A1/en
Publication of KR20070053642A publication Critical patent/KR20070053642A/ko
Application granted granted Critical
Publication of KR100825752B1 publication Critical patent/KR100825752B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에서는 각 프레임의 복잡도에 따라 발생 비트량을 조절하고, 각 매크로블록 단위마다 다른 QP를 적용하여 프레임 내의 비트율 조절에 대한 효율성을 높이는 비트율 제어 방법 및 장치에 대해서 제시한다. 이를 위하여, 본원 발명에서 제시하는 비트율 제어 장치는 입력 스케일러블 레이어에서 GOP 각각을 MCTF 필터링 하고 그 후 프레임 종류 및 프레임 복잡도를 반영하여 각 프레임에 비트를 할당한다. 그리고 이상의 것을 반영하여 할당된 비트를 기초로 매크로 블락 단위로 적응적으로 양자화 파라미터를 결정한다.
비트율 제어, SVC

Description

ＳＶＣ에서 효율적인 비트율 제어 방법 및 장치{Method and Apparatus for controlling bitrate of Scalable Video Stream}
도 1 은 양자화 스텝 사이즈와 QP의 관계를 도시한다.
도 2 는 GOP에 대한 MCTF 분해 과정을 도시한다.
도 3 은 예측 방법과 프레임의 종류에 따른 정규화 변수와의 관계를 도시한다.
도 4는 스케일링 팩터 계산과정을 도시한다.
도 5는 본 발명의 바람직한 일 실시예로서, 비트율 제어 장치의 내부 구성도를 도시한다.
도 5(b) 은 MCTF 분해 과정에 의해 생성된 프레임을 도시한다.
도 6 은 본 발명의 바람직한 일 실시예로서, 비트율 제어 방법의 흐름도를 도시한다.
도 7(a) 는 (football, layer0)에서 본 발명의 RD 커브의 개선된 효과를 도시한다.
도 7(b) 는 (crew, layer0)에서 본 발명의 RD 커브의 개선된 효과를 도시한다.
도 8(a) 는 (football, layer0+layer1)에서 본 발명의 RD 커브의 개선된 효 과를 도시한다.
도 8(b) 는 (crew, layer0+layer1)에서 본 발명의 RD 커브의 개선된 효과를 도시한다.
도 9 는 football 과 crew 영상에 대한 각 레이어의 QP를 도시한다.
최근 인터넷 스트리밍 비디오 서비스와 다양한 휴대 이동 단말기의 등장은 새로운 코덱기술의 개발을 이끌었다. 인터넷 스트리밍 비디오등과 같이 유무선 네트워크를 이용한 서비스를 제공하기 위해 가변 채널 환경을 고려한 비디오 압축 기술의 필요성이 증가하였다. 또한, 다양한 휴대 이동 단말기 사용의 증가는 다중 해상도와 다중 프레임율을 지원하는 비트스트림을 필요로 하기 시작하였다.
이러한 필요성에 의해 등장한 스케일러블 비디오 코덱은 이전의 코덱(MPEG-1, MPEG-2, MPEG-4)들과 비교하여 여러 가지 다른 특징을 갖는다. 이전의 코덱은 정해진 채널용량에서 비트스트림의 전송 및 복호가 가능한 반면, 스케일러블 비디오 코덱은 채널 용량의 변화에 따라 적응적으로 비트스트림의 복호 과정을 조절한다.
이를 가능하도록 하기 위해 SVC는 크게 세 가지의 스케일러빌리티 기능을 제공한다. 첫째, 해상도 스케일러빌 리티(Spatial scalability) 기능은 채널용량의 변화에 따라 수신된 데이터의 일부분을 이용하여 다른 해상도의 비디오 신호로 복 원하도록 한다. 둘째, 프레임율 스케일러빌리티 (Temporal scalability) 기능은 수신 데이터를 여러가지 프레임율을 갖는 비디오 신호로 복호될 수 있도록 한다. 마지막으로 화질 스케일러빌리티(SNR scalability) 기능이다. 이 기능은 채널 용량의 제약으로 정보의 일부분만 수신하여도 그 일부분의 신호만 복호함으로써 다른 화질의 신호로 재생할 수 있도록 한다.
위와 같은 특징들을 갖는 SVC코덱의 성능을 향상시키기 위해 여러 가지 효율적인 방법들이 제안되어 왔다. 즉, 가변 GOP기술, 효율적 움직임 추정기술, 최적화된 양자화기 등이 그 예이다. 이러한 기술들 가운데 각 부호화 요소별 비트할당(bit allocation)기술은 SVC 코덱의 성능을 향상시키기 위한 가장 중요한 기술들 가운데 한가지 방법이다.
이 비트할당 기술은 코덱 내 다른 모듈(예를 들면, 움직임 추정, 양자화)들에 영향을 끼치면서 영상의 화질을 결정하기 때문이다. 따라서 SVC를 위한 효율적인 비트할당 기술은 SVC 코덱의 성능을 향상시키기 위해서 필수적으로 개발되어야 할 기술이다.
그러나, 기존의 SVC 코덱에서 비트율 조절 방법은 모든 영상에 대해 적절한 초기 QP값을 알아야 할 뿐만 아니라 QP를 적용하는 최소 단위가 프레임이기 때문에 임의의 비트율에서 최적의 화질을 얻기 어려운 문제점을 지니고 있다.
또한, 종래 기술은 모든 시퀀스에 대해 적절한 초기 QP값을 알고 있을 때 고화질의 영상을 얻을 수 있다. 그러나 영상에 대한 초기 QP값을 알 수 없을 때 여러 가지 문제점이 발생하게 된다. 예를 들어, 움직임이 많은 영상을 큰 QP로 부호화 할 경우 저화질의 영상을 얻게 될 수 있는 문제점이 있다. 이에 더불어, 움직임이 적은 영상을 작은 QP로 부호화 할 경우 발생 비트량이 커지는 문제점이 있다.
이상의 종래 기술의 문제점을 해결하기 위하여, 본 발명에서는 각 프레임의 복잡도에 따라 발생 비트량을 조절하고, 각 매크로블록 단위마다 다른 QP를 적용하여 프레임 내의 비트율 조절에 대한 효율성을 높일 수 있는 기술적 사상을 제안한다.
본 발명의 바람직한 일 실시예로서, 비트율 제어 장치는 입력 스케일러블 레이어에서 GOP 각각을 시간 단계별로 K번 모션 보상 시간적 필터링(MCTF)하는 MCTF부; 상기 K 번의 각 시간 단계, 상기 K번의 각 시간단계별로 생성된 프레임 종류 및 프레임 내의 화소의 제곱의 합의 제곱근인 프레임 복잡도를 기초로 각 프레임에 비트를 할당하는 비트 할당부; 및 상기 각 프레임 내의 매크로 블락을 실제 부호화하여 발생된 비트량과 상기 각 프레임에 할당된 비트에 따라 상기 각 프레임 내의 매크로블락에 할당된 비트량과의 차이 및 프레임당 비트율을 기초로 매크로 블락 단위로 양자화 파라미터를 결정하는 적응적 QP 조절부;를 포함한다.
본 발명의 바람직한 일 실시예에서, 각 GOP와 각 프레임에 할당된 비트와의 관계는 RG=(T/프레임율)* N 이며, 이 때, RG는 GOP에 할당되는 기설정된 비트량, T는 각 프레임에 할당되는 비트량 그리고 N 은 GOP의 크기인 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예에서, 스케일러블 비디오 인코더는 입력 스케일러블 레이어에서 GOP 각각을 시간 단계별로 K번 모션 보상 시간적 필터링(MCTF)하는 MCTF부;및 상기 K 번의 각 시간 단계, 상기 K번의 각 시간단계별로 생성된 프레임 종류 및 프레임 내의 화소의 제곱의 합의 제곱근인 프레임 복잡도를 기초로 각 프레임에 비트를 할당하는 비트 할당부;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예에서, 스케일러블 비디오 인코더는 상기 각 프레임 내의 매크로 블락을 실제 부호화하여 발생된 비트량과 상기 각 프레임에 할당된 비트에 따라 상기 각 프레임 내의 매크로블락에 할당된 비트량과의 차이 및 프레임당 비트율을 기초로 매크로 블락 단위로 양자화 파라미터를 결정하는 적응적 QP 조절부;를 더 포함한다.
본 발명의 또 다른 바람직한 일 실시예에 있어서, 비트율 제어 방법은 (a)입력 스케일러블 레이어에서 GOP 각각을 시간 단계별로 K번 모션 보상 시간적 필터링(MCTF)하는 MCTF 필터링 단계; (b)상기 K 번의 각 시간 단계, 상기 K번의 각 시간단계별로 생성된 프레임 종류 및 프레임 내의 화소의 제곱의 합의 제곱근인 프레임 복잡도를 기초로 각 프레임에 비트를 할당하는 단계; 및 (c)상기 각 프레임 내의 매크로 블락을 실제 부호화하여 발생된 비트량과 상기 각 프레임에 할당된 비트에 따라 상기 각 프레임 내의 매크로블락에 할당된 비트량과의 차이 및 프레임당 비트율을 기초로 매크로 블락 단위로 양자화 파라미터를 결정하는 적응적 QP 조절 단계;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예에 있어서, 스케일러블 비디오 인코딩 방법은 (a)입력 스케일러블 레이어에서 GOP 각각을 시간 단계별로 K번 모션 보상 시간적 필터링(MCTF)하는 MCTF 필터링 단계;및 (b)상기 K 번의 각 시간 단계, 상기 K번의 각 시간단계별로 생성된 프레임 종류 및 프레임 내의 화소의 제곱의 합의 제곱근인 프레임 복잡도를 기초로 각 프레임에 비트를 할당하는 단계;를 포함한다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
1. SVC(Scalable Video Coding)의 비트율 제어
현재 SVC(JSVM2.0)의 비트율 조절과정은 초기 QP설정과 스케일링 요소(scaling factor)에 의해 QP를 재조정 하는 과정으로 이루어져있다. 초기 QP는 임의의 값을 가질 수 있으며 QP가 6씩 증가함에 따라 양자화 스텝 사이즈는 두 배가 된다. 따라서, QP가 커짐에 따라 발생 비트율은 감소한다. 또한, 스케일링 요소는 MCTF의 특성을 고려하여 결정된다. MCTF에서 시간적 분해를 반복할수록 스케일링 요소는 큰 값을 가지며, 이 값이 커짐에 따라 QP는 감소한다.
이러한 특징을 갖는 두 요소의 결합으로 QP는 재조정되고, 재조정된 QP에 의해 영상의 발생 비트율과 화질이 결정된다. 다음의 1절에서 QP의 의미와 결정 방법 을 기술하고, 2절에서 스케일링 요소의 결정 과정을 살펴본다.
(1) 양자화 파라미터(QP)의 의미와 결정
JSVM2.0은 H.264/AVC와 호환 가능하도록 하기 위해 이를 기반으로 모델링 되었다. 따라서 H.264/AVC에서의 양자화 방법과 동일하며 기본적인 양자화 연산 방법은 다음과 같다.
Figure 112006085241549-pat00001
수학식 1에서 Z는 양자화 후의 샘플 값을 나타낸다. ω는 트랜스 변환한 결과 샘플 값이고
Figure 112006085241549-pat00002
는 오프셋(offset)을 나타낸다. △는 양자화 스텝 사이즈(Qstep)를 나타내는데 이 값에 의해 양자화의 정도가 결정된다. 이 양자화 스텝 사이즈는 총 52가지 경우를 갖는다.
QP는 이 양자화 스텝 사이즈를 나타내기 위한 인덱스를 의미한다. 도 1에서 양자화 스텝 사이즈와 QP의 관계를 나타내었다. SVC에서 양자화 과정은 H.264/AVC와 마찬가지로, 도 1의 양자화 스텝 사이즈와 QP와의 관계를 이용한다. 이러한 QP의 적용은 영상의 발생 비트율과 화질을 결정하므로 영상의 특성을 이용하여 적절한 QP를 결정하는 것이 중요하다.
SVC에서 QP결정 방법은 수학식 (2) 와 같다. 수학식 (2)에서 iQP는 임의의 초기 QP값을 나타내고 dScalingFactor 는 SVC에서 MCTF의 특성을 고려하여 결정되는 스케일링 요소를 나타낸다. dScalingFactor를 결정하는 방법은 이하 2. 스케일링 요소의 결정 과정에서 보다 상세히 설명하기로 한다.
Figure 112006085241549-pat00003
Figure 112006085241549-pat00004
수학식 (2)에서 초기 QP(iQP)와 스케일링 요소(dScalingFactor)로 결정된 dQP는 수학식(3)과 같이 QP를 나타낼 수 있는 0부터 51 가지의 범위 내에서 정수형의 값으로 조절된다.
(2) 스케일링 요소(scaling factor)의 결정 과정
수학식 (2)의 스케일링 요소, 즉 dScalingFactor 값은 스케일러블 비디오 코딩의 프레임률 스케일러빌티(temporal scalability)를 지원하는 MCTF의 특성을 고려하여 결정된다. 도 2 는 한 GOP에 대한 MCTF 분해 과정을 보여준다. 도 2에 도시된 바와 같이 MCTF 분해 과정은 GOP단위로 수행되며, 각 예측(prediction) 과정과 업데이트(update) 과정을 거쳐 High-Pass 프레임(H)과 Low-Pass 프레임(L)을 생성한다.
이 때 H 프레임은 대상 프레임과 예측 프레임의 차이신호이며, L 프레임은 다음 분해 단계(stage)의 H 프레임을 생성하기 위해 원 신호의 고주파 성분을 제거하여 재구성한 신호이다.
도 2에서 단계(stage)는 각각 MCTF 분해 단계를 의미한다. 단계가 증가함에 따라 즉, MCTF 분해 횟수가 증가함에 따라 한 단계내의 프레임 수는 이전 분해 과정의 반으로 줄어든다. 이러한 분해 과정은 단계내에 H프레임과 L프레임이 각각 하나가 남을 때까지 반복된다.
예측과 업데이트 과정은 단방향 예측과 양방향 예측 방법을 사용하여 H 프레임과 L 프레임을 생성하는데, 각 예측 방법과 프레임의 종류에 따라 도 3과 같이 다른 정규화 변수를 갖는다. 도 3 은 예측 방법과 프레임의 종류에 따른 정규화 변수와의 관계를 도시한다. 이 정규화 변수는 스케일링 팩터(scaling factor)를 결정하는 역할을 한다.
스케일링 팩터를 결정하는 또 다른 요소는 한 프레임 내의 연결된 픽셀들(connected pixels)의 비율이다. 예측과 업데이트 과정의 불일치(mismatch)로 인해 프레임 내에연결 픽셀(connected pixels)과 비연결 픽셀(unconnected pixels)이 발생되는데, 이때 연결 픽셀은 각 블록이 얼마나 유효한 블록 인지를 나타내는 잣대가 된다. 따라서 MCTF 분해 단계에 따라 참조 프레임의 유효성을 connected pixels의 비율로 나타낸다. 한 프레임에서 각각의 예측타입에 따라 연결 픽셀의 비율은 다음의 수학식 (4) 내지 (6)과 같이 나타낸다.
RateL0 = NL0/NTotal
RateL1 = NL1/NTotal
RateBi = NBi/NTotal
수학식 (4) 내지 (6)에서 NTotal은 한 프레임내의 총 픽셀의 수이다. 또한 NL0 , NL1 , NBi는 각각 순방향 예측, 역방향 예측, 양방향 예측된 픽셀의 수를 나타낸다.
도 4는 스케일링 팩터 계산과정의 흐름도로서, 수학식 (4) 내지 (6)에 의해 결정된 연결 픽셀들의 비율과 정규화 변수를 적용하는 과정을 도시한다. 도 4의 각 변수들은 JSVM2.0 소프트웨어 내의 변수와 동일하게 표기 하였다. 도 4에서 xGetConnections()는 연결(connection) 비율을 계산하는 함수이다.
도 2 에서 프레임 넘버가 0이나 16이 아닐 경우 L 프레임의 스케일링 팩터는 CASE 1 에 의해 계산되고, 16일 경우 CASE 2, 0일 경우 CASE 3에 의해 계산된다. 각 CASE 1, 2, 3은 식(7)-(9)에서 나타내었다.
Figure 112006085241549-pat00005
Figure 112006085241549-pat00006
Figure 112006085241549-pat00007
도 3 에서 정규화 변수는 다음과 같은 변수로써 재정의할 수 있다. 단방향 예측을 사용한 H 프레임은 Factor_22_HP로 표기하며 단방향 예측을 사용한 L 프레임은 Factor_22_LP로 나타낸다. 또한, 양방향 예측을 사용한 H 프레임은 Factor_53_HP로 표기하며, L 프레임은 Factor_53_LP로 나타낸다.
수학식 (7)내지 (9)는 각 프레임의 연결 픽셀들의 비율과 정규화 변수를 이용하여 스케일링 팩터를 계산하는 방법을 보여준다. 수학식 (7)내지 (9)에 의해 결정된 L 프레임의 스케일링 팩터는 각 단계(stage) 내에서 평균을 취하여 해당 단계 내의 H 프레임의 스케일링 팩터를 결정하기 위한 초기값이 된다. H 프레임의 스케일링 팩터는 수학식 (10)에 의해 최종적으로 결정된다.
<case 4>
Figure 112006085241549-pat00008
이에 따라 스케일링 팩터는 단계가 높아질수록, 즉 MCTF 분해과정을 반복할수록 큰 값을 갖는다. 또한, 프레임의 종류에 대해 L 프레임의 스케일링 팩터가 H 프레임의 스케일링 팩터보다 큰 값을 갖는다. 스케일링 팩터값이 클수록 수학식 (2)에 의해 작은 양자화 파라미터 값으로 결정되므로 스케일링 팩터값이 큰 프레임에 더 많은 비트가 할당된다. 이는 양자화 파라미터가 프레임의 에너지에 반비례적으로 결정되어야 하는 특성과 일치한다.
이상의 기술적 사상에서는 연결 픽셀들의 비율과 정규화 변수에 의해 결정된 스케일링 팩터를 이용하여 프레임의 에너지를 결정한다. 그러나, 이 방법에서 연결 픽셀의 비율은 예측과정에서 참조 프레임의 유효성을 나타내기 위한 값이며 현재 프레임에 대한 정보를 포함하지 않기 때문이다.
따라서, 본 발명에서는 프레임의 복잡도를 고려하여 프레임당 목표 비트를 할당하는 방법을 제안한다. 본 발명에서는 양자화 파라미터를 프레임의 에너지에 반비례적으로 결정한다.
프레임의 에너지를 화소의 제곱의 평균으로 나타냈을 때, 이 값이 큰 프레임은 에너지를 많이 포함한 프레임이 될 것이다. 따라서 작은 QP로 부호화하여 많은 비트를 할당함으로써 화질을 유지하도록 한다. 반대로 제곱의 평균값이 작은 프레임은 에너지를 적게 포함하고 있으므로 큰 QP로 부호화할 때 적은 비트량으로도 일정 화질을 유지할 수 있다.
도 5는 본 발명의 바람직한 일 실시예로서, 비트율 제어 장치의 내부 구성도를 도시한다. 본 발명의 비트율 제어 장치는 프레임의 복잡도에 따라 다른 QP를 할당함으로써 효율적인 부호화가 가능하도록 한다. 또한, 매크로블록의 특징을 고려하여 각 매크로블록마다 적합한 양자화 파라미터를 할당함으로써 더욱 효율적으로 비트할당이 이루어진다.
비트율 제어 장치(500)는 MCTF부(510), 비트 할당부(520) 및 적응적 QP 조절부(530)을 포함한다. MCTF부(510)에서 입력 스케일러블 레이어를 MCTF 필터링한 후이를 기초로 비트 할당부(520)에서 각 프레임에 프레임 복잡도를 고려하여 비트를 할당하고 그 후 적응적 QP 조절부(530)에서 매크로 블록의 특징을 고려하여 적합한 양자화 파라미터를 할당한다. 각 구성요소에 대하여 보다 상세히 살펴보면 다음과 같다.
MCTF부(510)는 입력 스케일러블 레이어에서 GOP 각각을 시간 단계별로 K번 모션 보상 시간적 필터링(MCTF)을 수행한다.
웨이블릿 기반의 스케일러블 비디오 코딩에 사용되고 있는 많은 기술들 중에서, 움직임 보상 시간적 필터링(Motion Compensated Temporal Filtering; 이하, MCTF라 함)은 시간적 중복성을 제거하고 시간적으로 유연한 스케일러블 비디오 코딩을 위한 핵심 기술이다. MCTF에서는 GOP(Group Of Picture) 단위로 코딩작업을 수행하는데 현재 프레임과 기준 프레임의 쌍은 움직임 방향으로 시간적 필터링 된다.
각 스페이셜 레이어에 대해 MTCF 과정이 수행되며, 그 결과 각각의 GOP 내에 하나의 L 프레임과 (N-1) 개의 H 프레임이 생성된다. 이 경우, N은 GOP의 크기를 나타내며 N= 2K의 관계가 성립한다.
즉 SVC에서 부호화 전에 GOP 단위로 MCTF 필터링을 수행함으로써 부호화 이전에 한 GOP 내의 프레임 종류와 MCTF 분해 단계를 알 수 있다. 또한, 이러한 특성을 이용하여, 본 발명에서는 부호화 전에 각 프레임을 위한 비트 할당을 GOP 단위로 수행하고, 프레임 종류 및 시간 단계에 따라 다른 비트를 할당한다.
도 5(b) 은 MCTF 분해 과정에 의해 생성된 프레임을 도시한다.
GOP 크기 N 에 대해 2K=N 을 만족시키는 K번의 시간 단계별로 모션 보상 시간적 필터링(MCTF)을 수행한다. 모션 보상 시간적 필터링을 수행함에 따라 각 시간 단계별로 프레임의 수는 전 시간 단계에 비하여 반으로 줄어든다.
각 시간 단계별로 H 프레임을 각각 H0, H1, H2로 표기하였다. MCTF 수행과정에서 높은 분해 레벨일수록 예측(Prediction) 과정에서 움직임 예측을 할 때 참조되는 영상이 시간적으로 멀리 위치하게 된다. 따라서 현재 예측되는 영상과의 상관도가 떨어질 가능성이 높게 된다.
즉, 높은 분해 시간 단계에 속한 프레임일수록 현재 프레임과 멀리 떨어진 프레임에서 움직임이 예측되므로 큰 잔여(residual)신호를 포함하고 있다. 또한 이러한 프레임은 복호할 때 낮은 분해 시간 단계에 있는 프레임으로부터 참조됨으로 중요도가 높다. 도 5(b)에서 H 프레임은 H2> H1 > H0 순으로 차이잔여신호를 많이 포함되며 중요도가 높다.
비트 할당부(520)는 MCTF부(510)에서 K번의 각 시간단계별로 생성된 프레임 종류, K 번의 각 시간 단계 및 프레임 복잡도를 기초로 각 프레임에 비트를 할당한다. 프레임 복잡도는 프레임 내의 화소의 제곱의 합의 제곱근으로 계산될 수 있다.
프레임 복잡도는 수학식 11과 같이 표시된다.
Figure 112006085241549-pat00009
수학식 11에서 Xi를 i 번째 프레임의 프레임 복잡도, Pi 는 i번째 프레임 내의 화소를 의미한다. 수학식 11에 따라 MCTF분해 후 생성된 H 프레임과 L 프레임 내의 화소값을 이용하여 프레임의 에너지를 계산할 수 있다. 도 5(b)에 도시된 각 프레임의 복잡도는 XL, XHS2, XHS1, XHS0 로 표기하고, 이 값은 XL, >XHS2 > XHS1> XHS0 의 경향을 지닌다.
수학식 12 내지 14는 프레임의 종류와 각 분해 시간 단계에 따라 프레임의 복잡도를 고려하여 각 프레임에 비트를 할당하기 위한 방법이다.
L 프레임(도 5(b) 참고)에 할당하고자 하는 비트 TL은 수학식 12를 이용하여 계산한다.
Figure 112006085241549-pat00010
수학식 12에서 L, HS2, HS1, HS0 는 각각 L 프레임, stage 2에서의 H 프레임, stage 1에서의 H 프레임, stage 0에서의 H 프레임을 의미한다. GOP내에 존재하는 각 프레임 종류별 수를 나타낸다. Ni, i=L, HS2, HS1, HS0 는 GOP 내에 존재하는 각 프레임 종류별 수를 나타낸다. Xi 는 각 프레임의 복잡도, Avg(Xi)는 프레임의 복잡도를 각 시간단계별로 평균한 값이다.
또한, RG 는 하나의 GOP 내에 할당된 목표 비트량이며 프레임에 할당된 목표비트 T 간에는 수학식 13과 같은 관계가 성립한다.
RG =(T/framerate) * N
수학식 12에서 L 프레임에 할당하고자 하는 비트 TL을 구하는 것과 같은 개념으로 도 5(b)에서 stage 2의 H 프레임에 할당하고자 하는 비트는 수학식 14와 같이 기술된다.
Figure 112006085241549-pat00011
수학식 14에서 RG'은 GOP 에 할당된 비트량에서 이전 프레임 즉 L 프레임 부호화 과정에서 발생된 비트량을 제외한 비트량이다.
수학식 15 및 수학식 16은 각각 도 5(b)의 stage 1과 stage 0 내의 프레임에 할당하고자 하는 비트량 계산식이다.
Figure 112006085241549-pat00012
Figure 112006085241549-pat00013
수학식 12, 14 내지 16에 의해 MCTF부(510)에서 K번의 각 시간단계별로 생성된 프레임 종류, K 번의 각 시간 단계 및 프레임 복잡도를 기초로 각 프레임에 비트를 다르게 할당하였다. 또한 동일한 stage 내에서도 프레임의 복잡도를 고려하여 비트할당을 다르게 하였다.
수학식 12, 14 내지 16에 의해 각 프레임에 할당되는 비트량은 GOP 단위 내 의 부호화 과정에서 추후 순서에 놓인 프레임을 위한 적절한 비트 할당을 위해 할당되는 비트량의 최소값 및 최대값을 제한한다. 일 예는 수학식 17과 같다.
Figure 112006085241549-pat00014
적응적 QP 조절부(530)는 각 프레임 내의 매크로 블락을 실제 부호화하여 발생된 비트량과 비트 할당부(520)에서 각 프레임에 할당된 비트에 따라 상기 각 프레임 내의 매크로블락에 할당된 비트량과의 차이 및 상기 각 프레임 내의 화소당 비트수를 기초로 매크로 블락 단위로 양자화 파라미터를 결정한다.
본 발명의 바람직한 일 실시예로서, 적응적 QP 조절부(530)는 MPEG-2 TM의 비트율 조절 방법을 응용하여 가상버퍼의 충만도에 따라 각 매크로블록에서 사용될 양자화 파라미터의 참조값을 정한다.
이 때 참조값은 현재 부호화하려는 매크로블록의 양자화 파라미터를 결정하기 위한 기준값이 된다. 수학식 12, 14 내지 16에 의해 구해진 각 프레임에 할당된 비트량과 실제로 부호화 하여 발생한 비트량의 차를 이용하여 현재 매크로 블록에서 사용될 양자화 파라미터를 조절한다.
수학식 18 내지 21은 본 발명의 적응적 QP 조절부(530)에서 양자화 파라미터를 결정하는 과정의 일 실시예를 설명한다.
Figure 112006085241549-pat00015
이 때 Dj i 는 i 번째 프레임의 j번째 매크로 블록의 가상 버퍼의 충만도, D0 i 는 i번째 프레임의 초기 가상 버퍼의 충만도, Bj -1 i는 i 번째 프레임에서 j-1번째 매크로 블록을 부호화할 때까지의 누적 발생된 비트량, Ti 는 상기 비트 할당부에서 i번째 프레임에 할당된 비트량, j는 i 프레임 내의 j 번째 매크로블록 그리고 MB_total은 i 번째 프레임 내의 전체 매크로 블록의 수이다.
i번째 프레임의 초기 가상 버퍼의 충만도 D0 i는 수학식 19와 같이 계산된다.
Figure 112006085241549-pat00016
iQP는 초기 양자화 파라미터값, AvgQPi -1은 상기 K번의 각 시간단계별로 존재하는 이전 프레임의 평균 양자화 파라미터이다.
수학식 18 및 19에 의해 현재 매크로 블록을 부호화기 직전의 가상버퍼 충만도를 계산할 수 있다. 가상버퍼의 충만도를 이용하여 i 번째 프레임의 j 번째 매크로블록의 양자화 파라미터인 QPj를 계산하는 식은 수학식 20과 같으며, 수학식 20에서 초기양자화 파라미터 iQP는 수학식 21과 같은 방법으로 결정한다.
Figure 112006085241549-pat00017
이 때,
Figure 112006085241549-pat00018
= 2* 비트레이트/프레임 레이트이다.
Figure 112006085241549-pat00019
수학식 21에서 bpp는 bitrate/(frame rate * width * height)로서 한 프레임 내의 화소당 비트수(bits/pixel)이다. 수학식 21에서 보는 바와 같이 iQP는 소정의 구간 내에서 프레임당 비트율이 커짐에 따라 작아지는 특성이 있다.
상기 비트율 제어 장치는 또한 스케일러블 비디오 스트림을 인코딩하는 인코더에서 사용될 수 있다.
도 6 은 본 발명의 바람직한 일 실시예로서, 비트율 제어 방법의 흐름도를 도시한다.
입력 스케일러블 레이어에서 GOP 각각을 시간 단계별로 K번 모션 보상 시간적 필터링(MCTF)하여 한 개의 L 프레임과 2K-1 개의 H 프레임을 생성한다(S610).
그 후 K 번의 각 시간 단계, K번의 각 시간단계별로 생성된 프레임 종류 및 프레임 내의 화소의 제곱의 합의 제곱근인 프레임 복잡도를 기초로 각 프레임에 비 트를 할당한다(S620).
이상의 단계에서 각 프레임에 할당된 비트에 따라 상기 각 프레임 내의 매크로블락에 할당된 비트량과 각 프레임 내의 매크로 블락을 실제 부호화하여 발생된 비트량과의 차이 및 각 프레임 내의 화소당 비트수를 기초로 매크로 블락 단위로 양자화 파라미터를 결정한다(S630).
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.
그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
도 7 내지 9에서 'Adaptive QP'는 스케일링 팩터를 계산하여 프레임에 따라 다른 양자화 파라미터를 적용한 방법이다. 'Standard QP'는 스케일링 팩터 계산시 connected pixels의 비율을 일정한 값으로 고정한 후 양자화 파라미터에 적용한 값이다.
도 7(a) 는 (football, layer0)에서 본 발명의 RD 커브의 개선된 효과를 도시한다. 도 7(b) 는 (crew, layer0)에서 본 발명의 RD 커브의 개선된 효과를 도시한다.
각각 테스트 영상은 Football, crew 이고 layer0 은 QCIF@15Hz의 해상도와 프레임율을 갖는다. layer1 은 CIF@30Hz의 해상도와 프레임율을 갖는다. 실험을 위한 football 영상의 목표 비트율은 각 192 / 224 / 256 / 320 / 384 kbit/sec로 하였다. 이 때, 각 비교모드의 비트율을 맞추기 위한 초기 양자화 파라미터 QP는 각 31 / 30 / 29 / 27 / 25의 값으로 설정하였다.
Crew 영상의 타겟 비트율은 96 / 112 / 128 / 160 / 192 kbit/sec로 하였다. 각 비교방법의 비트율을 맞추기 위한 초기 양자화 파라미터 QP는 각 34 / 32 / 31 / 29 / 27 의 값으로 설정하였다.
710,711 은 본 발명에서 제시하는 프레임에 따라 다른 양자화 파라미터를 적용한 경우의 RD 커브를 도시한다. 720,721 은 스케일링 팩터 계산시 연결된 픽셀들(connected pixels)의 비율을 일정한 값으로 고정한 후 양자화 파라미터에 적용한 RD 커브를 도시한다. 이 경우 connected pixels의 비율은 다음의 값으로 고정된다.
Rate L0 = 0.2
Rate L1 = 0.2
Rate Bi = 0.6
730,731 은 Fixed QP 모드인 경우 RD 커브를 도시한다. 도 7의 실험에서는 모든 프레임에 대하여 동일하게 양자화 파라미터를 적용하였다. 이 때 양자화 파라미터는 초기 양자화 파라미터와 동일하다. 710 과 720 모드는 각각 JSVM2.0의 인코더 configuration file 에서 결정이 가능하다.
SVC는 spatial scalability를 지원하는데, 이 때 spatial base layer는 H.264/AVC와 호환 가능하므로 SVC에 도입된 MCTF 방식을 수행하지 않고 'Hierarchical B picture'방법으로써 temporal scalability를 가능하도록 한다. 따라서 MCTF와 달리 update 과정이 없기 때문에 connected pixels의 개념이 존재하지 않는다. 이와 같은 이유로 spatial base layer에서 양자화 파라미터를 결정짓는 요소인 connected pixels의 비율은 720과 같이 고정된 비율만 지원된다.
또한, Spatial enhancement layer는 MCTF의 prediction 과 update과정에서 다른 예측 모드로 인해 다른 정규화 변수를 가지는 반면 'Hierarchical B picture'를 사용하는 spatial base layer는 update 과정이 존재하지 않으므로 base layer를 위한 새로운 정규화 변수 값을 가지며 다음과 같다.
Factor_53_HP_BL = 1.0
Factor_22_HP_BL = 1.0
도 8(a) 는 (football, layer0+layer1)에서 본 발명의 RD 커브의 개선된 효과를 도시한다. 도 8(b) 는 (crew, layer0+layer1)에서 본 발명의 RD 커브의 개선된 효과를 도시한다.
도 8(a) 및 (b)에서는 두 개의 Spatial Layer, 즉 layer0와 layer1을 사용한 Football 과 Crew 영상의 실험 결과를 도시한다. layer 0에서는 Hierachical B picture를 사용하므로 프레임에 따라 다른 양자화 파라미터를 적용하는 Adaptive QP 를 적용하지 못한다. 따라서, 도 8(a) 및 (b)에서 820 Adaptive QP의 경우 Standard QP가 layer 0에 적용되었다.
두 개의 spatial layer에 대해 실험을 하기 위해서 spatial base layer인 'layer0'의 QP를 고정시킨 후 'layer1'의 QP를 변화시켜 그 때 발생한 비트율과 PSNR을 구한다.
도 9 는 football 과 crew 영상에 대한 각 레이어의 QP를 도시한다. 각 Football 과 Crew 영상의 목표 비트율과 그에 따른 layer0와 layer1의 QP값들을 도시하였다.
도 7 내지 9의 실험 결과에서 알 수 있는 바와 같이, 본원 발명에서 제시하는 비트율 제어 방법은 초기 QP에 의존하여 영상의 화질과 비트율이 결정되며, 주어진 영상들에 적절한 QP를 알아야 하는 기존 방법과 달리, 초기 QP 값에 대한 의존도를 낮추고 프레임의 복잡도에 따라 QP값 조절이 가능하다. 따라서 같은 비트율에서 더 나은 화질의 영상을 얻을 수 있는 효과가 있다.
또한, 기존의 비트율 조절 방법은 한 프레임 내에 동일한 QP를 적용한 반면, 본 발명에서는 각 매크로 블록매크로블록에 따라 다른 QP 를 적용함으로써 주어진 영상 정보에 대해 효율적으로 비트할당이 이루어질 수 있는 효과가 있다.

Claims (26)

  1. 입력 스케일러블 레이어에서 GOP 각각을 시간 단계별로 K번 모션 보상 시간적 필터링(MCTF)하는 MCTF부;
    상기 K 번의 각 시간 단계, 상기 K번의 각 시간단계별로 생성된 프레임 종류 및 프레임 복잡도를 기초로 각 프레임에 비트를 할당하는 비트 할당부; 및
    상기 각 프레임 내의 매크로 블락을 실제 부호화하여 발생된 비트량과 상기 각 프레임에 할당된 비트에 따라 상기 각 프레임 내의 매크로블락에 할당된 비트량과의 차이 및 상기 각 프레임 내의 화소당 비트수를 기초로 매크로 블락 단위로 양자화 파라미터를 결정하는 적응적 QP 조절부;를 포함하는 것을 특징으로 하는 비트율 제어 장치.
  2. 제 1 항에 있어서,
    각 GOP와 각 프레임에 할당된 비트와의 관계는 RG=(T/프레임율)* N 이며, 이 때, RG는 GOP에 할당되는 기설정된 비트량, T는 각 프레임에 할당되는 비트량 그리고 N 은 GOP의 크기인 것을 특징으로 하는 비트율 제어 장치.
  3. 제 1 항에 있어서, 상기 적응적 QP 조절부는
    Figure 112006085241549-pat00020
    상기 식을 기초로 가상 버퍼의 충만도를 계산하고, 이 때 Dj i 는 i 번째 프레임의 j번째 매크로 블록의 가상 버퍼의 충만도, D0 i 는 i번째 프레임의 초기 가상 버퍼의 충만도, Bj -1 i는 i 번째 프레임에서 j-1번째 매크로 블록을 부호화할 때까지의 누적 발생된 비트량, Ti 는 상기 비트 할당부에서 i번째 프레임에 할당된 비트량, j는 i 프레임 내의 j 번째 매크로블록 그리고 MB_total은 i 번째 프레임 내의 전체 매크로 블록의 수인 것을 특징으로 하며,
    i 프레임 내의 j 번째 매크로블록의 양자화 계수인 QPj는
    Figure 112006085241549-pat00021
    이고,
    Figure 112006085241549-pat00022
    = 2* 비트레이트/프레임 레이트 인 것을 특징으로 하는 비트율 제어 장치.
  4. 제 3 항에 있어서, 상기 D0 i는
    Figure 112006085241549-pat00023
    상기의 식으로 계산되고, iQP는 초기 양자화 파라미터값, AvgQPi -1은 상기 K번의 각 시간단계별로 존재하는 이전 프레임의 평균 양자화 파라미터이며, 이 때 iQP는 소정의 구간 내에서 프레임 내의 화소당 비트수가 커짐에 따라 작아지는 특성을 지닌 것을 특징으로 하는 비트율 제어 장치.
  5. 제 1 항에 있어서, 비트 할당부에서
    상기 각 프레임에 할당되는 비트량은 최소값과 최대값의 제한을 두는 것을 특징으로 하는 비트율 제어 장치.
  6. 제 5 항에 있어서,
    상기 최소값은 각 프레임에 할당되는 비트량을 프레임 레이트로 나눈 값의 반이고, 상기 최대값은 각 프레임에 할당되는 비트량을 프레임 레이트로 나눈 값의 두 배인 것을 특징으로 하는 비트율 제어 장치.
  7. 제 1 항에 있어서,
    상기 GOP는 2K의 크기를 지닌 것을 특징으로 하는 비트율 제어 장치.
  8. 제 1 항에 있어서, 상기 프레임 복잡도는
    프레임 내의 화소값들의 제곱의 합에 대한 제곱근인 것을 특징으로 하는 비트율 제어 장치.
  9. 입력 스케일러블 레이어에서 GOP 각각을 시간 단계별로 K번 모션 보상 시간적 필터링(MCTF)하는 MCTF부;및
    상기 K 번의 각 시간 단계, 상기 K번의 각 시간단계별로 생성된 프레임 종류 및 프레임 복잡도를 기초로 각 프레임에 비트를 할당하는 비트 할당부;를 포함하는 것을 특징으로 하는 스케일러블 비디오 인코더.
  10. 제 9 항에 있어서
    상기 각 프레임 내의 매크로 블락을 실제 부호화하여 발생된 비트량과 상기 각 프레임에 할당된 비트에 따라 상기 각 프레임 내의 매크로블락에 할당된 비트량과의 차이 및 상기 각 프레임 내의 화소당 비트수를 기초로 매크로 블락 단위로 양자화 파라미터를 결정하는 적응적 QP 조절부;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 인코더.
  11. 제 9 항에 있어서,
    상기 GOP는 2K의 크기를 지닌 것을 특징으로 하는 스케일러블 비디오 인코더.
  12. 제 9 항에 있어서, 비트 할당부에서
    상기 각 프레임에 할당되는 비트량은 최소값과 최대값의 제한을 두는 것을 특징으로 하는 스케일러블 비디오 인코더.
  13. 제 9 항에 있어서, 상기 프레임 복잡도는
    프레임 내의 화소값들의 제곱의 합에 대한 제곱근인 것을 특징으로 하는 스케일러블 비디오 인코더.
  14. (a)입력 스케일러블 레이어에서 GOP 각각을 시간 단계별로 K번 모션 보상 시간적 필터링(MCTF)하는 MCTF 필터링 단계;
    (b)상기 K 번의 각 시간 단계, 상기 K번의 각 시간단계별로 생성된 프레임 종류 및 프레임 복잡도를 기초로 각 프레임에 비트를 할당하는 단계; 및
    (c)상기 각 프레임 내의 매크로 블락을 실제 부호화하여 발생된 비트량과 상기 각 프레임에 할당된 비트에 따라 상기 각 프레임 내의 매크로블락에 할당된 비트량과의 차이 및 상기 각 프레임 내의 화소당 비트수를 기초로 매크로 블락 단위로 양자화 파라미터를 결정하는 적응적 QP 조절 단계;를 포함하는 것을 특징으로 하는 비트율 제어 방법.
  15. 제 14 항에 있어서,
    각 GOP와 각 프레임에 할당된 비트와의 관계는 RG=(T/프레임율)* N 이며, 이 때, RG는 GOP에 할당되는 기설정된 비트량, T는 각 프레임에 할당되는 비트량 그리고 N 은 GOP의 크기인 것을 특징으로 하는 비트율 제어 방법.
  16. 제 14항에 있어서, 상기 (c) 단계는
    Figure 112006085241549-pat00024
    상기 식을 기초로 가상 버퍼의 충만도를 계산하고, 이 때 Dj i 는 i 번째 프레임의 j번째 매크로 블록의 가상 버퍼의 충만도, D0 i 는 i번째 프레임의 초기 가상 버퍼의 충만도, Bj -1 i는 i 번째 프레임에서 j-1번째 매크로 블록을 부호화할 때까지의 누적 발생된 비트량, Ti 는 상기 비트 할당부에서 i번째 프레임에 할당된 비트량, j는 i 프레임 내의 j 번째 매크로블록 그리고 MB_total은 i 번째 프레임 내의 전체 매크로 블록의 수인 것을 특징으로 하며,
    i 프레임 내의 j 번째 매크로블록의 양자화 계수인 QPj는
    Figure 112006085241549-pat00025
    이고,
    Figure 112006085241549-pat00026
    = 2* 비트레이트/프레임 레이트 인 것을 특징 으로 하는 비트율 제어 방법.
  17. 제 16 항에 있어서, 상기 D0 i는
    Figure 112006085241549-pat00027
    상기의 식으로 계산되고, iQP는 초기 양자화 파라미터값, AvgQPi -1은 상기 K번의 각 시간단계별로 존재하는 이전 프레임의 평균 양자화 파라미터이며, 이 때 iQP는 소정의 구간 내에서 프레임 내의 화소당 비트수가 커짐에 따라 작아지는 특성을 지닌 것을 특징으로 하는 비트율 제어 방법.
  18. 제 14항에 있어서, (b) 단계에서
    상기 각 프레임에 할당되는 비트량은 최소값과 최대값의 제한을 두는 것을 특징으로 하는 비트율 제어 방법.
  19. 제 18 항에 있어서,
    상기 최소값은 각 프레임에 할당되는 비트량을 프레임 레이트로 나눈 값의 반이고, 상기 최대값은 각 프레임에 할당되는 비트량을 프레임 레이트로 나눈 값의 두 배인 것을 특징으로 하는 비트율 제어 방법.
  20. 제 14 항에 있어서,
    상기 GOP는 2K의 크기를 지닌 것을 특징으로 하는 비트율 제어 방법.
  21. 제 14 항에 있어서, 상기 프레임 복잡도는
    프레임 내의 화소값들의 제곱의 합에 대한 제곱근인 것을 특징으로 하는 비트율 제어 방법.
  22. (a)입력 스케일러블 레이어에서 GOP 각각을 시간 단계별로 K번 모션 보상 시간적 필터링(MCTF)하는 MCTF 필터링 단계;및
    (b)상기 K 번의 각 시간 단계, 상기 K번의 각 시간단계별로 생성된 프레임 종류 및 프레임 복잡도를 기초로 각 프레임에 비트를 할당하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  23. 제 22 항에 있어서
    상기 각 프레임 내의 매크로 블락을 실제 부호화하여 발생된 비트량과 상기 각 프레임에 할당된 비트에 따라 상기 각 프레임 내의 매크로블락에 할당된 비트량과의 차이 및 프레임 내의 화소당 비트수를 기초로 매크로 블락 단위로 양자화 파라미터를 결정하는 적응적 QP 조절 단계;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  24. 제 22 항에 있어서
    상기 GOP는 2K의 크기를 지닌 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  25. 제 22 항에 있어서, 상기 (b) 단계에서
    상기 각 프레임에 할당되는 비트량은 최소값과 최대값의 제한을 두는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  26. 제 22 항에 있어서, 상기 프레임 복잡도는
    프레임 내의 화소값들의 제곱의 합에 대한 제곱근인 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
KR1020060115194A 2005-11-21 2006-11-21 Ｓｖｃ에서 효율적인 비트율 제어 방법 및 장치 KR100825752B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060115194A KR100825752B1 (ko) 2005-11-21 2006-11-21 Ｓｖｃ에서 효율적인 비트율 제어 방법 및 장치
US12/093,788 US8175149B2 (en) 2005-11-21 2006-11-21 Method and apparatus for controlling bitrate of scalable video stream
PCT/KR2006/004899 WO2007058515A1 (en) 2005-11-21 2006-11-21 Method and apparatus for controlling bitrate of scalable video stream

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20050111239 2005-11-21
KR1020050111239 2005-11-21
KR1020060115194A KR100825752B1 (ko) 2005-11-21 2006-11-21 Ｓｖｃ에서 효율적인 비트율 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070053642A KR20070053642A (ko) 2007-05-25
KR100825752B1 true KR100825752B1 (ko) 2008-04-29

Family

ID=38048862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060115194A KR100825752B1 (ko) 2005-11-21 2006-11-21 Ｓｖｃ에서 효율적인 비트율 제어 방법 및 장치

Country Status (3)

Country Link
US (1) US8175149B2 (ko)
KR (1) KR100825752B1 (ko)
WO (1) WO2007058515A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101197094B1 (ko) * 2010-12-14 2012-11-07 숭실대학교산학협력단 Ｈ．２６４／ａｖｃ를 위한 통계 모델 기반의 비트율 제어 방법 및 장치

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2889017A1 (fr) * 2005-07-19 2007-01-26 France Telecom Procedes de filtrage, de transmission et de reception de flux video scalables, signal, programmes, serveur, noeud intermediaire et terminal correspondants
JP4901772B2 (ja) * 2007-02-09 2012-03-21 パナソニック株式会社 動画像符号化方法及び動画像符号化装置
CN101534436B (zh) * 2008-03-11 2011-02-02 深圳市融创天下科技发展有限公司 一种视频图像宏块级自适应码率分配方法
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
EP2286595A1 (en) 2008-06-16 2011-02-23 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
KR100950275B1 (ko) * 2008-09-18 2010-03-31 연세대학교 산학협력단 모델 파라미터 기반의 비디오 인코딩 비트율 제어장치와 방법 및 이를 수록한 저장매체
US8265140B2 (en) 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
KR101060495B1 (ko) * 2009-03-19 2011-08-30 주식회사 코아로직 인코딩 장치와 방법 및 그 인코딩 장치를 포함한 멀티미디어 장치
CN101562741B (zh) * 2009-05-11 2011-08-24 华为技术有限公司 多层编码的码率控制方法及装置
KR101282193B1 (ko) * 2009-11-10 2013-07-04 한국전자통신연구원 칼만 필터와 ｆｉｒ 필터를 사용한 동영상 인코더에서의 비트율 제어 방법
CN102223524B (zh) * 2010-04-13 2013-08-07 中兴通讯股份有限公司 一种三维小波视频编码帧分组方法及装置
US20130058410A1 (en) 2010-05-13 2013-03-07 Sharp Kabushiki Kaisha Encoding device, decoding device, and data structure
KR20120016980A (ko) * 2010-08-17 2012-02-27 한국전자통신연구원 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
WO2012069879A1 (en) * 2010-11-25 2012-05-31 Freescale Semiconductor, Inc. Method for bit rate control within a scalable video coding system and system therefor
JP5875236B2 (ja) 2011-03-09 2016-03-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9854275B2 (en) 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
JP5745175B2 (ja) * 2011-06-28 2015-07-08 サムスン エレクトロニクス カンパニー リミテッド 適応的な量子化パラメータ差分値を用いた映像の符号化及び復号化方法と装置
US8976857B2 (en) 2011-09-23 2015-03-10 Microsoft Technology Licensing, Llc Quality-based video compression
CN103200399B (zh) * 2012-01-04 2016-08-31 北京大学 基于可伸缩视频编码的控制视频质量波动的方法及装置
EP2805492B1 (en) * 2012-01-19 2018-11-14 VID SCALE, Inc. System and method of video coding quantization and dynamic range control
KR102001415B1 (ko) 2012-06-01 2019-07-18 삼성전자주식회사 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템
KR102249819B1 (ko) 2014-05-02 2021-05-10 삼성전자주식회사 시스템 온 칩과 이를 포함하는 데이터 처리 시스템
KR102636099B1 (ko) 2016-12-22 2024-02-13 삼성전자주식회사 양자화 파라미터를 조절하는 비디오 인코딩을 위한 장치 및 방법
US10699721B2 (en) * 2017-04-25 2020-06-30 Dts, Inc. Encoding and decoding of digital audio signals using difference data
US10638127B2 (en) * 2017-05-15 2020-04-28 Qualcomm Incorporated Adaptive anchor frame and quantization parameter decision in video coding
US10855988B2 (en) 2018-12-19 2020-12-01 Qualcomm Incorporated Adaptive prediction structures
JPWO2021054380A1 (ko) * 2019-09-20 2021-03-25
CN113259662B (zh) * 2021-04-16 2022-07-05 西安邮电大学 基于三维小波视频编码的码率控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004025965A1 (en) 2002-09-11 2004-03-25 Koninklijke Philips Electronics N.V. Video coding method and device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1067798A3 (en) * 1999-06-30 2005-11-30 Media Glue Corporation Apparatus, method and computer program product for transcoding a coded moving picture sequence
US7046729B2 (en) * 2002-08-27 2006-05-16 Ess Technology, Inc. Bit rate control for motion compensated video compression system
KR20060059774A (ko) 2004-11-29 2006-06-02 엘지전자 주식회사 시간적 분해레벨이 다른 픽처의 모션벡터를 이용하는영상신호의 엔코딩/디코딩 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004025965A1 (en) 2002-09-11 2004-03-25 Koninklijke Philips Electronics N.V. Video coding method and device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101197094B1 (ko) * 2010-12-14 2012-11-07 숭실대학교산학협력단 Ｈ．２６４／ａｖｃ를 위한 통계 모델 기반의 비트율 제어 방법 및 장치

Also Published As

Publication number Publication date
US20090067493A1 (en) 2009-03-12
KR20070053642A (ko) 2007-05-25
US8175149B2 (en) 2012-05-08
WO2007058515A1 (en) 2007-05-24

Similar Documents

Publication Publication Date Title
KR100825752B1 (ko) Ｓｖｃ에서 효율적인 비트율 제어 방법 및 장치
KR100942395B1 (ko) 다층 비디오 설계를 위한 레이트 제어
JP4647980B2 (ja) スケーラブルビデオコーディング及びデコーディング方法と装置
US6639943B1 (en) Hybrid temporal-SNR fine granular scalability video coding
US7839929B2 (en) Method and apparatus for predecoding hybrid bitstream
KR100772878B1 (ko) 비트스트림의 비트율 조절을 위한 우선권 할당 방법,비트스트림의 비트율 조절 방법, 비디오 디코딩 방법 및 그방법을 이용한 장치
KR100596706B1 (ko) 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
US20060008006A1 (en) Video encoding and decoding methods and video encoder and decoder
US8406297B2 (en) System and method for bit-allocation in video coding
WO2006004331A1 (en) Video encoding and decoding methods and video encoder and decoder
KR20060122671A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
AU2004302413B2 (en) Scalable video coding method and apparatus using pre-decoder
RU2329616C2 (ru) Способ управления расходом битов и устройство для нормализации качества визуального изображения
EP1538567A2 (en) Method and apparatus for scalable video encoding and decoding
Leontaris et al. Compression efficiency and delay tradeoffs for hierarchical B-pictures and pulsed-quality frames
Xu et al. Rate control for scalable video model
WO2006080655A1 (en) Apparatus and method for adjusting bitrate of coded scalable bitsteam based on multi-layer
Barbarien et al. Motion and texture rate-allocation for prediction-based scalable motion-vector coding
Xiong et al. Spatial scalability in 3-D wavelet coding with spatial domain MCTF encoder
KR100584366B1 (ko) 동영상 압축을 위한 부호화 시스템
Atta Optimal bit allocation for subband video coding
Parthasarathy et al. Optimal rate control methods for fine granularity scalable video
André et al. A scalable video coder with scan-based lifted MCWT and model-based bit-rate allocation
WO2006043753A1 (en) Method and apparatus for predecoding hybrid bitstream

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120330

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee